L'ÉVALUATION

UN OUTIL STRATÉGIQUE DE RENFORCEMENT DU COMMUNAUTAIRE

 

 

Actes du colloque du programme Pratiques Novatrices en milieu communautaire

tenu à Montréal le 2 mai 1997

 

 

Organisé par :

Table des regroupements provinciaux d'organismes communautaires et bénévoles

Centre de formation populaire

Université du Québec à Montréal (Service aux collectivités)

Produit par :

Centre de formation populaire, février 1998

Mise en page:

Caroline Gord

Ce signe représente un retour vers le haut de la page

TABLE DES MATIÈRES

 

INTRODUCTION : S'APPROPRIER L'OUTIL-ÉVALUATION!

LES OBJECTIFS DU COLLOQUE

PARTIE 1: LA POSITION ET LES DÉMARCHES DE LA TABLE DES REGROUPEMENTS PROVINCIAUX DES ORGANISMES COMMUNAUTAIRES ET BÉNÉVOLES : DÉFINIR UN CADRE D'ÉVALUATION QUI RESPECTE LES VALEURS DU COMMUNAUTAIRE

1.1 LA POSITION :

L'évaluation comme outil stratégique de renforcement du mouvement communautaire

par Lorraine Guay

1.2 LES DÉMARCHES :

Comment faire de l'évaluation un outil stratégique de renforcement de l'autonomie du communautaire

par André Tanguay

PARTIE 2 :L'APPROPRIATION DU DOSSIER DE L'ÉVALUATION PAR LES TABLES RÉGIONALES

2.1 L'EXPÉRIENCE DES LAURENTIDES

par Lise Nantel

2.2 L'EXPÉRIENCE DE LA MONTÉRÉGIE

par Bertrand Loiselle

2.3 SYNTHÈSE DES EXPÉRIENCES RÉGIONALES

par Franklin Midy

PARTIE 3: LES PARTICIPANTS ET LES PARTICIPANTES AU COLLOQUE : DÉBAT SUR L'ÉVALUATION VUE COMME UN OUTIL DE RENFORCEMENT DU MOUVEMENT COMMUNAUTAIRE.

3.1 SYNTHÈSE DES DISCUSSIONS

par Franklin Midy

 

ANNEXES :

Annexe I : Programme de la journée-colloque

Annexe II : Liste des participantes et des participants au colloque

Annexe III : Lettre du ministre Rochon au sujet du rapport du Comité ministériel sur l'évaluation

 

 

INTRODUCTION: S'APPROPRIER L'OUTIL ÉVALUATION!

 

La Loi sur la réforme de la santé et des services sociaux prescrit l'évaluation du travail des organismes communautaires partenaires du MSSS. Elle dispose à l'article 346 que la régie régionale « évalue, selon la périodicité que détermine le ministre, l'efficacité des services de santé et des services sociaux, le degré d'atteinte des objectifs poursuivis et le degré de satisfaction des usagers à l'égard des services ».

La Table des regroupements provinciaux des organismes communautaires et bénévoles s'est mobilisée dès le début sur l'ensemble du dossier de la réforme et du partenariat en général. Elle a aussi prêté beaucoup d'attention à la question de l'évaluation. Sur ce point particulier, une préoccupation semble avoir dès le début animé et orienté son action : comment faire de l'évaluation une occasion et un instrument de renforcement du mouvement communautaire?

La Table a cherché à répondre à cette question à travers un ensemble de stratégies et d'activités dont le but est d'aider ses membres à s'approprier l'outil de connaissance critique et d'amélioration de l'action qu'est toute évaluation participative.

Elle a d'abord négocié au nom du communautaire avec le ministère de la Santé et des services sociaux et la Conférence des régies régionales un cadre, des principes, des orientations et des balises d'une évaluation qui soit respectueuse des valeurs et de l'identité du mouvement communautaire. Le résultat concret de la négociation entre les trois partenaires a été la signature d'un protocole d'entente sur l'évaluation (voir en annexe la lettre du ministre Jean Rochon relative à cette entente).

Elle a offert à ses membres la possibilité d'enrichir leurs connaissances et de renforcer leur savoir-faire dans le domaine de l'évaluation et de la négociation. Des ateliers de formation ont été organisés à leur intention, en partenariat avec l'UQAM et le CFP. Un guide d'évaluation et de négociation sera produit à la fin des ateliers de formation qui s'adresse en premier lieu aux organismes communautaires et bénévoles.

Toujours en partenariat avec l'UQAM et le CFP, elle a organisé le 2 mai 1997 une journée-colloque sur le thème Faire de l'évaluation un outil stratégique de renforcement de l'autonomie du communautaire. Ce colloque a permis aux organismes commu-nau-taires de se rencontrer, d'échanger leurs expériences et leurs réflexions sur les enjeux de l'évaluation et sur la possibilité d'entreprendre des actions concertées dans ce domaine. Les actes du colloque voudraient être la mémoire de cette première rencontre de représentantes et de représentants du communautaire sur l'enjeu que constitue aujourd'hui l'évaluation.

par Franklin Midy

professeur au Département de sociologie de l'UQAM

 

OBJECTIFS DU COLLOQUE

 

Le colloque se propose d'ouvrir une réflexion collective sur la problématique de l'évaluation comprise comme un outil stratégique de renforcement du mouvement communautaire au plan de son autonomie, de ses pouvoirs et de ses pratiques.

 

Plus particulièrement, il vise à faire le point sur les questions suivantes :

les enjeux politiques de l'évaluation;

les outils-clés du document ministériel sur l'évaluation;

les expériences en cours dans les régies régionales;

les écarts entre les pratiques des régions et les objectifs définis par le Comité ministériel sur l'évaluation.

 

 

PARTIE 1 :LA POSITION ET LES DÉMARCHES DE LA TABLE DES REGROUPEMENTS PROVINCIAUX DES ORGANISMES COMMUNAUTAIRES ET BÉNÉVOLES :

DÉFINIR UN CADRE D'ÉVALUATION QUI RESPECTE LES VALEURS DU COMMUNAUTAIRE

 

 

PARTIE 1.1: LA POSITION

L'ÉVALUATION COMME OUTIL STRATÉGIQUE DE RENFORCEMENT DU MOUVEMENT COMMUNAUTAIRE

 

1. INTRODUCTION

On peut certes affirmer que l'évaluation constitue un outil de renforcement du mouvement communautaire au niveau de son autonomie, de ses pouvoirs et de ses pratiques. Mais comment et selon quelles perspectives?

D'entrée de jeu, il faut insister &endash; et deux fois plutôt qu'une &endash; sur le fait que le renforcement du mouvement communautaire ne saurait se baser uniquement sur l'évaluation, c'est évident! Son renforcement au sein de la société québécoise tient à bien d'autres choses qu'à l'évaluation; il tient davantage à sa capacité de répondre aux besoins des personnes, à ses pratiques novatrices, à sa capacité de mobilisation.

L'évaluation doit donc être située parmi des stratégies plurielles permettant au mouvement communautaire d'intervenir dans les problématiques sociales et de se constituer comme acteur au sein de la société civile. Aussi, elle doit être conçue et réalisée de manière à faire émerger, à préserver et à renforcer les valeurs du mouvement communautaire. Évaluer oui, mais pas n'importe quoi, n'importe comment ni selon n'importe quels objectifs.

L'évaluation comme outil stratégique de renforcement du mouvement communautaire doit donc se déployer dans deux directions à la fois : sur nos propres bases et dans nos rapports avec l'État.

 

2. D'ABORD SUR NOS PROPRES BASES

Les organismes communautaires font de l'évaluation comme monsieur Jourdain faisait de la prose, c'est-à-dire sans trop le savoir! On pense en particulier aux rapports d'activités, aux assemblées générales, aux questionnaires d'évaluation qui accompagnent généralement la réalisation d'activités et aux diverses méthodes utilisées pour s'ajuster aux besoins de leurs membres. Bref, chaque fois qu'un organisme porte un jugement sur le travail réalisé et tente de corriger le tir s'il y a lieu, il y a évaluation. Mais, en général, les organismes communau-taires ne font pas de l'évaluation une pratique systématique.

 

2.1 Développer la capacité d'autocritique

Si on veut utiliser l'évaluation comme un outil privilégié de renforcement des objectifs, des pratiques et de l'action du mouvement communautaire, alors l'évaluation doit devenir partie prenante de la pratique même des organismes, soudée à leurs objectifs, intégrée à leurs structures, inscrite dans leur fonctionnement et leur plan de travail.

Ainsi, en santé mentale nous disions :

« Impossible de prétendre être constamment à l'écoute des besoins des usagers-ères sans évaluation!

Impossible de modifier nos pratiques, nos approches, nos interventions sans évaluation!

Impossible de connaître la qualité de nos liens avec la communauté sans évaluation!

Impossible de saisir la perception qu'ont les usagers-ères de la ressource sans évaluation!

Impossible, bref, de demeurer un mouvement alternatif vivant sans évaluation!

Mais au-delà de ces impossibles, nous affirmons que le processus évaluatif lui-même fait partie intégrante de l'approche alternative. Il existe toujours en effet une alternative à nos façons d'être et de faire; une alternative qui invite à regarder la réalité "autrement" et à la reconstruire différemment. L'évaluation devient ainsi un des éléments qui caractérisent l'approche alternative. » (RRASMQ, 1991)

Les organismes communautaires doivent appliquer à eux-mêmes l'approche critique qu'ils ont historiquement développée face à la société, à l'État et à ses appareils, et au secteur privé. Inutile de rappeler ici à quel point les mouvements sociaux (communautaire, féministe, écologique, etc.) ont été et demeurent des « empêcheurs de tourner en rond » dans la conjoncture politique, économique et sociale du Québec. Inutile de rappeler que sur l'ensemble des problématiques sociales (pauvreté, violence conjugale, itinérance, santé mentale, toxicomanie, sida, etc.) les organismes communautaires mettent de l'avant des valeurs et des pratiques qui contestent l'ordre du monde. Ce faisant, les groupes communautaires assument ce que Melucci décrit comme la fonction de changement de l'action volontaire (...) et qui se traduit à la fois par une capacité d'innovation et une action prophétique :

« (...) Innovation : l'action volontaire est le laboratoire dans lequel on prépare les modèles culturels, organisationnels, relationnels qui pourront éventuellement être transférés au niveau du marché et des institutions. (...) Fonction prophétique : elle révèle l'existence des grands dilemmes qui traversent les sociétés complexes et elle annonce qu'autre chose est possible. L'action volontaire signale que, derrière la neutralité des procédures techniques, derrière l'objectivité de la rationalité scientifique, il existe des besoins humains et des demandes qui débordent le niveau des procédures. Elle rappelle les limites du pouvoir de la société sur la nature et sur les hommes, elle affirme que la communication et le rapport avec l'autre ne s'épuisent pas dans l'échange. » (Melucci, 1993)

C'est cette capacité subversive que le mouvement communautaire doit nourrir. Or, pour ce faire, ce mouvement critique envers la société doit être retourné et être appliqué avec la même vigueur, la même vivacité et, je dirais aussi, la même intransigeance face à nous-mêmes. Et nous devons le faire à partir des principes et des valeurs qui sont promues quotidiennement dans les organismes. Par exemple :

- la primauté de la personne, sa capacité d'autonomie, sa volonté de réappropriation du pouvoir sur sa vie et sur son environnement : comment cela se vit-il dans mon organisation?

- l'enracinement dans le milieu : comment cela se réalise-t-il dans le fonctionnement de mon groupe?

- le travail sur les causes de la pauvreté et de l'exclusion, pas seulement sur les conséquences : dans la vraie vie, comment cela se manifeste-t-il dans mon organisme?

- la vie associative qu'ils pratiquent, la démocratie, l'éducation populaire, etc. : comment cela se vit-il dans mon organisation?

On pourrait ainsi reprendre toute la politique de reconnaissance du mouvement communautaire autonome (SACA, 1996; TRPOCB et CTROC, 1997) et se questionner sur les écarts qui, dans nos groupes, peuvent exister entre le discours et la pratique. Car on ne peut nier qu'il existe dans nos propres rangs une certaine complaisance, paresse, autosatisfaction, facilité qui font que plusieurs fonctionnent « sur le pilote automatique » plutôt que d'accepter de se « déstabiliser », de se remettre en mouvement, de se requestionner sur ce qui est considéré comme une évidence.

Le travail entrepris par la Table des regroupements provinciaux d'organismes communautaires et bénévoles, le Centre de formation populaire et le Service aux collectivités de l'Université du Québec à Montréal joue ici un rôle majeur pour aider et accompagner le mouvement communautaire dans sa capacité d'auto-évaluation.

 

2.2 Donner la parole et le pouvoir aux membres des organismes

À mon avis, le biais le plus prometteur et le plus radical (au sens de retourner aux sources, à la racine, à la raison d'être) par lequel les groupes communautaires peuvent développer leur autocritique, c'est de faire en sorte que l'évaluation devienne un moyen pour les usagers et usagères ou membres des organismes de prendre la parole et de critiquer l'organisme. Cela invite à une certaine « décentration » par rapport à ce qui est considéré « politiquement correct » dans l'organisme.

Parmi les principes et valeurs fondamentales que les organismes communautaires mettent de l'avant il y a la démocratie, la participation, le partage du pouvoir. L'insistance, toujours, est placée sur le contrôle par les membres, les usagers et usagères, leur implication directe dans la définition des problèmes, des objectifs, des priorités et des stratégies d'action. Ça, c'est le discours! Dans la vraie vie, les organismes peuvent dériver sans trop s'en apercevoir et laisser toute la place aux seuls permanents et permanentes, ou à quelques membres seulement. L'évaluation du point de vue des membres permet de recentrer l'organisme sur ce pour quoi il existe. Il s'agit :

« (...) De donner une voix, une visibilité, un poids à ceux qui font l'objet de diverses formes d'exclusion de fait, soit qu'ils demeurent "non vus" par les planificateurs et les intervenants (les exclus du regard et de la pensée), soit qu'ils soient définis de l'extérieur en fonction d'un certain nombre de besoins qui leur sont assignés dans le meilleur des cas par des intervenants ou des chercheurs bien intentionnés (les exclus de la parole et de l'action). » (Corin, 1995)

3. DANS NOS RAPPORTS À L'ÉTAT

 

3.1 Le processus

Dans les rapports à l'État, il est permis d'affirmer que le processus qui a mené au cadre de référence et au choix du modèle d'évaluation constitue des moments de renforcement du communautaire.

Dans ce processus :

- nous avons politiquement pris position en mettant en place un processus impliquant nos visées politiques, nos valeurs et un comité de négociation; nous avons ainsi dépassé les grilles et les détails techniques proposés;

- nous avons collectivement pris position, évitant à chaque groupe d'avoir à se débrouiller seul; ainsi nous sommes devenus un acteur incontournable pour l'État;

- nous avons pris position en acteurs critiques et responsables et non en objets passifs de ce que certains considèrent comme les desseins machiavéliques de l'État face au mouvement communautaire;

- nous avons contribué à infléchir significativement le processus d'évaluation dans un sens favorable aux organismes communautaires. Désormais, au Québec, aucun organisme communautaire ni regroupement d'organismes ne devront accepter une évaluation sur une base autre que celle de la négociation.

Tout cela n'allait évidemment pas de soi. La décision même de participer à un comité ministériel sur l'évaluation ne faisait pas l'unanimité au sein du mouvement communautaire :

- certains considéraient que dans un contexte de restrictions budgétaires, s'asseoir à la même table que l'État constituait une forme évidente de collaboration de classes;

- pour d'autres, nous n'avions pas le choix et plutôt que de se faire imposer un processus d'évaluation, mieux valait y participer et tenter de « minimiser les dégâts »;

- d'autres se sentaient « d'attaque », convaincus que les groupes communautaires pouvaient sortir gagnants d'une évaluation;

- d'autres enfin mettaient de l'avant qu'il s'agissait là d'une responsabilité du mouvement communautaire envers la société; qu'il fallait occuper l'espace, s'insérer dans la brèche et y confronter les valeurs du communautaire. C'est l'option qui a été choisie majoritairement. Nous avons considéré que l'évaluation pouvait être un instrument de plus grande démocratie, de plus grande participation des acteurs concertés et, partant, de remise en cause et de renouvellement du système de santé et de services sociaux.

Il y avait, me direz-vous, du partenariat dans l'air! Oui. Mais, ce faisant, nous ne commettions pas là quelque trahison! En fait, nous avons défini un interface de débat avec l'État, un lieu limité et bien circonscrit de négociation, mais dans lequel le mouvement communautaire ne s'épuise pas. Nous avons reconnu que les acteurs impliqués dans ce processus (le ministère de la Santé et des Services sociaux, les régies et le mouvement communautaire) avaient dans l'ensemble des intérêts divergents quant à la vision et au projet de société mais, sur un point précis, l'évaluation, une volonté commune d'en arriver à proposer un modèle d'évaluation respectueux des organismes communautaires. Nous avons convenu que la convergence d'intérêts n'était ni nécessaire, ni obligatoire pour mener à bien les travaux du comité. Ce principe permet au communautaire de considérer que le fait de participer à un comité n'avalise pas toutes les politiques gouvernementales, au contraire.

Ce faisant, nous partagions également cette interrogation fondamentale à propos de l'émer-gence du discours partenarial :

« L'hypothèse d'une plus forte articulation entre les interventions étatiques et les formes de solidarité communautaire est au coeur des solutions mises de l'avant par la planification sociosanitaire. En effet, comment concevoir, comment construire un rapport entre deux ensembles qui sont de nature, d'histoire, d'ampleur, de statut, d'expérience, de projet non seulement inégaux mais différents? » (Lesemann, F. et Lamoureux, J. 1987)

Ce processus a supposé de la part du communautaire une mobilisation de ses membres afin d'en faire un processus démocratique. Ce processus a exigé de la part de l'État une ouverture au débat, à la négociation, à la reconnaissance des organismes communautaires plutôt qu'à l'imposition unilatérale de décisions technocratiques; ce qui n'allait pas de soi au départ! Nous avons réussi grâce à la cohésion du mouvement communautaire et à sa capacité de proposition.

Nous avons également, dès le départ, situé le contexte dans lequel les organismes communautaires seront appelés à faire de l'évaluation avec leurs régies régionales. Les groupes évoluent dans un contexte social, économique et politique très précis qui comporte des enjeux importants pour eux. Tout processus d'évaluation doit donc bien repérer les composantes de ce contexte et indiquer en quoi elles influencent les acteurs concernés. Ces enjeux de contexte tournent autour de cinq pôles : le néolibéralisme, le partenariat, l'évaluation au sein d'un paradigme gestionnaire, la régionalisation et le financement des organismes communautaires.

Le néolibéralisme

L'évaluation apparaît comme un instrument de contrôle et de gestion dans un système politique caractérisé par son obsession de la réduction des protections sociales.

Le partenariat

Le communautaire y apparaît comme assujetti à la planification régionale. L'article 352 de la loi 120 enjoint les régies régionales à assurer la coordination et la planification des services.

L'évaluation au sein d'un paradigme gestionnaire

Faire mieux avec moins : ce paradigme, associé à celui de l'épidémiologie du modèle biomédical, peut aboutir à la normalisation des pratiques des organismes communautaires. L'introduction massive de l'informatisation laisse croire à une intention de contrôle social; le monitoring en est une illustration.

La régionalisation

La régionalisation suscite des questions quant au rôle, aux pouvoirs, aux modes de fonctionnement et aux cultures de ces nouvelles instances régionales, de même qu'à leurs rapports au pouvoir central et à l'ensemble du mouvement communautaire.

Le financement des organismes communautaires

Ce financement demeure une « zone grise ». Les plans régionaux d'organisation de services constituent l'outil privilégié sur lequel s'appuie l'État pour réaliser l'allocation des ressources financières.

Ces éléments de contexte ont fait l'objet de longues discussions au sein du comité ministériel. Nous aurions souhaité que tous les membres du comité les partagent. Les représentantes et représentants du ministère de la Santé et des Services sociaux et de la Conférence des régies régionales ont finalement reconnu la légitimité de ces préoccupations de même que le fait que ces dernières pouvaient avoir un impact sur le processus évaluatif. Les groupes communautaires, dans leur région respective, auront à refaire ce même débat avec leur régie régionale.

 

3.2 Le contenu ou le choix du modèle d'évaluation

Nous avions à proposer un modèle d'évaluation basé sur les valeurs mises de l'avant par le mouvement communautaire, valeurs nommées différemment par les organismes mais qu'on peut résumer ainsi :

- primauté de la personne; prise en considération du contexte social, culturel, politique et économique qui amène à remettre en cause la structure même des rapports sociaux de domination et de marginalisation; proposition de nouvelles valeurs fondées sur le droit à l'autonomie, à la différence, à l'ouverture aux autres, à l'entraide et à la solidarité;

- participation et démocratie; ce qui implique le partage du pouvoir dans l'organisation des ressources;

- conception différente de l'expertise d'où remise en cause du rôle traditionnel de l'intervenant ou intervenante.

Comment traduire ces valeurs dans un modèle d'évaluation? Cette interrogation nous a permis de comprendre que « quand on parle d'évaluation on parle aussi d'une conception de la science, d'une conception de la société, d'une conception de la personne et d'une conception de l'intervention ». (RRASMQ, 1991) L'évaluation n'est donc pas cette technique « neutre » que les fonctionnaires veulent nous vendre en prétendant qu'elle est « scientifique ». La rigueur exige une approche davantage critique de la science elle-même et une compréhension de l'évolution historique de la notion d'évaluation.

« (...) Nous sommes à la recherche d'une science avec conscience. Les sciences humaines n'ont pas conscience des caractères physiques et biologiques des phénomènes humains. Les sciences naturelles n'ont pas conscience de leur inscription dans une culture, une société, une histoire. Les sciences n'ont pas conscience de leur rôle dans la société. Les sciences n'ont pas conscience des principes occultes qui commandent leurs élucidations. Les sciences n'ont pas conscience qu'il leur manque une conscience. Mais de partout naît le besoin d'une science avec conscience. Il est temps de prendre conscience de la complexité. Il est temps de prendre conscience qu'une science privée de réflexion et qu'une philosophie purement spéculative sont insuffisantes. Conscience sans science et science sans conscience sont mutilées et mutilantes. » (Morin, 1982)

Au comité ministériel nous avons donc rejeté des modèles d'évaluation inspirés de la seule méthode expérimentale issue des sciences de la nature « où les individus sont étudiés et regardés à travers le "microscope" du scientifique qui repère et définit lui-même les problèmes à investiguer et dont il se fera l'observateur objectif (...). Les sujets de l'enquête ne participent qu'en fournissant des informations; ils n'ont qu'un faible écho des résultats ». (Rodriguez, 1991; Gauthier, 1984)

Nous avons plutôt défendu et obtenu que l'évaluation soit essentiellement un processus de négociation entre les acteurs concernés. Cette conception est basée sur des modèles théoriques (Potvin, 1990; Perez Gomez, 1983; Nadeau, 1984) « plus flexibles, impliquant des méthodes de cueillette de données multiples (quantitatives et qualitatives) et caractérisées par les aspects suivants :

- l'évaluation prend en considération les acteurs impliqués dans le processus;

- l'évaluation est dirigée vers l'utilisation des résultats : elle vise l'amélioration de l'action;

- l'évaluation tient compte des aspects contextuels et changeants dans lesquels les pratiques sont insérées, de même que des aspects politiques et idéologiques des différents acteurs impliqués dans le processus;

- l'évaluation prend en considération les résultats non prévus et non quantifiables à travers une planification progressive et flexible du processus d'évaluation. »

À partir du moment où les membres du comité ministériel se sont entendus sur ce choix du modèle d'évaluation, il devenait possible de mettre de l'avant, au sein de la négociation, les principes communs suivants :

Reconnaître...

- Que l'évaluation est un processus qui implique une négociation devant servir les intérêts des clientèles. À cet effet, les partenaires doivent s'entendre clairement sur les objectifs qu'ils poursuivent ensemble à l'intérieur de la démarche évaluative.

- Le respect de l'autonomie des parties : l'une étant chargée de la politique et de l'attribution des fonds en matière de santé et de services sociaux, l'autre étant reconnue comme étant des organismes autonomes définissant librement leurs orientations, leurs politiques et leurs approches (L.R.Q. chapitre S-4.2, art. 335).

- Que la responsabilité du ministère envers la population et l'imputation des fonds publics autorise le bailleur de fonds à procéder à des évaluations concernant les organismes qu'il finance.

- Que les organismes communautaires doivent rendre compte des fonds publics qu'ils reçoivent, en lien avec les activités qu'ils dispensent.

- L'imputabilité du conseil d'administration selon laquelle il présente à ses membres, sur une base annuelle, un rapport de ses activités et un bilan financier. Le conseil d'administration est aussi responsable de l'évaluation des activités de l'organisme. Cette évaluation demeure toutefois interne à l'organisme.

- Que toute démarche évaluative auprès des organismes doit tenir compte de la particularité et de l'originalité de leur pratique, du potentiel comme des limites de leurs ressources.

- Que le ministère ne vise pas à remplacer le travail des institutions de son réseau par celui des organismes communautaires, pas plus qu'il ne cherche à demander aux institutions de son réseau d'exercer des rôles qui relèvent des organismes communautaires.

- Que les organismes communautaires et les établissements du réseau public peuvent appuyer le développement de leur partenariat, selon les besoins, par des gestes concrets de collaboration et de concertation librement consentis.

- Que les pratiques, les approches et les moyens pris par l'une ou par l'autre des parties pour desservir une même clientèle peuvent être ou sont généralement différents, quoique toujours subordonnés à la recherche du bien-être des personnes.

- Que toute démarche évaluative exige des ressources humaines et matérielles que les organismes communautaires ne possèdent pas nécessairement à l'heure actuelle. D'où la préoccupation de développer des processus d'évaluation qui soient souples et simples et de dégager, à cette fin et selon les besoins, des ressources humaines et financières. Il est à préciser que, compte tenu des coûts engendrés par de telles démarches, il n'est aucunement question de procéder à des évaluations coûteuses mais bien de déterminer des dimensions prioritaires pouvant faire l'objet d'évaluation et selon des moyens modestes.

Ces principes sous-jacents à l'évaluation sont indissociables les uns des autres. Ils vont contribuer à repérer un certain nombre d'indicateurs utiles aux démarches évaluatives des organismes communautaires.

L'évaluation conçue comme négociation suppose que les acteurs concernés débattent et décident du pourquoi, du quoi, du comment et du par qui évaluer. Le document ministériel est limpide sur l'ensemble de ces questions. Il appartient aux groupes communautaires d'utiliser l'espace politique ainsi créé.

Je voudrais par ailleurs insister sur un aspect majeur de cette négociation que nous avons appelé la bataille des indicateurs pour reprendre une expression utilisée par Céline Mercier :

« (...) toute évaluation vise à porter un jugement sur un organisme ou un ensemble d'organismes (...). Ce jugement doit se faire à partir de critères et d'indicateurs dont on s'assure qu'ils sont connus et acceptés des acteurs concernés. Mais souvent il n'en est rien : les principaux concernés ne savent pas à partir de quoi ils seront jugés. Aussi l'élaboration de critères et d'indicateurs d'évaluation explicites est-elle une étape cruciale de la démarche évaluative. » (Comité ministériel, 1995 : 56)

On pourrait donner plusieurs exemples montrant l'importance de rendre les indicateurs explicites, transparents et connus de tous les acteurs :

- l'efficacité du travail avec des femmes dites déprimées sera mesurée très différemment par un médecin convaincu que la dépression est d'origine exclusivement biologique et par un centre de femmes axé davantage sur les conditions de vie : dans un cas, on insistera sur la prise d'antidépresseurs comme indicateur et dans l'autre sur le refus d'en prendre et sur des pratiques d'entraide entre femmes;

- travailler avec des personnes psychiatrisées suppose un énorme investissement de temps. Or le temps est un indicateur qu'il faut absolument préciser. Pour certains fonctionnaires, il faut limiter le temps; pour nous, il faut l'investir. Cela a une incidence sur le nombre de personnes qui fréquentent les groupes, sur le temps qu'ils y demeurent, etc.

 

4. DÉFIS ÉTHIQUES POSÉS À L'ÉTAT PAR CETTE CONCEPTION DE L'ÉVALUATION

 

En mettant de l'avant cette conception de l'évaluation, le mouvement communautaire oblige l'État à relever un certain nombre de défis :

- le respect de l'autonomie du mouvement communautaire;

- l'évaluation comme remise en cause du système;

- la démystification de l'évaluation;

- l'évaluation comme remise en cause de l'approche économiste.

Ces défis éthiques relèvent de ce qui se situe en dehors de la normativité imposée par l'État et au nom de la raison d'État, en dehors de valeurs soi-disant universelles dont l'État serait le dépositaire et en dehors des pratiques bureaucratisées de gestion du social. Ces défis relèvent bien davantage d'une conception de l'éthique comme controverse publique :

« Plutôt qu'un symptôme de crise que viendrait résorber l'apport propre d'une éthique, la controverse constitue la forme privilégiée, la voie constitutive de la démarche éthique. Celle-ci est de part en part de nature sociopolitique. Cette démarche tient à des conditions minimales qui sont d'ordre politique et qui se nouent dans la construction et la circulation de l'information. » (Limoges, 1993)

 

4.1 Le respect de l'autonomie du mouvement communautaire

Le principal défi pour l'État consiste à reconnaître que les organismes communautaires constituent, au sein de la société québécoise, un mouvement social autonome d'intérêt public. L'État doit s'engager à respecter et à promouvoir cette autonomie non par complaisance, ni pour acheter la paix, ni par souci d'économie, mais parce que cette autonomie est source de controverse, d'opposition, de façons « autres » de comprendre et d'agir sur le social; parce que le mouvement communautaire constitue un des agents de transformation sociale au sein de la société civile et partant, un lieu d'élargissement et d'approfondissement de l'espace démocratique.

 

4.2 L'évaluation comme remise en cause du système

Un autre défi, tout aussi troublant pour l'État, consiste à concevoir l'évaluation comme un processus de négociation avec de nouveaux acteurs dont les organismes communautaires. Ce qui risque de provoquer une remise en question du système lui-même. Cette fonction novatrice de l'évaluation exige que l'on précise la notion de résultat ainsi que le processus de choix des indicateurs.

 

4.3 La démystification de l'évaluation

Un troisième défi consiste à démystifier le caractère soi-disant « neutre » de l'évaluation en tant que science.

« Avant d'être un exercice scientifique, l'évaluation est un échange entre partenaires d'une communauté, un partage forcé où se négocie l'accès à l'information. » (Potvin, 1990)

L'évaluation n'appartient pas seulement aux experts. Elle doit être considérée comme une activité sur laquelle la collectivité ou les communautés particulières ont des droits démocratiques à exercer et des responsabilités à prendre. On doit considérer que les acteurs concernés &endash; ici les organismes communautaires et bénévoles &endash; possèdent un savoir qui doit être respecté et qui amène à remettre en question certaines idées reçues concernant et les problématiques sociales et l'évaluation.

 

4.4 L'évaluation comme remise en cause de l'approche économiste

« (...) Selon les définitions officielles, l'évaluation vise à apprécier si une action publique atteint les objectifs qui lui ont été fixés. Cependant, par-delà cette conception instrumentale et "directoriale" qui s'intègre dans une stratégie de rationalisation de la gestion publique, on peut donner à l'évaluation une signification plus générale et plus ambitieuse. Le terme contient d'ailleurs le mot "valeur" : l'objet de l'évaluation est bien en effet d'objectiver la valeur de certaines activités et ressources par d'autres voies que la mise en relation d'une offre et d'une demande. Il s'agit d'identifier les résultats d'une action publique, si possible de les mesurer et, en tout état de cause, de porter un jugement sur leur contribution au bien-être de la collectivité. (...) L'évaluation peut contribuer à "rendre visibles" certaines valeurs d'usage qui n'ont pas vocation à être monétarisées. C'est d'autant plus nécessaire que nos sociétés modernes se caractérisent par l'importance prise par des valeurs d'usage qui ne sont pas des valeurs d'échange, soit parce qu'elles utilisent des ressources non renouvelables (le temps, la qualité de l'eau, de l'air), soit parce qu'il s'agit de biens collectifs (la sécurité), soit à cause de leur caractère personnel (l'intérêt du travail). Le défi auquel tente de répondre l'évaluation est bel et bien celui d'un élargissement des formes de rationalité collective, par-delà la seule rationalité économique. » (Roustang et al., 1996 : 153-155)

 

5. CONCLUSION

L'expérience actuelle de négociation entre l'État et le mouvement communautaire impliqué dans le sociosanitaire en ce qui concerne l'évaluation suppose de profondes transformations dans la conception même du partenariat. En effet, la mise en place d'un véritable partenariat exige la reconnaissance de la nature et de la mission propres aux organismes communautaires, l'adaptation de mécanismes de négociation aux caractéristiques de ces organismes et la transparence dans les négociations. Le partenariat suppose également que le ministère et les régies régionales reconnaissent ce fait, incontournable, que le mouvement communautaire a et continuera de développer des positions qui ne rencontrent pas nécessairement celles de l'État. (TRPOCB, 1993)

 

Lorraine Guay

Regroupement des ressources alternatives en santé mentale du Québec

Bibliographie :

COMITÉ MINISTÉRIEL SUR L'ÉVALUATION DES ORGANISMES COMMUNAUTAIRES ET BÉNÉVOLES (1995) Une évaluation respectueuse des organismes communautaires et bénévoles implique un processus de négociation. Version non officielle, Mars 1995.

CORIN, E. (1995) Enjeux et défis reliés à l'intégration des acteurs dans la recherche évaluative. Exposé donné au Colloque du CQRS dans le cadre du Congrès de l'ACFAS à Chicoutimi.

GAUTHIER, B. (1984) « La recherche-action » dans Recherche sociale. De la problématique à la collecte des données. Université du Québec. Québec.

GUAY, L. (1993) La réforme de la santé et des services sociaux et l'évaluation des organismes communautaires et bénévoles : les paradoxes du partenariat. Exposé donné à l'Université du Québec à Hull.

LESEMANN, F., LAMOUREUX, J. (1987) Les filières d'action sociale. Rapport de recherche produit dans le cadre de la commission d'enquête sur le système de santé et de services sociaux. École de service social. Université de Montréal.

LÉGARÉ, J., DEMERS, A. (dir.) (1993) L'évaluation sociale : savoirs, éthique, méthodes. Actes du 59e congrès de l'ACSALF. Éditions du Méridien, Québec.

LIMOGES, C. (1993) « Éthique et technologie : une demande ambiguë », dans L'évaluation sociale : savoirs, éthique, méthodes. Actes du 59e Congrès de l'ACSALF, Éditions du Méridien, Québec.

MELUCCI, A. (1993) « Vie quotidienne, besoins individuels et action volontaire », Sociologie et société, Vol. XXV no 1.

MORIN, E. (1982) Science avec conscience, Arthème Fayard, Paris.

POTVIN, N. (1990) L'évaluation de programme en santé communautaire : une question de négociation.

RODRIGUEZ, L. (1991) A propos de l'évaluation ou Pour une évaluation respectueuses des ressources alternatives en santé mentale. Regroupement des ressources alternatives en santé mentale du Québec, Montréal.

ROUSTANG, G., LAVILLE, J-L., EME, B., MOTHÉ, D., PERRET, B. (1996) Vers un nouveau contrat social. Desclée de Brouwer, Paris.

SECRÉTARIAT À L'ACTION COMMUNAUTAIRE AUTONOME (SACA) (1996) Recommandation d'ensemble pour la reconnaissance et le financement de l'action communautaire autonome. Position adoptée par les représentant-es des organismes membres du Comité aviseur du SACA lors de la rencontre nationale les 14 et 15 novembre 1996.

TABLE DES REGROUPEMENTS PROVINCIAUX D'ORGANISMES COMMUNAUTAIRES ET BÉNÉVOLES (1993) Pour un projet de société alternatif, communautaire et féministe.

TABLE DES REGROUPEMENTS PROVINCIAUX D'ORGANISMES COMMUNAUTAIRES ET BÉNÉVOLES ET COALITION DES TROC (secteur de la santé et des services sociaux) (1997) Cadre de référence des organismes communautaires et bénévoles sur une politique de reconnaissance des organismes communautaires autonomes. Adopté lors de la rencontre nationale de février 1997.

PARTIE 1.2 : LES DÉMARCHES

 

COMMENT FAIRE DE L'ÉVALUATION UN OUTIL STRATÉGIQUE DE RENFORCEMENT DE L'AUTONOMIE DU COMMUNAUTAIRE.

 

Le mouvement communautaire a, via le Comité ministériel sur l'évaluation, négocié avec le ministère de la Santé et des Services sociaux et les régies régionales les principes et les orientations d'une évaluation respectueuse du communautaire.

Cette négociation a donné lieu à un protocole d'entente sur l'évaluation en novembre 1996.

Le 16 juillet 1996, le ministre de la Santé et des Services sociaux donnait suite :

« ...en demandant aux régies régionales de veiller à son application dans le cadre, éventuel-lement, d'ententes de partenariat régionales accompagnées de mesures évaluatives de façon à expérimenter les balises soumises dans ce rapport. »

Il est donc faux de prétendre que ce document est un guide parmi tant d'autres car le ministre impose aux régies régionales d'expérimenter les balises soumises dans ce rapport.

À l'intérieur de ce protocole d'entente sur l'évaluation, nous retrouvons certains éléments relatifs aux principes de l'évaluation :

- reconnaissant que le communautaire requiert un modèle d'évaluation particulier et différent du réseau de la santé et des services sociaux;

- reconnaissant que l'évaluation des organismes communautaires et bénévoles sera un processus négocié par les partenaires concernés;

relatifs aux buts de l'évaluation :

- servir les intérêts des usagers;

- contribuer à la formation et au développement des organismes communautaires;

relatifs aux objets de l'évaluation :

- certains objets ont été retenus, d'autres on été exclus.

 

OBJETS D'ÉVALUATION RETENUS ET EXCLUS POUR LES DIFFÉRENTS VOLETS DE LA FONCTION ÉVALUATIVE

 

Volet : Contrôle de gestion et évaluation

Retenus

Efficacité

Efficience

Impact

Qualité des services

Satisfaction des utilisateurs

Implantation dans la communauté (aspects retenus)

Structure légale

Fonctionnement démocratique

Exclus

Mission et pertinence de l'organisme

Modèles d'intervention ou de pratiques

Structure et organisation interne (profil des intervenants)

Satisfaction des travailleurs et des bénévoles

Implantation dans la communauté (aspects exclus)

Complémentarité

Réponse aux besoins non entérinés par les organismes communautaires

 

Les indicateurs choisis font l'objet d'une négociation entre les parties.

 

Volet : Recherche évaluative

Les objets d'évaluation ainsi que les indicateurs font l'objet d'une négociation entre les parties en tenant compte de la raison d'être de la recherche évaluative.

Parmi les objets retenus : la qualité des services, la satisfaction des utilisateurs et le fonctionnement démocratique sont parmi les éléments importants.

Je désire ici attirer davantage votre attention sur les éléments qui sont exclus.

Puisque le communautaire est issu de la communauté et non d'une volonté gouvernementale ou d'un programme ministériel, la mission et la pertinence de l'organisme doivent être totalement exclues des objets d'évaluation. Il en va de même pour les modèles d'intervention ou de pratique et la structure de l'organisation interne, dont le profil des intervenantes et intervenants.

Il ne faut pas non plus que les organismes communautaires existent pour répondre à des besoins qui ne sont pas entérinés par les organismes communautaires eux-mêmes. Les organismes qui répondent à des besoins autres que ceux de la communauté doivent être alors considérés comme des organismes privés sans but lucratif .

Certains aspects peuvent être inclus dans l'évaluation de l'implantation dans la communauté; d'autres doivent être exclus. Parmi ceux qui doivent être retenus citons la collaboration librement consentie de certains organismes communautaires avec, soit le réseau de la santé, soit d'autres organismes privés ou communautaires de la région. Ce qui doit être totalement exclu, c'est par exemple, l'obligation pour un organisme communautaire de travailler en collaboration avec un CLSC pour obtenir son finan-cement.

Il s'agit bien évidemment ici d'une évaluation du type « contrôle de gestion », évaluation que nous subissons déjà depuis plusieurs années. En effet, nous devons demander des subventions, nous devons déposer un rapport annuel et répondre à l'ensemble des questions contenues dans les conditions d'admissibilité au programme Soutien aux organismes communautaires (SOC).

Pour ce qui est de la recherche évaluative, le comité n'a pas jugé bon de retenir quelque exclusion que ce soit. Les objets d'évaluation ainsi que les indicateurs choisis devront par contre faire l'objet d'une négociation entre les parties en tenant compte des raisons d'être de la recherche évaluative.

Tous ces éléments doivent donc être négociés, car pour obtenir la réponse désirée il faut poser la question pertinente. Il pourrait y avoir manipulation de l'évaluation en posant une question « tordue » pour obtenir une réponse désirée. Dans le cas où les indicateurs et les objets seront négociés, nous limitons au minimum la possibilité d'une manipulation de l'information et de l'évaluation.

Il faut donc être extrêmement vigilants quant aux objets et aux indicateurs, que ce soit dans le contrôle de gestion ou dans la recherche évaluative. Ils deviennent alors des outils stratégiques pour renforcer l'autonomie du communautaire au lieu de devenir un moyen d'intégration au réseau de la santé et des services sociaux, ce qui ne serait ni favorable au communautaire, ni favorable d'ailleurs au réseau de la santé et des services sociaux.

La Table des regroupements provinciaux d'organismes communautaires et bénévoles, en collaboration avec le Service aux collectivités de l'UQAM et le Centre de formation populaire, s'est donné des outils stratégiques pour renforcer l'autonomie du communautaire :

- une formation en évaluation participative :

- de la vie interne d'un organisme communautaire et

- de l'impact d'un organisme communautaire dans la collectivité;- la production d'un guide d'évaluation participative;

- une formation sur la négociation car l'évaluation respectueuse des organismes communautaires et bénévoles implique un processus de négociation.

Voici donc un ensemble d'outils qui nous permettra de faire de l'évaluation un outil stratégique de renforcement de l'autonomie du communautaire.

 

André J. Tanguay

Table des regroupements provinciaux d'organismes communautaires et bénévoles

 


 

PARTIE 2 :L'APPROPRIATION DU DOSSIER DE L'ÉVALUATION PAR LES

TABLES RÉGIONALES

 

 

PARTIE 2.1 : L'EXPÉRIENCE DES LAURENTIDES

 

Le mandat d'évaluation à la régie régionale des Laurentides sur la fonction évaluation, porte sur :

- le Plan stratégique de transformation du système de santé et des services sociaux, 1995-1998;

- les Plans d'organisation des services ou les plans de services assimilables à de tels plans d'organisation (PROS Jeunesse, Plan d'action en santé publique, etc.);

- le Plan d'action régional pour l'amélioration de la santé et du bien-être.

 

ÉTAPE 1 : Proposition de la régie régionale au Regroupement des organismes communautaires des Laurentides (ROCL) d'un plan d'action pour amorcer un processus évaluatif participatif et respectueux des organismes communautaires.

ÉTAPE 2 :Approbation par le ROCL et, à la régie, par la direction des programmes Adaptation sociale et santé mentale

ÉTAPE 3 :Acceptation par la direction générale

ÉTAPE 4 : Actualisation en 1997-98 et en 1998-99

 

COMITÉ AVISEUR :

3 représentantes et représentants de la régie régionale :

- coordonnateur de l'équipe évaluation;

- conseillère aux organismes communautaires;

- agent de recherche de l'équipe évaluation;

6 représentantes et représentants du communautaire :

1 par regroupement par problématique;

1 du ROCL;

1 personne-ressource du communautaire.

 

Proposition de mandat pour le comité aviseur :

Développer un plan d'évaluation participatif et respectueux des organismes communautaires des Laurentides :

- veiller à la bonne marche du processus d'évaluation;

- formuler une définition conjointe du « pourquoi », « quoi », « comment »;

- voir à l'instauration et au maintien du partenariat et du processus de négociation entre les partenaires;

- recruter et sélectionner les organismes communautaires intéressés;

- s'assurer que le cadre de référence soit respecté dans les évaluations négociées.

 

ÉCHÉANCIER

Établir un cadre de référence général. sept. - oct. 97

Développer un plan d'évaluation nov. - déc. 97

Élaborer des critères de sélection et sélectionner des organismes communautaires intéressés déc. 97

Sélectionner des organismes et négocier un protocole janv. - fév. 97

Présenter les résultats du processus de négociation mars 97

Débuter les évaluations avril 98

 

BUDGET

Pour les organismes communautaires :

Honoraires :

par rencontre + 1/2 jour de préparation

par personne à 15 $ / heure

personne-ressource :par rencontre + 1/2 jour de préparation à 220 $ / jour

 

Déplacements : 0,34 $ / km

 

Frais divers:t éléphone,etc.

 

Lise Nantel

Regroupement des organismes communautaires des Laurentides

 

 

PARTIE 2.2 : L'EXPÉRIENCE DE LA MONTÉRÉGIE

 

D'entrée de jeu, je dois avouer que l'évaluation ne pesait pas lourd dans mes préoccupations lors de mon arrivée à la TROC-M, il y a deux mois. Mais après une première rencontre avec le directeur de la régie régionale de la Montérégie, l'évaluation a pris un tout autre sens... Le dossier a rapidement remonté la pile! En fait, par l'entremise de l'évaluation, on passe en revue un tas de questions fondamentales dans la dynamique des groupes communautaires.

Afin de vous faire comprendre mon intérêt soudain pour ce dossier, voici à quoi ressemblait mon premier contact avec le directeur de la régie. Il s'agissait d'une rencontre publique sur les prévisions budgétaires devant une soixantaine de personnes. À un moment donné, le communautaire arrive sur le tapis. Imaginez la scène : l'homme est debout, le bras levé et feint le signe de piastre. Il parle d'un ton ferme : « Quand je signe un chèque à un groupe, je veux savoir ce qui se passe avec l'argent. C'est une simple question d'imputabilité et de bonne gestion des fonds publics ». Ce fut un choc... Après cela, on ne devra pas s'étonner de nous voir frileux face à l'évaluation!

La poussée de fièvre des régies pour l'évaluation des groupes se fait dans un contexte précis : celui du retrait accéléré du gouvernement des services publics. En ce sens, l'évaluation des groupes et la transformation du réseau de la santé et des services sociaux sont étroitement liées. On semble vouloir faire du communautaire l'extension bon marché du réseau. Et pour cela, une certaine mainmise - l'évaluation - est nécessaire. L'enjeu politique de l'évaluation loge certainement à cette adresse. Mais la volonté du mouvement communautaire de ne pas devenir un sous-traitant du gouvernement est très claire. En ce sens, l'évaluation pose directement la question de l'autonomie des groupes et du respect de leur mission.

Quand on nous parle d'évaluation pour le communautaire, le sourire nous vient rapidement en pensant aux traitements de faveur dont profitent les établissements dans le réseau. A-t-on déjà entendu parler d'une évaluation sérieuse de la qualité des soins, des choix médicaux et des traitements donnés dans les établissements? Quand y aura-t-il un examen des pratiques en santé mentale, par exemple? Pourtant, ce sont bien les établissements et les médecins qui reçoivent la quasi-totalité des finances publiques accordées aux soins de santé.

La volonté des régies de s'immiscer dans les affaires des groupes ne fait pas de doute, mais le chemin qu'elles entendent prendre est moins évident. On peut déjà voir que les notions d'évaluation sont de plus en plus présentes dans la littérature et dans les relations entre la régie et le communautaire. On vante le défi « qualité-performance » et l'évaluation y est directement reliée.

En Montérégie, la nouvelle politique pour les mécanismes d'accès aux places d'hébergement mentionne que « Les concepts de pertinence, d'efficacité et d'efficience doivent s'avérer concrets, mesurables et mesurés ». (Cadre de référence des mécanismes d'accès, Régie régionale de la Santé et des services sociaux - Montérégie, janvier 1997 : 3). La régie prend soin de préciser que l'efficience consiste à obtenir un meilleur résultat pour un coût donné ou un meilleur coût pour un résultat équivalent... Arrêtez, la cour est pleine!

Dans le quotidien, qu'est-ce que tout cela implique? Par exemple : dans un centre, une intervenante peut passer une journée pour faire le point avec une femme et arriver à la conclusion qu'elle devra s'inscrire à l'aide sociale pour ne plus dépendre de son mari. Un autre exemple : un intervenant peut passer plusieurs heures à discuter du rôle de l'autorité parentale dans une maison de jeunes. Dans ces cas, atteint-on le défi qualité-performance? Est-on suffisamment efficient pour la régie? Il ne fait pas de doute que l'évaluation peut avoir un impact sur les méthodes d'intervention et le choix des pratiques.

Les groupes sont habitués à fournir une panoplie de renseignements et d'engagements aux différents bailleurs de fonds (états financiers, rapport annuel d'activités, composition du conseil d'administration, charte, tenue d'une assemblée d'information publique, etc.). Certains bailleurs y vont aussi de visites ponctuelles. Les régies semblent maintenant vouloir en ajouter...

Dans le communautaire, l'évaluation est une démarche continue qui s'exerce dans les nombreuses réunions de conseils d'administrations, de représentantes et représentants et d'assemblées générales. Les ressources ne sont pas là pour permettre de mesurer l'efficience de chacune des cents dépensées et pour accumuler statistiques sur statistiques. Au delà des différences d'appréciation sur les services que l'on rend, l'évaluation de la performance du communautaire sera toujours confrontée au sous-financement chronique des groupes... La bataille de l'évaluation va de pair avec celle du financement. On n'en sort pas!

Les groupes ont besoin de développer leur expertise sur l'évaluation et leur rapport avec les régies (évaluation des activités et des projets, négociation, gestion de crise, etc.). S'il n'est pas rare de voir des fonctionnaires à l'oeuvre dans les groupes pour évaluer des projets et gérer des crises, le tout est encore soumis à l'arbitraire des personnes en poste.

On ne peut que souhaiter le développement d'une meilleure capacité des groupes à travailler avec rigueur. En ce sens, l'évaluation peut se révéler un outil de développement positif. Mais l'évaluation conjointe avec les régies est un couteau à double tranchant : il faut s'assurer que l'outil ne se retourne pas contre nous.

En Montérégie, un comité paritaire est à rédiger un cadre de référence pour l'ensemble des relations entre le communautaire et la régie. L'évaluation en fait partie. Nous espérons pouvoir tirer notre épingle du jeu!

L'évaluation soulève actuellement plus de questions que de réponses. Mais le sujet est clairement à l'ordre du jour et il nous revient de faire de l'évaluation un outil stratégique de renforcement du communautaire. Les groupes communautaires ont toujours su relever les défis!

Merci!

Bertrand Loiselle

coordonnateur

Table régionale des organismes communautaires et bénévoles de la Montérégie (TROC-M)

 

PARTIE 2.3 : SYNTHÈSE DES EXPÉRIENCES RÉGIONALES

 

Le processus d'évaluation des services de santé et des services sociaux par les régies régionales ne semble pas être encore bien engagé. À en juger du moins à partir des témoignages recueillis à la journée-colloque du 2 mai 1997. On sait que le MSSS a confié aux régies régionales le mandat d'expérimenter le protocole d'entente relatif à l'évaluation en mode partenarial des organismes communautaires. Deux régions paraissent plus avancées sur cette voie, la Montérégie et les Laurentides.

 

LA RÉGION DE LA MONTÉRÉGIE

Préparatifs à la régie régionale

On y vit comme dans un climat de préévaluation; la régie manifeste clairement son intention d'accélérer le processus : 1% du budget de fonctionnement est alloué à la formation en évaluation; la régie a invité les organismes communautaires à former un comité qui discutera avec elle, en leur nom, les modalités d'application du protocole d'entente sur l'évaluation. Elle a rédigé, sans consultation du partenaire communautaire, un questionnaire sur le travail des organismes de base, prétendant, pour justifier son geste unilatéral, qu'elle a le devoir d'agir en bon gestionnaire des fonds publics. Elle prépare aussi un projet pilote dit de capitation, qui consiste à distribuer des coupons de santé que leurs bénéficiaires pourront utiliser pour acheter, où ils le veulent, les services de santé dont ils estiment avoir besoin. Serait-ce une manière de privatiser en douce les services de santé? se demande-t-on.

 

Mobilisation dans les organismes communautaires

De leur côté, les organismes communautaires de la région ont commencé à se mobiliser et à se préparer pour l'évaluation.

En février 1997, une synthèse du document ministériel sur l'évaluation des organismes communautaires et bénévoles a été préparée et présentée par Chantal Dussault de Maison Vivre.

Le 13 mars 1997, l'Association des alternatives en santé mentale de la Montérégie a organisé une journée thématique sur l'évaluation avec les objectifs suivants :

- sensibiliser les groupes membres sur les enjeux de l'évaluation;

- informer sur les objectifs de l'évaluation et sur les objets d'évaluation retenus par le Comité ministériel d'évaluation;

- entreprendre une réflexion collective sur toutes ces questions d'évaluation (enjeux, objectifs, objets, indicateurs);

- recenser les outils de cueillette de données utilisés par les organismes de base et les aider à s'en trouver d'autres.

Question à débattre lancée par la personne-ressource :

Quand les régies proposent des processus d'évaluation, ne serait-il pas bon de s'entendre pour faire appel à l'expertise développée par la Table des regroupements provinciaux d'organismes communautaires et bénévoles?

 

LA RÉGION DES LAURENTIDES

La région des Laurentides a été choisie comme région pilote pour l'expérimentation du processus d'évaluation appliqué aux organismes communautaires et balisé par le document ministériel sur l'évaluation.

La démarche

La régie régionale en a eu l'initiative; elle a soumis au Regroupement des organismes communautaires des Laurentides (ROCL) un plan d'action pour une évaluation conjointe des services offerts par les organismes communautaires en partenariat avec le réseau de la santé et des services sociaux.

Le ROCL a réagi à la proposition de la régie : il a approuvé le plan d'action, à l'instar de la Coordination des programmes Adaptation sociale et santé mentale.

Les organismes communautaires dont les activités seront évaluées en 1997-98 et en 1998-99 ne sont pas encore impliqués dans le processus de mise en place de la démarche d'évaluation participative.

Le cadre de participation

Un comité aviseur paritaire, composé de trois représentantes et représentants de la régie et de six du communautaire, a pour mission de préparer un plan d'évaluation participative respectueuse des organismes communautaires.

La négociation de l'évaluation se fera avec les organismes concernés. Il est possible pour les parties impliquées de faire appel pour la réalisation de l'évaluation à une personne-ressource extérieure.

Conditions financières

Les frais d'évaluation seront à la charge de la régie : des honoraires seront versés aux membres du comité et à la personne-ressource, calculés sur la base du temps de travail; les frais de déplacement seront remboursés et les frais divers assumés.

 

Franklin Midy

professeur au Département de sociologie de l'UQAM

 


 

PARTIE 3: LES PARTICIPANTES ET PARTICIPANTS AU COLLOQUE :

DÉBAT SUR L'ÉVALUATION,VUE COMME UN OUTIL DE RENFORCEMENT DU MOUVEMENT COMMUNAUTAIRE

 

 

PARTIE 3.1 : SYNTHÈSE DES DISCUSSIONS

 

Préliminaire

 

Rappelons que l'objectif immédiat de la journée-colloque du 2 mai était de faire le point sur le dossier de l'évaluation, d'amorcer également une réflexion collective sur l'idée de faire de l'évaluation un outil stratégique de renforcement de l'autonomie du communautaire.

Les témoignages lors cette journée ont révélé que le dossier de l'évaluation n'était pas largement connu de tous les groupes intéressés, qu'il n'était pas non plus en tête des préoccupations dans chacun des organismes communautaires et qu'il arrivait à peine sur le terrain de l'expérimentation dans les régies régionales. Aussi la journée a-t-elle plus été une occasion d'échanger informations et réflexions qu'un moment de débats organisés ou de discussions de points de vue contrastés, moins forum de discussion et plus occasion de sensibilisation mutuelle sur l'enjeu que représente l'évaluation pour le communautaire. Elle a plus servi à soulever des questions communes qu'à soutenir des options particulières.

 

Positions, questions, orientations

Ces remarques préliminaires étant faites, il convient maintenant de souligner les positions, les questions et les orientations qui ont marqué les réflexions collectives des participantes et des participants. Pour la clarté des échanges, on a pris soin au départ de distinguer deux réalités ou deux situations d'évaluation : l'évaluation de sa propre action par un organisme communautaire et l'évaluation de l'action communautaire par un organisme ou un partenaire extérieur. Ces deux réalités ou situations d'évaluation ne sont pas également et pareillement aptes à contribuer au renforcement de l'autonomie du communautaire.

 

1. L'évaluation de son action par soi-même, pour soi-même

 

« Faire de l'évaluation un outil stratégique de renforcement de l'autonomie du communautaire! » Cette idée n'a pas suscité de débat; c'était apparemment un principe admis, un objectif partagé. Les questions ont donc porté sur le comment faire :

« Comment opérationnaliser ce principe? » s'est-on demandé.

Éléments de réponse proposés :

Entreprendre l'évaluation sur nos propres bases, à partir de nos questions, en fonction de nos objectifs.

Nommer le communautaire, définir la culture du communautaire, préciser ses caractéristiques propres. Organiser dans ce but des journées de discussion ...

Agir de concert avec les groupes de base; ils ne se sont pas encore approprié les définitions propres, ni du communautaire, ni de l'évaluation participative. Il faut leur fournir tous les outils utiles qui puissent les aider à se les approprier.

Mais les gens et les groupes sont-ils maintenant capables de définir les caractéristiques du communautaire, de s'entendre sur une définition de la culture du communautaire? Dans quelle mesure l'évaluation pourrait-elle les aider à prendre conscience de ce qu'ils sont, de leur identité? Reste à trouver les stratégies appropriées qui puissent contribuer à cette prise de conscience commune de notre identité. Il n'est pas dit qu'on y arrivera facilement. Même, n'est-ce pas utopique de penser qu'on puisse y arriver avec tous les groupes?

Concrètement, « comment arriver à intégrer de façon opérationnelle l'évaluation formelle dans les pratiques des organismes communautaires »?

Cela ne va pas de soi, compte tenu à la fois de la pénurie des ressources dans les organismes communautaires et des exigences du travail d'évaluation formelle. Comment acquérir le savoir-faire méthodique requis par cette activité?

Mais il ne faut pas oublier qu'on ne part pas de rien. On pourra miser sur nos propres acquis et nos propres pratiques d'évaluation. Nous avons nos plans d'action, nos rapports d'activités, etc. Il faut savoir utiliser les outils d'évaluation que nous avons développés nous-mêmes. Nous avons aussi une pratique de bilan critique de nos activités : ce qui est pour nous important, c'est que l'évaluation nous aide à améliorer notre travail. Mais, comment faire la transition de nos pratiques informelles d'évaluation à une démarche formelle méthodique?

L'évaluation de l'action communautaire par les organismes communautaires est susceptible de renforcer le travail communautaire, son efficacité et sa qualité : l'évaluation formelle donne une vue critique de nos forces et de nos faiblesses, favorise une connaissance plus riche de notre action, permet la maîtrise de nos interventions. Les pratiques autonomes d'évaluation des organismes communautaires ne manqueront pas de renforcer l'autonomie du communautaire.

 

2. L'évaluation négociée à l'initiative de la régie régionale

Tout d'abord, faut-il négocier ou ne pas négocier l'évaluation? Il faudrait se montrer prudent sur ce terrain et dans ce processus où nous avons été entraînés, a-t-on fait remarquer. Et surtout entreprendre sur cette question une discussion avec les groupes de base. Ils ne sont pas tous bien informés sur les enjeux de cette démarche. Il faut éviter de se faire jouer l'un contre l'autre (l'un est performant, l'autre ne l'est pas). Il faut aussi éviter le morcellement de l'évaluation, du fait de la régionalisation.

À Montréal, par exemple, aucun groupe de base n'a reçu le document ministériel sur l'évaluation; ils sont peu informés sur l'ensemble du dossier. Il faudrait respecter le principe démocratique et faire diffuser préalablement ce document. La direction de programmation à la régie voudrait hâter le processus, mais le communautaire a son rythme propre. Il faut remarquer que c'est la direction de la santé publique qui va toute seule de l'avant avec le dossier de l'évaluation. Ne peut-on pas nous-mêmes choisir le moment de mise en branle du processus? Évaluer à notre rythme, quand nous en avons besoin, en fonction de nos objectifs propres d'amélioration : nous n'allons pas en évaluation parce que la régie le veut, mais parce que nous, on le peut.

La question n'est pas de savoir s'il faut ou non négocier. Oui, il le faut. C'est un principe acquis. Le processus est d'ailleurs déjà engagé et le document ministériel sur l'évaluation en est un résultat et une démonstration. Ce qui importe maintenant, c'est de négocier l'espace de la négociation. Il ne faudrait pas que l'évaluation négociée vienne à desservir les intérêts du communautaire.

Rappelons aussi qu'à Québec on s'est mis d'accord avec les régies à l'effet que le processus de l'évaluation dans les régions ne serait pas activé tant et aussi longtemps qu'il n'y aura pas une entente entre les partenaires sur la reconnaissance du communautaire.

Il faut également définir un cadre de négociation au niveau des regroupements régionaux. Bien beau, en principe! Le problème, c'est d'atterrir dans le concret. On peut toujours négocier des cadres bien intéressants. Mais qu'adviendra-t-il si les groupes à la base ne sont pas informés? C'est une utopie de penser que des cadres qui ne sont pas pris en mains puissent donner à eux seuls des résultats tangibles. Il faut préalablement informer, sensibiliser, permettre aux groupes de la base de s'approprier le dossier de l'évaluation.

Comment?

Diffuser parmi les membres le document ministériel sur l'évaluation. Le regroupement de la Montérégie a pris l'initiative d'organiser au cours de l'hiver 97 une journée de sensibilisation sur l'évaluation à l'intention des organismes de base. Un abrégé du document ministériel sur l'évaluation a été préparé pour cette activité d'information. Ne pourrait-il pas être diffusé auprès de tous les groupes de base?

Négocier aussi les moyens de réalisation en partenariat de l'évaluation demandée par les régies régionales. Il y a l'exemple de la région des Laurentides. Faut-il aller plus loin et définir des normes et des conventions générales? Cette question n'a pas été fouillée.

 

Quand sonna l'heure de la fin du colloque, les participantes et participants étaient restés apparemment sur leur faim : ils avaient encore des questions sans réponses. Et surtout aucune proposition d'action concertée n'a été formulée, discutée et adoptée. Avant de se quitter, on souhaita que d'autres rencontres semblables soient organisées, pour la mise au point, si possible, de stratégies communes pouvant aider les organismes communautaires à faire de l'évaluation un outil stratégique de renforcement de l'autonomie du communautaire.

 

Franklin Midy

professeur au Département de sociologie de l'UQAM

 

 

ANNEXE 1

 

Journée-colloque sur l'évaluation, 02 mai 1997

PROGRAMME

 

09h00 Inscriptions

09h30 Ouverture du colloque

Madame Marie-Andrée Coutu, coordonnatrice au Centre de formation populaire et animatrice du colloque

LA POSITION ET LES DÉMARCHES DE LA TABLE DES REGROUPEMENTS PROVINCIAUX D'ORGANISMES COMMUNAUTAIRES ET BÉNÉVOLES : DÉFINIR LE CADRE DE L'ÉVALUATION

09h45 Exposé

L'ÉVALUATION, UN OUTIL STRATÉGIQUE DE RENFORCEMENT DU COMMUNAUTAIRE

Madame Lorraine Guay, agente de formation au Regroupement des ressources alternatives en santé mentale du Québec

10h30 Exposé

LES ÉLÉMENTS-CLÉS DU DOCUMENT MINISTÉRIEL SUR L'ÉVALUATION

Monsieur André J. Tanguay, directeur de la Fédération des organismes bénévoles d'aide et de soutien aux toxicomanes du Québec

Monsieur Franklin Midy, professeur au Département de sociologie de l'UQAM

10h50 Pause

LES TABLES RÉGIONALES : S'APPROPRIER LE DOSSIER DE L'ÉVALUATION

11h00 Exposés

bExpériences régionales d'évaluation

12h00 Lunch libre

13h30 Synthèse des expériences régionales d'évaluation

Monsieur Franklin Midy

13h45 Débat

LES ENJEUX POLITIQUES DE L'ÉVALUATION DES ORGANISMES COMMUNAUTAIRES

Madame Marie-Andrée Coutu, animatrice

Monsieur Franklin Midy, personne-ressource

15h00 Pause

SYNTHÈSE DU DÉBAT ET CLÔTURE DU COLLOQUE

15h15 Synthèse des échanges

Monsieur Franklin Midy

15h30 Proposition d'un document de synthèse portant sur les enjeux politiques de l'évaluation des organismes communautaires

Monsieur André J. Tanguay

16h00 Clôture du colloque

 

ANNEXE 2

LISTE DES PARTICIPANTES ET DES PARTICIPANTS

 

 

Représentantes et représentants de la Table des regroupements provinciaux d'organismes communautaires et bénévoles

Aberman, Barbara Regroupement des équipes régionales Espace

Campeau, Brigitte Regroupement des maisons de jeunes du Québec

Charbonneau, Lucie Association québécoise de suicidologie

Deschamps, Carole Association québécoise des centres communautaires pour aîné-es

Dion, Manon Fédération des familles et amis de la personne atteinte de maladie mentale

Doucet, Joanne Regroupement des maisons de jeunes du Québec

Forest, Francine Fédération des associations de familles monoparentales et reconstituées du Québec

Gareau, Marie-Claude Fédération de ressources d'hébergement pour femmes violentées et en difficulté du Québec

Goulet, Luci Regroupement des équipes régionales Espace

Guay, Lorraine Regroupement des ressources alternatives en santé mentale du Québec

Lacharité, Berthe Regroupement des ressources alternatives en santé mentale du Québec

Lavoie, Gertrude Regroupement des cuisines collectives du Québec

Lévesque, Sylvie Fédération des associations de familles monoparentales et reconstituées du Québec

Proulx, Jean Table des regroupements provinciaux d'organismes communautaires et bénévoles

Raymond, Sylvaine Association québécoise de suicidologie

Riley, Pierre Fédération des centres d'action bénévole du Québec

Rodrigue, Robert Regroupement des maisons d'hébergement jeunesse du Québec

Tanguay, André Fédération des organismes communautaires et bénévoles d'aide et de soutien aux toxicomanes du Québec

Tardif, France Fédération du Québec pour le planning des naissances

Trottier, Sandra L'R des centres de femmes du Québec

 

Représentantes et représentants des Tables régionales d'organismes communautaires et bénévoles

Aumais, Denis Regroupement intersectoriel des organismes communautaires de Montréal

Boivin, Rachel Table régionale des organismes communautaires du Nord du Québec

Dionne, Michèle Regroupement des organismes communautaires de la région de Québec

Drolet, Marie Regroupement des organismes communautaires en santé mentale de Lanaudière

Guay, Daniel Regroupement des organismes communautaires de la région de Québec

Jolin, Élaine Corporation de développement communautaire de Laval

Kaltenback, Josée Regroupement des organismes communautaires de la Gaspésie-Îles-de-la-Madeleine

Lalonde, Marie Regroupement desorganismes communautaires de l'Outaouais

Legeault, Martin Mouvement action communautaire du Bas-Saint-Laurent

Loiselle, Bertrand Table régionale des organismes communautaires et bénévoles de la Montérégie

Nantel, Lise Regroupement des organismes communautaires des Laurentides

Nantel, Yves Regroupement des organismes communautaires des Laurentides

Plourde, Nadia Mouvement action communautaire du Bas-Saint-Laurent

Poissant, Céline Table de concertation régionale des associations de personnes handicapées de Lanaudière

Robitaille, Pierrette Regroupement des organismes communautaires de la Gaspésie, Îles-de-la-Madeleine

Roy, Bibiane Regroupement des organismes communautaires de l'Estrie

Saint-Hilaire, Geneviève Association des alternatives en santé mentale &endash; Montérégie

Tessier, Jacinthe Concertation régionale des organismes communautaires en Abitibi-Témiscamingue

Théorêt, Robert Regroupement intersectoriel des organismes communautaires de Montréal

 

Représentantes et représentants du Centre de formation populaire

Marie-Andrée Coutu

René Doré

Lise Gervais

 

Représentantes et représentants de l'Université du Québec à Montréal

Liliane Goulet

Franklin Midy

Carole Vanier

 

ANNEXE 3

Lettre du Ministre Rochon

 

Québec, le 16 juillet 1996

Monsieur André Tanguay
FOBAST
1244, chemin Ste-Foy
Québec (Québec)
G1S 2M4

 

Objet : Rapport du comité d'évaluation des organismes communautaires

 

Monsieur,

 

Il y a déjà plusieurs mois vous avez déposé au ministère de la Santé et des Services sociaux le rapport mentionné en titre. Ce document est le résultat de travaux menés par un comité mis sur pied en mai 1991. Ce comité regroupait non seulement des représentants de la Table des regroupements provinciaux d'organismes communautaires, mais aussi de la Conférence des régies régionales et du ministère de la Santé et des Services sociaux.

La lecture de ce rapport m'a donné l'occasion de mieux connaître les organismes communautaires, la place qu'ils revendiquent et leur vision du processus d'évaluation appliqué aux organismes communautaires.

Le dépôt de ce rapport me permet de réaffirmer la reconnaissance du Ministère à l'égard des organismes communautaires et la nécessité d'instaurer un partenariat davantage soutenu entre les organismes et l'ensemble du réseau de la santé et des services sociaux.

Je prends donc acte de ce rapport et j'y donne suite en demandant aux régies régionales de veiller à son application dans le cadre, éventuellement, d'ententes de partenariat régionales accompagnées de mesures évaluatives de façon à expérimenter les balises soumises dans ce rapport.

Je compte que les régies régionales me fassent rapport à ce sujet d'ici l'automne 1997, de façon à ce qu'il soit possible de statuer sur cette question à la lumière des expériences réalisées.

En terminant, je tiens à vous remercier pour le travail accompli et je compte sur votre collaboration dans la mise en oeuvre des suites de ce rapport.

Veuillez agréer, Monsieur, l'expression de mes sentiments les meilleurs.

 

Le Ministre,

Jean Rochon