Évaluation des initiatives de vulgarisation et d'information juridiques : bibliographie annotée
- 5.1 Défis relatifs à l'évaluation des initiatives de VIJ
- 5.2 Liens entre les buts et l'évaluation des initiatives de VIJ
- 5.3 Exigences du bailleur de fonds au chapitre de l'évaluation
- 5.4 Méthodes relatives à l'évaluation
- 5.5 Lacunes au chapitre de la recherche et des connaissances
5. Aperçu des conclusions
On ne peut prétendre que les résumés qui se trouvent à la présente section soient complets. À partir de tous les documents annotés, nous avons compilé diverses conclusions et observations sous les quatre thèmes qui sont régulièrement repris. Les questions énumérées sous chaque thème renvoient à des conclusions importantes, déterminées en fonction de la fréquence ou de la force de l'argument soutenu. À la fin, nous avons ajouté une cinquième catégorie, dans laquelle nous soulignons les lacunes qui existent dans les documents existants, pour ce qui est de la recherche et des connaissances.
5.1 Défis relatifs à l'évaluation des initiatives de VIJ
Après avoir passé les annotations en revue, il devrait sauter aux yeux qu'il reste de nombreux défis à relever au chapitre de l'évaluation des initiatives de VIJ. Ces défis comprennent notamment ce qui suit :
- Lorsqu'on cherche à obtenir une rétroaction de la part des intéressés, il faut couramment surmonter des obstacles linguistiques. Il faut compter avec ceux qui ne parlent pas la langue de la majorité mais aussi avec le « jargon des juristes », c'est-à-dire la terminologie complexe qui est employée pour faire comprendre des notions juridiques.
- Il n'existe aucune définition concise de la VIJ et il est souvent difficile de distinguer entre la prestation d'information et la prestation de conseils juridiques.
- Lorsque les coûts de l'examen ne posent pas de problème, il reste à savoir s'il est préférable d'avoir recours à un évaluateur interne ou à un évaluateur externe. D'une part, les fournisseurs de services de VIJ souhaitent qu'une évaluation externe soit menée parce que cette démarche serait plus objective. D'autre part, certains soutiennent qu'il faut qu'il y ait un lien avec le programme et la collectivité : cet élément de l'évaluation garantit qu'on tiendra compte du contexte, à partir duquel on peut examiner les avantages du projet.
- Lorsqu'on entreprend l'évaluation d'un programme, on doit faire face à deux difficultés : les coûts élevés qu'entraîne un examen externe par rapport à la « perte d'heures de travail » pour le personnel.
- Il est difficile de mesurer les buts énoncés (par exemple, lorsque le but du projet est de diffuser de l'information juridique, il n'est pas aisé de déterminer pourquoi ou comment le programme a échoué ni d'expliquer les raisons pour lesquelles on N'A PAS ATTEINT le groupe cible).
- On ne peut comparer les répercussions qui découlent de modes de prestation distincts (par exemple, comment comparer les effets d'une brochure à ceux d'un atelier de trois jours ?).
- Dans le cadre de certaines initiatives de VIJ, on tente de répondre aux besoins collectifs et chroniques de personnes à faible revenu, mais il peut être difficile de quantifier les répercussions de la mesure sur la collectivité. Comme tels, les buts qu'on cherche à atteindre constituent un défi lorsqu'il s'agit d'attester des résultats.
- Des différences de classe, de race ou de niveau social entre les évaluateurs, d'une part, et les clients, les élèves ou les participants, d'autre part, ont une influence sur la façon dont on perçoit les programmes et sur la manière dont on mesure le succès.
- Il n'existe pas de définition précise de l'évaluation et on n'arrive pas à s'entendre sur le sens de ce terme. Selon un auteur, l'évaluation est « un grand fourre-tout ». Outre les évaluations externes, on peut (et on devrait) considérer de nombreuses activités comme des formes d'évaluation légitimes. Voici quelques exemples : études comparées, pré-testage du matériel, évaluations par courrier-réponse, études des répercussions, études périodiques, formation en cours d'emploi, rapports annuels, analyse de la couverture par les média, examen des listes de distribution, rétroaction des populations cibles, étude des statistiques, compilation des statistiques, suivi mené auprès des clients et comptes rendus destinés au bailleur de fonds (voir Lane, 1984).
- Lorsque l'évaluation est faite principalement au moyen de commentaires verbaux (anecdotes et discussions), il peut être difficile de rendre compte par écrit des réactions et de refléter les véritables répercussions du programme.
- Le personnel et les avocats n'ont pas les compétences voulues pour procéder à une évaluation.
- Il n'est pas aisé d'évaluer des outils de VIJ comme les programmes dispensés sur Internet.
- Les enquêtes menées à la suite des programmes ne permettent pas de déterminer si l'information est assimilée ou appliquée.
- Il y a de multiples obstacles à franchir lorsqu'on cherche à déterminer si les activités de VIJ se chevauchent.
5.2 Liens entre les buts et l'évaluation des initiatives de VIJ
Les organisations, les écoles, les organismes et les gouvernements ont recours aux activités de VIJ pour atteindre une vaste gamme d'objectifs. Dans les documents étudiés, on propose de tenir compte de ces buts et objectifs lorsqu'on élabore des outils et des méthodes pour les fins de l'évaluation. Voici quelques conclusions connexes :
- On ne peut souligner suffisamment qu'il importe de définir l'objet de l'évaluation. Un fournisseur de services de VIJ formule la question en ces termes :
« Qu'essayons-nous de mesurer ? L'acquisition de connaissances au sujet de textes de loi précis ou le fait de prendre conscience d'un texte législatif, les effets de discussions cruciales et éclairées, une politique gouvernementale, l'acquisition de compétences au chapitre de l'auto-assistance, le degré d'habilitation au sein de collectivités locales, enfin, quoi au juste ? »
(Moliner, 1997, p. 43). - Les buts et les objectifs de l'évaluation doivent tenir compte des caractéristiques des populations cibles et des milieux d'apprentissage.
5.3 Exigences du bailleur de fonds au chapitre de l'évaluation
Il arrive souvent que le bailleur de fonds dirige l'évaluation ou demande qu'on procède à un examen, et ses objectifs, pour ce qui est d'obtenir et d'utiliser les résultats du rapport, ne sont pas nécessairement les mêmes que ceux du fournisseur de services. On peut donc soulever les points suivants au chapitre des objectifs du bailleur de fonds :
- Le bailleur de fonds doit « assumer la responsabilité » des projets de VIJ qu'il soutient, ce qui peut être réalisé s'il aide à produire une évaluation positive.
- Pour ce qui est de l'examen des répercussions, on ne doit pas se limiter à poser de simples questions (à jauger la satisfaction du client, par exemple) si on veut contribuer à améliorer la prestation des services. Parmi les éléments importants de toute évaluation, il y a la responsabilisation concernant la prestation des programmes proposés et l'approbation générale. Cependant, ces mesures ne nous renseignent pas suffisamment sur l'efficacité et la pertinence des initiatives (du point de vue de leur teneur et de leur présentation).
- Le bailleur de fonds peut saper les efforts déployés dans le cadre de la prestation des services de VIJ s'il interprète étroitement les buts et les réalisations en vue de justifier une réduction du financement.
- Lorsque les activités de VIJ sont liées aux services offerts par les bureaux d'aide juridique (comme c'est le cas en C.-B. et en Ontario), il est plus probable que l'évaluation serve à éliminer un programme, puisque les restrictions budgétaires et les modifications peuvent être imposées sans préavis approprié.
- Une interprétation erronée des résultats de l'évaluation entraîne de mauvaises décisions au chapitre des priorités et du financement.
- Comme on le fait remarquer dans une évaluation de l'aide juridique menée en 1984, des restrictions budgétaires ont modifié le niveau des services offerts et l'orientation principale des politiques.
- Parce qu'ils n'ont aucune source stable de financement, de nombreux fournisseurs ne peuvent élaborer des moyens innovateurs de fournir des services de VIJ aux populations cibles. Ils ne peuvent également examiner de nouvelles questions et initiatives. Ce sont principalement ceux qui jouissent d'un financement sûr qui se penchent sur des questions comme l'amélioration de l'accès à la justice, l'alphabétisation juridique, l'intelligibilité et la lisibilité des textes de loi et sur des sujets analogues.
- Lorsque les paramètres de l'évaluation sont définis par le bailleur de fonds, il arrive souvent qu'on ne tienne pas compte des besoins culturels propres au groupe cible, ce qui ne permet pas d'examiner avec justesse l'efficacité des programmes.
- Parce que le bailleur de fonds et le fournisseur de services de VIJ ont des buts et des intérêts différents, ils privilégient des modes d'évaluation distincts (par exemple, des mesures quantitatives plutôt que des mesures qualitatives et la production d'extrants par rapport à l'obtention de résultats non concrets).
5.4 Méthodes relatives à l'évaluation
Il existe de très nombreuses méthodes d'évaluation. Dans la liste suivante, qui est loin d'être complète, on trouvera celles qui sont fréquemment citées dans les documents étudiés :
- Toute une gamme d'enquêtes et de questionnaires
- Discussions dénuées de formalité, entrevues semi-structurées, suivi relatif à un cas et examen du dossier
- Groupes de concertation et consultations
- Pré-testage et post-testage pour mesurer les connaissances et connaître les attitudes
- Observation
- Révision par les pairs et examen, par un spécialiste, de l'exactitude de l'information juridique communiquée
- On reconnaît de plus en plus qu'il est préférable de faire appel, concurremment, à des méthodes qualitatives et à des méthodes quantitatives. Grâce à cette démarche mixte, on obtient une évaluation plus complète et détaillée, et on encourage l'élaboration de modes inédits de collecte de données et de documentation.
5.5 Lacunes au chapitre de la recherche et des connaissances
Dans la présente bibliographie, nous passons en revue des écrits universitaires ainsi qu'un échantillonnage complet de rapports d'évaluation et de documents gouvernementaux (selon ce qui existe à l'heure actuelle). Les lacunes signalées ci-dessous se rapportent à l'évaluation des initiatives de VIJ et elles devraient servir de point de départ pour les recherches à venir.
- En règle générale, il n'y a pas d'évaluation des initiatives de VIJ, sauf dans une ou deux organisations.
- Il nous faut plus de publications qui contiennent une liste des documents de VIJ, à l'instar de ce qu'on trouve, par exemple, dans l'ouvrage intitulé Inventory of Public Legal Education and Information Materials and Programs Related to Crime Prevention and Victims (Inventaire des documents et des programmes de vulgarisation et d'information juridiques qui ont trait aux victimes et à la prévention de la criminalité), à la section relative à l'examen des écrits dans le document intitulé Au-delà de l'aspect criminel : rapport sur la pénurie de documents de vulgarisation et d'information juridiques à l'intention des immigrantes maltraitées par leur mari et, enfin, à la rubrique Compendium of Sources (Abrégé des sources),dans le rapport du Partenariat d'éducation sur la justice applicable aux adolescents (PÉJA).
- On accorde peu d'attention à la possibilité de créer des partenariats entre les barreaux provinciaux et territoriaux, les ministères, les cliniques d'aide juridique et les organisations communautaires.
- On utilise mal les données recueillies. En raison de contraintes de temps, il arrive souvent qu'on classe dans un dossier l'information colligée, de sorte qu'elle n'est jamais « examinée » ni intégrée à la conception d'un programme subséquent. De plus, en règle générale, les organisations ne partagent pas entre elles les résultats des évaluations, ce qui entraîne un chevauchement des efforts. Enfin, parce qu'on ne consulte pas suffisamment les évaluateurs externes ou qu'il n'y a pas de discussion appropriée au sujet de la teneur du programme et des méthodes retenues, on obtient du matériel qui n'est d'aucune utilité en ce qui concerne la conception des programmes ou dont on ne tient pas compte parce que les sentiments ont été blessés dans le cours du processus.
- Dans les rapports d'évaluation étudiés, on signale rarement que les conclusions ou les recommandations ont été appliquées à des projets externes.
- Il y a des lacunes permanentes au chapitre de l'examen des besoins et de la définition des priorités.
- À l'exception d'un ou deux documents, aucun rapport d'évaluation (qui porte ou non sur des activités de VIJ) ne signale le lien qui existe entre l'évaluation des programmes et les contraintes monétaires.
- Il faut étudier davantage les répercussions de la technologie sur l'accès aux services de VIJ.
- Sauf dans un cas, comme nous l'avons signalé, on n'examine pas le lien qui existe entre divers outils d'évaluation et la méthodologie (par exemple, entre des données quantitatives et qualitatives).
- Dans les rapports d'évaluation, on semble privilégier les données quantifiables, qui sont considérées comme plus « réelles ». Comme nous l'avons signalé ailleurs dans la bibliographie, cette supposition ne reflète pas nécessairement les objectifs et les buts de nombreuses initiatives de VIJ, pour lesquelles il est plus approprié de recourir à diverses méthodes d'évaluation qualitatives.
- Date de modification :