Évaluation des initiatives de vulgarisation et d'information juridiques : bibliographie annotée
4. Rapports d'évaluation (suite)
4. Rapports d'évaluation (suite)
4.2 Matériel et sources utiles
Même si on considère souvent que l'aide juridique est différente de la VIJ, les deux services se chevauchent plus ou moins directement dans certaines provinces. Étant donné que les services d'aide juridique ont un lien historique avec le financement gouvernemental, ils ont fait l'objet de nombreux examens et évaluations. C'est pourquoi on devrait se reporter à ce type de rapports (même s'ils vont au-delà de la prestation de services de VIJ) lorsqu'on procède à l'évaluation des initiatives de VIJ. Les deux premiers titres servent d'exemples, parce qu'on en fait couramment mention dans d'autres sources qui concernent l'évaluation.
Brantingham, P. et Brantingham, P. (1984). An evaluation of legal aid in British Columbia (Évaluation de l'aide juridique en Colombie-Britannique). Bureau de l'évaluation des programmes et de la vérification interne, ministère de la Justice du Canada. Disponible auprès du Legal Resource Centre, Legal Studies Program, University of Alberta.
Dans ce rapport qui date déjà de quelques années, on présente une évaluation détaillée de l'aide juridique offerte en Colombie-Britannique, ce qui comprend des services « indirects » comme ceux dispensés dans le cadre d'initiatives de VIJ. Cependant, la partie de l'étude qui a trait à l'évaluation des initiatives de VIJ est surtout de nature descriptive et porte principalement sur les organisations et les bureaux qui avaient tendance à accorder la priorité aux services de VIJ au moment où l'enquête a été menée. L'évaluation était en cours lorsque le gouvernement provincial a imposé des compressions budgétaires dans le domaine de l'aide juridique, et les auteurs discutent donc du lien qui existe entre la Legal Services Society (Société de services juridiques), dont le mandat comprend l'offre de services de VIJ, et la prestation d'autres services d'aide juridique. L'évaluation comporte une analyse de l'accessibilité, une étude des répercussions ainsi que des études qualitatives.
Comité permanent de l'Association du Barreau canadien, Comité national de liaison sur l'aide juridique. (1987). Legal aid delivery models: A discussion paper (Modèles de prestation de l'aide juridique : discussion). Disponible auprès du Legal Resource Centre, Legal Studies Program, University of Alberta.
Dans ce rapport, on se penche expressément sur les modèles d'aide juridique et on n'étudie que de manière latérale les répercussions de divers modèles sur l'éducation juridique communautaire. Dans ce cas-ci, on définit l'expression « éducation juridique communautaire » comme la prestation d'information à une clientèle à faible revenu qui est déjà représentée juridiquement. Par conséquent, l'activité ne comprend pas la prestation de services de vulgarisation juridique à un vaste public en tant que tel. Le document offre cependant un bon aperçu général des divers modèles d'aide juridique et, dans la mesure où la VIJ fait partie de l'aide juridique dans certaines provinces (comme l'Ontario et la C.-B.), il contient une analyse utile de la façon dont différents modèles ont une action réciproque sur des services complémentaires, comme ceux visant la défense de l'intérêt public (litiges portant sur un cas type), la réforme du droit et l'éducation juridique communautaire.
Currie, A. (1999). Modèles de prestation de l'aide juridique au Canada : expériences passées et orientations futures. Division de la recherche et de la statistique, ministère de la Justice du Canada.
Dans ce rapport, on utilise des études empiriques pour évaluer le coût et la qualité de divers modèles de prestation de l'aide juridique. À partir du rapport de l'Association du Barreau canadien publié en 1987, l'auteur présente un aperçu détaillé des conclusions et des analyses de diverses évaluations menées entre 1981 et 1998.
Currie, A. et McEwon, C. (1998). L'autoreprésentation assistée dans le cadre des services d'aide juridique en matière pénale: expérience liée à la prestation de services restreints. Division de la recherche et de la statistique, ministère de la Justice du Canada.
Dans ce rapport, on examine les facteurs qui touchent l'autoreprésentation dans une affaire pénale, une fois qu'on a refusé l'aide juridique à l'accusé. On étudie les cas où les éléments d'explication sont rejetés et ceux où ils sont acceptés, et on considère les difficultés auxquelles les particuliers font face lorsqu'ils souhaitent utiliser ce matériel pour se représenter efficacement. Les auteurs examinent l'utilité du matériel de VIJ tant général que particulier, et isolent des problèmes (comme des obstacles linguistiques et des procédures judiciaires qui sont trop compliquées). En conclusion, ils estiment que l'échantillon retenu est trop limité pour qu'on puisse procéder à une analyse quantitative et soutiennent qu'il aurait été plus utile de mener des entrevues approfondies. Bien qu'ils déclarent que l'autoreprésentation n'est pas une solution de rechange prometteuse ou viable, il reste que le matériel de VIJ produit dans ce domaine pourrait être utile dans d'autres contextes : ainsi, grâce à lui, on pourrait décrire les procédures judiciaires générales et offrir de l'information sur les ressources additionnelles dont peuvent se prévaloir ceux qui ont besoin de services d'aide juridique.
Currie, J. et Roberts, T. (1986). An evaluation resource book for public legal education and information organizations (Manuel de référence portant sur l'évaluation et destiné aux organisations de vulgarisation et d'information juridiques). Section de la recherche et de la statistique, Direction des politiques, des programmes et de la recherche, ministère de la Justice du Canada.
Aperçu général
Ce manuel de référence est un outil d'évaluation pratique et une bonne source d'information et d'inspiration pour ce qui est des démarches applicables à l'évaluation des initiatives de VIJ. Le manuel a été conçu pour [TRADUCTION] « répondre, en matière d'évaluation, aux besoins du personnel d'organisations diverses : des grands organismes de VIJ quasi gouvernementaux aux programmes restreints de nature expérimentale, d'initiatives bien établies offertes depuis longtemps aux projets à court terme qui visent une activité définie »
(p. 1). Il comporte six modules qui peuvent être utilisés indépendamment les uns des autres, quoique le module I soit généralement recommandé pour toutes les évaluations relatives à la VIJ. La plupart des modules sont centrés sur la tâche à accomplir, mais on trouve également de l'information de base grâce à laquelle on peut choisir la méthode d'évaluation appropriée. Dans certains modules, les données sont fort techniques et elles ne seront utiles qu'à ceux qui ont beaucoup de temps et de ressources à consacrer à l'évaluation. Néanmoins, les auteurs se penchent sur toutes les questions pertinentes et on peut considérer nombre de sections séparément, en fonction de besoins distincts. Il s'agit d'une excellente ressource pour toute organisation qui dispense des services de VIJ; bien qu'elle ait été publiée il y a quelques années, elle s'applique toujours aux services et programmes dispensés en matière de VIJ.
Les six modules s'intitulent comme suit :
- PLANIFICATION DE L'ÉVALUATION
- RECOURS À UN CONSULTANT EN MATIÈRE D'ÉVALUATION
- TYPES D'ÉVALUATION AUXQUELS VOUS POUVEZ PROCÉDER
- COLLECTE DES DONNÉES
- ANALYSE DES DONNÉES
- CONSIGNATION ET UTILISATION DES DONNÉES
Par souci de cohérence, les questions ou sujets principaux dont il est question dans le manuel de référence figurent sous les titres thématiques qui sont utilisés dans la présente bibliographie.
Défis relatifs à l'évaluation des initiatives de VIJ
- Qui procédera à l'évaluation : évaluateur interne (à savoir, le personnel) ou externe ?
- Conflits entre l'évaluateur et le groupe
- Que faire si vous ne pouvez modifier l'évaluation ?
Liens entre les buts et l'évaluation des initiatives de VIJ
- Démarche orientée sur les buts
- Comment élaborer les buts et les objectifs relatifs à l'évaluation ?
- Comment déterminer si le taux d'utilisation du programme est satisfaisant ?
- Comment le type de programme de VIJ influe-t-il sur la collecte des données ?
- Relier la collecte de données à l'objet de l'évaluation
Exigences du bailleur de fonds au chapitre de l'évaluation
- Prévoir un budget pour les fins de l'évaluation
- Réduire les coûts liés à l'évaluation
- Déterminer les coûts et les avantages des programmes de VIJ : difficultés et solutions
Méthodes relatives à l'évaluation
- Examen des besoins
- Évaluations des programmes; examen de l'organisation; examen de l'utilisation des programmes
- Examen du matériel
- Analyse des répercussions
- Analyse de la rentabilité
- Moyens de structurer le questionnaire
- Formation des intervieweurs
Hessing, M. et Thompson, L. (1984). The telephone legal information service of the legal resource centre of British Columbia: Evaluation report (Le service téléphonique d'information juridique du centre de ressources juridiques de la Colombie-Britannique : rapport d'évaluation).Disponible auprès du Legal Resource Center, Legal Studies Program, University of Alberta.
Aperçu général
Le service d'information juridique est une ligne téléphonique au moyen de laquelle des bibliothécaires spécialement formés offrent des renseignements de nature juridique au grand public ainsi qu'à des intermédiaires (entreprises, gouvernement, écoles, bibliothèques et autres organismes privés, comme des ONG). Les bibliothécaires ont commandé cette étude, dans le cadre de laquelle on a examiné uniquement les services offerts au moyen des lignes téléphoniques mais non pas les autres services et programmes de VIJ dispensés conjointement avec la Legal Services Society of B.C. (Société de services juridiques de la C.-B.). Après de nombreuses années de service, on souhaitait obtenir des données statistiques et qualitatives, recueillies par une tierce partie objective, qui indiqueraient comment améliorer, si possible, la prestation de services juridiques par téléphone dans la province. Outre l'examen de la teneur de l'information diffusée, de l'utilité et des répercussions des services offerts aux clients, l'évaluateur a reconnu qu'il était important de tenir compte d'autres variables comme l'ordonnancement, le cadre ambiant et l'aménagement des bureaux, la formation et le perfectionnement du personnel ainsi que le contrôle de la qualité.
Éléments communs
- Évaluation externe
- Lorsque l'évaluation a été menée, les services étaient déjà dispensés depuis sept ou huit ans. Bien que les bibliothécaires consignent chaque mois des statistiques sur les appelants, aucune évaluation officielle n'avait encore eu lieu.
- Selon l'évaluateur, les méthodes employées pour contrôler la qualité, comme le fait « d'écouter » la conversation téléphonique, aident à garantir que l'information offerte est exacte, appropriée et suffisante, et que les réponses sont données d'une manière cohérente. On a conseillé de procéder à un contrôle continu de la qualité et recommandé d'accroître le contrôle interne au moyen de manuels d'information, d'ateliers et de discussions.
Défis relatifs à l'évaluation des initiatives de VIJ
- Le personnel a lui-même choisi les « clients » qui participeraient à l'étude. Par conséquent, on a écarté toute personne qui réagirait de manière trop émotive et les cas où des obstacles pourraient surgir sur le plan linguistique. Cette démarche pourrait être la cause de certaines inexactitudes puisque l'étude ne tient pas compte des personnes qui ne parlent pas couramment l'anglais ni de celles qui ont des traits de personnalité particuliers.
- Lorsque le personnel participe à l'évaluation, on risque davantage d'obtenir des données incomplètes parce que la charge de travail normale augmente (l'employé doit recueillir l'information et consigner sa réponse en plus d'exécuter ses tâches habituelles). Ainsi, on a constaté qu'on avait omis d'inclure certains aspects des « réponses » communiquées aux clients.
- Il est difficile de garantir que les méthodes d'évaluation conviennent à tous les utilisateurs de services et à tous les usages qui en sont faits. Par exemple, même si le service est principalement fourni au moyen du téléphone, il n'est pas rare qu'on reçoive par courrier des demandes visant de l'information juridique. Ces demandes ne sont pas incluses dans l'étude puisque le profil des clients n'est brossé qu'à partir des appels d'arrivée.
Liens entre les buts et l'évaluation des initiatives de VIJ
- Le personnel a indiqué dix questions sur les services offerts et il souhaitait qu'on y réponde dans le cadre de l'évaluation. De plus, il estimait que l'évaluation externe permettait d'obtenir [TRADUCTION]
« non seulement des données quantifiables qui portent sur les « faits », mais aussi un nouveau point de vue objectif sur le travail effectué, pour le compte du personnel lui-même »
(p. 2).
Méthodes relatives à l'évaluation
- Au cours de l'appel initial, le personnel utilise un formulaire d'information sur le client (élément statistique)
- Le personnel suit une formation pour ce qui est de la manière d'utiliser le formulaire
- On obtient une évaluation détaillée de la part du client au moyen d'un entretien téléphonique (rappel)
- On a choisi les clients au hasard (1 sur 10) et on les a rappelés deux semaines après l'appel initial
- Des avocats d'un autre bureau vérifient l'exactitude et la pertinence de l'information juridique communiquée
- Entrevues approfondies et non officielles avec le personnel
- Observations
Prairie Research Associates, The Coopers and Lybrand Consulting Group et Linden, R. (1991). Evaluation of the legal aid Manitoba expanded eligibility program (Évaluation du programme d'admissibilité élargie des services d'aide juridique du Manitoba). Sous-direction de la recherche et du développement, ministère de la Justice du Canada.
Aperçu général
Même si, dans ce rapport, on ne cherche pas à évaluer un aspect quelconque de la VIJ, deux « questions principales », parmi celles qui sont isolées aux fins de l'évaluation, constituent couramment un objectif de l'évaluation des initiatives de VIJ. Il s'agit de la satisfaction du client et de l'examen de l'attitude envers le programme (dans ce cas-ci, il était question du remboursement de droits). Les questions sont divisées en catégories, lesquelles sont elles-mêmes sous-divisées en sujets précis. Il s'agit là d'une démarche utile puisque [TRADUCTION] « de nombreuses sources raffermissent les conclusions et offrent une base solide pour établir les recommandations »
(p. 5). Les conclusions sont également organisées en fonction des méthodes utilisées pour recueillir l'information (à savoir, enquête, entrevue, examen du dossier) et de la population à laquelle une question serait adressée. Même s'il faut beaucoup de temps pour élaborer des questionnaires distincts destinés à chaque groupe de sujet interrogés, il faut souvent procéder ainsi parce que les clients et le personnel ont une façon unique de voir le matériel et les programmes. Qui plus est, il est préférable d'adapter les questions à des clients ou des élèves précis en tenant compte de leurs connaissances, de la mesure dans laquelle ils ont accès à l'information et de l'utilisation qu'ils font de cette information. Dans ce rapport, les évaluateurs d'initiatives de VIJ pourront trouver utile l'information qui se trouve à la section intitulée « Méthodologie ». Comme dans la plupart des cas, il faut en modifier la teneur pour tenir compte de l'évaluation continue du projet, mais on présente dans le document les étapes pertinentes à l'utilisation de chaque type d'outil.
Éléments communs
- Évaluation externe
- L'évaluation a été menée un an après le début du programme pilote
- On fait mention dans l'évaluation des principales questions à examiner (il s'agit en quelque sorte des buts à atteindre)
- Les recommandations portent entre autres sur les mécanismes qui aident à assurer une gestion efficiente, et notamment sur des mécanismes de contrôle continu
Défis relatifs à l'évaluation des initiatives de VIJ
- Il a été difficile de communiquer avec la population cible : en effet, dans environ 40 % des cas, la personne contactée n'avait pas le téléphone ou le numéro qui figurait au dossier était inexact.
Méthodes relatives à l'évaluation
- Les sources de données comprennent ce qui suit : examen des dossiers administratifs, demandes d'admissibilité, information comptable, examen du dossier relatif à la gestion des cas, enquêtes et entrevues
- L'examen de l'information comptable était très poussé en raison de la nature du projet
- On rend compte, dans le rapport, de la manière dont on a utilisé différents outils d'évaluation (c'est-à-dire qu'on indique quelles étapes ont été suivies dans le cas de l'examen du dossier administratif, des enquêtes menées auprès des clients, des entrevues qui ont eu lieu avec les membres du barreau, etc.)
- Date de modification :