Programme d’assistance parajudiciaire aux autochtones, Évaluation formative
3. Constatations – Mesure du rendement
L'un des objectifs de la présente évaluation était d'évaluer la mise en œuvre de la stratégie de mesure du rendement du Programme APA et de déterminer si les renseignements sur le rendement requis pour l'évaluation sommative seraient disponibles. Ce chapitre présente les constatations relatives à la stratégie de mesure du rendement. On trouve à l'annexe D un aperçu des exigences en matière de mesure du rendement consignées au CGRR du programme. Les renseignements sur la mesure du rendement sont nécessaires au respect des exigences de responsabilisation fédérale et à la démonstration de la valeur du programme au moment du renouvellement de ses conditions (au plus tard le 31 mars 2008).
3.1. Étendue de la mise en œuvre
L'examen des documents montre que les décisions et les échéances relatives à la mise en œuvre en ce qui a trait aux exigences de mesure du rendement sont les suivantes :
- Lors de la réunion des 29 et 30 novembre 2004 du GTT, on a recommandé que les provinces mettent en œuvre les principales mesures de rendement 1 à 6 et que des projets pilotes pour les mesures 7 à 9 (l'enquête auprès de la magistrature) et les mesures 10 à 12 (l'enquête auprès des clients) soient réalisés.
- Lors de la réunion d'avril 2005 du Comité directeur du GTT, le Ministère a demandé aux administrations provinciales de faire la collecte de données relativement aux principales mesures de rendement 1 à 6 et de s'efforcer de mener à bien l'enquête auprès de la magistrature en 2005-2006.
- Selon la version du Guide sur la stratégie de mesure du rendement et de rapport de septembre 2005, les provinces devaient mettre en œuvre les principales mesures de rendement 1 à 6 et viser la mise en œuvre des principales mesures 10 à 12 en 2005-2006 et des principales mesures 7 à 9 à compter de 2006-2007.
- Le Ministère a par la suite convenu de lancer en 2006-2007, dans quelques administrations, des projets pilotes d'enquêtes auprès de la magistrature et des clients; cela étant, toutes les administrations devaient fournir des données relativement aux principales mesures de rendement 1 à 6 pour l'année 2005-2006, en date du 31 décembre 2006[12].
Des projets pilotes d'enquêtes auprès de la magistrature et des clients sont en cours en Colombie-Britannique, en Nouvelle-Écosse et en Alberta.
Les représentants P-T avaient surtout des préoccupations relatives aux mesures de rendement 7 à 12. Voici les préoccupations des P-T :
- la confidentialité et la protection des renseignements personnels des clients;
- la protection des auxiliaires parajudiciaires contre le biais de réponse négative potentiel de la part des clients insatisfaits de l'issue de leur cause;
- la protection des auxiliaires parajudiciaires contre la réaction négative à l'égard du programme de la part des répondants qui mettent en cause la justification fondamentale du programme;
- l'augmentation de la charge de travail des auxiliaires parajudiciaires;
- une capacité de collecte des données qui varie selon l'OPS.
Dans le Nord, les représentants territoriaux ont également fait part de préoccupations précises :
- l'analphabétisme des clients à l'oral et à l'écrit;
- le dépistage des clients;
- le faible taux de réponse aux enquêtes auprès de la magistrature et des clients;
- les exigences excessives par rapport aux budgets disponibles;
- l'absence de démarche intégrée en matière de rapports sur le rendement pour les ESAJ.
À cet égard, il faut souligner que les récents examens du ministère de la Justice sur l'accès aux services de justice dans le Nord[13] concluent à la nécessité d'une démarche intégrée visant la collecte des données de mesure du rendement et proposent dans certains cas le type de mesure à relever. L'examen a aussi fait ressortir les contraintes liées aux capacités des commissions des services juridiques qui peuvent nuire à la collecte dans le Nord.
Selon les OPS, divers éléments contribuent à la préparation des rapports de mesure du rendement, dont les projets pilotes en cours, en plus des pratiques établies de production de rapports et la volonté des OPS eux-mêmes de rendre des comptes. L'exercice comporte divers défis : le respect des exigences et la présentation de rapports uniformes provenant d'une vaste équipe disséminée sur un très grand territoire, l'obligation de faire rapport selon le strict gabarit fédéral, et enfin, l'absence de soutien technique que pourrait offrir un spécialiste en informatique. Certains OPS ont fait état d'incompatibilités entre leurs systèmes de gestion de l'information et les exigences du ministère de la Justice en matière de rapports.
Les OPS ont insisté pour que les principaux termes (p. ex., prestation du service et client) soient définis et normalisés avant qu'on puisse faire des énoncés fiables. Ils ont aussi mis en doute la possibilité de faire des suivis à long terme et d'obtenir la collaboration des représentants du système de justice pénale (p. ex., les juges et les avocats) pour recueillir des renseignements sur le rendement. Ils craignaient aussi qu'un manque de capacité les empêche de répondre à ces exigences et que les exigences de rapports ne couvrent pas tous les aspects du travail des auxiliaires parajudiciaires.
Les OPS ont présenté de nombreuses recommandations :
- faire des rapports plus fréquents (p. ex., tenir un journal quotidien);
- veiller à ce que tous les répondants du système de justice pénale connaissent le programme;
- passer d'un mode d'autoévaluation à un système de mesure du rendement plus objectif dans le cadre duquel les données sont collectées par un tiers utilisant des méthodes de recherche standardisées (comprenant par exemple un examen éthique, des questions/des outils en matière de tests et de pratique de la collecte et des rapports plus fréquents);
- collaborer plus étroitement avec les OPS à la conception d'un système qui répond mieux à leurs besoins de collecte et de traitement des données;
- communiquer de manière plus claire les fins auxquelles les renseignements serviront;
- assurer un soutien technique (formation, FAQ en ligne, accès à un support informatique).
Jusqu'à présent, les renseignements sur le rendement reçus par le Ministère sont de différente qualité. En outre, le Ministère a tenu des ateliers dans chaque administration pour peaufiner le modèle logique de façon à tenir compte des activités des auxiliaires parajudiciaires. Le Ministère connaît les défis auxquels sont confrontés les provinces et les territoires, ainsi que les OPS, et leurs préoccupations mais estime que la collecte des données sur la mesure du rendement est essentielle afin de satisfaire aux exigences de responsabilisation et de démontrer la valeur du programme lors du renouvellement de ses conditions (au plus tard le 31 mars 2008).
On a demandé aux auxiliaires parajudiciaires quels renseignements sur la mesure du rendement ils devaient fournir à leurs OPS. Presque tous les auxiliaires parajudiciaires (90 %) ont indiqué qu'ils fournissaient à leurs OPS des renseignements statistiques sur leurs clients[14]. Sur ces auxiliaires, 81 % fournissaient des renseignements mensuellement, tandis que 24 % en fournissaient hebdomadairement ou quotidiennement.
Conclusions : Les divers OPS étaient plus ou moins avancés dans leur mise en œuvre avant le premier rapport de rendement dont l'échéance était fixée au 31 décembre 2006. Les exigences liées aux principales mesures de rendement 1 à 6 ne semblaient pas faire problème, quoique les définitions des termes « client » et « prestation de services » ne soient pas encore arrêtées.
Des projets pilotes d'enquêtes auprès de la magistrature et des clients sont en cours en Colombie-Britannique, en Nouvelle-Écosse et en Alberta. Les représentants P-T craignent que les plus petits OPS ne puissent mener à bien ces enquêtes, surtout s'ils ne disposent pas de ressources ni de formation supplémentaires. Il reste de nombreuses questions à régler quant à l'utilité des données et à leur qualité et l'on devrait concevoir un système de gestion de l'information qui intègre les données de manière à permettre des analyses locales. En outre, la confidentialité et la protection des renseignements personnels recueillis préoccupent, de même que l'analphabétisme des répondants, le taux de réponse aux enquêtes et le manque de formation et de ressources des OPS.
3.2. Caractère adéquat des outils et des ressources contribuant au respect des exigences de rapports sur le rendement
Pour aider à recenser et à formuler les exigences liées aux rapports sur la mesure du rendement, le CD GTT a, par l'intermédiaire du Ministère, retenu les services d'une société-conseil chargée de tenir des consultations sur la mesure du rendement avec les représentants provinciaux et le personnel des OPS dans toutes les provinces et d'élaborer un guide inspiré des constatations sur la mesure du rendement et les rapports à l'intention des provinces, des territoires et des OPS. Les consultants ont tenu des ateliers de travail avec les représentants provinciaux et du personnel des OPS en 2004-2005 pour élaborer un modèle logique APA propre à chaque administration, pour établir et peaufiner les principales mesures de rendement et pour déterminer les moyens de relever les défis liés à la collecte des données. Le Ministère a par la suite organisé des ateliers semblables en Ontario et dans deux territoires en 2005, puis dans un autre en 2006.
On a mis la dernière main au Guide sur la stratégie de mesure du rendement et de rapport à l'intention des provinces en septembre 2005, à l'intention des Territoires du Nord-Ouest en octobre 2005 et du Yukon en mai 2006. Le guide à l'intention du Nunavut n'était pas encore prêt au moment d'écrire ces lignes. Le Guide sur la stratégie de mesure du rendement et de rapport renferme des gabarits de rapport à l'intention des OPS et un exemple de rapport de fin d'année proposé par le ministère de la Justice.
Tant les représentants P-T que les OPS ont trouvé utiles les ateliers, le guide et les gabarits, mais des clarifications s'imposent et il faudra plus de formation, de ressources et de temps pour l'application réussie des exigences en matière de mesure du rendement.
Les provinces et les territoires ont précisément signalé les besoins supplémentaires suivants :
- plus de formation relativement aux enquêtes et de ressources financières pour que les OPS puissent respecter les exigences en la matière;
- plus de formation relativement à l'enquête auprès des clients pour surmonter les problèmes de procédure découlant de la difficulté à les retracer;
- un gabarit de base de données nationale informatisée.
Tous les OPS avaient reçu une trousse d'outils (gabarits, guides, formulaires, exemples ou notes) pour les aider à répondre aux exigences en matière de mesure du rendement. La plupart des OPS craignaient que les outils ne soient adéquats que du point de vue du financier et soient inutiles pour les OPS, quoique d'autres estimaient que les modèles logiques et le guide sur la mesure du rendement qui ont été fournis constituaient des outils utiles, notamment parce qu'ils fournissaient de bons exemples concrets. Certains OPS estimaient qu'il faut une normalisation des données ou du moins un accord sur les données les plus utiles. Quelques OPS ont insisté sur la nécessité de simplifier les outils et de les rendre plus faciles à comprendre.
Quelques OPS ont indiqué avoir besoin de plus de personnel pour faire la collecte des données, les organiser et en faire rapport et d'autres ont proposé de la formation, des mises à jour, des communications ou des occasions d'échanger de l'information ou de faire part de leurs expériences. Deux OPS ont suggéré l'établissement d'une base de données faisant correspondre les exigences de mesures du rendement.
Presque tous les auxiliaires parajudiciaires interrogés (94 %) ont dit avoir reçu des outils de collecte des données voulues. Les outils les plus fréquemment mentionnés étaient les suivants :
- formulaires/formulaires d'admission (44 %);
- bases de données/chiffriers (31 %);
- ordinateurs/ordinateurs portatifs (26 %);
- gabarits (16 %);
- programmes informatiques/logiciels (10 %).
Environ les trois quarts des auxiliaires parajudiciaires ont indiqué disposer des outils nécessaires. Parmi ceux qui demandaient plus d'outils, plusieurs ont dit qu'ils avaient besoin d'un ordinateur, d'un meilleur ordinateur ou d'un ordinateur portatif.
Conclusions : Les diverses ressources se sont révélées utiles, mais il faut plus d'outils et de ressources, y compris plus de formation sur la tenue d'enquêtes, un guide de mise en œuvre pratique, une définition claire de ce qu'est un « client » et une aide financière accrue pour aider les OPS à se décharger du fardeau accru de mener les enquêtes. Certaines administrations ont indiqué qu'une base de données nationale serait bénéfique. Les OPS voudraient notamment que les exigences liées à la mesure du rendement prennent mieux en compte leurs besoins en matière d'information de gestion.
3.3. Facteurs favorables ou défavorables à la collecte et au rapport des renseignements sur le rendement
Le tableau 5 contient le sommaire des facteurs qui influent sur la collecte des données, selon les représentants P-T et les OPS.
Répondants | Facteurs favorables | Facteurs défavorables |
---|---|---|
OPS |
|
|
P-T |
|
|
MJ |
|
|
Auxiliaires para-judiciaires |
|
|
Près de la moitié des OPS estimaient que l'infrastructure en place et une certaine connaissance des exigences liées aux rapports ont facilité leur tâche. Un OPS estimait que les relations de travail établies de longue date avec les principaux intervenants allaient dans le même sens. Près de la moitié des OPS ont déclaré que les problèmes provenaient d'exigences de production de rapports qui n'étaient pas étayées par des ressources suffisantes. Pour au moins deux OPS, la collecte de données a posé problème en raison des divergences entre le Ministère et les OPS relativement aux fins auxquelles serviraient ces données. D'autres organismes ont signalé les difficultés suivantes : collecte des données en temps opportun, roulement de personnel dans les OPS ou au Ministère, manque d'information sur les attributions, de même que des attentes changeantes. Au moins un OPS a posé la question de savoir comment recueillir des renseignements auprès de personnes qui ne sont pas tenues de répondre, comme c'est le cas des représentants du système de justice pénale.
Un OPS a dit qu'une base de données nationale bien conçue permettrait de brosser un portrait à l'échelle nationale, mais aussi provinciale, et aiderait à mieux faire comprendre les priorités du programme. En fait, un peu plus de la moitié des OPS ont recommandé la création d'une base de données nationale normalisée qui serait utile aux OPS et serait structurée en fonction des exigences fédérales de rapports. Par contre, les autres OPS, notamment les OPS qui éprouvent des difficultés à faire la collecte de données, voulaient qu'une réunion se tienne pour examiner la question de l'exactitude des données, trouver réponse à leurs questions et échanger des renseignements. D'autres recommandations portent sur la rationalisation du système et plus de personnel pour la saisie de données, ainsi que le recrutement d'un analyste de politique pour leur analyse. Selon deux OPS, d'autres discussions doivent se tenir au GTT sur l'élaboration de la base de données.
Le Ministère connaissait les préoccupations des OPS quant à leur capacité relative aux principales mesures de rendement 7 à 12, mais espérait que les consultations approfondies ainsi que l'élaboration du Guide sur la stratégie de mesure du rendement et de rapport y répondraient. Les représentants du Ministère ont aussi reconnu que les problèmes de capacité sont plus criants dans le Nord[15].
Les auxiliaires parajudiciaires ont fait la liste des facteurs qui facilitent la production de rapports : les outils, les contacts avec les clients, l'équipement à disposition (dont les téléphones et télécopieurs), l'accès à Internet et aux collègues (superviseurs, autres auxiliaires, etc.). Les facteurs défavorables ont trait à l'incapacité de faire des suivis auprès des clients (en conséquence, si les renseignements ne sont pas recueillis lors de l'entrevue initiale, il pourrait être impossible de les obtenir par la suite), le temps mis à faire le suivi et le manque de ressources à cet égard, l'impossibilité d'avoir accès aux outils hors site et les problèmes de matériel.
Conclusion : De nombreux facteurs sont favorables ou défavorables à la collecte des données et à la production des rapports. Au nombre des facteurs favorables, mentionnons :
- les ateliers sur le modèle logique et les consultations menées par le ministère de la Justice;
- le guide sur la mesure du rendement et les gabarits fournis par le ministère de la Justice;
- les enquêtes pilotes en cours en Colombie-Britannique, en Alberta et en Nouvelle-Écosse.
Au nombre des facteurs défavorables, on retrouve :
- la capacité limitée de mesure du rendement dans le Nord;
- la capacité des plus petits OPS à mener à bien les enquêtes auprès de la magistrature et des clients, sans ressources ou formation supplémentaires;
- des problèmes de qualité des données (p. ex., défi lié à l'alphabétisation et au taux de réponse, possibilité de réponses faussées de la part de clients insatisfaits de l'issue de leur cause ou de fonctionnaires de la cour qui mettent en cause la justification fondamentale du programme);
- des préoccupations au sujet de la confidentialité des données et de la vie privée.
- Date de modification :