Programme d’assistance parajudiciaire aux autochtones, Évaluation formative

3. Constatations – Mesure du rendement

L'un des objectifs de la présente évaluation était d'évaluer la mise en œuvre de la stratégie de mesure du rendement du Programme APA et de déterminer si les renseignements sur le rendement requis pour l'évaluation sommative seraient disponibles. Ce chapitre présente les constatations relatives à la stratégie de mesure du rendement. On trouve à l'annexe D un aperçu des exigences en matière de mesure du rendement consignées au CGRR du programme. Les renseignements sur la mesure du rendement sont nécessaires au respect des exigences de responsabilisation fédérale et à la démonstration de la valeur du programme au moment du renouvellement de ses conditions (au plus tard le 31 mars 2008).

3.1. Étendue de la mise en œuvre

L'examen des documents montre que les décisions et les échéances relatives à la mise en œuvre en ce qui a trait aux exigences de mesure du rendement sont les suivantes :

Des projets pilotes d'enquêtes auprès de la magistrature et des clients sont en cours en Colombie-Britannique, en Nouvelle-Écosse et en Alberta.

Les représentants P-T avaient surtout des préoccupations relatives aux mesures de rendement 7 à 12. Voici les préoccupations des P-T :

Dans le Nord, les représentants territoriaux ont également fait part de préoccupations précises :

À cet égard, il faut souligner que les récents examens du ministère de la Justice sur l'accès aux services de justice dans le Nord[13] concluent à la nécessité d'une démarche intégrée visant la collecte des données de mesure du rendement et proposent dans certains cas le type de mesure à relever. L'examen a aussi fait ressortir les contraintes liées aux capacités des commissions des services juridiques qui peuvent nuire à la collecte dans le Nord.

Selon les OPS, divers éléments contribuent à la préparation des rapports de mesure du rendement, dont les projets pilotes en cours, en plus des pratiques établies de production de rapports et la volonté des OPS eux-mêmes de rendre des comptes. L'exercice comporte divers défis : le respect des exigences et la présentation de rapports uniformes provenant d'une vaste équipe disséminée sur un très grand territoire, l'obligation de faire rapport selon le strict gabarit fédéral, et enfin, l'absence de soutien technique que pourrait offrir un spécialiste en informatique. Certains OPS ont fait état d'incompatibilités entre leurs systèmes de gestion de l'information et les exigences du ministère de la Justice en matière de rapports.

Les OPS ont insisté pour que les principaux termes (p. ex., prestation du service et client) soient définis et normalisés avant qu'on puisse faire des énoncés fiables. Ils ont aussi mis en doute la possibilité de faire des suivis à long terme et d'obtenir la collaboration des représentants du système de justice pénale (p. ex., les juges et les avocats) pour recueillir des renseignements sur le rendement. Ils craignaient aussi qu'un manque de capacité les empêche de répondre à ces exigences et que les exigences de rapports ne couvrent pas tous les aspects du travail des auxiliaires parajudiciaires.

Les OPS ont présenté de nombreuses recommandations :

Jusqu'à présent, les renseignements sur le rendement reçus par le Ministère sont de différente qualité. En outre, le Ministère a tenu des ateliers dans chaque administration pour peaufiner le modèle logique de façon à tenir compte des activités des auxiliaires parajudiciaires. Le Ministère connaît les défis auxquels sont confrontés les provinces et les territoires, ainsi que les OPS, et leurs préoccupations mais estime que la collecte des données sur la mesure du rendement est essentielle afin de satisfaire aux exigences de responsabilisation et de démontrer la valeur du programme lors du renouvellement de ses conditions (au plus tard le 31 mars 2008).

On a demandé aux auxiliaires parajudiciaires quels renseignements sur la mesure du rendement ils devaient fournir à leurs OPS. Presque tous les auxiliaires parajudiciaires (90 %) ont indiqué qu'ils fournissaient à leurs OPS des renseignements statistiques sur leurs clients[14]. Sur ces auxiliaires, 81 % fournissaient des renseignements mensuellement, tandis que 24 % en fournissaient hebdomadairement ou quotidiennement.

Conclusions : Les divers OPS étaient plus ou moins avancés dans leur mise en œuvre avant le premier rapport de rendement dont l'échéance était fixée au 31 décembre 2006. Les exigences liées aux principales mesures de rendement 1 à 6 ne semblaient pas faire problème, quoique les définitions des termes «  client » et «  prestation de services » ne soient pas encore arrêtées.

Des projets pilotes d'enquêtes auprès de la magistrature et des clients sont en cours en Colombie-Britannique, en Nouvelle-Écosse et en Alberta. Les représentants P-T craignent que les plus petits OPS ne puissent mener à bien ces enquêtes, surtout s'ils ne disposent pas de ressources ni de formation supplémentaires. Il reste de nombreuses questions à régler quant à l'utilité des données et à leur qualité et l'on devrait concevoir un système de gestion de l'information qui intègre les données de manière à permettre des analyses locales. En outre, la confidentialité et la protection des renseignements personnels recueillis préoccupent, de même que l'analphabétisme des répondants, le taux de réponse aux enquêtes et le manque de formation et de ressources des OPS.

3.2. Caractère adéquat des outils et des ressources contribuant au respect des exigences de rapports sur le rendement

Pour aider à recenser et à formuler les exigences liées aux rapports sur la mesure du rendement, le CD GTT a, par l'intermédiaire du Ministère, retenu les services d'une société-conseil chargée de tenir des consultations sur la mesure du rendement avec les représentants provinciaux et le personnel des OPS dans toutes les provinces et d'élaborer un guide inspiré des constatations sur la mesure du rendement et les rapports à l'intention des provinces, des territoires et des OPS. Les consultants ont tenu des ateliers de travail avec les représentants provinciaux et du personnel des OPS en 2004-2005 pour élaborer un modèle logique APA propre à chaque administration, pour établir et peaufiner les principales mesures de rendement et pour déterminer les moyens de relever les défis liés à la collecte des données. Le Ministère a par la suite organisé des ateliers semblables en Ontario et dans deux territoires en 2005, puis dans un autre en 2006.

On a mis la dernière main au Guide sur la stratégie de mesure du rendement et de rapport à l'intention des provinces en septembre 2005, à l'intention des Territoires du Nord-Ouest en octobre 2005 et du Yukon en mai 2006. Le guide à l'intention du Nunavut n'était pas encore prêt au moment d'écrire ces lignes. Le Guide sur la stratégie de mesure du rendement et de rapport renferme des gabarits de rapport à l'intention des OPS et un exemple de rapport de fin d'année proposé par le ministère de la Justice.

Tant les représentants P-T que les OPS ont trouvé utiles les ateliers, le guide et les gabarits, mais des clarifications s'imposent et il faudra plus de formation, de ressources et de temps pour l'application réussie des exigences en matière de mesure du rendement.

Les provinces et les territoires ont précisément signalé les besoins supplémentaires suivants :

Tous les OPS avaient reçu une trousse d'outils (gabarits, guides, formulaires, exemples ou notes) pour les aider à répondre aux exigences en matière de mesure du rendement. La plupart des OPS craignaient que les outils ne soient adéquats que du point de vue du financier et soient inutiles pour les OPS, quoique d'autres estimaient que les modèles logiques et le guide sur la mesure du rendement qui ont été fournis constituaient des outils utiles, notamment parce qu'ils fournissaient de bons exemples concrets. Certains OPS estimaient qu'il faut une normalisation des données ou du moins un accord sur les données les plus utiles. Quelques OPS ont insisté sur la nécessité de simplifier les outils et de les rendre plus faciles à comprendre.

Quelques OPS ont indiqué avoir besoin de plus de personnel pour faire la collecte des données, les organiser et en faire rapport et d'autres ont proposé de la formation, des mises à jour, des communications ou des occasions d'échanger de l'information ou de faire part de leurs expériences. Deux OPS ont suggéré l'établissement d'une base de données faisant correspondre les exigences de mesures du rendement.

Presque tous les auxiliaires parajudiciaires interrogés (94 %) ont dit avoir reçu des outils de collecte des données voulues. Les outils les plus fréquemment mentionnés étaient les suivants :

Environ les trois quarts des auxiliaires parajudiciaires ont indiqué disposer des outils nécessaires. Parmi ceux qui demandaient plus d'outils, plusieurs ont dit qu'ils avaient besoin d'un ordinateur, d'un meilleur ordinateur ou d'un ordinateur portatif.

Conclusions : Les diverses ressources se sont révélées utiles, mais il faut plus d'outils et de ressources, y compris plus de formation sur la tenue d'enquêtes, un guide de mise en œuvre pratique, une définition claire de ce qu'est un «  client » et une aide financière accrue pour aider les OPS à se décharger du fardeau accru de mener les enquêtes. Certaines administrations ont indiqué qu'une base de données nationale serait bénéfique. Les OPS voudraient notamment que les exigences liées à la mesure du rendement prennent mieux en compte leurs besoins en matière d'information de gestion.

3.3. Facteurs favorables ou défavorables à la collecte et au rapport des renseignements sur le rendement

Le tableau 5 contient le sommaire des facteurs qui influent sur la collecte des données, selon les représentants P-T et les OPS.

Tableau 5 – Facteurs favorables ou défavorables à la collecte de données
Répondants Facteurs favorables Facteurs défavorables
OPS
  • Beaucoup recueillent une information semblable
  • La motivation
  • Les relations de travail sont bien établies
  • L'infrastructure est déjà en place
  • Une collaboration insuffisante Les OPS doivent exercer plus d'influence (information ou processus de collecte)
  • Besoin de mieux comprendre à quelles fins les données serviront
  • Nécessité d'assurer un équilibre entre la prestation de services et les exigences de rapports (un lourd fardeau)
P-T
  • Aidera à la responsabilisation et démontrera la valeur du programme
  • La formation et les outils ont été utiles
  • Les OPS manquent de moyens pour assurer la confidentialité et la protection des renseignements personnels
  • Beaucoup de rapports pour peu d'argent, surtout si l'on compare ce programme à d'autres du ministère de la Justice, notamment la SJA
  • Besoin d'une base de données nationale
  • Absence d'une démarche intégrée de mesure du rendement dans les territoires aux termes des Ententes sur les services d'accès à la justice
  • Manque de capacité de la plupart des OPS (surtout pour les mesures liées aux enquêtes)
  • Besoin de formation en matière de enquêtes
  • Possibilité que les réponses soient faussées
  • Crainte quant à l'avenir si les données sur le rendement sont négatives
MJ
  • Ateliers sur le modèle logique et sur la mesure du rendement
  • Guide sur la stratégie de mesure du rendement et gabarits de rapport
  • Terminologie flottante
  • Questions de capacité
  • Retard de mise en œuvre imputable aux différentes dates de signature des ententes avec les provinces et les territoires
Auxiliaires para-judiciaires
  • Les outils à leur disposition sont utiles
  • Aptitude à faire le suivi auprès des clients Équipement disponible (ordinateurs, téléphones, télécopieurs)
  • Accès à Internet
  • Accès aux personnes (superviseurs, autres auxiliaires, etc.)
  • La durée du processus/le manque de ressources pour le suivre
  • L'impossibilité d'avoir accès aux outils à l'extérieur des bureaux
  • Problèmes d'équipement et manque d'équipement (pas d'ordinateur portatif, problèmes de réseau, d'accès à Internet, de services téléphoniques, etc.)

Près de la moitié des OPS estimaient que l'infrastructure en place et une certaine connaissance des exigences liées aux rapports ont facilité leur tâche. Un OPS estimait que les relations de travail établies de longue date avec les principaux intervenants allaient dans le même sens. Près de la moitié des OPS ont déclaré que les problèmes provenaient d'exigences de production de rapports qui n'étaient pas étayées par des ressources suffisantes. Pour au moins deux OPS, la collecte de données a posé problème en raison des divergences entre le Ministère et les OPS relativement aux fins auxquelles serviraient ces données. D'autres organismes ont signalé les difficultés suivantes : collecte des données en temps opportun, roulement de personnel dans les OPS ou au Ministère, manque d'information sur les attributions, de même que des attentes changeantes. Au moins un OPS a posé la question de savoir comment recueillir des renseignements auprès de personnes qui ne sont pas tenues de répondre, comme c'est le cas des représentants du système de justice pénale.

Un OPS a dit qu'une base de données nationale bien conçue permettrait de brosser un portrait à l'échelle nationale, mais aussi provinciale, et aiderait à mieux faire comprendre les priorités du programme. En fait, un peu plus de la moitié des OPS ont recommandé la création d'une base de données nationale normalisée qui serait utile aux OPS et serait structurée en fonction des exigences fédérales de rapports. Par contre, les autres OPS, notamment les OPS qui éprouvent des difficultés à faire la collecte de données, voulaient qu'une réunion se tienne pour examiner la question de l'exactitude des données, trouver réponse à leurs questions et échanger des renseignements. D'autres recommandations portent sur la rationalisation du système et plus de personnel pour la saisie de données, ainsi que le recrutement d'un analyste de politique pour leur analyse. Selon deux OPS, d'autres discussions doivent se tenir au GTT sur l'élaboration de la base de données.

Le Ministère connaissait les préoccupations des OPS quant à leur capacité relative aux principales mesures de rendement 7 à 12, mais espérait que les consultations approfondies ainsi que l'élaboration du Guide sur la stratégie de mesure du rendement et de rapport y répondraient. Les représentants du Ministère ont aussi reconnu que les problèmes de capacité sont plus criants dans le Nord[15].

Les auxiliaires parajudiciaires ont fait la liste des facteurs qui facilitent la production de rapports : les outils, les contacts avec les clients, l'équipement à disposition (dont les téléphones et télécopieurs), l'accès à Internet et aux collègues (superviseurs, autres auxiliaires, etc.). Les facteurs défavorables ont trait à l'incapacité de faire des suivis auprès des clients (en conséquence, si les renseignements ne sont pas recueillis lors de l'entrevue initiale, il pourrait être impossible de les obtenir par la suite), le temps mis à faire le suivi et le manque de ressources à cet égard, l'impossibilité d'avoir accès aux outils hors site et les problèmes de matériel.

Conclusion : De nombreux facteurs sont favorables ou défavorables à la collecte des données et à la production des rapports. Au nombre des facteurs favorables, mentionnons :

Au nombre des facteurs défavorables, on retrouve :