Évaluation du Programme d’aide juridique

3 Cadre méthodologique de l’évaluation

Pour orienter l’évaluation, nous avons élaboré une matrice (questions d’évaluation, indicateurs et sources de données) pendant l’établissement de la portée de l’exercice et cette matrice a été affinée avec le GTE. La portée de l’évaluation vise la pertinence et le rendement (efficacité et efficience) et comprend les neuf questions suivantes :

Enjeu 1 : Pertinence

1.1. Le Programme d’aide juridique continue-t-il de servir les intérêts et des besoins du public?

Enjeu 2 : Efficacité

2.1. Dans quelle mesure les composantes du Programme d’aide juridique ont-elles fourni des services – directement (avocats rémunérés par l’État) ou indirectement (contributions aux provinces et aux territoires pour l’aide juridique en matière pénale et aux I et R) – aux personnes vulnérables admissibles, et notamment aux personnes économiquement défavorisées?

2.2 Les questions émergentes et les circonstances actuelles ont-elles eu une incidence sur la prestation des services d’aide juridique dans les secteurs financés par le gouvernement fédéral? De quelle façon les systèmes d’aide juridique ont-ils réagi?

2.3 Quelle a été l’incidence du financement fédéral sur l’amélioration de l’accès aux services juridiques pour les populations vulnérables?

2.4 Dans quelle mesure les systèmes d’aide juridique ont-ils contribué à un système de justice équitable et efficient?

2.5 De quelles façons le Programme a-t-il contribué à la collaboration en matière d’élaboration de politiques et de programmes d’aide juridique?

Enjeu 3 : Efficience

3.1. Dans quelle mesure le Programme d’aide juridique gère-t-il avec efficience les accords de contribution et les avocats rémunérés par l’État?

3.2 Dans quelle mesure la DAJ et le GTP ont-ils contribué à la prestation efficace et efficiente du Programme d’aide juridique?

3.3 Si on considère le système d’aide juridique dans son ensemble, y a-t-il des façons plus efficientes de mette en œuvre les composantes du Programme et d’atteindre ses objectifs?

Quatre sources d’information ont permis de répondre aux questions d’évaluation : examen des documents et des données de programme et d’administration; entrevues auprès d’informateurs clés; études de cas; cartographie de cheminement. Chacune de ces méthodes est brièvement décrite dans les sous-sections qui suivent.

3.1 Examen des documents et des données

L’examen des documents et des données nous a fourni des données descriptives sur les activités du Programme d’aide juridique et des régimes d’aide juridique, ainsi que des renseignements permettant de répondre à la plupart des questions d’évaluation. Cet examen s’est poursuivi tout au long du projet et a porté sur les catégories suivantes de documents :

3.2 Entrevues avec les informateurs clés

Au total, 31 entrevues en profondeur ont été réalisées auprès de 48 personnes appartenant aux groupes suivants :

Pour la plupart, les représentants des gouvernements provinciaux et territoriaux et des régimes d’aide juridique étaient membres du GTP ou avaient été invités par un de ses membres à participer à l’entrevue. Trois informateurs clés ont choisi de répondre par écrit.

3.3 Études de cas

Trois études de cas ont eu lieu pour mettre en évidence et approfondir l’analyse de secteurs clés de prestation des services d’aide juridique, y compris les services fournis, les défis, les coûts, et les pratiques novatrices. Il a aussi été question de la façon dont l’aide juridique soutient les autres intervenants du système de justice ou est touchée par eux. Les études de cas ont été sélectionnées en consultation avec le GTE et les administrations indiquées au tableau 2 ont accepté d’y participer. On trouvera à l’annexe A les résumés des études de cas.

Tableau 2. Études de cas
Sujet Administration(s) Nombre de personnes interrogées Justification
Aide juridique aux immigrants et réfugiés QuébecOntario 35 Cette étude de cas a porté sur la façon dont l’aide juridique est apportée aux I et R, ainsi que sur les différences de services et de prestation dans chaque administration choisie. Elle a traité des coûts, des défis et des pratiques prometteuses.
Aide juridique aux jeunes en matière pénale Yukon 4 Cette étude de cas a porté sur les innovations et les défis de la prestation de services d’aide juridique en matière pénale aux jeunes.
Problèmes et défis de la détention provisoire AlbertaSaskatchewan 22 Cette étude de cas a porté sur l’incidence de la détention provisoire sur l’aide juridique, le système de justice et les accusés, ainsi que sur la façon dont les régimes d’aide juridique ont abordé la problématique de la détention provisoire (services d’avocats commis d’office, par exemple).

3.4 Cartographie de cheminement

Des séances menées auprès de trois administrations ont permis de cartographier le cheminement des clients de l’aide juridique dans le système de justice. Les itinéraires des cheminements hypothétiques des clients dans le système de justice ont permis de constater comment l’aide juridique soutient les clients aux divers stades du processus, quelles options pourraient s’offrir à eux, quelles étapes pourraient se révéler particulièrement difficiles pour les accusés, et quelles pourraient être les incidences de la représentation assurée par l’aide juridique sur l’efficience des tribunaux et les résultats pour les clients.

Pour éclairer le processus de cartographie de cheminement, le GTE a tenu une séance de réflexion sur la meilleure façon de procéder. Au lieu d’établir hypothétiquement un seul client type de l’aide juridique pour tracer le cheminement dans chaque administration, on a voulu donner aux administrations participantes l’occasion de choisir les types de cheminements à explorer. C’est ainsi que l’évaluation a tracé huit cheminements de la clientèle dans trois administrations.

Tableau 3. Cartographie de cheminement
Administration Scénarios de cheminement Nombre de participants
Nouvelle-Écosse Un Néo-Écossais adulte d’origine africaine, client de l’aide juridique en matière pénale, qui chemine dans le système de justice traditionnel à Halifax ou Dartmouth Sept préposés à l’aide juridique en Nouvelle-Écosse
Un jeune client de l’aide juridique en matière pénale qui chemine dans le système de justice réparatrice (déjudiciarisation) en milieu rural Quatre préposés à l’aide juridique en Nouvelle-Écosse
Une Autochtone cliente de l’aide juridique en matière pénale qui chemine dans une juridiction spécialisée à Halifax Six préposés à l’aide juridique en Nouvelle-Écosse
Manitoba Client adulte de l’aide juridique en matière pénale à Thompson Trois préposés à l’aide juridique au Manitoba
Jeune client de l’aide juridique en matière pénale à Winnipeg Deux préposés à l’aide juridique au Manitoba
Client adulte de l’aide juridique en matière pénale au Tribunal de la santé mentale de Winnipeg Trois préposés à l’aide juridique au Manitoba et un avocat de la Couronne
Territoires du Nord-Ouest Client adulte de l’aide juridique en matière pénale dans une collectivité éloignée qui chemine dans le système de justice traditionnel d’un tribunal itinérant Quatre employés de la Commission d’aide juridique des Territoires du Nord-Ouest
Client adulte de l’aide juridique en matière pénale au Tribunal du mieux-être de Yellowknife

3.5 Limites, défis et stratégies d’atténuation

L’évaluation a fait face à quelques limites ou défis d’ordre méthodologique.

Tableau 4. Résumé des limites, des défis et des stratégies d’atténuation
Source d’information Limite ou défi Stratégie d’atténuation
Examen des documents et des données Dans le cas des statistiques sur l’aide juridique, nous disposons pour certains indicateurs de données sur trois ans (exercices 2016-2017 à 2018-2019), ce qui rend prématurée toute analyse des tendances. L’évaluation a reposé sur les rapports Aide juridique au Canada produits par la Division de la recherche et de la statistique de Justice Canada et par la DAJ. Avant l’exercice 2016-2017, les rapports annuels étaient préparés par Statistique Canada. Précisons que, pendant la période de transition (2015-2016), aucun rapport n’a été produit. Mentionnons également que la présente évaluation a eu lieu avant que le rapport 2019-2020 ne soit disponible. Dans la mesure du possible, nous avons tiré nos données des formulaires de demande finale des administrations pour 2019-2020; une partie de cette information était encore provisoire.
Entrevues d’informateurs clés Le défi résidait notamment dans le biais dans les réponses de l’approche d’échantillonnage (sélectif, non aléatoire), dans le caractère volontaire de la participation, et dans l’autodéclaration (déclaration de ses propres activités). L’évaluation a puisé à plusieurs sources d’information et confirmé les résultats par triangulation.
Études de cas Les études de cas visaient chacune deux administrations pour que les approches soient comparables. Toutefois, pour une de ces études (jeunes), une seule administration s’est finalement engagée. Aucune stratégie n’était nécessaire. Bien que nous souhaitions une comparaison des approches, l’étude de cas en question a néanmoins permis de fournir des exemples de services d’aide juridique aux jeunes en matière pénale. Ajoutons que l’examen des documents a donné la possibilité de rendre compte de toutes les autres méthodes dignes de mention relatives à la prestation de services d’aide juridique aux jeunes en matière pénale.
Chaque étude de cas devait comporter des entrevues auprès de représentants des régimes d’aide juridique et des autres intervenants du système de justice dans les provinces et les territoires. Les représentants des régimes d’aide juridique n’ont pas participé à une des études de cas (détention provisoire) par manque de temps ou de capacité pour participer. Dans la mesure du possible, l’évaluation s’est appuyée sur la documentation pertinente disponible pour exposer la perspective de l’aide juridique, mais cette documentation était limitée.
Dans le cadre de chaque étude de cas, l’évaluation a cherché à consulter les documents et les données utiles. Ils n’ont pas réussi à obtenir des données des administrations ni des régimes d’aide juridique des provinces et des territoires dans le cas de la plupart des études de cas. Il n’y avait pas de données disponibles ou bien elles avaient été saisies, sans que les personnes interrogées puissent les fournir ou indiquer où on pourrait les obtenir. Dans la mesure du possible, l’évaluation s’est appuyée sur les documents et les données accessibles au public.
Cartographie de cheminement L’objectif des séances sur la cartographie de cheminement consistait à obtenir des renseignements sur l’efficacité potentielle du système (nombre de comparutions, durée de la présence en cour, capacité de négocier la mise en liberté sous caution) auxquels il était possible d’attribuer une valeur en argent là où des renseignements fiables étaient disponibles à l’appui de cette d’analyse. Ce genre d’information n’était pas disponible. L’évaluation a utilisé une information qualitative dans la mesure du possible.