Stratégie en matière de justice applicable aux Autochtones Évaluation

3. MÉTHODOLOGIE

Plusieurs éléments de preuve ont été utilisés pour traiter les enjeux et questions de l'évaluation, comme expliqué ci-après.

3.1. Examen des documents

Un examen de la documentation accessible au public portant sur SJA a été mené au cours du printemps 2011. Ces documents concernaient des rapports de Statistique Canada (Centre canadien de la statistique juridique, Juristat) et du ministère de la Justice. Les données importantes se rapportant au contexte, à la raison d'être et à la pertinence de SJA ont été intégrées dans le rapport.

Les limites éventuelles de ces données concernent leur exhaustivité et leur caractère opportun. Les données statistiques s'appuient sur des saisies de renseignements exacts, et certaines études n'ont fourni que des données issues d'un échantillon de provinces et de territoires. Compte tenu du délai lié à la production des rapports statistiques, la plupart de ces données ne sont pas disponibles au-delà de 2009-2010.

Une liste complète des documents examinés est fournie à l'annexe E.

3.2. Études de cas

Les études de cas ont contribué des données descriptives au sujet de la pertinence, des retombées, des leçons retenues et des approches ayant fait leurs preuves pour SJA, dans le cadre d'une étude de sources validées par triangulation : contrevenants, victimes, employés des programmes de SJA, personnel de justice et membres des collectivités (notamment les Aînés), en plus d'une analyse statistique des données sur la criminalité relevées.

Les études de cas des programmes financés par SJA ont été menées afin de recueillir des données approfondies sur les programmes de justice communautaire, notamment leurs opérations, les difficultés auxquelles ils se sont heurtés, et les retombées qu'ils ont eues sur les collectivités qu'ils servaient. Nombre des retombées de SJA ne sont pas mesurables au moyen de données quantitatives; les études de cas offraient la possibilité d'évaluer les retombées des programmes et de découvrir des pratiques exemplaires ou des leçons retenues directement auprès des personnes concernées.

Au total, 13 programmes de justice communautaire ont participé aux études de cas en 2010-2011, et des données sur la criminalité ont été obtenues pour 11 des collectivités correspondantes. Les études de cas portaient sur une combinaison de programmes mis en œuvre, notamment : mesures de déjudiciarisation, sanctions communautaires, et médiation en matière familiale et civile. La collecte de données pour les études de cas comprenait un examen des documents; des entrevues avec les principaux intervenants, notamment les gestionnaires et les employés de programme, les participants au programme, les partenaires des programmes et les organismes associés comme les coordonnateurs de la justice, les policiers, les intervenants auprès des victimes, le personnel des tribunaux, les membres de comités de la justice, des représentants de la ville, des Aînés, des procureurs, des préposés à l'aide juridique et des agents de probation; ainsi que des séances de groupes avec les participants au programme, les Aînés et les employés des programmes.

Les séances de groupe utilisaient des méthodes tenant compte des caractéristiques culturelles. L'Outil d'évaluation Waawiyeyaa, élaboré par Johnston Research Inc., est une méthode d'autoévaluation fondée sur le savoir traditionnel et les façons d'être. Le mot Ojibway Waawiyeyaa se rapporte à un processus circulaire qui peut entraîner la renaissance et la transformation. La deuxième méthode faisait intervenir l'utilisation d'images emblématiques culturelles permettant de susciter des réponses aux questions de l'évaluation.

La principale limite de la méthodologie des études de cas est que les résultats d'une étude de cas représentent des conclusions uniques qu'il n'est pas possible de généraliser à tous les programmes de justice communautaire. Cette contrainte a néanmoins été limitée par la réalisation de 13 études de cas sur des sites sélectionnés comme étant représentatifs de la diversité des programmes de justice communautaire dans l'ensemble des provinces et des territoires. Par ailleurs, les données recueillies sur l'efficacité, dans le cadre de l'analyse des taux de récidive, des entrevues avec les principaux intervenants et de l'examen des documents constituent autant de moyens de procéder à la triangulation des résultats des études de cas.

3.3. Entrevues avec les principaux intervenants

Quelque 25 entrevues ont été menées par téléphone aux mois de juin et de juillet 2011, dans le cadre de l'évaluation de SJA. Ces entrevues étaient semi-structurées et portaient sur les questions de pertinence, de rendement et de mise en œuvre des recommandations issues de l'évaluation à mi-mandat de SJA de 2010.

Les entrevues semi-structurées étaient la méthode sélectionnée pour cette évaluation afin d'appuyer les résultats des études de cas et de donner la possibilité aux intervenants de SJA de formuler leurs points de vue quant à la pertinence et au rendement de SJA.

À des fins de cohérence pour la communication des résultats, tous les résultats des entrevues ont été codifiés et ceux qui se répétaient dans toutes les entrevues sont signalés comme des conclusions dignes de mention. Dans la mesure du possible, les réponses ont été triangularisées avec les données issues de l'examen des documents, des études de cas et des analyses sur les taux de récidive.

Afin d'atténuer les faiblesses éventuelles de la méthode inhérente aux entrevues semi-structurées, toutes les entrevues ont été menées par un seul évaluateur familier de SJA, qui était capable de susciter des réponses détaillées. Les questions posées pendant les entrevues (voir annexe B) ont été vérifiées de sorte à s'assurer qu'elles n'anticipaient pas les réponses, et plutôt que de déduire des conclusions à partir d'un petit échantillon d'entrevues, tous les membres du Groupe de travail FPT sur SJA ont été invités à participer, de même que plusieurs employés clés du ministère de la Justice. Le tableau 2 présente la répartition des principaux intervenants interrogés dans le cadre de cette évaluation.

Tableau 2 : Principaux intervenants interrogés dans le cadre de l'évaluation de SJA

Catégorie du principal intervenant Nombre
Ministère de la justice Directeur général, Direction générale des programmes 1
Employés de la Direction de la justice applicable aux Autochtones : Administration centrale 3
Employés de la Direction de la justice applicable aux Autochtones : Bureau régional 1
Employés de la Direction de la justice applicable aux Autochtones : Coordonnateurs régionaux 6
Employés du groupe Droit des Autochtones et politiques stratégiques 1
Partenaires provinciaux et territoriaux Membres du Groupe de travail FPT sur SJA 13
Total 25

3.4. Examen des dossiers administratifs et des données de programme

Un examen des dossiers administratifs de la DJA, ainsi que des dossiers envoyés par certains programmes communautaires pour compléter les études de cas, a été effectué afin d'appuyer les données recueillies dans le cadre de l'évaluation.

3.5. Étude sur la récidive

L'approche adoptée pour l'étude sur la récidive visait à comparer les taux de récidive des individus qui avaient participé à un programme financé par SJA avec ceux qui avaient été aiguillés vers ce programme, mais qui n'avaient participé à aucun aspect de celui-ci. Au total, 5 141 dossiers renvoyés par les 25 programmes de SJA qui ont fourni des données des participants constituaient l'échantillon de cette étude. Les données ont été collectées entre 1998 et 2007, ce qui a permis de comparer les taux de récidive sur une période de temps. 

Aux fins de l'analyse, la période de temps écoulé entre la clôture d'un programme et la condamnation a fait l'objet d'une modélisation statistique à titre de fonction de l'âge, du sexe, du nombre de condamnations avant le programme (les variables intermédiaires), et de la participation ou non-participation à un programme de SJA. L'analyse de survie, en particulier le modèle des risques proportionnels de Cox, était l'approche statistique utilisée pour modéliser la probabilité de la récidive. Il s'agissait de la même méthode que celle utilisée dans les études sur la récidive de 2006 et de 2000, ce qui a permis des comparaisons au fil du temps.

La principale limite de l'analyse des taux de récidive était l'absence d'un véritable plan expérimental, compte tenu du fait que des contraintes pratiques et d'ordre éthique empêchaient l'affectation aléatoire d'individus dans les groupes témoins et de participants. Ainsi, les différences préexistantes entre les groupes de participants et les groupes de référence pourraient mener à des résultats différents en matière de récidive. Afin d'atténuer cette stratégie, une approche statistique susceptible de tenir compte des différentes sous-jacentes entre les groupes de participants et les groupes de référence a été utilisée.

Une autre limite concernait la nature non aléatoire des données fournies pour l'étude. Des ententes provinciales et au niveau du programme ont été atteintes de sorte à accéder aux données des programmes, ce qui a empêché une étude de tous les participants aux programmes financés par SJA ou d'un échantillon aléatoire. Afin de limiter cette contrainte, une taille importante de l'échantillon a été utilisée, et les dossiers analysés dans le cadre de cette étude ont été sélectionnés de façon aléatoire à partir de l'échantillon fourni par les programmes (au moyen d'un générateur de nombres aléatoires), tout en veillant à la représentation de tous les programmes qui avaient fourni des données.

3.6. Analyse des coûts

On a procédé à une analyse des coûts pour déterminer l'incidence financière de SJA. À cette fin, on a demandé à 17 programmes de SJA établis dans l'ensemble du Canada de fournir des données sur le financement fédéral et provincial du programme, ainsi que sur le nombre de clients servis, pour l'exercice 2008-2009[6].

Cette analyse a été menée de sorte à estimer l'aspect coût-efficacité des programmes financés par SJA. Le système de justice traditionnelle a été utilisé à titre de comparaison, étant donné qu'il constitue la seule alternative à la majorité des participants aux programmes financés par SJA. L'analyse des coûts était conçue de sorte à mesurer tant le ratio coût-efficacité immédiat qu'à plus long terme (en fonction des retombées sur la récidive) de SJA.

La partialité lors de la sélection a constitué une limite éventuelle de cette analyse, sachant que les contrevenants qui participent aux programmes de justice communautaire financés par SJA sont généralement recommandés pour des infractions relativement mineures. Ce type de mise en accusation peut se traduire par de faibles coûts pour les tribunaux traditionnels, comparés à la moyenne, du fait que ces dossiers ne sont pas compliqués. Bien qu'il n'ait pas été possible de tenir compte de la complexité des affaires dans l'analyse des coûts, ce biais est compensé par d'autres facteurs qui n'entrent pas en ligne de compte. Particulièrement, les coûts relativement élevés pour la justice traditionnelle des services fournis aux collectivités éloignées, par rapport aux programmes existants dans ces collectivités, n'ont pu être mesurés.

Une autre limite méthodologique concerne l'impossibilité de déterminer quels coûts du système de justice traditionnelle ne sont pas encourus en conséquence d'une participation à des programmes financés par SJA. Par exemple, dans certains cas, les renvois sont adressés aux programmes de SJA avant que la police n'intervienne, ce qui permet de réduire davantage les coûts, en comparaison au système de justice traditionnelle, alors que dans d'autres cas, les coûts des services de police seraient comparables. Compte tenu du fait qu'il est impossible de déterminer la véritable valeur des économies de coûts dans ce secteur, cette mesure a été exclue de l'étude de sorte à atténuer cette contrainte.

Une dernière limite concerne le fait que les données du programme pourraient ne pas être représentatives de tous les programmes de justice communautaire financés par SJA. Afin d'atténuer cette limite éventuelle, les programmes ont été sélectionnés de sorte que les données soient mises en commun d'après leur représentativité de la diversité des programmes financés par SJA. Les programmes sélectionnés sont offerts dans l'ensemble du Canada, dans les régions urbaines, rurales et éloignées, et offrent une palette de services à leurs collectivités.

3.7 Enquête auprès des représentants de la police et de la Couronne

On a fait parvenir le questionnaire de sondage en ligne à tous les membres de la GRC au pays en prenant un lien fourni dans un bulletin électronique de cet organisme en septembre 2009, dans le cadre de l'évaluation à mi-mandat de SJA de 2010. Les partenaires provinciaux et territoriaux ont identifié les procureurs de la Couronne qui travaillent dans les collectivités où existe un programme de justice communautaire, et ces derniers ont été également invités à participer.

Au départ, on a fait la sélection des personnes à interroger selon s'ils travaillaient ou avaient travaillé depuis 2007 à l'intérieur ou à proximité d'une collectivité réalisant un tel programme. Les individus qui ne satisfaisaient pas à ces critères étaient exclus de l'enquête.

L'objet de cette enquête était de déterminer le niveau de sensibilisation des partenaires de la justice traditionnelle aux programmes financés par SJA. Bien qu'il n'ait pas été possible de savoir quels agents de la GRC avaient travaillé au sein ou à proximité de quelles collectivités et de cibler les invitations, on ignore quel était le nombre exact de participants admissibles. De ce fait, on n'a pu calculer les taux de réponse ni établir l'erreur d'échantillonnage. Malgré cette contrainte, la méthode d'envoi d'invitations à tous les agents de la GRC a été perçue comme le moyen le plus efficace d'atteindre la pleine cohorte[7]. L'enquête est présentée dans l'annexe D.

Le tableau 3 dénombre les répondants des enquêtes menées respectivement auprès des représentants de la police et de la Couronne.

Tableau 3 : Nombre de répondants des enquêtes auprès des représentants de la police et de la Couronne

Groupe des principaux intervenants Nombre de personnes consultées
GRC/Police 35
Couronne 10
Inconnu 1
Total 46



Date de modification :