Évaluation de la stratégie en matière de justice applicable aux autochtones

3. Détails de la méthodologie

La section suivante décrit la méthodologie retenue pour l’évaluation. L’évaluation a été effectuée avec l’aide de ressources internes et de sous-traitants. L’annexe A présente les questions et enjeux abordés dans l’évaluation, alors que l’annexe B contient les instruments de collecte de données.

3.1. Revue documentaire

La revue documentaire a fourni des renseignements sur presque tous les sujets abordés dans l’évaluation, ainsi que des données détaillées sur ce qui a été accompli au niveau des collectivités. Elle a porté sur un total de 27 documents, notamment des accords, des rapports internes, des documents administratifs liés aux programmes, des documents portant sur les activités du programme, des procès-verbaux, des documents d’information internes, et des rapports de recherche universitaire.

3.2. Examen des dossiers

Un examen des dossiers a été effectué sur les projets financés en vertu du Fonds de renforcement des capacités entre 2012 et 2015. Les descriptions de ces projets ont servi à recenser le genre d'activités menées dans le cadre des cinq catégories de projets admissibles au financement, conformément aux modalités du Fonds. Tous les fonds consacrés aux projets ont été comptabilisés, et le financement total de chaque projet des cinq catégories a été additionné. En fonction de leur description, les activités financées (p. ex., les ateliers, les conférences ou les réunions) ont également été regroupées par catégorie. Le tableau 2 présente les données obtenues.

Tableau 2 : Nombre total de projets et financement total dans chaque catégorie de financement admissible
Objectifs du Fonds de renforcement des capacités Valeur totale de la catégorie Montant approuvé (en dollars)
Formation/perfectionnement (sans programme de justice communautaire) 43 1 412 186
Formation/perfectionnement (avec programmes de justice communautaire) 69 2 033 318
Appui à la production de rapports et à la gestion des données (dans les collectivités actuelles de la SJA) 45 296 790
Nouveaux programmes de justice communautaire (régions où il y a sous-représentation et déséquilibre) 11 263 446
Événements occasionnels/annuels (établissement de ponts, d’un esprit de confiance et de partenariats) 21 886 465
Total 189 4 892 205

3.3. Sondages (représentants de la police, de la Couronne et des programmes de justice communautaire)

Deux sondages nationaux en ligne ont été administrés dans le cadre de l’évaluation. Le premier était destiné aux membres de la GRC, à d’autres corps de police, et aux avocats de la Couronne qui travaillent dans des collectivités ayant accès à des programmes de justice communautaire. Le deuxième s'adressait aux IJC dans les collectivités ayant accès à des programmes de justice communautaire. Les sondages ont servi à déterminer dans quelle mesure la SJA était connue et à examiner la question de l’aiguillage vers les programmes de la SJA, la nécessité et l'efficacité de ceux-ci, ainsi que l’expérience avec la SJA.

Le taux de réponse final au sondage auprès des IJC a été de 68 %, ce qui semble être un très bon taux de réponse pour un sondage en ligne Note de bas de la page 5. Les représentants de la Couronne et de la police qui ont répondu au sondage étaient en majorité des agents de la GRC travaillant dans des régions qui ont accès aux programmes de la SJA (73 %), ainsi que des représentants de la Couronne (23 %) et des services de police autochtones (4 %).

Tableau 3 : Types de répondants au sondage destiné aux représentants de la Couronne et de la police
  Nombre Pourcentage
Procureur de la Couronne ou autre type d’avocat ou de représentant de la Couronne 44 23,2
GRC 138 72,6
Police autochtone (p. ex., bande, conseil) 8 4,2
Total 190 100,0

Les répondants au sondage destiné aux représentants de la Couronne et de la police étaient plus susceptibles de travailler au moment du sondage en Saskatchewan (39 %), en Alberta (10 %), en Colombie Britannique (10 %), au Nunavut (9 %), au Manitoba (8 %) et au Yukon (7 %). Il est important de se rappeler au moment d’interpréter les résultats du sondage que la répartition des répondants ne représente pas la répartition des programmes de la SJA dans l’ensemble du pays.

3.4. Économies et examen de l'efficience

L’évaluation a examiné l’utilisation des ressources de la SJA sous trois volets : les économies, l’efficacité opérationnelle, et l’allocation optimale des ressources. L’examen des données financières et les entrevues avec des intervenants clés ont permis de déterminer l’utilisation des ressources et d’établir s’il est possible d’améliorer l'efficience de la prestation de la SJA. De plus, deux analyses ont servi à évaluer l’incidence que les programmes de justice communautaire de la SJA ont sur le taux de récidive des participants (voir l’annexe D) et les coûts liés au traitement d’une affaire devant les tribunaux du SJT.

3.5. Entrevues auprès d’intervenants clés

Les entrevues auprès d’intervenants clés avaient pour but de recueillir de l’information contextuelle sur les programmes dans le but de compléter l’analyse effectuée par d’autres méthodes. Elles couvraient la plupart des questions visées par l’évaluation et s’attardaient à la pertinence et au rendement de la SJA.

Les entrevues avec les représentants de la DJA et d’autres ministères ont été menées en personne à l’administration centrale de la DJA, et par téléphone et en personne dans les régions. Les entrevues avec les représentants provinciaux et territoriaux ont été effectuées surtout par téléphone. Après avoir déterminé quels genres de répondants devaient être interviewés, les représentants des programmes ont fourni la liste et les coordonnées des personnes à interviewer. Voici les groupes de répondants et le nombre réel d’entrevues.

  • 12 personnes représentant la DJA, les coordonnateurs régionaux de la DJA, le Programme d’assistance parajudiciaire aux Autochtones (Programme APA), le Centre de la politique concernant les victimes, la Section de la politique en matière de droit pénal, et le Centre de droit autochtone;
  • 19 représentants des provinces et des territoires qui ont participé à 15 entrevues. Les entrevues de groupe ont permis aux représentants d’être interviewés avec des collègues ou des homologues d’une autre division.

La répartition des répondants sélectionnés et des entrevues complétées entre les groupes de répondants a fait l'objet d’une surveillance afin de garantir qu’il y avait un bon équilibre au titre de la répartition finale entre les intervenants internes et externes.

Il s’agissait d’entrevues semi-dirigées qui ne duraient pas plus d’une heure afin de garantir un taux de réponse élevé et une imposition minimale pour les répondants.

Une fois les entrevues terminées, l’intervieweur a consigné les données et l’information recueillies dans une base de données centrale. Ainsi, il a été possible d’analyser l’information qualitative par groupe de participants aux entrevues et par question faisant l'objet de l'évaluation. Cette méthode a permis de faire ressortir plus facilement les thèmes communs par question qu’ont soulevés les répondants pour des groupes particuliers d’intervenants ou pour tous les groupes.

3.6. Études de cas

Objet et méthodologie

Six études de cas ont été menées au Canada (voir l’annexe C). Elles avaient pour but de recueillir l’opinion des intervenants sur les progrès réalisés par rapport aux programmes locaux de justice communautaire applicables aux Autochtones et à leurs objectifs, des facteurs influant sur le progrès, et de recenser des pratiques prometteuses qui pourraient être appliquées dans d’autres collectivités participantes. Les études de cas ont permis d’obtenir de l’information descriptive et des données d’évaluation auprès d’un éventail de membres des collectivités, notamment des IJC autochtones, des membres des comités de justice, des dirigeants des collectivités, des Aînés, et des représentants des services de santé et d’aide sociale, de la police et de la Couronne desservant les collectivités. De plus, il y a eu un examen des dossiers administratifs de la SJA pour les collectivités sélectionnées.

Stratégie en matière de sélection des collectivités

Le choix des programmes dépendait de leur pertinence pour les études de cas, c’est-à-dire qu’il s’agissait de programmes de la SJA bien établis. Étant donné que les études de cas n’étaient pas destinées à représenter toute la population desservie par les programmes de la SJA, on s’est efforcé pour qu’elles soient axées principalement sur des programmes bien établis afin de déceler les forces et les faiblesses des diverses approches en matière de justice communautaire applicable aux Autochtones, de recenser les facteurs favorables au succès, et d’obtenir des exemples d’approches efficaces dont pourraient bénéficier d’autres programmes similaires dans l’ensemble du pays.

Les programmes ont été sélectionnés en fonction d’une juste représentation régionale et d’un mélange de collectivités urbaines, rurales et éloignées qui comprenaient des Inuits, des membres des Premières nations et des Métis.

Sélection des programmes

  1. Programme de justice communautaire des Tsilhqot'in : (Ouest du pays, en milieu isolé, Premières nations dans une réserve);
  2. Programme de justice communautaire du Saskatoon Tribal Council : (Centre du pays, en milieux rural et urbain, modèle de conseil tribal d’une Première nation);
  3. Programme de justice communautaire applicable aux Métis : (Centre du pays, en milieu urbain, Métis);
  4. Programme de justice communautaire de l’United Chiefs and Councils of Mnidoo Mnising (Ontario, en milieu rural, modèle du conseil tribal d’une Première nation);
  5. Programme de justice réparatrice et d’aide aux victimes d’Elsipogtog : (Atlantique, en milieu rural, Premières nations dans une réserve);
  6. Programme de justice sociale de la Première nation des Kwanlin Dun : (Nord, en milieu urbain, Première nation dans une réserve).

3.7. Restrictions méthodologiques et stratégie d’atténuation

Entrevues d’intervenants clés

Les entrevues auprès d’intervenants clés servent dans le cadre de nombreuses évaluations à obtenir des commentaires qualitatifs à propos de programmes, mais peuvent donner lieu à de la partialité sur le plan de l'échantillonnage, des réponses et de l’intervieweur, en plus de froisser la sensibilité des répondants. Afin d’atténuer ce risque, les responsables ont veillé à constituer une liste équilibrée d’intervenants clés à interviewer de façon à obtenir un bassin de répondants bien informés et une variété de points de vue d’intervenants à l’interne et à l'externe. En outre, la triangulation de l’information fournie par les intervenants clés et celle obtenue par d’autres méthodes a aidé à compenser toute partialité possible.

Études de cas

Les études de cas sont utiles pour une évaluation, car elles servent à illustrer les effets, à donner un aperçu du fonctionnement du programme au niveau de la collectivité, et à examiner les répercussions dans des collectivités particulières. Étant donné l’importance de respecter la sensibilité culturelle pendant la collecte des données, toutes les études de cas ont été dirigées par des évaluateurs principaux et/ou des évaluateurs autochtones, qui ont été en mesure de recueillir des données par voie d'observation au cours de réunions avec des gestionnaires, des intervenants communautaires et des bénéficiaires des programmes de justice communautaire de la SJA.

Sondages

Les sondages sont très utiles dans le cadre des évaluations, car ils servent à générer des données quantitatives auprès d’un vaste groupe de représentants ou d’intervenants du programme d’une façon rentable. Toutefois, les sondages peuvent être contestés sur le plan de la fiabilité et de la validité des données recueillies (p. ex., quant à la partialité de l’échantillonnage, aux erreurs attribuables aux non-réponses, à la sensibilité des répondants au questionnaire, et à l’interprétation des questions). Les sondages en ligne peuvent obtenir de faibles taux de réponse ou produire des sondages remplis à moitié, particulièrement lorsque le groupe de répondants n’est pas très intéressé par le sujet ou est souvent invité à commenter. Afin d’accroître le plus possible la fiabilité des données, les sondages ont été rédigés en langage clair et étaient relativement courts. Pour obtenir le taux de réponse le plus élevé possible, des rappels ont été envoyés aux personnes-ressources pour lesquelles nous possédions les coordonnées directes. Nous avons également accordé aux intervenants externes (p. ex., les services policiers, la GRC, les représentants de la Couronne) le temps nécessaire pour qu’ils puissent suivre les procédures internes de participation à des évaluations externes.

Étant donné que l'échantillon du sondage a été constitué grâce à un échantillonnage des activités d’aiguillage, le nombre de personnes invitées à participer au sondage n’est pas vraiment connu. Même si des invitations ont été envoyées à un nombre inconnu de représentants de la Couronne et de la police autochtone et membres de la GRC, il nous paraît évident qu’un grand pourcentage de la population ciblée n’a pas participé au sondage et qu’il existe une certaine partialité au niveau de l'échantillonnage (p. ex., le nombre de participants de certaines provinces n’est pas proportionnel au nombre de programmes). Toutefois, dans de plus petites provinces, l'échantillon est probablement représentatif de l’ensemble de la population. C’est pourquoi les résultats du sondage auprès des représentants de la Couronne et de la police ne peuvent être jugés représentatifs des connaissances et des attitudes de la population, et qu’aucune pondération n’a pu être utilisée pour équilibrer l'échantillon.

Économies et examen de l'efficience

Les deux analyses effectuées pour évaluer l’allocation optimale des ressources de la SJA présentent également un certain nombre de limites qu’on a essayé d’atténuer le mieux possible au cours de l'évaluation. L’annexe D fournit d’autres informations sur les méthodologies utilisées, les limites et la stratégie d’atténuation qui ont servi à ces deux analyses.

La principale limite de l’étude sur la récidive a trait à l’absence d’un véritable plan expérimental, de sorte que des restrictions pratiques et éthiques ont empêché l’affectation aléatoire de personnes au groupe de participants ou au groupe-témoin. Les différences préexistantes entre le groupe de participants et le groupe-témoin peuvent donner lieu à des différences au chapitre des résultats sur la récidive. Toutefois, afin d’atténuer ces problèmes, l’étude a retenu un modèle statistique Note de bas de la page 6 pouvant tenir compte des différences sous-jacentes entre le groupe de participants et le groupe-témoin.

L’analyse des coûts a inclus tous les frais de la SJA, mais seulement des estimations de certains frais liés aux tribunaux du SJT (services judiciaires, poursuites judiciaires et aide juridique) tirées des comptes publics ont été inclus. L’analyse n’a pas tenu compte des coûts additionnels associés à l’administration de la justice (p. ex., police, probation et détention) et de ceux payés par la collectivité pour la SJA et le SJT. Ainsi, il est plus difficile de saisir l’effet global de la SJA, bien que l’analyse semble indiquer qu’il y a des économies possibles pour un point de contact avec le SJT.

Date de modification :