Méthodologie de l’évaluation
Pour orienter l’évaluation, on a élaboré une méthode et une matrice d’évaluation en fonction des directives énoncées dans la Politique sur les résultats (2016) du Conseil du Trésor. La portée de l'évaluation était axée sur la pertinence (le besoin continu), la conception, l’exécution et le rendement (efficacité et efficience) et comprenait neuf questions d'évaluation qui figurent à l'annexe B.
Un Groupe de travail sur l’évaluation (GTE), composé de représentants de la Direction des langues officielles et de la DIAI du MJ, a formulé des conseils durant la conception et la mise en œuvre de l’évaluation. Il a coordonné l’accès aux données et commenté les produits d’évaluation (p. ex., les questions et les indicateurs, les observations préliminaires et le rapport d’évaluation provisoire).
Dans le cadre de l’évaluation, on a utilisé quatre méthodes de collecte de données : un examen des documents et des données, un examen des dossiers, des entrevues auprès d’informateurs clés, et des études de cas. On a également tenu compte de l’ACS+ lors de la conception, de la collecte de données, et de la production de rapports. Chacune de ces méthodes est décrite ci-après.
3.1 Examen des documents et des données
L’examen des données et des documents pertinents a jeté un éclairage sur l’ensemble des questions et enjeux liés à l’évaluation. Il a également généré des renseignements de base courants pour les autres éléments probants. La première étape de cet examen consistait à passer en revue les documents relatifs au programme afin de répondre aux questions d’évaluation portant sur leur pertinence et leur rendement continus. Les types de documents suivants ont été examinés :
- Documents de fond du programme, afin de comprendre le contexte et l’objet du programme, ainsi que sa structure globale (p. ex., modalités du programme, dossiers des comités, accords, etc.);
- Documents de mise en œuvre du programme (aperçus, fiches d’information, procès-verbaux, etc.);
- Renseignements sur le rendement (évaluations précédentes, données sur le rendement, modèles de rapports des intervenants);
- Renseignements financiers ou financement planifié et réel par exercice.
3.2 Examen des dossiers
Nous avons examiné les dossiers du Fonds d’appui afin de pouvoir évaluer certaines des caractéristiques de base de tous les projets financés durant la période couverte par l’évaluation. À cette fin, nous avons préparé un profil de tous les projets ciblés, basé sur les données et les informations relatives au rendement qui étaient disponibles. Ce processus a couvert quatre exercices (2017-2018 à 2020-2021).
L’information et les données pertinentes (niveau de financement offert, type de financement, nature des activités, clientèle ciblée, etc.) ont été saisies dans un tableur, et des tableaux sommaires ont été préparés et inclus dans un rapport technique distinct.
3.2.1 Entrevues auprès d’informateurs clés
Les entrevues semi-structurées auprès d’informateurs clés ont permis de comprendre parfaitement l’Initiative et de déterminer les succès obtenus, ainsi que les problèmes qui sont survenus et les solutions potentielles relatives à l’Initiative. Par ailleurs, on a offert aux informateurs clés la possibilité de corroborer les observations issues d’autres sources de données et de fournir des explications ou plus de détails à leur sujet, et ils ont fait des observations importantes à propos de l’atteinte des objectifs (les a-t-on atteints ou non, et pourquoi).
L’équipe chargée de l’évaluation a collaboré avec le GTE afin de désigner les informateurs clés. En tout, 36 entrevues ont été menées auprès de 43 personnes (certaines en groupe), qui représentaient les groupes d’intervenants suivants :
- Représentants de Justice Canada, y compris les personnes chargées de gérer et de mettre en œuvre l’Initiative (n = 4 entrevues);
- Représentants du Comité consultatif et du Groupe de travail FPT (n = 9);
- Organisations financées (n = 23).
Les interviewés ont mentionné des enjeux liés à la pertinence de l’Initiative, à la mesure dans laquelle elle a produit les résultats escomptés, à l’efficacité et à l’efficience de la structure de gestion, et aux processus de production de rapports et de responsabilisation.
3.3 Études de cas
Trois études de cas ont été menées en tout, afin de documenter les résultats de l’Initiative et d’illustrer les divers types de projets financés, ainsi que les pratiques exemplaires et les leçons tirées. Chaque étude de cas comprenait un examen de la documentation pertinente et des entrevues (individuelles ou en groupe). Plus précisément et lorsque justifié, on a posé aux personnes interviewées, dans le cadre du processus global d’entrevues auprès d’informateurs clés décrit à la section 3.2.1, d’autres questions portant précisément sur une étude de cas.
Menées en consultation avec le GTE, les études de cas ont porté sur les thèmes suivants :
- Accès à la justice en anglais au Québec : Cette étude a exploré l’écosystème des intervenants et des fournisseurs de services qui facilitent l’accès à la justice en anglais au Québec, en vue de documenter la contribution relative de l’Initiative à l’atteinte de cet objectif. Les organisations consultées dans le cadre de cette étude de cas comprenaient Éducaloi, le Quebec Community Groups Network, et le Centre de justice de proximité Côte-Nord.
- Répondre aux besoins des communautés mal desservies : Cette étude a déterminé dans quelle mesure l’Initiative touche les communautés mal desservies ou plus marginalisées (p. ex., les nouveaux arrivants, les collectivités plus isolées, etc.). Elle a permis de documenter les réalisations et les besoins auxquels on n’a pas répondu, et a fourni des observations utiles à propos de l’EDI. Les projets visés par cette analyse étaient ceux du Réseau des chercheuses africaines, de l’organisme À deux mains (clinique d’aide juridique), de l’Auberge Francophonie (ateliers d’information juridique), ainsi que la Politique de 2019 sur la diversité et l’inclusion adoptée par l’Association des juristes d’expression française de l’Ontario (AJEFO).
- Formation linguistique : Cette étude a évalué les possibilités actuelles de formation linguistique pour les intervenants œuvrant au sein du système de justice. Cette formation vise à leur permettre d’acquérir des compétences linguistiques dans la deuxième langue officielle (plutôt que de leur offrir une formation juridique intensive dans la langue seconde). Cela a permis d’évaluer la contribution de l’Initiative au continuum d’activités offertes, à savoir l’élaboration des documents de formation, la prestation de la formation elle-même, et l’évaluation des capacités linguistiques acquises grâce à cette formation. Les projets visés par cette analyse étaient ceux du Centre canadien de français juridique, de Juralingo et de KortoJura.
Pour chaque étude de cas, on a préparé un rapport technique qui énonce les observations générales relatives au thème abordé, indique la contribution de l’Initiative. L’annexe B contient un résumé de chaque étude de cas.
3.4 Prise en compte de l’analyse comparative entre les sexes plus
La Politique sur les résultats du gouvernement fédéral, ainsi que sa Directive sur les résultats précisent les attentes relatives à l’ACS+ dans le contexte des études d’évaluation. Premièrement, la Politique confirme qu’en établissant leur stratégie de mesure du rendement, les gestionnaires de programme doivent y inclure l’ACS+ lorsque c’est pertinent. Elle définit par ailleurs une procédure obligatoire qui stipule que toutes les évaluations planifiées doivent prendre en compte l’ACS+ s’il y a lieu.
La présente évaluation de l’Initiative a permis de déterminer comment une ACS+ pourrait nous aider à mieux comprendre de quelle façon le programme atteint des groupes diversifiés de femmes, d’hommes et d’individus non binaires et leur est bénéfique, en tenant compte d’une série de facteurs identitaires comme la langue, la répartition régionale, la race, l’âge, les handicaps ou l’éducation.
3.5 Contraintes, limites et atténuation
Les principales contraintes liées à cette évaluation portent sur la nature et la portée de l’information relative au rendement qui est recueillie pour chaque projet financé. Pour atténuer ces problèmes, on a examiné les résultats générés pendant la période d’évaluation, mais on a aussi tenu compte des activités et des investissements qui étaient antérieurs à cette période, mais se sont révélés avantageux durant la période en question. Par ailleurs, même si l’on a observé un manque de données et d’information sur le rendement, en particulier lors des études de cas, on a mené des entrevues et intégré d’autres renseignements pertinents à l’analyse.
De plus, l’incertitude créée par la pandémie de COVID-19 a eu des répercussions durant le processus de la collecte des données. Pour atténuer ce problème, nous avons prolongé la période allouée aux entrevues, qui ont été menées de diverses façons (téléphone, MS Teams et Zoom) pour répondre aux besoins des informateurs clés.
- Date de modification :