Évaluation du Programme juridique de partenariats et d'innovation

3. Méthodologie

La méthodologie employée pour l’évaluation a consisté en bon nombre de sources de données, dont un examen de documents et de la littérature pertinente, des entrevues auprès des informateurs clés, un examen des dossiers, un sondage des demandeurs et des études de cas. Tel qu’il a été indiqué, la méthodologie correspond à celle indiquée dans la Stratégie de mesure du rendement du PJPI. L’évaluation a été guidée par une grille d’évaluation qui traite de questions touchant à la pertinence et au rendement, et comprend des indicateurs et des sources des données pour chacune d’elles. Les questions liées au rendement comprennent la prise en compte de l’atteinte des résultats de la manière énoncée dans le modèle logique du PJPI. L’annexe A renferme le modèle logique et la grille d’évaluation.

Les méthodologies d’évaluation sont décrites ci-après et les instruments de collecte de données sont présentés à l’annexe B. Tous les instruments de collecte de données ont été élaborés en consultation avec le GTE.

3.1. Examen des documents

L’examen des documents visé des documents internes et des documents accessibles au public et a couvert notamment ce qui suit :

Même si l’examen n’a pas donné lieu à un examen exhaustif de la littérature, tout texte récent paru sur le sujet de l’accès à la justice qui s’avérait pertinent pour le PJPI et qui a été repéré durant l’évaluation a également été examiné.

3.2. Entrevues auprès des informateurs clés

Des entrevues auprès des informateurs clés ont été menées pour obtenir des avis, des perceptions et des expériences des principales parties prenantes qui connaissent le PJPI. Les entrevues ont été menées notamment auprès du personnel du ministère de la Justice Canada, des partenaires et des parties prenantes.

L’information a été recueillie auprès de 21 informateurs clés au total. Leurs commentaires ont été recueillis dans le cadre de 18 entrevues (deux des entrevues ont été menées avec deux participants en même temps chacune) et une observation écrite a été remise. La ventilation des informateurs clés est la suivante :

Le GTE a choisi les participants potentiels aux entrevues avec les informateurs clés. Les entrevues ont été menées selon des guides d’entrevue structurée adaptés à chaque groupe particulier, et les questions ont été formulées de manière à correspondre aux enjeux et questions visés par l’évaluation.

Les représentants des volets EAJ de VIJ ont dû répondre à quelques questions de base sur la manière dont les services de VIJ sont offerts dans les territoires, les lacunes existantes des services et les défis liés à la prestation de l’initiative de VIJ dans les territoires du Nord.

3.3. Examen de dossiers

L’examen des dossiers a consisté en un examen de l’information sur le rendement et des dossiers relatifs à certains bénéficiaires d’un financement du PJPI. Les dossiers ont été choisis de manière à inclure un échantillon de chacun des groupes bénéficiaires, notamment les subventions nominatives, les organismes de VIJ, les initiatives liées à la VFFFA, les initiatives liées à l’ILVF, et le financement général du PJPI. Étant donné le petit nombre de subventions nominatives, il a été décidé d’inclure les cinq bénéficiaires dans la portée de l’examen. La moitié des organismes de VIJ ont été inclus dans l’examen et les dossiers restants ont été tirés d’autres initiatives.

Un total de 31 dossiers de bénéficiaires du PJPI ont été examinés, ils sont répartis comme suit :

Le programme du PJPI a sélectionné au hasard les dossiers à examiner, selon le nombre par groupe indiqué ci-dessus. Les bénéficiaires qui n’étaient pas inclus dans les études de cas n’ont pas été pris en compte dans l’examen des dossiers.

Les dossiers ont été examinés aux bureaux du Programme du ministère de la Justice et comprenaient les examens de données et dossiers ouverts pour chaque bénéficiaire d’un financement, notamment les documents suivants :

Chaque dossier a été examiné au moyen d’un modèle d’examen de dossier afin d’assurer l’uniformité de l’examen des données et de faciliter l’analyse et l’établissement de rapports. Deux modèles d’examen de dossier ont été créés selon l’information fournie dans les demandes de financement du PJPI et les modèles d’établissement de rapports; le PJPI utilise deux modèles d’établissement de rapports — l’un pour les subventions nominatives et l’autre pour tous les autres bénéficiaires.

3.4. Sondage des demandeurs

L’évaluation comprenait notamment la réalisation d’un sondage en ligne des demandeurs de projet afin que des commentaires soient obtenus d’une large gamme de parties prenantes du Programme et que les commentaires des demandeurs puissent être enregistrés de façon à ce qu’ils puissent être combinés et quantifiés. Le sondage a été réalisé tant auprès de demandeurs qui ont obtenu un financement que de ceux qui n’en ont pas obtenu, et comportait des questions applicables aux deux types de demandeurs ainsi que des questions particulières aux bénéficiaires du financement et aux demandeurs dont la demande de financement a été refusée. De plus, le questionnaire du sondage a été formulé de manière à ce qu’il soit possible d’établir une comparaison avec les résultats du sondage réalisé lors de l’évaluation précédente.

Le Programme a fourni les adresses de courriel des principales personnes-ressources des demandeurs de projets. Les demandeurs ont reçu une invitation par courriel de la DE expliquant le sondage et sollicitant leur participation. Les demandeurs ont reçu par courriel un lien vers le sondage, et ils pouvaient remplir le sondage dans la langue officielle de leur choix. Des courriels de suivi ont été transmis sept fois de suite aux demandeurs qui n’ont pas répondu afin de les encourager à participer. Au total, 114 demandeurs ont reçu une invitation à participer au sondage. 46 demandeurs ont rempli le sondage pour un taux de réponse de 40 %.

3.5. Études de cas

Cinq études de cas de projets ou d’initiatives financés ont été réalisées pour préciser davantage la manière dont le PJPI contribue à chacune des initiatives et à chacun des résultats atteints. Les études de cas ont été retenues avec l’aide de la DE et visaient les bénéficiaires suivants :

Pour chaque étude de cas, un examen des documents et des dossiers pertinents a été réalisé pour chaque projet ou initiative (p. ex., demandes, ententes de contribution, rapports des bénéficiaires), ainsi que des entrevues avec plusieurs principales parties prenantes pour chacun des projets ou initiatives choisis. Deux guides d’entrevue ont été créés spécifiquement pour les études de cas : l’un pour les bénéficiaires de financement lié à la VIJ et un autre pour les autres bénéficiaires.

Les entrevues ont été menées auprès de la principale personne-ressource pour chaque initiative visée par l’étude de cas, et celle-ci a été invitée à identifier d’autres parties prenantes qui pourraient utilement être interrogées, comme des partenaires ou des participants aux programmes, ou les deux.

3.6. Limites

Les limites méthodologiques de l’évaluation sont indiquées ci-après, ainsi que les stratégies d’atténuation employées.

Examen de documents et de données.
Outre les objectifs de programme, les modalités et conditions de programme, les quelques évaluations antérieures, les données financières sur le financement et les rapports sur les projets, les documents et données susceptibles d’étoffer l’évaluation étaient limités.
Réponses tirées des sondages et des entrevues menés auprès des informateurs clés et des parties prenantes des études de cas.
Une déviation systématique des réponses autodéclarées et une déviation systématique stratégique peuvent avoir une incidence sur les résultats d’entrevue. Il y a déviation systématique des réponses autodéclarées lorsque des gens décrivent leurs propres activités et peuvent donc vouloir se présenter sous l’angle le plus favorable. Il y a déviation systématique stratégique lorsque les participants répondent à des questions en souhaitant orienter les résultats.
Petite taille de l’échantillon pour le sondage.
Le sondage a visé toutes les organisations qui ont déposé une demande de financement par le PJPI au cours de la période d’évaluation, sauf la CHDIP et UNIDROIT, et a inclus tant les demandeurs qui ont obtenu un financement que ceux qui n’en ont pas obtenu. Le PJPI étant un programme plus modeste, il n’a pas attiré un grand nombre de demandeurs au cours de l’évaluation. Le Programme ne disposait pas de renseignements à jour sur certains demandeurs, principalement s’agissant des demandeurs n’ayant pas obtenu un financement. Par conséquent, 114 demandeurs ont été invités à répondre au sondage et 46 demandeurs ont répondu, ce qui représente un échantillon assez petit pour la déclaration des résultats.
Stratégies d’atténuation.
Les principales stratégies d’atténuation employées relativement aux limites méthodologiques susmentionnées ont consisté en l’utilisation de nombreuses sources de données, l’utilisation de données quantitatives et qualitatives et l’inclusion d’un éventail de groupes de parties prenantes pour les diverses sources de données. En dépit de ces limites, les conclusions de l’évaluation ont pu être renforcées par la triangulation des constatations de ces différentes sources. Les entrevues auprès des différents groupes de parties prenantes incluaient les entrevues des informateurs clés avec des représentants du ministère de la Justice ainsi qu’avec les bénéficiaires du financement pour chaque type de financement d’initiatives par le PJPI (p. ex. subventions nominatives, organismes de VIJ, ILVF, VFFFA, et financement général du PJPI); le sondage des demandeurs a visé tous les types de bénéficiaires, sauf la CHDIP et UNIDROIT; les études de cas de cinq bénéficiaires d’un financement; et l’examen des dossiers de 31 dossiers de bénéficiaires.