Évaluation du programme juridique de partenariats et d'innovation

• Page précédente
• Table des matières
• Page suivante

1. INTRODUCTION

1.1 Survol du Programme juridique de partenariats et d'innovation

1.1.1 Description et objectifs

Le Programme juridique de partenariats et d'innovation (PJPI) contribue à diverses initiatives qui répondent à l'évolution de la conjoncture et à ses répercussions sur le système de justice au Canada. Comme il s'agit d'un programme de subventions et contributions discrétionnaires, le PJPI transfère des fonds à des tierces parties pour l'exécution d'activités permettant d'atteindre ses objectifs. D'après les modalités du Programme pour les exercices 2007-2008 à 2011-2012, les buts et objectifs du PJPI sont les suivants :

• Le Programme s'inscrit dans le cadre de la mission du Ministère visant à faire en sorte que le Canada soit une société juste et respectueuse des lois, pourvue d'un système de justice efficace, équitable et accessible.
• Le Programme s'aligne sur le résultat stratégique du Ministère qui consiste à créer un système de justice équitable, adapté et accessible qui reflète les valeurs canadiennes.

1.1.1.1 Description et objectif

Le Programme a été conçu pour fournir des ressources visant à faciliter l'accès à la justice par divers moyens, notamment l'élaboration de nouvelles approches, la diffusion d'informations sur le droit, et la mise à l'essai de projets pilotes. Les activités et autres projets entrepris dans le cadre du Programme concordent avec les priorités du gouvernement.

1.1.1.2 Buts

Le but à long terme du Programme consiste à contribuer à l'élaboration de politiques pour faire en sorte que le système de justice demeure accessible, efficient et efficace, et qu'il reflète les valeurs canadiennes.

1.1.1.3 Objectifs

Toutes les demandes de financement/d'aide financière doivent correspondre au but à long terme du Programme ainsi qu'à l'un de ses objectifs, parmi les suivants :

• [Objectifs principaux se rapportant aux subventions et contributions]

  • 1. Promouvoir et encourager la participation à la détermination des nouvelles tendances, questions et/ou lacunes et réponses possibles à l'égard du système de justice.

  • 2. Encourager les innovations dans le système de justice afin d'assurer un meilleur accès au système.

  • 3. Accroître les connaissances, la sensibilisation et la compréhension, et favoriser un dialogue éclairé entre les intervenants du système de justice et/ou le public sur des enjeux liés à la justice, notamment l'accès à la justice, le racisme, les langues officielles, la lutte contre le terrorisme, la détermination de la peine ainsi que toute autre question nouvelle et afférente à la justice, y compris les enjeux d'ordre juridique sur la scène internationale.

  • 4. Informer les Canadiens et les Canadiennes sur les questions d'accès à la justice et du système de justice afin de favoriser une meilleure compréhension et participation du public à l'égard du système de justice, ainsi qu'une confiance accrue.

• [Certaines subventions seulement]

  • 5. Aider les organisations non gouvernementales (ONG) sélectionnées, qui figurent dans le budget principal ou supplémentaire des dépenses, dont le mandat et/ou les activités s'inscrivent en fonction du mandat, des objectifs et des priorités juridiques et sociojuridiques du Ministère, en leur octroyant une subvention.

• [Certaines contributions seulement]

  • 6. Promouvoir une représentation équitable des Métis et Indiens non inscrits dans le système de justice en les encourageant à poursuivre leurs études en droit.

  • 7. Aider les dix organismes publics désignés de vulgarisation de l'information juridique (VIJ) à favoriser un meilleur accès à la justice par divers moyens.

  • 8. Aider le Centre international pour la réforme du droit pénal et la politique de justice criminelle à promouvoir les droits de la personne, la primauté du droit, la démocratie et la bonne gouvernance.

  • 9. Renforcer les mesures judiciaires de lutte contre la violence familiale.

  • 10. Promouvoir la sensibilisation continue du public à la violence familiale et sa participation aux mesures contre celle-ci.

Tel que décrit à la page Web du Programme^[1], « Les activités pouvant être appuyées financièrement peuvent comprendre : ateliers, conférences, symposiums, sessions de formation, projets pilotes, de démonstration ou de recherche, et projets de vulgarisation et d'information juridiques ». Les demandeurs admissibles sont les suivants : « organisations communautaires, professionnelles, nationales, provinciales, municipales, régionales, autochtones à but non lucratif; administrations provinciales, territoriales, régionales et municipales; établissements canadiens d'enseignement et les conseils/commissions scolaires; organisations internationales; et conseils de bande, conseils tribaux, les Premières nations et les Inuits ».

Comme l'illustre le tableau ci-après, les dépenses du PJPI entre 2007-2008 et 2010-2011 s'élevaient à 11 169 815 $. Le budget total disponible pour ces exercices était de 16 217 038 $^[2]. Les dépenses pour 2010-2011 sont détaillées plus bas dans ce chapitre.

1.1.2 Gouvernance du PJPI et dotation

Le PJPI est l'un des 17 programmes de financement qui, au même titre que deux contributions obligatoires, relèvent du mandat de la Direction générale des programmes du ministère de la Justice. Le directeur général de la Direction générale des programmes est responsable de l'élaboration, la mise en œuvre et l'établissement de rapports sur le PJPI. Le Programme est géré par la Direction des innovations, de l'analyse et de l'intégration, et comprend un effectif dédié de 2,3 employés équivalents temps plein (ETP)^[3]. Le directeur est responsable des activités stratégiques et opérationnelles quotidiennes (à savoir, 10 % de son temps est consacré au PJPI). Le Programme comprend un analyste de programme à temps plein (PM-04) et un gestionnaire principal de programme (PM-06) qui consacre essentiellement 20 % de son temps au PJPI. L'Initiative de lutte contre la violence familiale, qui fait partie du PJPI, compte un employé désigné (au niveau PM-05). Compte tenu de la nature de l'expertise requise, d'autres responsables ministériels œuvrent au sein du Programme de façon ponctuelle pour aider notamment à l'examen des demandes, des décisions en matière de financement, etc.

1.1.3 Mécanismes de financement : Subventions et contributions

Le PJPI est assorti de deux catégories de financement : Subventions et contributions.

1.1.3.1   Subventions

Le PJPI comporte deux types de subventions :

Subventions désignées : Un financement est offert à des organismes sélectionnés dont les buts et objectifs sont étroitement liés au mandat et aux priorités du Ministère et qui figurent dans le budget principal ou supplémentaire des dépenses. Des subventions désignées ont été attribuées à cinq organismes en 2010-2011^[4], comme l'illustre la figure 1 ci-après.

Source : Rapport sur la situation financière du PJPI 2010-2011, fichier Excel.

Subventions de catégorie : Les subventions de catégorie sont relativement modestes et de durée limitée. Ces subventions sont attribuées à des individus ou des organismes qui ont déjà fait leurs preuves. Ce type de financement a été attribué à six organismes en 2010-2011, comme l'illustre la figure 2 ci-après.

Source : Rapport sur la situation financière du PJPI 2010-2011, fichier Excel.

1.1.3.2   Contributions

Il y a deux types de contributions :

Contributions générales : Les contributions générales viennent appuyer les projets individuels dans le cadre desquels l'imputabilité et le contrôle sont jugés plus impératifs que pour les subventions. En 2010-2011, des contributions ont été attribuées à cinq organismes bénéficiaires, comme l'illustre la figure 3 ci-après. Le PJPI appuie le Programme d'accès aux études de droit pour les Autochtones (AÉDA), qui assure une aide financière aux Métis et aux Indiens non inscrits qui souhaitent poursuivre des études en droit, et depuis 2009-2010^[5] est géré et offert par la Fondation nationale des réalisations autochtones (FNRA), qui apparaît également dans la figure 3. Le financement du Programme AÉDA représente 115 000 $ et les autres projets se partagent la somme non utilisée de 280 785 $ du montant total du financement de cette catégorie.

Source : Rapport sur la situation financière du PJPI 2010-2011, fichier Excel.

Financement de base – Organismes de VIJ et le Centre international pour la réforme du droit pénal et la politique de justice criminelle (CIRDP) : Cette aide financière appuie et favorise des partenariats entre le Ministère et les organisations qui ont des intérêts et des enjeux importants dans le système de justice; ce financement de base est strictement réservé à un organisme provincial de VIJ qui appuie les programmes de justice dans chaque province^[6]. En 1984, le ministère de la Justice du Canada lançait cette initiative dans le but d'établir un réseau national des principaux organismes prestataires de VIJ. La même année, le Ministère entamait le financement annuel aux organismes désignés de VIJ. On compte à l'heure actuelle dix organismes provinciaux bénéficiaires du financement de base, ce qui représente un total de 1 030 813 $ en 2010-2011, tel qu'indiqué dans la figure 4 ci-après. En novembre 2009, le Ministère adoptait une nouvelle politique concernant la VIJ. Celle-ci soulignait l'importance de la VIJ à l'appui de la mission du Ministère et pour assurer que le Canada est une société juste et respectueuse des lois, pourvue d'un système de justice efficace, équitable et accessible à tous^[7].

Le financement de base pour le CIRDP, qui s'élève à 215 000 $, figure également dans cette catégorie. Le CIRDP est un institut indépendant, sans but lucratif affilié aux Nations Unies. Il a été établi en vue d'appuyer la réforme du droit criminel, des politiques et de la pratique à l'échelle internationale en vue de promouvoir la primauté du droit et le respect des droits de la personne. Le CIRDP est le seul bénéficiaire du financement de base qui ne fait pas partie des organismes de VIJ désignés.

Source : Rapport sur la situation financière du PJPI 2010-2011, fichier Excel.

Compte tenu de la souplesse qu'il applique au financement de différents types de projets, le PJPI est le mécanisme par lequel les subventions et contributions sont distribuées à différents projets en vertu des initiatives suivantes :

Accès à la justice pour les populations marginalisées^[8] 

Ce financement appuie les initiatives qui explorent les questions ayant trait à la race dans le système de justice, examinent les facteurs menant à la marginalisation d'individus qui sont surreprésentés dans le système de justice, et/ou servent de mesures novatrices pour aider les personnes marginalisées dans le système de justice. Le financement (contributions) a été fourni à neuf organismes en 2010-2011, pour un total de 343 560 $.

Initiative Nunavut 

Ce financement est offert à des initiatives qui appuient la mise en œuvre d'un système de justice efficace qui tient compte de la nature unique du Nunavut et de ses besoins dans les domaines culturels, sociaux et géographiques. Un seul organisme, soit l'École de droit Akitsiraq, a reçu un financement total de 110 000 $ en 2010-2011.

Initiative de lutte contre la violence familiale 

Le financement de l'Initiative de lutte contre la violence familiale par le PJPI contribue à l'Initiative de lutte contre la violence familiale du gouvernement du Canada, qui est dirigée et coordonnée par l'Agence de la santé publique du Canada pour le compte de 15 ministères, agences et sociétés d'État partenaires. À ce titre, le PJPI accorde du financement à des organismes pour des initiatives qui visent à améliorer les connaissances des enjeux en matière de violence familiale; à promouvoir l'accès à la justice, l'égalité et les droits de la personne; à favoriser l'élaboration et la mise en œuvre de réformes législatives et sociojuridiques; et/ou à appuyer l'élaboration, la vérification et la mise en œuvre de nouvelles approches rentables et multidisciplinaires pour l'administration et la prestation de services aux victimes de violence familiale. En 2010-2011, les fonds du PJPI (subventions et contributions) dans le cadre de cette initiative ont été versés à 18 organismes, à hauteur de 565 831 $.

Initiative fédérale de lutte contre les mauvais traitements envers les aînés 

Le volet ministériel de l'Initiative fédérale de lutte contre les mauvais traitements envers les aînés, qui a pris fin en mars 2010, s'inscrivait dans le cadre de l'Initiative fédérale de lutte contre les mauvais traitements envers les aînés au niveau interministériel, dont Ressources humaines et Développement des compétences Canada était responsable. Grâce au PJPI, du financement a été octroyé à des initiatives dont les objectifs étaient de mener des recherches sur la sensibilisation à la violence envers les aînés, le signalement des cas de violence envers les aînés et les aspects juridiques qui y sont rattachés, ainsi que la production de documents visant à sensibiliser les aînés au risque de fraude.

Initiative concernant les femmes autochtones disparues et assassinées 

Cette Initiative appuie les activités dans le cadre de deux programmes : le Fonds d'aide aux victimes et le PJPI. Dans le cadre du PJPI, les fonds de l'Initiative concernant les femmes autochtones disparues et assassinées sont accessibles par l'entremise du volet Accès à la justice pour les femmes autochtones et de l'Initiative de lutte contre la violence familiale pour la production de documents de sensibilisation à l'intention des communautés autochtones; les deux projets ont été lancés le 29 octobre 2010. Le volet Accès à la justice pour les femmes autochtones assure un financement aux associations autochtones et autres organismes communautaires qui appuient l'élaboration de programmes scolaires et communautaires, notamment des projets collaboratifs de mentorat, de recherche, ainsi que des conférences et autres activités qui visent à réduire la possibilité de violence envers les femmes et les jeunes filles autochtones qui sont très vulnérables, en favorisant la récupération et d'autres mesures alternatives. Le volet relatif aux documents de sensibilisation à l'intention des collectivités autochtones produits dans le cadre de l'Initiative de lutte contre la violence familiale assure un financement aux organismes autochtones et de VIJ à l'appui de l'élaboration, la révision, la traduction ou la distribution de documents et autres activités de sensibilisation qui contribuent à rompre les cycles intergénérationnels de violence et d'abus dans les collectivités autochtones où les femmes et les enfants autochtones font face à des risques de violence plus élevés. Au cours de l'exercice 2010-2011, le PJPI a accordé un financement de 859 104 $ (subventions et contributions) à 21 organismes dans le cadre de ces deux volets, ce qui contribue à l'Initiative concernant les femmes autochtones disparues et assassinées du gouvernement du Canada, comme l'illustre la figure 5.

Source : Rapport sur la situation financière du PJPI 2010-2011, fichier Excel.

Pour l'exercice 2010-2011, les mécanismes de financement du PJPI dérivés des subventions et contributions atteignaient un total de 4 103 888 $, comme l'illustre la figure 6 ci-après.

Source : Rapport sur la situation financière du PJPI 2010-2011, fichier Excel.

1.1.4 Évolution du programme

Le Programme juridique de partenariats et d'innovation

Le PJPI, autrefois appelé Programme de subventions et contributions du ministère de la Justice, avait été lancé le 1er avril 1996. Il regroupait alors quelque 25 ententes de financement existantes. Le Programme avait été établi en vue d'attribuer des subventions et contributions à l'appui de cinq objectifs : la création de nouvelles connaissances en matière de justice, la promotion d'un meilleur accès à la justice grâce à la recherche ou à des partenariats, les réformes législatives ou sociales, la communication d'information juridique, ainsi que des améliorations en matière d'équité du système de justice.

En 2002, il a été décidé de poursuivre le Programme de l'exercice 2002-2003 jusqu'en 2006-2007. C'est au cours de cette période qu'il a été rebaptisé Fonds juridique de partenariats et d'innovation. En 2007, le Programme a été renouvelé de nouveau jusqu'à l'exercice 2011-2012; il est désormais intitulé Programme juridique de partenariats et d'innovation.

Contributions obligatoires

En juin 2007, le ministère de la Justice établissait deux contributions obligatoires pour la Conférence de La Haye de droit international privé et l'Institut international pour l'unification du droit privé (UNIDROIT). La Conférence de La Haye a pour but d'œuvrer à l'unification progressive des règles de droit privé international. La Conférence a reçu la somme de 275 538 $ au cours de l'exercice 2010-2011. L'objectif d'UNIDROIT consiste à examiner des moyens d'harmoniser et de coordonner le droit privé des états et groupes d'états, et de préparer l'adoption progressive de règles de droit uniformes par les différentes nations. UNIDROIT a obtenu 72 097 $ au cours de l'exercice 2010-2011. L'objectif des contributions obligatoires annuelles est de permettre au Canada de satisfaire à ses obligations financières auprès de ces deux organismes respectifs et d'atteindre ses objectifs internationaux en matière de politique en participant aux travaux de ces organismes. (Toute lacune à contribuer aux dépenses de fonctionnement de ces organismes pourrait entraîner la perte des droits de vote du Canada, voire son exclusion à titre d'État membre). Des modalités distinctes ont été établies pour chaque contribution obligatoire. Le Ministère s'est engagé à revoir sa participation à ces deux entités internationales en vue d'établir les avantages liés à l'affiliation du Canada pour faire progresser ses principes actuels en matière de politique intérieure et internationale. Les deux contributions obligatoires ont été incluses dans l'évaluation du PJPI, compte tenu de la similitude de leurs mécanismes de financement.

1.1.5 Modèle logique du Programme

Le Programme (excluant les contributions obligatoires) est illustré sous la forme d'un modèle logique dans la figure 7. Ce modèle logique présente les principaux liens intrinsèques entre les activités (c.-à-d. mécanismes de financement) et les objectifs du programme. À des fins d'illustration, les dépenses de l'exercice 2010-2011 sont incluses.

Figure 7 : Modèle logique du PJPI

Description

1.2 Objet et portée de l'évaluation

L'objet de l'évaluation était de mesurer et d'établir les éléments suivants :

Enjeu de pertinence 1. Besoin continu du Programme^[9] 

Évaluation de la mesure dans laquelle le Programme continue de répondre à un besoin démontrable et est sensible aux besoins des Canadiens;

Enjeu de pertinence 2. Concordance avec les priorités du gouvernement 

Analyse des liens entre les objectifs du Programme, (i) les priorités du gouvernement fédéral et (ii) les résultats stratégiques du Ministère;

Enjeu de pertinence 3. Concordance avec les rôles et responsabilités du gouvernement fédéral 

Évaluation du rôle et des responsabilités du gouvernement fédéral dans la réalisation du Programme;

Enjeu de rendement 1. Atteinte des résultats escomptés 

Évaluation des progrès réalisés par rapport aux résultats attendus (notamment les résultats immédiats, intermédiaires et ultimes) en ce qui concerne les cibles de rendement et la portée du Programme, sa conception, y compris les liens et la contribution des produits aux résultats;

Enjeu de rendement 2. Démonstration d'efficience et d'économies 

Évaluation de l'utilisation des ressources par rapport aux services produits et aux progrès réalisés vers l'atteinte des résultats attendus. Il s'agit notamment d'évaluer le caractère approprié et les opérations des mécanismes de prestation du Programme.

Étant donné que le Programme a été renouvelé en avril 2007 et modifié au niveau de ses modalités, la présente évaluation a tenu compte des résultats sur une période de quatre ans (plutôt que sur une période de cinq ans depuis la dernière évaluation). L'évaluation porte sur les exercices 2007-2008 à 2010-2011. Au cours de cette période, 151 ententes de financement^[10] ont été mises en œuvre dans le cadre du PJPI pour un total de 11 264 765 $^[11] alloués.

Aux fins de l'évaluation, les mécanismes de financement ont été organisés selon les catégories suivantes :

Financement discrétionnaire de projets

Le volet le plus important du financement du PJPI (55 % des fonds attribués en 2010-2011) octroie des subventions et des contributions à l'appui d'un éventail de projets relevant des divers mécanismes de financement de projets du PJPI, et étayant les objectifs principaux du Programme, notamment les subventions de catégorie, les contributions générales, l'Initiative Nunavut, l'Initiative fédérale de lutte contre les mauvais traitements envers les aînés (avant l'exercice 2010-2011) et l'Initiative concernant les femmes autochtones disparues et assassinées qui, au cours de l'exercice 2010-2011 représentait la part la plus importante de ce financement.

Financement de base attribué aux organismes de VIJ

Ces fonds versés aux organismes de VIJ (25 % des fonds du PJPI en 2010-2011) diffèrent des autres subventions et contributions du PJPI en ce sens qu'ils ne sont pas fondés sur les projets, mais davantage sur un appui aux opérations continues d'un organisme de VIJ dans chaque province. Ce financement contribue à des objectifs spécifiques, distincts des objectifs principaux du Programme. Toutefois, le modèle du Programme tient également compte des activités de VIJ à l'appui des objectifs principaux du Programme.

Autres financements

Le PJPI appuie par ailleurs des initiatives financées à l'appui d'objectifs particuliers et distincts, en dehors des objectifs principaux du Programme. Ces initiatives (20 % des fonds du PJPI en 2010-2011) sont les suivantes :

• subventions désignées, établies tous les ans par le Ministère, dont le montant précis figure dans le budget principal des dépenses du Ministère;
• le Programme AÉDA, administré depuis 2009-2010 par la FNRA à la demande de Justice Canada;
• le financement de base fourni au CIRDP.

Tel que mentionné plus haut, les contributions obligatoires ont également fait l'objet de l'évaluation, de façon néanmoins plus limitée. (Des cinq sources de données, seulement les entrevues avec les principaux intervenants et l'examen des dossiers ont été appliqués à cette catégorie.) Cette catégorie de financement ne fait pas partie du PJPI.

L'évaluation ne portait pas sur deux autres initiatives financées dans le cadre des mécanismes de financement du PJPI : Accès à la justice pour les populations marginalisées^[12] et Initiative de lutte contre la violence familiale^[13].

L'évaluation avait recours à une grille des enjeux, questions, indicateurs et sources des données mise au point spécifiquement pour le PJPI, d'après les questions d'évaluation du Conseil du Trésor et celles du Cadre d'imputabilité, de risque et de vérification du PJPI de 2007^[14].

1.3 Méthodologie

1.3.1 Approche générale

Sept approches méthodologiques ont été utilisées en vue d'accéder aux différents types de données d'évaluation et de permettre leur triangulation à partir de sources multiples. Un sondage auprès des intervenants des organismes de VIJ a été effectué afin de mesurer la pertinence et le rendement du financement de base accordé aux organismes provinciaux et territoriaux de VIJ.  De plus, les participants à trois conférences financées par le PJPI se sont prêtés à un sondage afin de mesurer le niveau de connaissances et de compréhension des questions afférentes à la justice résultant de ces conférences. L'examen des documents a été particulièrement utile lors de l'évaluation de la pertinence du Programme. Un examen des dossiers a été utilisé afin d'obtenir un portrait de vaste ampleur (plutôt qu'approfondi) des réalisations de 30 organismes sélectionnés de façon aléatoire. Les entrevues avec les principaux intervenants ont été utilisées en vue d'obtenir une information plus approfondie des questions sélectionnées de l'évaluation. Un sondage a été mené afin d'acquérir de l'information sur les retombées du Programme auprès des représentants de projet. Des études de cas ont été utilisées pour obtenir une idée plus précise sur un petit nombre de projets financés par divers moyens (p. ex., financement discrétionnaire, autre financement). Chacune de ces méthodes est décrite en détail plus bas.

1.3.2 Sondage auprès des organismes de VIJ

Des entrevues ont été menées auprès de 68 intervenants des organismes de VIJ, à savoir des représentants et des partenaires d'organismes de VIJ, des représentants du système de justice, et un sondage en ligne a été effectué auprès de la clientèle de VIJ (n=59), en vue d'obtenir des données qualitatives se rapportant à l'ensemble des enjeux de l'évaluation associés au financement de base du PJPI octroyé aux organismes de VIJ.

1.3.3 Sondage auprès des participants aux conférences

Les participants à trois conférences financées par le PJPI se sont prêtés à un sondage. Les conférences étaient notamment la Conférence internationale sur les délinquants ayant des besoins spéciaux, la Conférence sur les accommodements raisonnables, et la Conférence sur l'intérêt supérieur de l'enfant. Les questions du sondage examinaient en premier lieu l'acquisition autodéclarée de connaissances résultant d'une participation à ces conférences. Un total de 226 participants à ces trois conférences ont rempli le sondage.

1.3.4 Examen des documents

Un examen méthodique de 32 documents associés au Programme a été effectué. L'un des objectifs de cette démarche était de rassembler des données descriptives tant au sujet du Programme que des projets, notamment les objectifs, les types de projet, leur taille et leur portée, les données financières, les groupes cibles, les partenaires et les extrants et résultats. Cet examen a permis en outre d'obtenir de l'information sur les priorités ministérielles et gouvernementales. Au nombre des documents examinés, on retrouvait les modalités du PJPI, les états financiers du PJPI par exercice, le Cadre d'imputabilité, de risque et de vérification du Programme, ainsi que les évaluations antérieures.

1.3.5 Examen des dossiers

Les dossiers de projet de 35 organismes ont été examinés, notamment cinq dossiers associés à des études de cas (voir ci-après). Afin de garantir la représentativité, ces dossiers ont fait l'objet d'un échantillonnage aléatoire au moyen d'un processus d'échantillon aléatoire stratifié pour assurer que les sélections se fassent au sein de chaque type de financement, à partir des bases de données administratives tenues à jour par Justice Canada. Le nombre de dossiers examinés par organisme variait de un à trois, chacun couvrant un à trois exercices entre 2007-2008 et 2011-2012. Les dossiers de projet se sont révélés complets et bien tenus. Ils comprenaient les informations suivantes :

• documentation sur les demandes de financement;
• correspondance (notamment, dans certains cas, l'explication des décisions de financement);
• ententes de contribution;
• plans de travail;
• budgets et rapports financiers;
• rapports de projet, notamment description des activités, publications, autres extrants, communications, partenariats, et autres renseignements sur les bénéficiaires et récipiendaires.

1.3.6 Entrevues avec les principaux intervenants

Des entrevues ont été menées avec les principaux intervenants de sorte à obtenir des détails approfondis au sujet des opérations du Programme et certains des projets financés. Les principaux intervenants relevaient de deux catégories élémentaires : les employés ministériels qui travaillaient à l'époque (ou avaient récemment travaillé) dans le cadre du PJPI, et les personnes extérieures au Ministère qui travaillaient au sein d'un organisme bénéficiaire d'un financement du PJPI. En ce qui a trait aux personnes extérieures, les principaux intervenants de deux organismes représentaient chacune des trois catégories de mécanismes de financement (c. -à-d., financement discrétionnaire de projets, financement de base à l'intention des organismes de VIJ, et autre financement). Au total, 12 entrevues avec les principaux intervenants – six principaux intervenants internes (c.-à-d., Justice) et six principaux intervenants externes – ont été menées. Le guide d'entrevue des principaux intervenants a fait l'objet d'un test préalable à l'interne et à l'externe pour ensuite subir quelques ajustements mineurs^[15].

1.3.7 Sondage téléphonique

Les demandeurs de financement, retenus et non retenus, se sont prêtés à un sondage par téléphone. La méthodologie utilisée pour cet exercice a été choisie pour deux raisons principales : cette approche est généralement associée à un taux de réponse plus élevé que dans le cadre des autres méthodes (notamment les sondages en ligne ou par la poste). En outre, compte tenu de la taille réduite de la population (c.-à-d. le nombre relativement restreint de demandeurs auprès du PJPI), cette méthodologie a été considérée comme viable. Il est important d'obtenir un taux de réponse élevé lorsque la population est restreinte, afin de réduire les problèmes associés à la partialité lors de la sélection.

Les demandeurs retenus se sont révélé une source d'information fondamentale pour l'évaluation des retombées du Programme. Les dossiers de projet ont été utilisés pour décrire les extrants des projets, alors que les sondages permettaient de rassembler des données sur les impacts à plus long terme de ces projets, à savoir, ceux qui étaient apparus après la production du rapport final de projet (y compris les projets de suivi), ainsi que les incidences plus vastes du PJPI et des programmes s'y rapportant. Les deux groupes – demandeurs retenus et non retenus – ont été interrogés au sujet de la pertinence et de la conception du Programme.

Pour les demandeurs retenus, le sondage cherchait à estimer les effets et les impacts des projets financés par rapport aux résultats escomptés du Programme. On demandait par ailleurs aux répondants d'évaluer leurs connaissances et leur familiarité par rapport au PJPI en tant que programme.

Un échantillon proportionnel, stratifié et aléatoire a été utilisé à des fins de représentativité. La population a fait l'objet d'une stratification par catégorie de financement et les répondants au sondage ont été sélectionnés à partir de chaque catégorie, proportionnellement à la population de demandeurs. L'exception à cette règle concernait les situations dans lesquelles les intervenants étaient trop peu nombreux dans la population, et étaient donc tous sélectionnés^[16].

L'instrument de sondage contenait un assortiment équilibré de questions fermées et de questions ouvertes. Ces questions étaient appropriées pour tous les demandeurs, et des questions spécifiques (liées aux résultats et aux impacts) s'adressaient aux demandeurs retenus seulement. Du texte et des questions approfondies étaient inclus dans l'instrument de sondage afin d'uniformiser l'approche des intervieweurs auprès de tous les répondants au sondage^[17].

L'administration du sondage a été un succès avec 89 % de taux de réponse. La plupart des répondants au sondage étaient des représentants d'organismes sans but lucratif (90 %), une petite minorité regroupait des représentants d'établissements gouvernementaux et d'enseignement (4 % chacun). La plupart des organismes étaient de taille relativement réduite : 69 % des répondants représentaient un organisme comptant moins de 10 employés, 19 % des organismes comptaient 10 à 50 employés, et 4 % provenaient d'organismes comptant plus de 100 employés. La plupart des demandeurs représentaient des organisations à but non lucratif (89,5 %).

Les répondants au sondage représentaient un vaste éventail de domaines. Il leur a été demandé d'indiquer l'ensemble des domaines judiciaires ou de justice au sein desquels œuvrait leur organisme. Les données suivantes ont ainsi été obtenues :

• 62 % travaillaient dans le domaine de l'accès à la justice;
• 58 % travaillaient dans le domaine des questions autochtones;
• 39 % travaillaient dans le domaine des droits de la personne;
• 39 % travaillaient dans le domaine des droits fondamentaux des femmes;
• 31 % travaillaient dans le domaine du racisme;
• 27 % travaillaient dans le domaine de la détermination de la peine;
• 19 % travaillaient dans le domaine des femmes autochtones disparues et assassinées;
• 15 % travaillaient dans le domaine des langues officielles;
• 8 % des organismes représentés travaillaient dans le domaine du barreau du Nunavut, le même pourcentage travaillait dans le domaine du droit international (questions afférentes à la justice sur la scène internationale);
• 4 % travaillaient dans le domaine de la lutte antiterroriste.

1.3.8 Études de cas

Des études de cas ont été utilisées afin d'obtenir un aperçu approfondi d'un petit nombre de projets. Étant donné que les projets du PJPI se distinguent les uns des autres (compte tenu de la vaste palette d'objectifs), la méthode des études de cas permettait d'éclairer certains exemples particuliers et de mieux illustrer le fonctionnement du Programme au cours de la période de quatre ans couverte par l'évaluation.

Cinq organismes ont été initialement sélectionnés dans le cadre des études de cas éventuelles afin de représenter les différents types de financement. Chacun de ces organismes a été contacté, informé des formalités de l'exercice (p. ex., temps consacré aux entrevues, recherche et production de documentation, etc.), et s'est vu demander de participer à l'étude de cas. Les cinq organismes identifiés ont accepté de participer. Les études de cas ont été menées auprès des cinq organismes suivants :

• Centre international pour la réforme du droit pénal et la politique de justice criminelle,
• Conférence pour l'harmonisation des lois au Canada,
• Bureau international des droits des enfants,
• Association canadienne des chefs de police,
• Fondation nationale des réalisations autochtones.

La première entrevue avec la personne-ressource principale de l'étude de cas était utilisée en vue d'obtenir le nom et les coordonnées de personnes supplémentaires et portait plus particulièrement sur les partenaires et bénéficiaires de financement. Une trousse d'étude de cas (contenant des guides d'entrevue, des modèles et des formulaires de permission afférents à toutes ces sources de données potentielles) était envoyée à la personne-ressource principale du projet pour chaque étude de cas^[18]. Une brève description de la méthodologie associée à chaque étude de cas, notamment le nombre et le type de personnes interrogées, est présentée ci-après:

Le Centre international pour la réforme du droit pénal et la politique de justice criminelle (CIRDP)

Outre l'examen de documents se rapportant au Centre et l'examen des dossiers des projets, les évaluateurs ont mené huit entrevues, soit avec deux membres du personnel supérieur du CIRDP, trois hauts fonctionnaires du ministère de la Justice du Canada et un haut fonctionnaire chacun des Affaires étrangères et Commerce international Canada, du Centre national de prévention du crime de la Sécurité publique Canada, et du Centre international pour la prévention de la criminalité.

La Conférence pour l'harmonisation des lois au Canada (CHLC)

Outre l'examen de documents se rapportant à la CHLC et l'examen des dossiers des projets, les évaluateurs ont mené cinq entrevues auprès de trois membres de la haute direction (courant ou sortant) de la CHLC, d'un membre de la haute direction du Bureau du président du Comité international/Comité consultatif, et d'un autre du ministère de la Justice.

Le Bureau international des droits des enfants (IBCR)

Outre l'examen des documents se rapportant à l'IBCR et l'examen des dossiers des projets, les évaluateurs ont mené quatre entrevues avec deux membres de la haute direction de l'IBCR, un membre de la haute direction de Plan Canada et un de OneChild Canada.

L'Association canadienne des chefs de police (ACCP)

Outre l'examen de documents se rapportant à l'ACCP et l'examen des dossiers des projets, les évaluateurs ont mené cinq entrevues avec deux membres de la haute direction de l'ACCP et un haut fonctionnaire du Service de police d'Ottawa, de l'organisation judiciaire du Manitoba et de la Legal Services Society of British Columbia.

La Fondation nationale des réalisations autochtones (FNRA)

Outre un examen de documents se rapportant à la FNRA et l'examen de dossiers des projets, les évaluateurs ont mené cinq entrevues avec deux hauts membres de la FNRA, un haut fonctionnaire du Centre du droit autochtone du Canada (Université de la Saskatchewan) et deux récipiendaires/bénéficiaires métis du Programme AÉDA (un étudiant inscrit à la session d'été du programme de pré-droit pour les Autochtones et l'autre inscrit à l'école de droit).

Les résultats de l'étude sont utilisés, comme il convient, pour aborder tous les enjeux de l'évaluation. Les sommaires des études de cas sont fournis dans l'annexe A, jointe au présent rapport.

1.3.9 Limites inhérentes aux méthodes d'évaluation

La méthodologie correspond aux normes actuelles de recherche en matière d'évaluation dans son utilisation de plusieurs éléments de preuve pour traiter chaque question de l'évaluation. Un ou plusieurs éléments de preuve sont associés à chaque question individuelle de l'évaluation. Ceci étant dit, comme tel est le cas dans tout travail de recherche, la présente étude se heurte à des limites inhérentes aux méthodes d'évaluation. Ces limites sont les suivantes :

• En dépit de la couverture détaillée de l'examen des documents concernant les questions de profil et de pertinence du Programme, aucun document (en dehors de l'examen des dossiers) n'a permis d'aborder directement les questions de rendement.

• La liste des principaux intervenants s'est révélée pertinente et complète. Toutefois, la plupart de ces principaux intervenants doivent être également considérés comme ayant un intérêt direct dans le Programme, par exemple, les agents responsables de la gestion des différents aspects du Programme, ou les bénéficiaires du Programme. Ainsi, la possibilité de partialité ne saurait être exclue de cet élément de preuve.

• Il en va de même pour les répondants au sondage, en particulier dans le cas des demandeurs retenus. Le sondage s'est révélé concluant au niveau de la génération de réponses de la part d'un échantillon représentatif (utilisant l'échantillonnage aléatoire pour la sélection des répondants et obtenant 89 % de réponses – essentiellement en éliminant le risque de partialité lors de la sélection). En tant que bénéficiaires du Programme, les répondants au sondage ont néanmoins pu se montrer favorables et adeptes de la poursuite du Programme, en particulier si celui-ci profitait à leur organisme. Ce risque a été néanmoins partiellement atténué grâce à l'inclusion d'un échantillon d'organismes qui n'avaient pas été retenus dans le cadre du PJPI. L'inclusion des demandeurs non retenus comporte elle aussi des limites étant donné que ce groupe pourrait s'être montré partial dans ses réponses du fait qu'il n'a pas été retenu et/ou qu'il souhaite orienter le Programme de sorte à leur être plus profitable à l'avenir. Par ailleurs, la taille de l'échantillon était relativement modeste et par conséquent, faisait l'objet d'une marge d'erreur plus importante.

• Il convient de souligner qu'en dehors de l'entrevue menée avec deux bénéficiaires individuels du Programme AÉDA dans le cadre de l'étude de cas de la FNRA et du sondage auprès des participants à des conférences, cette évaluation n'a pas obtenu le point de vue des bénéficiaires ultimes, à savoir les personnes qui ont bénéficié de projets financés comme les participants aux conférences, les utilisateurs de l'information, etc. Compte tenu de la nature très étendue du Programme (c.-à-d. avec chaque subvention/contribution, chaque projet distinct était ciblé sur différents publics), il n'a pas été possible de rassembler directement des informations  provenant des bénéficiaires ultimes des projets.

• ^[1] http://www.justice.gc.ca/fra/rch-sch/rch-sch.asp
• ^[2] Source : Rapport sur la situation financière du PJPI 2011-2012, fichier Excel.
• ^[3] D'après les informations fournies par les employés du Programme.
• ^[4] L'exercice 2010-2011 est utilisé à des fins d'illustration tout au long du rapport. Il convient de rappeler que les bénéficiaires de fonds ainsi que les montants varient d'une année sur l'autre.
• ^[5] Avant l'exercice 2009-2010, l'AÉDA était administré directement par le ministère de la Justice.
• ^[6] La VIJ est financée dans les territoires grâce aux Ententes sur l'accès à la justice. Ces ententes feront l'objet d'une évaluation distincte.
• ^[7] Politique du ministère de la Justice en matière de vulgarisation de l'information juridique, novembre 2009.
• ^[8] Autrefois le volet du ministère de la Justice du Plan d'action canadien contre le racisme.
• ^[9] Les trois enjeux de pertinence et les deux enjeux de rendement mentionnés sont les enjeux principaux de l'évaluation décrits dans la Politique sur l'évaluation du Conseil du Trésor de 2009.
• ^[10] Source : Rapport sur la situation financière du PJPI 2011-2012, fichier Excel. Ce total comprend tous les projets entrepris entre le 1er avril 2007 et le 31 mars 2011. Certains de ces projets étaient financés sur plusieurs années.
• ^[11] Source : Rapport sur la situation financière du PJPI 2011-2012, fichier Excel. Comprend les montants engagés entre le 1er avril 2007 et le 31 mars 2011 et exclut les fonds administrés par l'Initiative fédérale de lutte contre les mauvais traitements envers les aînés du PJPI.
• ^[12] Ce programme succède à la composante du ministère de la Justice du Plan d'action canadien contre le racisme qui a été soumis à une évaluation approfondie de l'impact en 2010-2011. Il est à prévoir que les évaluations futures du PJPI incluront les projets d'accès à la justice pour les populations marginalisées.
• ^[13] L'Initiative de lutte contre la violence familiale fait l'objet d'une évaluation séparée qui prendra fin en 2011-2012.
• ^[14] Cadre d'imputabilité de risque et de vérification du programme juridique de partenariats et d'innovation, 17 mai 2007, ministère de la Justice du Canada.
• ^[15] Voir les annexes du rapport final pour le guide d'entrevue.
• ^[16] Voir les annexes du rapport final pour les procédures d'échantillonnage détaillées.
• ^[17] Voir les annexes du rapport final pour l'instrument de sondage.
• ^[18] Voir les annexes du rapport final pour un exemple de trousse.

• Page précédente
• Table des matières
• Page suivante

Date de modification :

2018-09-21