Stratégie nationale antidrogue évaluation
3. Méthodes d'évaluation
3.1 Méthode d'étude
Conformément à la Politique sur l'évaluation du Conseil du Trésor, l'évaluation traite des enjeux de pertinence, d'efficacité, d'efficience et d'économie manifestes et continus de la Stratégie. Les questions de l'évaluation sont présentées dans l'annexe B. L'évaluation a été conçue en trois phases. La première phase, qui faisait intervenir l'élaboration d'un plan d'évaluation et d'outils méthodologiques, est arrivée à échéance en avril 2011. La deuxième phase consistait en une collecte de données qualitatives et quantitatives à partir de plusieurs éléments de preuve et est arrivée à échéance en décembre 2011. La troisième phase consistait en l'analyse des données et l'élaboration du présent rapport d'évaluation final.
L'élaboration de l'évaluation tient compte des caractéristiques de la Stratégie, plus particulièrement du fait qu'elle est une initiative horizontale complexe impliquant de nombreux ministères, qu'elle est assortie d'un budget important, de vastes objectifs, avec trois plans d'action qui comprennent plusieurs composantes qui ont des degrés variés d'échéance de mise en oeuvre. Certaines de ces composantes sont très étendues et elles offrent des programmes à un niveau national ou provincial; d'autres sont plus modestes, alors que leur portée et leurs retombées seraient plutôt mesurées à un niveau local ou communautaire. En tenant compte de toutes ces considérations, l'analyse de l'évaluation s'effectue principalement au niveau du plan d'action afin de pouvoir évaluer les retombées collectives des composantes.
Depuis le début de l'élaboration de la Stratégie, les partenaires ont mis l'accent sur le besoin d'effectuer la collecte et l'analyse des données sur le rendement de façon continue. L'élaboration de l'évaluation comprend d'importantes activités d'examen de documents et de dossiers, faisant grandement appel à des données sur le rendement, des évaluations, des documents, des dossiers ainsi qu'à d'autres renseignements compilés sur les différentes composantes et plans d'action.
D'autres éléments de preuve venaient compléter l'examen détaillé des documents et des dossiers, notamment un examen de la documentation, des entrevues avec les principaux intervenants, une série de cercles d'apprentissage, des études de cas et un sondage en ligne axés sur des composantes particulières au sein de chaque plan d'action, une analyse coût-efficacité ainsi qu'une série de groupes de discussion. Collectivement, les cercles d'apprentissage, les études de cas et le sondage en ligne portaient sur huit des dix composantes des plans d'action sur la prévention et le traitement. En outre, une étude de cas a été menée autour des relations entre les différentes composantes du Plan d'action sur l'application de la loi.
3.1.1 Examen des documents et des dossiers
Un examen approfondi des documents a été mené en vue de recueillir des données sur tous les enjeux fondamentaux de l'évaluation se rapportant à la pertinence et au rendement de la Stratégie. Cette méthodologie s'est révélée un moyen efficace d'accéder à des informations complètes sur les activités, les résultats, les difficultés et la réalisation des 20 composantes de la Stratégie qui ont été menés jusqu'ici. Certains des principaux documents examinés étaient des documents fondamentaux sur les politiques et les programmes de la Stratégie (p. ex., Rapports sur les plans et priorités, Rapports ministériels sur le rendement pour les ministères participants, ainsi que des références à la Stratégie dans les divers discours du Trône), le mandat et les procès-verbaux des réunions des différents comités et groupes de travail, l'Évaluation de la mise en oeuvre de la Stratégie nationale antidrogue de 2010, les rapports d'évaluation de certaines composantes, et les sondages et statistiques produits par les diverses composantes. En outre, un examen approfondi a été mené par rapport aux données annuelles détaillées sur le rendement (de 2007-2008 à 2010-2011), préparées par chaque composante quant à leurs activités et résultats respectifs.
3.1.2 Examen de la documentation
L'examen de la documentation portait sur la consommation de drogues illicites chez les jeunes et autres segments de la population ainsi que sur la production, le trafic, l'importation et l'exportation de drogues illicites et sur les services de traitement de la toxicomanie au Canada. En plus des publications examinées par les pairs, la documentation couvrait des rapports préparés par Justice Canada (p. ex., Les coûts de la criminalité au Canada) et autres ministères fédéraux (p. ex., le rapport du Service canadien de renseignements criminels [SCRC] sur le crime organisé et le rapport de la GRC sur la situation des drogues illicites au Canada); les publications d'organisations non gouvernementales (p. ex., les rapports du Comité des chefs de police du Canada sur l'abus des drogues et du CCLAT; instances d'atelier); et des sondages nationaux comme le Programme de déclaration uniforme de la criminalité (Centre canadien de la statistique juridique), l'Enquête de surveillance canadienne de la consommation d'alcool et de drogues (SC), l'Enquête sur le tabagisme chez les jeunes (SC), et l'Enquête sur les toxicomanies au Canada (SC). Des rapports internationaux ont également été examinés, parmi lesquels la Stratégie en matière de lutte antidrogue à l'échelle de l'hémisphère, rédigée par l'OEA/CICAD, l'International Narcotics Control Strategy Report (Département d'État américain), et le Rapport mondial sur les drogues 2010 des Nations Unies.
La documentation d'autres initiatives horizontales du Canada a fait elle aussi l'objet de cette analyse (p. ex., la Stratégie fédérale de lutte contre le tabagisme, l'Initiative fédérale de lutte contre le VIH/sida au Canada, et la Stratégie emploi jeunesse) ainsi que les politiques et autres stratégies en matière de lutte antidrogue dans d'autres pays. Les informations recueillies dans ces documents nous ont permis de comparer la Stratégie avec d'autres stratégies similaires à l'échelle nationale et internationale. L'annexe C énonce une liste des types de documents examinés.
3.1.3 Entrevues
L'ensemble des 12 ministères ayant participé à la Stratégie a désigné des candidats pour les entrevues. On a communiqué avec les candidats proposés par le SCER pour les inviter à participer à une entrevue. En outre, on a utilisé un sondage en boule de neige Note de bas de page 18 pour recruter d'autres intervenants dans le cadre de la Stratégie. Au total, 82 entrevues ont été menées auprès de trois groupes distincts de partenaires et intervenants de la Stratégie.
Neuf guides d'entrevue différents ont été rédigés pour divers groupes de personnes interrogées qui ont participé à un ou à plus d'un des trois plans d'action, ainsi que pour ceux qui ont participé à la Stratégie dans son ensemble Note de bas de page 19 . Une description de chaque groupe de personnes interrogées est présentée ci-après :
- 50 représentants ministériels ont participé aux entrevues de l'évaluation. Dix-huit personnes interrogées ont participé à plusieurs plans d'action, cinq ont participé au Plan d'action sur la prévention seulement, neuf ont participé au Plan d'action sur le traitement seulement, et 18 étaient des partenaires du Plan d'action sur l'application de la loi. Les représentants provenaient de tous les ministères partenaires.
- 23 intervenants directs, parmi lesquels des bénéficiaires de fonds (14), des partenaires de l'exécution de programme (7), un évaluateur de projet et des consultants de programme pour les plans d'action sur la prévention, le traitement ou l'application de la loi. Les intervenants de la Stratégie y étaient engagés en moyenne depuis quatre ans.
- 9 intervenants externes, parmi lesquels des responsables engagés dans des enjeux se rapportant à la Stratégie à l'échelle provinciale, territoriale et municipale, ainsi que d'éminents universitaires et autres experts. Les intervenants externes étaient engagés dans leur domaine d'activité respectif depuis 22 ans en moyenne, pour un minimum de sept ans et un maximum de 36 ans.
3.1.4 Études de cas
Cinq études de cas ont été menées visant à examiner la mesure dans laquelle la Stratégie a produit les résultats escomptés et en vue d'améliorer notre compréhension des thèmes, du rendement et des retombées des plans d'action. Les études de cas portaient sur la description des projets ou des scénarios opérationnels financés dans le cadre de la Stratégie.
On a effectué quatre études de cas sur les projets sélectionnés et financés dans le cadre des diverses composantes des plans d'action sur la prévention et le traitement. La méthode adoptée pour ces études de cas consistait en un examen des documents et des résultats, des entrevues avec les représentants de projet, les commanditaires, les partenaires et d'autres intervenants, ainsi que des visites sur place, dans la mesure du possible. Au total, 13 représentants ont été interviewés, parmi lesquels trois responsables de projet, quatre employés de projet et six partenaires de projet. Les projets ont été sélectionnés en fonction des résultats de l'examen des documents et de la documentation, en consultation avec les gestionnaires des composantes sélectionnées et le SCER. La sélection des dossiers était basée sur divers critères parmi lesquels l'emplacement, le groupe cible, le niveau d'achèvement ou de progrès réalisé, les rapports produits, et la disponibilité des données des résultats.
| Composante | Projet (programme) | Emplacement | Date de début du projet | Population cible |
|---|---|---|---|---|
| Prévention | Prolongation de la School-Aged Children and Youth Substance Use Prevention Initiative (SACY) (FICSA) | Vancouver, C.B. | 2008-2009 | Jeunes scolarisés |
| Prévention | Velocity (CNPC) | St John's, T.-N.-L. | 2009-2010 | Jeunes à risque dans la collectivité |
| Traitement | In Roads (PSFTT) | Edmonton, Calgary et Red Deer, Alberta | 2009-2010 | Jeunes à risque et organisations à but non lucratif en contact avec les jeunes à risque |
| Traitement | Native Horizons Treatment Centre (modernisation du PNLAADA) | Hagersville, Ontario | 2010-2011 | Services de traitement destinés aux Autochtones des Premières Nations et des Inuits |
De plus, une étude de cas du Plan d'action sur l'application de la loi a été menée en vue de démontrer l'approche collaborative horizontale des activités d'application de la loi. Cette étude décrivait la façon dont l'information est diffusée parmi les partenaires et comment le travail d'un groupe de partenaires de la Stratégie contribue aux travaux des autres partenaires. La sélection des équipes d'ICM et de laboratoires clandestins de la GRC pour l'étude de cas a été effectuée en tenant compte des résultats de l'examen des documents, des enjeux fréquemment soulevés pendant les entrevues, de la complexité de la composante, et du niveau élevé de partenariat et d'interventions coordonnées nécessaires pour perturber les ICM de façon sécuritaire. La représentation résultant de ce scénario était exhaustive et couvrait les activités de tous les organismes partenaires d'application de la loi, lors de leur progression de la collecte de renseignement aux inculpations et à la perturbation des opérations liées aux drogues illicites.
3.1.5 Cercles d'apprentissage
Cinq cercles d'apprentissage Note de bas de page 20 ont été mis sur pied avec des intervenants afin de dresser un aperçu complet des thèmes de la Stratégie, de son rendement et de ses retombées « sur le terrain ». Les séances rassemblaient des groupes d'intervenants associés aux plans d'action sur la prévention ou le traitement pour débattre de ce qui avait été réalisé, des difficultés et des leçons apprises par rapport à la réalisation des résultats. À l'exception d'une séance, les cercles d'apprentissage ont été incorporés dans les réunions, les ateliers ou les séances de formation prévus qui se sont déroulés pendant la période de l'évaluation et qui étaient organisés par les partenaires de la Stratégie. Le SCER a aidé à l'identification de ces possibilités et à l'organisation des activités. Quelque 44 intervenants ont participé aux cercles d'apprentissage.
| Composante | Programme | Emplacement | Participants | Nombre de participants |
|---|---|---|---|---|
| Prévention | FICSA | Vancouver, C.B. | Représentants des projets financés par le FICSA | 17 participants (dans deux séances simultanées) |
| Prévention | SSDCO – Programme Bouclier autochtone | Saskatoon, Saskatchewan | Représentants de divers organismes qui ont été formés pour l'exécution du PBA (p. ex., GRC, services de police, représentants des Premières Nations et travailleurs auprès des jeunes) | 9 participants |
| Traitement | SAPJJ | SAPJJ | Chercheurs dans le domaine de la toxicomanie chez les jeunes, gestionnaires et employés des projets de traitement financés dans le cadre de la justice pour les jeunes, et évaluateurs de projet | 7 participants |
| Traitement | PNIDJ | Grande Prairie, Alberta | Représentants de la GRC et d'organismes auprès desquels des jeunes contrevenants ont été aiguillés à des fins d'évaluation et de traitement | 11 participants |
3.1.6 Sondage en ligne
Un sondage en ligne a été effectué en vue d'obtenir des renseignements sur une composante du Plan d'action sur le traitement qui ne faisait pas autrement l'objet d'une étude de cas ou d'un cercle d'apprentissage. Le sondage a été envoyé à une liste de 23 promoteurs de projets financés dans le cadre de la Recherche sur des modèles de traitement de la toxicomanie des IRSC, auxquels huit promoteurs ont participé. Les données recueillies sont venues compléter celles qui ont été obtenues dans le cadre d'entrevues auprès des intervenants.
3.1.7 Analyse coût-efficacité
À l'image des recommandations de l'étude de faisabilité sous l'angle du rapport coût-efficacité préparée pour la Stratégie en 2010, un modèle a été élaboré et distribué aux représentants associés aux volets de financement des plans d'action sur la prévention et le traitement. Ce modèle a été conçu afin de rassembler les données sur les coûts, les intrants et les extrants des composantes. D'après ces données, des tableaux comparatifs ont été dressés pour trois composantes du Plan d'action sur la prévention et quatre composantes du Plan d'action sur le traitement. Étant donné que les investissements de la Stratégie dans les activités d'application de la loi représentent des suppléments ajoutés à l'investissement global consenti par les partenaires dans les activités connexes, les représentants des composantes du Plan d'action sur l'application de la loi n'ont pas rempli le modèle, mais les composantes ont été intégrées dans l'analyse coût-efficacité globale.
3.1.8 Groupes de discussion
À la suite d'une présentation des constatations préliminaires au SCER, trois groupes de discussion ont été mis sur pied en vue d'examiner les questions soulevées dans les constatations de l'évaluation et pour valider certains résultats. Chaque groupe portait sur un sujet différent, notamment la collaboration et la coopération entre les partenaires de la Stratégie, la communication et l'échange d'information, et l'efficacité et l'efficience. Au total, 23 représentants des ministères ayant participé à la Stratégie faisaient partie de ces groupes de discussion.
3.2 Limitations, difficultés et stratégies d'atténuation
L'évaluation s'est heurtée à certaines difficultés et limitations qui sont détaillées ci-après :
- Aptitude à agréger les retombées : Compte tenu du vaste éventail d'activités, de résultats escomptés et d'indicateurs de rendement associés à la Stratégie, il est difficile de quantifier et de regrouper les résultats du programme de façon significative et néanmoins concise. Diverses méthodes de recherche qualitative ont été utilisées pour contourner ce problème.
- Dépendance sur la communication d'information de la part des représentants ministériels et des intervenants directs. La capacité à obtenir des informations directes de la part des principales cibles de la Stratégie (p. ex., les jeunes à risques, les contrevenants et les Autochtones) est limitée par la taille de l'évaluation ainsi que par les droits en matière de respect de la vie privée. Ce problème a été abordé en majeure partie par un examen approfondi des documents, en particulier des rapports d'évaluation et des sondages, ainsi que des études de cas sur les programmes individuels axés directement sur les groupes ciblés par la Stratégie. En outre, compte tenu de la complexité et de l'étendue de la Stratégie, les connaissances relatives à la palette complète des activités qu'elle englobe sont faibles parmi les intervenants externes qui ont été interrogés (c.-à-d., les principaux participants aux activités de prévention, de traitement et d'application de la loi en matière de drogues illicites à l'échelle provinciale, territoriale et municipale, ainsi que les principaux intervenants universitaires et les experts). La plupart des intervenants externes qui ont été interrogés n'étaient donc pas en mesure de communiquer des informations spécifiques sur la Stratégie dans son ensemble, ou encore sur les plans d'action individuels. Cette emphase sur les représentants ministériels et les intervenants directs risquait d'occasionner des partis-pris éventuels dans les réponses; toutefois, ce problème a été atténué, dans la mesure du possible, par l'utilisation d'éléments de preuve multiples ainsi que la validation des constatations au moyen d'autres recherches primaires et secondaires.
- Attribution : Il est difficile d'attribuer des résultats particuliers à la Stratégie relativement à d'autres ressources, programmes et tendances influant sur les groupes cibles. Dans certains cas, le financement en vertu de la Stratégie était utilisé pour élargir les capacités existantes plutôt que d'établir de nouvelles initiatives ou de nouveaux services; ainsi, il est difficile d'attribuer des retombées particulières aux nouvelles ressources fournies en vertu de la Stratégie, si on les compare aux ressources existantes antérieures. On a contourné cette difficulté en encourageant les principaux intervenants à fournir des exemples spécifiques des activités ou des projets lorsque l'entrevue abordait les incidences. De plus, l'examen des documents et les études de cas sur des activités ou des projets spécifiques ont permis de déceler les retombées attribuables à la Stratégie.
- Données limitées disponibles sur les coûts d'exécution des programmes : Les composantes individuelles ont fourni des renseignements sur les budgets et les dépenses des programmes. Toutefois, compte tenu de l'éventail de représentants susceptibles de participer à des activités particulières et de l'absence de données de coûts en fonction des activités, il n'est pas toujours possible de déterminer les ressources spécifiques dédiées à la Stratégie. Par ailleurs, cette lacune a rendu plus difficile l'évaluation de l'économie et de l'efficacité des programmes. Pour contrer cette limitation, des questions qualitatives sur l'efficacité des programmes ont été incluses dans les entrevues avec les principaux intervenants.
- Données inégales sur le rendement : Dans certains cas, les rapports annuels sur le rendement comprenaient des indicateurs de rendement inégaux selon les différentes composantes de la Stratégie. Face à cette situation, le regroupement de données qualitatives et la présentation des retombées au cours de la période d'évaluation de quatre ans ont été rendus difficiles. Afin d'atténuer cette difficulté, on a incorporé des références aux réalisations d'une année particulière, en soulignant les activités plus complètes et en équilibrant ces chiffres avec une évaluation qualitative des tendances et des principales réalisations au cours des quatre années concernées.
Dans l'ensemble, les limites de l'étude ont été atténuées, dans la mesure du possible, grâce à l'utilisation d'éléments de preuve multiples et à la triangulation des données afin d'établir la fiabilité et la validité des résultats.
- Date de modification :