Méthodologie d’évaluation

• Page précédente
• Table des matières
• Page suivante

L’évaluation a été guidée par une matrice d’évaluation (questions d’évaluation, indicateurs et sources de données) élaborée dans le cadre du processus d’établissement de la portée et de la conception de l’évaluation. La méthodologie utilisée pour cette évaluation comprenait de multiples sources de données décrites ci-dessous. L’annexe B contient la liste de questions d’évaluation. Une description plus détaillée de la méthodologie d’évaluation est incluse à l’annexe C.

3.1 Recension des écrits, analyse des documents et examen des données

Un examen des sources de données secondaires utiles pour le PFTTT a été effectué. Ces documents comprennent :

• Recension des écrits — littérature grise et publications revues par des pairs au sujet des TTT, y compris les tendances et les enjeux émergents, ainsi que l’efficacité et la rentabilité des TTT;
• Analyse des documents — Documents du ministère de la Justice et du gouvernement fédéral liés au mandat et aux priorités du Ministère, documents de base et de mise en œuvre du Programme, renseignements sur le rendement, autres études et rapports spéciaux, et renseignements sur le budget et les dépenses;
• Examen des données — Statistiques sur les infractions liées aux drogues produites par le Centre canadien de la statistique juridique de Statistique Canada.

3.2 Analyse des données du Système d’information des tribunaux de traitement de la toxicomanie

La plupart des TTT déclarent de l’information sur leurs participants par l’entremise du Système d’information des tribunaux de traitement de la toxicomanie (SITTT) fédéral. L’analyse a porté sur tous les participants actifs dans le programme de TTT (pour qui l’information a été saisie avec exactitude dans le SITTT) à un moment donné entre le 1er avril 2015 et le 17 juin 2021 (N = 1 053)6. Le SITTT comprend des renseignements sur le profil des participants au programme de TTT, ainsi que sur l’état d’achèvement.

3.3 Sondage auprès des intervenants

Un sondage en ligne a été mené auprès des intervenants du programme de TTT. Tous les TTT financés dans le cadre du programme ont fourni des listes d’intervenants ou ont convenu de distribuer le lien vers le sondage à leurs intervenants. Au total, 139 personnes ont participé au sondage. Parmi les TTT qui ont fourni une liste d’intervenants pour le sondage, le taux de réponse était de 49 %. Le profil des intervenants sondés comprenait les membres de la direction spécialisée du programme de TTT, des tribunaux (juges, procureurs) et de l’équipe de traitement (56 %), des membres du comité de gouvernance ou du comité consultatif (21 %), des fournisseurs de traitement ou de services externes (19 %), des avocats de la défense (9 %) et d’autres personnes (p. ex., politiques, gestion).

3.4 Entrevues avec les informateurs clés

Au total, 63 entrevues approfondies ont été menées dans le cadre de l’évaluation, notamment :

• Quatre entrevues avec des fonctionnaires fédéraux;
• Cinquante-neuf entrevues pour quatre études de cas de TTT, y compris Whitehorse (13 entrevues), Edmonton (14), Regina (13) et Toronto (19). Les groupes de répondants aux études de cas comprenaient :
  • Personnel du programme de TTT (p. ex., directeur) (n = 6);
  • Traitement externe/fournisseurs de services/probation (n = 15);
  • Personnel/intervenants judiciaires (juges, avocats de la Couronne, avocats de la défense) (n = 16);
  • Participants actuels et passés (n = 21);
  • Autres (n = 1)

3.5 Contraintes et stratégies d’atténuation

L’évaluation comporte plusieurs contraintes méthodologiques qu’il convient de souligner.

• Incapacité de terminer l’étude sur la récidive dans le délai prévu pour l’évaluation : Le délai prévu pour la préparation du rapport d’évaluation n’a pas permis d’élaborer une mesure solide de l’incidence des TTT sur la récidive, ou de la rentabilité des TTT comparativement aux autres solutions. Une étude prévue sur la récidive a été retardée en raison des restrictions liées à la pandémie de COVID-19; en effet, il nous était interdit de procéder à l’examen des dossiers judiciaires sur place afin de constituer un échantillon comparable de participants non- inscrits au programme de TTT. De plus, les TTT ne font pas de suivi ou ne diffusent pas de renseignements sur les aiguillages au programme, ce qui a empêché l’utilisation de ce groupe comme comparateur potentiel pour une étude sur la récidive. À titre de stratégie d’atténuation, Justice a mandaté le Centre canadien de la statistique juridique et de la sécurité des collectivités (au sein de Statistique Canada) pour mener une étude sur la récidive à l’aide des données du SITTT et de Statistique Canada. Les résultats de cette étude seront également triangulés avec la documentation, y compris des examens systématiques, ainsi que des données anecdotiques tirées de l’évaluation pour mesurer les répercussions des TTT.

• Déterminer la demande pour le programme de TTT : La cible pour les TTT comprend les infractions à la LRCDAS et au Code criminel pour lesquelles la toxicomanie était un facteur principal. Il y a peu de données pour comprendre la demande potentielle pour le programme de TTT, ni le profil des personnes qui pourraient y être admissibles. Cela s’explique par le fait que les aiguillages aux TTT ne sont pas retracés ou ne peuvent pas être communiqués pour des raisons de protection de la vie privée. Cette lacune dans les données a nui à l’évaluation de la représentativité des participants au programme de TTT et des obstacles à l’accès. L’évaluation était fondée sur les points de vue et les perceptions des intervenants qui ont participé de près à la mise en œuvre du programme de TTT, afin d’examiner la sous‑représentation.

• Problèmes de qualité des données dans le SITTT : L’analyse des données de programme conservées dans le SITTT a été entravée par un certain nombre de problèmes de qualité des données. Celles-ci n’étaient pas disponibles pour certains TTT, et pour d’autres, elles n’étaient que partiellement disponibles pour la période visée par l’étude. De plus, on a relevé des inexactitudes dans la façon dont les TTT remplissent le modèle du SITTT. Plus précisément, en ce qui concerne les variables de l’éducation et de l’état matrimonial, des catégories valides étaient utilisées par défaut si l’information était inconnue (p. ex., études secondaires partielles, célibataire). Il y a également eu des retards et des lacunes dans la saisie des données, surtout en 2019-2020 et 2020-2021, en raison de problèmes de capacité créés par la pandémie de COVID-19. En outre, des problèmes techniques ont également limité la disponibilité des données sur les risques en ce qui concerne les participants. Le résultat final est que les données du SITTT incluses dans le présent rapport représentent un sous-ensemble de toutes les données sur les TTT (p. ex., les TTT ne sont pas tous pleinement représentés; et certaines variables comme celles mentionnées ci-dessus ont été considérées comme non fiables et ont été exclues de l’analyse).

  Afin d’atténuer ces limites des données, le secteur de programme et la Direction d’évaluation ont consacré beaucoup de temps au nettoyage, à l’examen et à la validation des données disponibles. Par conséquent, lorsque le rapport s’appuie sur les données du SITTT, les limites des variables en question sont minimes. À la suite du processus d’examen et de validation, les données dont la fiabilité était douteuse ont été exclues de l’analyse subséquente, ce qui a accru la confiance dans la fiabilité des données restantes incluses dans l’analyse du présent rapport d’évaluation. En outre, l’expérience des parties prenantes recueillie dans le cadre des études de cas, des entretiens et des sondages, lorsqu’elle était disponible, a été utilisée pour mieux comprendre les tendances.

• Taux de réponse variable au sondage, par TTT : Alors que près de 50 % des intervenants ont répondu au sondage, le taux de réponse des TTT était inégal (variant entre 31 % et 85 %, selon les TTT). Les intervenants du programme de TTT de Toronto représentent 30 % des réponses. Pour atténuer l’incidence de cette limite, les données recueillies dans le cadre du sondage sont triangulées avec l’expérience des TTT qui ont été incluses dans les études de cas.

---

• Page précédente
• Table des matières
• Page suivante