Évaluation du Programme sur les crimes contre l'humanité et les crimes de guerre

3. Méthodologie

L’évaluation a eu recours à de nombreuses sources d’information pour étayer des constats solides. La méthodologie faisait appel à six principales sources d’information : l’examen des renseignements, des documents, des dossiers et des bases de données sur le rendement; des entrevues avec les principaux intervenants; un sondage auprès du personnel des ministères; des études de cas; des études de pays; et des comparaisons des coûts des mesures prises dans le cadre du Programme.

La grille d’évaluation (qui fait le lien entre les questions d’évaluation, les indicateurs et les sources d’information) et les instruments de collecte de données ont été élaborés avec l’aide du Groupe de travail chargé de l’évaluation des CCHCG. La grille d’évaluation se trouve à l’Annexe B et les instruments de collecte des données sont à l’Annexe C.

Chacune des méthodes utilisées est décrite de façon plus détaillée ci‑après. Cette section comprend aussi une brève analyse des défis méthodologiques.

3.1. Examen des renseignements, des dossiers, des documents et des bases de données sur le rendement

L’examen des renseignements, des dossiers, des documents et des bases de données sur le rendement a été effectué à la fois pour éclairer l’élaboration d’instruments de collecte des données et pour répondre à la majorité des questions de l’évaluation. L’examen portait sur des documents provenant de sources internes et publiquement disponibles, parmi lesquels :

  • l’évaluation de 2008 des CCHCG
  • la stratégie de mesure du rendement du Programme
  • les diagrammes des processus actualisés pour les mesures de redressement
  • les statistiques du Programme émanant des rapports annuels (qui couvrent de 1998 à 2011) et les statistiques actualisées
  • les procès-verbaux, les rapports et les décisions stratégiques du CCAP
  • les procès-verbaux du Comité directeur
  • les lois pertinentes et les conventions et protocoles internationaux, ainsi que les rapports internationaux
  • les guides et les manuels de terrain
  • les documents de formation
  • les rapports ministériels sur le rendement et les rapports sur les plans et les priorités
  • les discours du budget et les discours du Trône

Dans le cadre de l’examen des renseignements sur le rendement, l’évaluation a également effectué une analyse des tendances. Cette analyse reposait sur les rapports annuels du Programme et l’information actualisée fournie par les partenaires du Programme. L’analyse consistait à établir la base de référence au moyen des données de 2003-2004 à 2008-2009 et à déterminer ensuite les tendances jusqu’à 2014-2015 inclusivement (lorsqu’elles étaient disponibles).

3.2. Entrevues des principaux intervenants

Les entrevues des principaux intervenants effectuées pour cette évaluation portaient sur la majorité des questions de l’évaluation, et étaient une source cruciale pour réunir des renseignements sur la nécessité du Programme sur les CCHCG, ainsi que sur l’efficacité de ses activités. Une liste des principaux intervenants possibles a été dressée, et des guides d’entrevue adaptés à chaque groupe de principaux intervenants ont été produits, en consultation avec le Groupe de travail chargé de l’évaluation. Il y a eu 44 entrevues avec 49 principaux intervenants au total. Les catégories particulières de principaux intervenants figurent au Tableau 2.

Nous nous sommes servis de l’échelle suivante pour faire état des résultats des entrevues :

  • Quelques rares
  • Quelques-uns
  • De nombreux
  • La plupart
  • Presque tous
Tableau 2 : Entrevues des principaux intervenants
Poste Nombre de principaux intervenants
Personnel du Programme
Ministère de la Justice 4
GRC 7
ASFC 5
IRCC 4
Nombre total d’employés du Programme 20
Autres intervenants du gouvernement du Canada
Autres intervenants du gouvernement du Canada 4
Communauté homologue internationale (représentants d’organismes d’autres pays œuvrant en immigration, sécurité et droit humanitaire) 13
ONG et universitaires internationaux 12
Nombre total de personnes externes interviewées 29
Total 49

3.3. Sondage auprès du personnel des ministères

Afin d’évaluer les avis du personnel des ministères participant au Programme, l’évaluation comportait un sondage Web anonyme et confidentiel dans les deux langues officielles. Le sondage est resté en ligne pendant quatre semaines – du 8 juin au 10 juillet 2015.Note de bas de la page 12 Au cours de cette période, deux rappels ont été envoyés aux participants éventuels afin d’augmenter le taux de réponse. Sur 122 répondants éventuels, 68 membres du personnel du Programme ont répondu au sondage, soit un taux de réponse de 56 %. Lorsque le sondage a été terminé, les questions ouvertes ont été codées et les données du sondage ont été analysées à l’aide de SPSS, un progiciel statistique.

Le Tableau 3 présente le profil des répondants au sondage.

Tableau 3 : Profils des répondants au sondage (n=68)
  Nombre de répondants % du nombre total de répondants
Q1 : Pour quel ministère/organisme travaillez-vous ou avez-vous travaillé?Note de table i
Ministère de la Justice 19 28%
GRC 19 28%
IRCC 8 12%
ASFC 22 32%
Q2 : Où travaillez-vous/avez-vous travaillé? Cochez toutes les réponses qui s’appliquent.Note de table ii
Ottawa/Gatineau 34 50%
Unités régionales 22 32%
Missions à l’étranger 17 25%
Autres 2 3%
Q3. Pendant combien de temps avez-vous travaillé dans les domaines portant sur les crimes de guerre, les crimes contre l’humanité et le génocide?Note de table i
Moins d’un an 5 7%
Un an à cinq ans 26 38%
Six à 10 ans 17 25%
Plus de 10 ans 20 29%

Source : Sondage auprès du personnel des ministères

Note de table i

Les pourcentages ayant été arrondis, leur somme peut ne pas être égale à 100 %.

Retour à la référence de note de bas de la page i

Note de table ii

Question à réponses multiples.

Retour à la référence de note de bas de la page ii

3.4. Études de cas

Les études de cas se sont penchées sur cinq des mesures disponibles dans le cadre du Programme :Note de bas de la page 13 

  • déni de visa/d’entrée aux personnes hors du Canada
  • admissibilité/éligibilité/exclusion au système de détermination du statut de réfugié du Canada
  • enquête criminelleNote de bas de la page 14 et poursuite pénale
  • révocation de la citoyenneté
  • investigation et renvoi en vertu de la LIPR

Chaque étude de cas comprenait un examen des documents et des dossiers pertinents, ainsi que des entrevues des principaux intervenants. Au total, 12 entrevues ont été réalisées pour les études de cas.

3.5. Études de pays

L’évaluation comportait l’examen de trois pays – la France, le Royaume-Uni et la Nouvelle-Zélande – qui disposent de programmes pour traiter les auteurs de crimes contre l’humanité, de crimes de guerre ou de génocide. Ces pays ont été choisis afin d’assurer une certaine répartition régionale (Nouvelle-Zélande et deux pays européens), de comprendre un mélange de droit civil (France) et de common law (Royaume-Uni et Nouvelle-Zélande), et de ne pas faire double emploi avec des pays qui ont été utilisés dans l’évaluation de 2008 du Programme sur les CCHCG (dans le cadre de laquelle des études ont été effectuées en Australie, aux Pays-Bas et aux États-Unis). Chaque étude de pays comprenait un examen des documents pertinents accessibles au grand public, ainsi qu’une recension des écrits et des entrevues ou des présentations écrites de fonctionnaires du pays. Au total, neuf personnes ont participé aux études de pays.

3.6. Comparaison des coûts

La comparaison des coûts analyse les coûts des six mesures (déni de visa; admissibilité/ éligibilité/exclusion au système de détermination du statut de réfugié du Canada; enquête criminelle et poursuite pénale; révocation de la citoyenneté; investigation et renvoi en vertu de la LIPR).Note de bas de la page 15 Une description des processus accompagnée des coûts associés a été effectuée pour l’évaluation de 2008.Note de bas de la page 16 La description du processus a été actualisée en 2014 et de nouveau en 2015. Les ministères et organismes partenaires ont été consultés pour l’évaluation, et chacun a élaboré une méthodologie pour fournir des renseignements actualisés sur les coûts d’après les données disponibles. Les descriptions des processus figurent à l’Annexe D.

3.7. Limites

L’évaluation a fait face à quelques limites méthodologiques. Elles sont présentées ci‑dessous, selon les sources d’information.

Examen des données, des documents, des dossiers et des bases de données sur le rendement.

La méthode de présentation de rapports sur le rendement fournit un instantané pour chaque exercice par mesure. Ainsi, les rapports sur le rendement du Programme comprennent le nombre de personnes auxquelles le statut de réfugié a été refusé, ou qui ont fait l’objet d’une mesure de renvoi en vertu de la LIPR au motif que les personnes ont été complices ou auteurs de crimes contre l’humanité. Bien qu’ils illustrent les activités et les résultats annuels du Programme, les rapports sur les chiffres agrégés empêchent le Programme d’établir le rapport entre ces activités et ses résultats intermédiaires et ultimes, et excluent la possibilité d’évaluer plus exactement le taux de réussite et l’efficience des mesures. Il manque au Programme une base de données centralisée à l’échelle du programme pour suivre les progrès réalisés au niveau individuel tout au long de l’application de la ou des mesures. Une telle base de données pourrait être utilisée pour suivre des renseignements importants, notamment les dates, la façon dont de nombreuses mesures ont été utilisées, et pour suivre systématiquement les facteurs qui ont entravé le progrès aux principales étapes de la mise en œuvre de la ou des mesures.

Entrevues, études de cas et sondage.

Les entrevues avec les principaux intervenants et les participants aux études de cas, ainsi que le sondage auprès du personnel des ministères, peuvent présenter une déviation des réponses auto-déclarées et des résultats stratégiques. La déviation systématique des réponses auto-déclarées se produit lorsque des personnes décrivent leurs propres activités et peuvent donc vouloir se présenter sous un jour favorable. La déviation des résultats stratégiques se produit lorsque les participants répondent à des questions en souhaitant orienter les résultats.

Pour chacune de ces sources d’information, le taux de participation a été également inférieur à celui qui était souhaité :

  • Pour les entrevues des principaux intervenants, plusieurs principaux intervenants externes (ONG, universitaires, communauté homologue internationale) ont refusé de participer parce qu’ils ne connaissaient pas suffisamment le Programme sur les CCHCG ou ne souhaitaient tout simplement pas répondre à des demandes multiples.
  • La conception initiale de l’étude de cas était basée sur l’utilisation d’un cas spécifique et comportait des interviews du personnel des partenaires visés dans le traitement du cas. Dans la plupart des cas, on a utilisé un scénario hypothétique plutôt qu’un cas spécifique, ce qui a résulté en un nombre moindre de personnes interviewées parmi tous les partenaires éventuels participant à la mesure particulière. Ceci signifie qu’il n’a pas été possible de discuter des points de transfert ou de la façon dont les partenaires collaborent pour la plupart des mesures. Les études de cas représentaient une occasion manquée pour cette évaluation et devraient être repensées pour la prochaine.
  • Dans le cas du sondage, le taux de réponse était considérablement plus faible qu’il l’avait été en 2008, même si le questionnaire de sondage avait été intentionnellement conçu de façon à avoir un contenu et une longueur semblables à ceux du questionnaire utilisé en 2008.

En entreprenant le sondage, on souhaitait comparer les résultats de 2008 à ceux de 2015. Cela n’a pas été possible parce que les données brutes de 2008 n’étaient pas disponibles, l’évaluation présentait les résultats du sondage sans inclure les répondants qui ont déclaré « ne sait pas » ou « sans objet », et n’a pas non plus fourni le nombre de répondants qui en a résulté. Compte tenu de la faiblesse de l’échantillon et de ce manque d’information afférent aux réponses de 2008, il a été décidé de ne pas comparer les résultats des sondages de 2008 et de 2015.

Stratégie d’atténuation.

La stratégie d’atténuation pour les limites méthodologiques susmentionnées consistait à recourir à plusieurs sources d’information de différents groupes d’intervenants, ainsi qu’à différents types de renseignements. Par exemple, l’évaluation a recueilli des renseignements auprès des partenaires du Programme ainsi qu’auprès de principaux intervenants externes. En outre, elle a eu recours à des méthodes de collecte de données quantitatives et qualitatives pour répondre aux questions de l’évaluation. Malgré ces limites, les conclusions de l’évaluation ont été renforcées par la triangulation des constats de ces différentes sources.

Date de modification :