Annexe B – Évaluation à partir d’une optique de réconciliation par Andrea Johnston

Depuis 1991, Andrea L.K. Johnston travaille à temps plein en orientant ses efforts vers un avenir qui modifie les relations entre les peuples autochtones et les bailleurs de fonds afin d’instaurer un environnement dans lequel les peuples autochtones peuvent définir leurs propres paramètres. En 2016, elle a lancé le premier programme de formation au monde en pratique de l’évaluation autochtone, intitulé « Honouring Reconciliation in Evaluation » (honorer la réconciliation dans l’évaluation). Andrea cherche à déconstruire le langage et les hypothèses qui sous-tendent l’évaluation pour soutenir le déroulement d’un processus de réconciliation qui change la façon dont les évaluations sont mises en œuvre.

Andrea L.K. Johnston continue d’élaborer et de lancer des outils pour le changement afin d’atteindre l’objectif de l’évaluation menée par les Autochtones. Andrea travaille à temps plein à des évaluations de programmes et de services autochtones depuis plus de 20 ans. Andrea L.K. Johnston est évaluatrice accréditée auprès de la Société canadienne d’évaluation (depuis 2011), descendante des Chippewas de Nawash, diplômée de l’Université de Toronto et membre du Conseil canadien pour le commerce autochtone.

Introduction

Le présent document a été rédigé à l’intention du ministère de la Justice du Canada dans le cadre d’un projet qui explore, prend en considération et répertorie les approches et méthodes autochtones en matière d’évaluation du soutien et des services aux victimes et survivants autochtones d’actes criminels. Le projet explore également les principes et les méthodes dont il faudrait tenir compte dans la conception des cadres et méthodes d’évaluation (y compris les outils et les processus). Il est également intéressant de comprendre comment ces approches pourraient servir à éclairer les études de recherche en sciences sociales.

Il est nécessaire de reconsidérer nos approches et méthodes des pratiques d’évaluation. De nombreuses adaptations ont été apportées au domaine de l’évaluation; cependant, celles-ci ont été faites par des techniciens occidentaux. Les publications actuelles sur l’évaluation autochtone portent sur l’accroissement et l’autochtonisation de la pratique de l’évaluation. Or, ce dont nous avons vraiment besoin, ce sont des conceptualisations transformatrices et holistiques (wholistic)Note de bas de page 6 de l’évaluation autochtone. Lorsque nous parlons de réconciliation, nous faisons allusion à une rue ou une rivière où la circulation se fait dans les deux sens sur laquelle glissent les deux mondes, chacun étant fort et indépendant de l’autre. Au cœur du problème réside le fait que des évaluations sont encore effectuées auprès des peuples autochtones. Les praticiens occidentaux peuvent élaborer une évaluation et la modeler pour lui donner la forme de leur choix, mais au bout du compte, si ce sont des praticiens occidentaux qui orientent et dirigent l’évaluation, alors les peuples autochtones font toujours l’objet d’évaluations, et la réconciliation n’est jamais réalisée. La difficulté tient au fait que de nombreux peuples autochtones ne peuvent pas démêler leur esprit de la pensée occidentale – beaucoup ont un esprit colonisé, résultant en grande partie du système des pensionnats indiens et de ses impacts intergénérationnels. Cependant, les Aînés disent que, sans la culture et les traditions autochtones, les peuples autochtones ne peuvent redevenir entiers, indépendants et forts. Le présent document examinera plusieurs façons d’intégrer les connaissances et la culture autochtones dans la pratique de l’évaluation, y compris l’outil d’évaluation WaawiyeyaaNote de bas de page 7. Cet outil a changé l’orientation de la collecte de données pour en faire une méthode d’intervention, car il intègre le savoir et la culture autochtones et encourage les personnes à partager leurs expériences pendant qu’elles sont aux commandes de l’exercice d’échange de données.

Travailler dans une optique de réconciliation à la méthodologie d’évaluation commence par des discussions sur ce qui constitue la vérité. La vérité provient de nombreuses perceptions et dimensions. La vérité est l’essence de ce que l’évaluation est censée découvrir. L’enquête scientifique cherche à découvrir les vérités physiques d’un objet étudié. Cependant, les peuples autochtones remettent en question l’évaluation afin d’aller au-delà de la compréhension physique pour déterminer si une intervention est jugée réussie ou non. Comme la compréhension de la vérité se révèle complexe, l’évaluation doit elle aussi se remettre en question pour adopter cette complexité. En adoptant la complexité de la vérité, l’évaluation peut s’amorcer dans une optique de réconciliation. C’est dans le cadre de la pratique et de la compréhension de la réconciliation que nous pouvons commencer à vraiment comprendre pourquoi et comment certains programmes sont des mécanismes bien rodés, et d’autres, une tâche laborieuse.

L’intégration de la pratique de la réconciliation apporte une compréhension unique à chaque évaluation. Ce sont ces perspectives particulières qui déclenchent des expériences différentes chez les personnes touchées par l’évaluation. Les rapports doivent refléter ces connaissances diversifiées. Le présent document décrit un cadre autochtone unique de compréhension de l’approche, des rôles des évaluateurs, de la conception et de la gestion des programmes, tout en situant chaque domaine dans le contexte de l’évaluation des services aux victimes destinés aux Autochtones.

Lorsqu’on réfléchit à la façon dont nous introduisons la réconciliation dans la pratique de l’évaluation, il faut d’abord reconnaître la pratique de l’évaluation autochtone non pas comme une destination, mais plutôt comme un voyage. Cet exercice n’est pas facile. Il s’agit d’avoir une compréhension profonde et fondamentale des manières de savoir, des manières d’être, des manières d’expérimenter et des manières de faire. Tandis que la connaissance fait référence à un état d’esprit, la manière d’être fait référence à des relations et à des pratiques marquées par des traumatismes, l’expérience est contextualisée dans les liens spirituels de chacun et fait renvoi aux actions que l’on est disposé et apte à mener et à entreprendre. La décolonisation, même pour moi, une Anishinabekwe, est un voyage, un processus continu. Plus nous décolonisons, plus nous pouvons soutenir et mettre en œuvre des évaluations qui respectent la réconciliation.

Une méthode de décolonisation consiste à comprendre comment les communautés perçoivent l’évaluation et modifient les effets de l’évaluation sur les membres de la communauté. S’asseoir ensemble et discuter des aspects d’un programme est un luxe rare dans un environnement constamment en butte à une gestion de crise. De nombreuses communautés manquent de personnel et de ressources et trouvent que l’évaluation est déroutante et chronophage. De nombreux membres du personnel déplorent la pratique de l’évaluation, car ils la considèrent comme une perte de temps pour les clients qu’ils servent. Dans de nombreux cas, le personnel doit réserver un jour de la semaine pour des tâches administratives, et l’évaluation est l’un des nombreux points au programme de cette journée.

Un autre problème tient au fait que, même s’il y a beaucoup de connaissances accumulées pour documenter l’évaluation, c’est une pratique en constante évolution. Il est donc difficile pour les communautés de se tenir à jour et d’apprendre de nouveaux concepts. Une autre réalité est que l’évaluation n’est qu’une exigence intégrée aux accords de financement du gouvernement fédéral canadien depuis 20 ans. L’évaluation a adopté une définition étroite de la conduite avec l’apparition du modèle logique; cependant, il a fallu environ 10 ans pour vulgariser le modèle logique.

Pour comprendre quels changements doivent se produire dans la pratique de l’évaluation, nous devons d’abord comprendre comment nous en sommes arrivés au point où la pratique de l’évaluation en est actuellement. L’évaluation s’est fermement accrochée aux modèles logiques et à la « théorie du changement »Note de bas de page 8 au cours des 20 à 30 dernières années. Ces méthodes d’évaluation se rattachent à une notion préconçue selon laquelle le modèle logique doit être constitué avant la mise en œuvre du programme plutôt qu’au stade de l’élaboration du programme. De nombreux programmes du gouvernement fédéral disposent d’un modèle logique créé dans un bureau centralisé, dont les données d’entrée sont principalement fondées sur un modèle de théorie du changement. La théorie du changement qui aide à prévoir la trajectoire du changement de comportement chez les participants au programme est souvent élaborée sans une compréhension suffisante chez ceux qui offrent le programme ou le service.

Le domaine de l’évaluation a radicalement changé au début des années 1990 lorsque la théorie du changement (1990) et le modèle logique (1997) sont devenus des sujets passionnants, nouveaux et intéressants lors de la conférence de l’American Evaluation Association à Chicago, Illinois, en 1997. Tandis que Chen, en 1983, a été parmi les premiers à documenter une évaluation appliquant la théorie du changement, en 1991, Rush et Ogbourne ont compté parmi les premiers à publier l’utilisation de modèles logiques. Il était plus courant que les articles portent sur la théorie du changement à partir de 1998 (Francis, 1998; Barley et Phillips, 1998). De même, en 1997, de nombreux articles sur les modèles logiques avaient été publiés (Alter, 1997; Funnell, 1997; Julian, 1997; McEwan et Bigelow, 1997; Moyer, 1997). Par la suite, Carol Weiss a publié la deuxième édition de Evaluation en 1998, un ouvrage qui soutient le raisonnement logique du modèle logique et définit une approche commune pour la théorie du changement.

Le Canada a publié des modèles logiques au début des années 1990 (Corbeil, 1986; Wong-Reiger et David 1995, 1996), mais les modèles logiques n’étaient pas encore adoptés dans les systèmes du gouvernement fédéral. Ce n’est qu’au début des années 2000 que le gouvernement fédéral canadien a introduit le modèle logique et son raisonnement dans les plans de travail des programmes et les demandes de propositions, ce qui a créé un environnement propice à l’application du nouveau raisonnement séquentiel logique des modèles logiques. Il est également important de signaler le langage utilisé dans les premières publications sur les modèles logiques : [traduction] « l’histoire du rendement du programme » (McLaughlin et Jordan, 1997), [traduction] « concentrer les services de santé sur les objectifs de santé de la population » (McEwan et Bigelow, 1997), [traduction] « renforcer l’élaboration des programmes de services » (Hermann, 1996), et [traduction] « outil adaptable pour concevoir et évaluer des programmes »(Funnell, 1997). En 1998, les publications sur les modèles logiques ont évolué pour se concentrer sur les résultats et les indicateurs (Francis, 1998; American Cancer Society, 1998; Bell et McLaughlin, 1998).

En s’appuyant sur une optique de réconciliation et de compréhension, il est possible de mieux comprendre le rôle et la fonction du programme dans les environnements communautaires et nationaux au sens large. L’orientation d’une seule évaluation doit être plus importante qu’un seul programme et une seule communauté. Dans les enseignements autochtones, il y a l’idée d’un esprit d’un peuple et d’un esprit national. Il existe également un lien spirituel global et même des liens avec l’univers et par-delà le temps. Dans la plupart des évaluations actuelles, les programmes sont évalués du point de vue du bailleur de fonds, de sorte qu’il est privilégié par rapport aux valeurs et aux priorités de la communauté. La réconciliation de l’évaluation exige que l’essence spirituelle d’un programme soit le point de départ de la pratique en matière d’évaluation (Sécurité publique Canada, 2014; Santé Canada et Agence de la santé publique du Canada, 2013). L’adoption d’une approche qui a comme point de départ une optique de réconciliation est vraiment holistique et garantit que chaque étape de l’évaluation est liée à ce fondement. Cette étape initiale tient également compte de nombreux facteurs et variables qui influent sur le programme. Cependant, cette démarche dépasse la méthodologie actuelle de la pratique habituelle en évaluation. Il existe quelques exemples d’évaluations dans une optique de réconciliation; toutefois, peu d’évaluations sont fondées sur un contexte communautaire ou national plus large. Ce sont ces évaluations dont nous voulons parler en ce qui concerne un modèle pour la prochaine vague de transformation de l’évaluation.

Nous sommes à une étape précaire de l’examen de l’évaluation autochtone. Voici des questions et des actions qui s’inscrivent dans une optique de réconciliation. Celles-ci guideraient un processus d’évaluation pour qu’il inclue davantage la pensée et les actions autochtones.

  1. Comment amorcer le processus d’évaluation, quels sont les facteurs importants pour les peuples autochtones? Action suggérée : Identifiez les principaux collaborateurs à l’évaluation qui peuvent participer à la conception de l’approche globale et des méthodes d’évaluation.
  2. Comment puis-je me renseigner sur le programme évalué et son histoire plus générale? Action suggérée : Ayez le désir d’aller au-delà de vos connaissances actuelles et de vos préjugés sur ce qui est actuellement perçu comme pertinent. Cherchez à découvrir quels pourraient être les concepts appropriés de résultats à mesure que vous et vos principaux collaborateurs à l’évaluation découvrez le récit du programme, avant que des outils ou des questions d’évaluation ne soient créés.
  3. Comment déterminer un objectif ou un but par rapport auquel le programme peut être mesuré? Action suggérée : Ces buts ne sont pas absolus. Découvrez des concepts d’objectifs appropriés pour guider la collecte de données; cependant, faites-le avec les principaux collaborateurs à l’évaluation. Assurez-vous qu’ils ont le temps de se consacrer à ce travail de découverte, à savoir l’analyse des données recueillies ci-dessus.
  4. Comment définir les indicateurs qui raconteront l’histoire de la façon dont le programme s’est employé à atteindre les objectifs? Action suggérée : Il s’agit de ne pas effectuer une analyse étroite des renseignements; le but est d’être toujours ouvert à la réinterprétation et à l’augmentation des renseignements dans les étapes précédentes ci-dessus.
  5. Quels outils et quelles stratégies aideront le mieux à mettre en œuvre une évaluation dans une optique de réconciliation? Action suggérée : Concentrez-vous sur les méthodes qui serviront à consigner les renseignements qui racontent l’histoire. Cette prise de décisions doit se faire en collaboration avec les principaux collaborateurs à l’évaluation.
  6. Existe-t-il une méthode différente et appropriée pour documenter et concevoir un système destiné à l’enregistrement, au stockage, à l’analyse et à la réalisation de l’histoire du programme? Action suggérée : Les principaux collaborateurs à l’évaluation peuvent être une source précieuse d’idées novatrices et créatives sur ces questions.
  7. Quelle méthode peut-on utiliser pour consigner les renseignements et l’histoire? Action suggérée : Cela découlera naturellement de l’étape ci-dessus et devrait être abordé pendant cette discussion.
  8. Comment l’histoire (les résultats de l’évaluation) peut-elle être diffusée à grande échelle? Action suggérée : Encore une fois, ces actions découleront naturellement d’une discussion plus étoffée, initiée à l’étape 6 ci-dessus.

Il est important de se demander qui sont les principaux collaborateurs à l’évaluation – il s’agit de diverses personnes et de celles qui reçoivent une forme de rémunération pour leurs « services professionnels ». Si l’on n’apprécie pas une telle expertise et expérience dans une relation de troc qui exprime la valeur de leur temps et de leurs efforts, la productivité en souffrira, comme cela s’est produit dans le passé. Au lieu de susciter la créativité et l’ingéniosité, nous produirons un projet d’évaluation médiocre qui ne contribue guère à créer le changement et à inspirer la transformation.

Le reste du présent document se concentrera sur les huit questions mentionnées précédemment. Ces huit questions sont examinées comme un ensemble de principes directeurs pour la pratique de l’évaluation. Ces principes traitent chacun d’un guide descriptif étape par étape visant à intégrer les pratiques de réconciliation dans les méthodologies et approches en matière d’évaluation.

1. Identifier les principaux collaborateurs à l’évaluation qui peuvent participer à la conception de l’approche globale et des méthodes d’évaluation

Il ne fait aucun doute qu’un Aîné, un gardien du savoir, un guérisseur traditionnel doivent jouer un rôle très important dans le processus d’évaluation. Par exemple, tout service d’évaluation qui a un lien avec les peuples autochtones doit employer un Aîné, un gardien du savoir, un guérisseur traditionnel pour éclairer non seulement sa pratique de l’évaluation, mais aussi l’interprétation des résultats et leur application dans des actions et des activités de suivi. De nombreux organismes et services gouvernementaux effectuent des évaluations à l’interne et sous-traitent également des projets d’évaluation. Lorsque ces évaluations interviennent auprès des peuples autochtones, elles doivent inclure une optique de connaissances spirituelles.

Il existe de nombreux niveaux de colonisation parmi les peuples autochtones ainsi que de nombreux niveaux de sensibilisation aux réalités culturelles et d’humilité chez les évaluateurs occidentaux. Cependant, le but du présent document est non pas d’établir quel niveau de décolonisation est nécessaire, mais plutôt de se concentrer sur ce que l’évaluation autochtone peut faire pour l’évaluation occidentale et sur son apport à celle-ci. En ce qui concerne ce que l’évaluation autochtone peut accomplir, mon objectif est de voir l’orientation de l’évaluation se transformer jusqu’à ce que le résultat principal soit à l’échelle nationale pour l’ensemble des peuples autochtones, regroupant plusieurs indicateurs de succès. Ceux-ci révéleraient ce qui est le plus apprécié et fourniraient une feuille de route permettant d’atteindre ces objectifs. Concrètement, ce travail serait entrepris par les collaborateurs à l’évaluation, reconnaissant que l’évaluation peut se dérouler de plusieurs manières. À titre d’exemple :

  1. Une façon consiste à rechercher de la documentation, écrite ou orale, comme un document de manuscrit traditionnel, des histoires traditionnelles, des enseignements traditionnels et des médecines traditionnelles pour n’en nommer que quelques-uns. Cependant, chacune de ces sources de connaissances nécessiterait une interprétation et une analyse de la part d’un Aîné, d’un gardien du savoir ou d’un guérisseur traditionnel pour l’application de ces connaissances à l’évaluation.
  2. Si la vision et l’esprit d’un programme ne peuvent être réalisés par un Aîné, un gardien du savoir ou un guérisseur traditionnel, sa participation devrait se poursuivre dans une approche approfondie. Cependant, l’évaluation devrait également recueillir des renseignements ou des histoires qui aident à comprendre le modèle de soins du programme. Dans ce cas, si un modèle logique a déjà été créé avant l’évaluation, il peut nécessiter des modifications en fonction des nouvelles connaissances acquises lors de l’examen du programme sous un nouveau jour. Les cercles de la parole et d’autres modes de collecte de données où l’on pose des questions originales peuvent avoir des résultats différents quant à la conception du programme.

2. Se renseigner sur l’histoire globale et plus générale du programme et la documenter

Il s’agit d’une étape essentielle, en particulier si un modèle logique est en place pour le programme. Ce n’est pas une activité de pure forme. Celle-ci est entreprise avec une volonté de découvrir l’essence même du programme et non seulement de vraiment comprendre ce qu’il fait, mais plutôt de se concentrer davantage sur la manière dont il fait ce qu’il fait. Ces questions portent sur le style de gestion, les perceptions du personnel dans le cadre de ce style de gestion, les procédures du programme et le fonctionnement du programme. Ainsi, ces questions de processus sont la vraie histoire. Les peuples autochtones ont demandé que la priorité de l’évaluation passe des résultats à une approche davantage centrée sur le processus (CCNSA [Centre de collaboration nationale de la santé autochtone], sans date; Saini et Quinn, 2013; Van der Woerd, 2010; Chouinard et Cousins, 2007; Fetterman et Wandersman, 2004).

Les communautés confrontées à des défis importants ont le sentiment que les résultats sont extrêmement difficiles à mesurer, en particulier le fait qu’il est déraisonnable de s’attendre à des résultats déterminants d’une communauté classée comme comptant une petite population, soit 500 habitants ou moins. Dans certaines de ces communautés, le taux de natalité varie de deux à dix bébés par année. Dans ces cas, les évaluations ne peuvent pas être effectuées à partir de données numériques. Une approche par études de cas sera nécessaire pour différencier les nombreuses variables de confusion, ce qui donne lieu à deux répercussions principales : 1) les sites de programmes particuliers devraient avoir la possibilité de recueillir des ensembles de données complètement différents, et 2) le sommaire des renseignements devait être flexible quant à la façon dont il tire des conclusions lorsque celles-ci ne sont pas tirées en fonction du nombre de xx et yy; on tire plutôt une conclusion plus substantielle qui témoigne des façons variées et multiples dont les personnes ont tiré profit du programme. L’objectif de recueillir des renseignements fondés sur l’expérience est beaucoup plus utile pour déterminer les orientations futures et le financement continu en ce qui concerne les peuples autochtones.

Au lieu de nous concentrer sur les mécanismes (processus des programmes) qui donnent naissance à une pensée créative et innovante et qui génèrent des processus et des politiques ciblant ces problèmes sous-jacents, nous avons passé les 20 dernières années à mesurer les résultats d’une manière dénuée de sens et peu gratifiante. En quoi ces résultats ont-ils amélioré la santé et le bien-être des peuples autochtones? Bon nombre des principales statistiques préjudiciables ont en fait augmenté au cours des 20 dernières années, au lieu de diminuer. Le plus grand héritage préjudiciable des deux dernières décennies a été que les peuples autochtones et la médecine occidentale travaillent en vases clos, aucun ne faisant vraiment confiance à l’autre. Mais les évaluations des 20 dernières années n’ont pas abordé ces facteurs; au lieu de cela, elles mesurent d’une manière restrictive les résultats des participants hors contexte (c’est un exercice dénué de sens). Les taux de diabète et de maladies cardio-vasculaires ne diminueront pas de façon spectaculaire tant que les professionnels de la santé autochtones et les praticiens de la médecine occidentale ne se réuniront pas de manière efficace et significative. La résolution des problèmes de bien-être mental sous-jacent et de traumatisme intergénérationnel est un facteur clé de la solution. Le rapprochement des médecines occidentale et autochtone est un facteur imposant au moment d’amorcer la guérison nécessaire et souhaitée d’une personne, d’une famille, d’une communauté et d’une nation.

Ce sont ces problèmes sous-jacents et systémiques qui rendent la mesure des données sur les résultats si difficile, en particulier pour les programmes axés sur la promotion et la prévention. Ces programmes sont superficiels, sans pour autant s’attaquer aux problèmes systémiques et à la résolution de problèmes au cœur des questions qui touchent les victimes et leur famille. Cette contrainte importante est particulièrement dure pour le personnel et doit être incluse comme un objectif principal des résultats du programme – non pas ce que le programme a fait pour les clients, mais plutôt ce que le programme et ses contraintes ont fait au personnel ainsi qu’à la vision et au cœur de la communauté. La question capitale est donc la suivante : qu’est-ce que le programme a fait pour soutenir ou entraver le peuple ou la nation, et de quelle façon le personnel et la direction mettent-ils en œuvre le programme qui soutient ces notions de renforcement et de transformation communautaires? Telles sont les questions précieuses qui doivent être posées et qui appuieraient davantage l’élaboration d’une vision communautaire qui peut conduire le peuple sur la voie de la guérison et du renforcement. L’évaluation est donc un outil qui ne sert pas qu’à documenter la responsabilisation envers le gouvernement; elle a la responsabilité et les moyens de soutenir l’élaboration de ces visions et de faire rapport sur les problèmes sous-jacents et systémiques.

3. Déterminer un objectif ou un but par rapport auquel le programme peut être mesuré

À l’ère du modèle logique, il s’agit normalement d’un énoncé lié aux résultats dans le contexte des répercussions sur les participants au programme dans l’espoir que l’intervention entraînerait une sorte de changement des conditions socioéconomiques. Cependant, comme il est indiqué ci-dessus, si les buts et les objectifs axés sur les résultats pour les participants sont louables, il y a un moment et un lieu pour de tels efforts. Les buts et les objectifs doivent convenir à la communauté; ce n’est pas à la communauté de s’adapter aux buts et aux objectifs.Note de bas de page 9

Les objectifs axés sur les résultats pour les participants n’ont pas leur place si la communauté associée au programme ne considère pas que le programme se prête à une telle évaluation. Cela ne veut pas dire qu’elle estimera que ce n’est pas le cas, mais essentiellement, quelqu’un s’est-il donné la peine de poser la question, et ce, d’une façon utile et logique pour la communauté?

Mais d’abord, la glace doit être brisée, les membres de la communauté pensent que l’évaluation est un trou noir et qu’elle a toutes les réponses, réponses qu’ils ne peuvent pas trouver eux-mêmes. Ce mythe doit être dissipé avant qu’une conversation véritablement centrée sur la communauté puisse avoir lieu.

Dans une conversation véritablement centrée sur la communauté, il serait possible de créer un but variable et des objectifs connexes, à géométrie variable selon la communauté, depuis l’absence de résultats pour les participants jusqu’à de nombreux résultats pour les participants. L’énoncé de l’objectif et du but doit prioritairement refléter la vision de la communauté et l’essence du programme. Il ne revient pas à une seule personne ou à un seul groupe de personnes d’établir le libellé de cet objectif. Il s’agit d’une tâche complexe, et il est préférable de la confier aux peuples autochtones participant en tant que collaborateurs principaux à l’évaluation. Ils connaissent les programmes et devraient maintenant très bien connaître l’évaluation également.

Le bailleur de fonds peut avoir une idée du but et de l’objectif du programme. Cependant, lorsqu’on laisse le soin à la communauté de déterminer le but du programme, il est bien souvent ancré dans une réalité spirituelle et enraciné dans le territoire en plus d’avoir une signification qui est fondée sur les enseignements et la connaissance de l’esprit. Pour fonctionner dans une optique de réconciliation, les buts et objectifs doivent refléter les deux réalités, et ces décisions doivent être prises sérieusement, dans une quête de la vérité par la communauté. Ces types d’exercices peuvent servir d’outil pour amener le changement et la transformation.

4. Définir les indicateurs qui raconteront l’histoire de la façon dont le programme s’est employé à atteindre les objectifs

La mesure des objectifs du programme est souvent un processus complexe, quel que soit l’évaluateur. La définition des indicateurs diffère considérablement lorsqu’on évolue dans une optique de réconciliation. Ces indicateurs sont plus descriptifs et ont une plus grande profondeur que l’indicateur type du modèle logique. Les indicateurs autochtones doivent refléter la langue du peuple. Dans notre expérience, nous avons été témoins de buts et d’objectifs définis par la communauté dans les langues autochtones. Les buts et les objectifs ont donc des significations élaborées et sont orientés vers l’action. Ces buts et ces objectifs peuvent ensuite être traduits en indicateurs.

La langue ojibwé, par exemple, est aux deux tiers composée de verbes, tandis que les deux tiers des mots en anglais sont des noms. Par conséquent, une règle veut que les indicateurs soient orientés vers l’action. De plus, la langue ojibwé est principalement apprise oralement dans les communautés anishinabe, de sorte que les indicateurs devraient être facilement compris d’un point de vue oral, en d’autres termes, évoquer une image. Aussi, les mots ojibwé ont des significations élaborées et complexes, c’est-à-dire que la langue est multidimensionnelle. En outre, la plupart des mots ojibwé soutiennent la pensée critique, favorisent l’empathie et l’intelligence émotionnelle parce que la langue est aux deux tiers composée de verbes. Les verbes reflètent les actions des êtres humains et des animaux. Toutes ces considérations relatives aux langues autochtones sont essentielles pour définir les indicateurs qui honorent, respectent et soutiennent la réconciliation dans la conception de l’évaluation et qui y aspirent. Une fois que les indicateurs autochtones sont connus, de nouveaux concepts peuvent être définis pour la pratique de l’évaluation.

Lors de la première conférence sur la santé des Autochtones de l’Université de Toronto en 2016, le chef Wilton Littlechild s’est adressé à un auditoire de plus de 400 professionnels de la santé et a déclaré : [traduction] « Nous devons nous soutenir mutuellement. » C’est là une déclaration essentielle, car elle s’applique aux étudiants et professionnels présents du domaine de la santé, mais également aux femmes, aux hommes, au personnel des soins infirmiers, aux peuples autochtones, et les applications sont quasi infinies. Elle soutient la pensée critique car elle vous fait réfléchir aux possibilités et vous fait visualiser ce que signifie se soutenir mutuellement. Cela peut signifier horizontalement, verticalement et unilatéralement. La déclaration soutient l’empathie, du point de vue de la prise en charge de votre collègue ou des êtres humains, en général. Elle parvient à transcender le temps, en ce sens qu’elle suppose que nous devons faire quelque chose, maintenant et à l’avenir. L’expression est orientée vers l’action parce qu’elle fait référence à l’acte de se soutenir mutuellement, de s’assurer que nos moyens de subsistance sont intacts et que nous sommes pleinement pris en charge les uns par les autres. Ce type d’objectif rétablit l’honneur, le respect, le soutien et aspire à apporter la réconciliation dans la conception de l’évaluation. Parmi les indicateurs susceptibles d’être considérés comme relevant de cet objectif, on pourrait inclure l’ensemble suivant de données probantes comparées :

  1. Les expériences liées aux narrations du personnel reflètent les éléments suivants :
    • Ballots d’outilsNote de bas de page 10
    • Soutien au travail
    • Points de vue favorables du lieu de travail
    • Sentiments positifs de la direction
    • Sentiments de force
    • Sentiment d’être respecté
    • Sentiments d’égalité et de réciprocité
  2. Les documents reflètent essentiellement les mêmes éléments.
  3. Les observations reflètent essentiellement les mêmes éléments.

5. Mettre au point des outils et des stratégies qui serviront à consigner les renseignements qui racontent l’histoire

Il est important que les outils autochtones fassent office d’interventions et d’instruments de collecte de données. Lorsque l’outil de collecte de données fait office d’intervention, il doit soutenir la documentation des expériences qui comptent dans l’esprit des personnes du programme et de l’ensemble des gens, que l’on a pu recueillir sans utiliser plus de une à trois questions très générales et sans question exploratoire. Cette étape doit être acceptée au préalable par les Aînés, les gardiens du savoir et/ou les guérisseurs traditionnels. La démarche requiert également un processus d’éducation où ces Aînés, etc. sont exposés à un large éventail d’outils créatifs et axés sur l’intervention. En laissant aveuglément les gens parler de manière narrative, on risque de laisser la personne à elle-même, tandis qu’une à trois questions générales permettent un processus semi-structuré qui mobilise le participant; cependant, ces questions doivent être soigneusement examinées dans un contexte de personnes expérimentées et informées. Dans la suite de cette étape, on retrouve un exemple d’un tel outil axé sur l’intervention.

Les outils créatifs fondés sur l’intervention, comme l’outil d’évaluation WaawiyeyaaNote de bas de page 11, favorisent le développement d’idées et d’outils locaux qui permettent aux répondants de se faire entendre et les incitent à réfléchir de manière créative à une ou deux questions posées, au lieu des 20 à 30 questions posées dans un outil d’enquête type. Ainsi, les répondants peuvent exprimer leurs expériences de la manière qu’ils souhaitent : ils dirigent le processus de collecte des données.

L’essentiel, c’est que les gens puissent entendre leur voix dans la conception des données et que les résultats ultimes correspondent aux croyances des gens à propos du changement. Lorsqu’ils participent à l’application de l’outil d’évaluation Waawiyeyaa, les répondants sont associés à un processus créatif de réflexion sur le changement, la découverte de soi de leur propre parcours, les transformations et les changements qu’ils ont vécus.

Grâce aux outils, aux cadres, aux narrations et aux enseignements traditionnels autochtones, les participants aux programmes nous ont informés à propos de ce qui suit. Nous aurions certainement pu l’apprendre par d’autres moyens, mais nous l’avons découvert sur une seule page, le tout dirigé par chaque participant qui devait répondre à une seule question générale, tandis que, par d’autres moyens, il aurait fallu une série de questions détaillées pour obtenir les renseignements suivants :

  1. Raisons de votre participation au programme
  2. Expériences dans le cadre du programme
  3. Résultats du programme
  4. Satisfaction à l’égard du programme
  5. Démonstration indiquant si les participants ont entrepris ou non un cheminement vers la guérison
  6. Détails sur ce qui constitue un cheminement vers la guérison
  7. Découverte de soi de à propos des causes du changement et de la manière dont la personne a changé au fil du temps

6. Documenter et concevoir un système destiné à l’enregistrement, au stockage, à l’analyse et à la concrétisation des résultats d’un programme

Cette étape doit être déterminée par les Aînés, les gardiens du savoir, les guérisseurs traditionnels et les autres participants en tant que collaborateurs principaux à l’évaluation. Selon les déclarations de la Commission de vérité et réconciliation du Canada (2015), une responsabilité sociale très importante d’un évaluateur est de se débarrasser de ses préjugés, de s’engager dans une réflexion introspective et de devenir un participant actif au processus de guérison et de réconciliation :

Nous ne saurions faire moins. Il est temps de s’engager envers un processus de réconciliation. En établissant une relation nouvelle et respectueuse, nous rétablissons ce qui doit être rétabli, nous réparons ce qui doit être réparé et nous remettons ce qui doit être remis.

Les communautés autochtones sont très préoccupées par le processus et moins intéressées par la documentation des résultats. Cela reflète l’orientation des systèmes autochtones. Alors que les personnes ont différents objectifs intermédiaires et à court terme ainsi que des résultats différents, un résultat conçu dans le cadre d’un système autochtone pour un être humain consiste à nourrir l’esprit, c’est-à-dire mener une vie dans le respect de toute vie, et plus encore, et mettre à profit les leçons que nous recevons pour soutenir l’esprit dans son voyage prévu (qui est largement inconnu). Les systèmes autochtones sont plus complexes que ce seul exemple. À titre d’illustration, un autre facteur qui rend les résultats moins importants est le fait que les systèmes autochtones valorisent la recherche de débouchés et la participation à de nouvelles possibilités lorsqu’elles se présentent de façon aléatoire et imprévisible. Il y a tellement plus à apprendre sur les façons d’être et de savoir autochtones. La perspective épistémologique est ancrée dans un système pédagogique complexe et dynamique. C’est pourquoi il est si difficile pour les pratiques de réconciliation de rendre justice aux pratiques d’évaluation. Sans un changement complet de son point de vue et de la manière dont il appréhende la vérité, l’évaluateur ne peut entreprendre la conception d’un système destiné à l’enregistrement, au stockage, à l’analyse et à la concrétisation des résultats d’un programme.

Un projet nous a permis de recueillir des données qui démontrent cette recommandation de la CVR en action : ces renseignements n’ont été recueillis et documentés que parce que l’évaluateur avait de l’expérience dans la pédagogie autochtone décrite ci-après. Dans le Nord, une autorité sanitaire a ancré la culture dans le cadre de programme et de gestion. Cette organisation du Nord a pleinement adopté le fait d’offrir une « expérience » non seulement aux clients, mais surtout au personnel. L’organisation offre à son personnel et à sa direction une expérience d’apprentissage par induction. Un élément essentiel de l’approche est le ballot de connaissances respectant la culture que chaque membre du personnel reçoit. L’élément physique est le don d’un ballot sacré qu’ils apportent avec eux au travail afin de l’utiliser dans leur pratique. Pour chacun des cadeaux sacrés qui leur sont offerts (comme les médecines, les tambours), ils ont reçu les enseignements aux côtés de leurs collègues au bureau.

L’organisation normalise ses manières traditionnelles d’être et de savoir : le gros tambour vous accueille lorsque vous entrez dans l’édifice; il se trouve à l’avant dans la salle d’attente, afin que les clients puissent s’asseoir avec le tambour. C’est le processus méditatif évoqué par Yellow Bird : s’asseoir avec le tambour, en faire l’expérience, le sentir, l’observer et communiquer avec lui, puis créer des liens avec le tambour. Dans le cadre de ses travaux, Yellow Bird a examiné des scintigraphies cérébrales qui montrent l’effet de la prière dans l’activité cérébrale, avec une créativité accrue du côté droit du cerveau. Yellow Bird explique en outre que ces participants à la cérémonie connaissent un développement important du lobe préfrontal du cerveau, en plus du lobe occipital, et connaissent une croissance significative dans une zone du cerveau qui permet des liens au-delà du soi, comme une empathie accrue. Yellow Bird a validé la prière comme un résultat garanti pouvant augmenter l’activité cérébrale et le développement cérébral (Yellow Bird et Wilson, 2005)

La cérémonie de purification par la fumée et l’utilisation du calumet ont lieu « au grand jour » dans cette organisation et sont disponibles pour utilisation quotidienne. Les médecines et le bol utilisés pour la purification par la fumée ne sont pas des décorations; ils sont une substance vivante que l’on salue en entrant dans la pièce, et l’expérience s’améliore à mesure que la personne progresse dans la purification : sentir, voir et éveiller la spiritualité. Il n’est pas rare que quelqu’un entre dans l’édifice et utilise le calumet, et tout le personnel a des enseignements sur l’utilisation du calumet. Voilà un exemple du fonctionnement du lobe occipital du cerveau démontré par Yellow Bird (Yellow Bird et Wilson, 2005).

7. Consigner les renseignements du programme

Si on s’engage dans les étapes ci-dessus, les renseignements définitifs consignés avec l’aide des Aînés, des gardiens du savoir et/ou des guérisseurs traditionnels révéleront une compréhension selon une optique de réconciliation. La suite de cette étape dévoile un exemple de projet du type de pédagogie autochtone approfondie. Au sein de l’organisation décrite dans la section précédente, l’environnement d’apprentissage a été décrit comme ayant un impact profondément propice à la guérison et à l’affirmation culturelle sur les employés et la direction. L’expression « normaliser les pratiques culturelles » était très profonde dans la mesure où elle décrit l’organisation comme une intégration de pratiques culturelles dans l’ensemble de l’organisation. Dans ce cas, la pédagogie culturelle a dirigé l’approche de formation et l’ensemble de l’expérience professionnelle du personnel de l’organisation. Les gestionnaires étaient responsables des méthodes et des connaissances culturelles et s’appuyaient sur celles-ci : ils portaient leurs propres ballots culturels et pouvaient donc mobiliser leur personnel dans un apprentissage par induction continu en cours d’emploi dans la pédagogie culturelle. L’organisation participe aux cérémonies anishinabe et tient ses réunions selon son approche enracinée dans la culture. Ces compréhensions épistémologiques ne sont pas faciles à découvrir et à documenter; il faut une oreille attentive et une compréhension découlant de l’expérience. Ainsi, soit l’évaluateur externe est compétent dans ce domaine, soit les outils de collecte de données aident le répondant à exploiter ses propres connaissances sur les impacts du programme, à partir entièrement de ses définitions et de ses perspectives.

8. Diffuser les résultats de l’évaluation du programme à grande échelle

La diffusion des renseignements sur le processus est vitale pour les peuples autochtones qui, lors des réunions organisées par le gouvernement, demandent que l’on consacre plus de temps à travailler en réseau afin de permettre le partage d’histoires sur les programmes de chacun. Le réseautage est considéré comme la fonction la plus importante de ces réunions. Il y a beaucoup à apprendre sur les processus communautaires et le savoir autochtone pour éclairer la pratique de l’évaluation. Le concept de holisme n’est certainement pas exclusif aux systèmes de connaissances autochtones. Cependant, malgré un sentiment d’universalité dans de nombreuses nationalités confirmant que le holisme est une compréhension valable, cela ne semble pas éclairer les indicateurs et les résultats de l’évaluation. Les interventions occidentales sont généralement conçues pour traiter l’absence de quelque chose; par conséquent, l’évaluation cherche à mesurer l’augmentation de la présence des variables absentes. Au contraire, les humains sont en mouvement et non unidimensionnels, donc quand on pense à expliquer les impacts d’un programme, oui, tout le monde veut entendre parler de la valeur du programme, ce qui le rend pertinent et significatif. Le recours à un format holistique permet d’expliquer les processus du programme, mais pas seulement les calculs physiques que l’on peut faire en ce qui concerne les impacts, les autres aspects également. Le fait de se souvenir que les humains ne sont pas unidimensionnels tient compte de l’environnement émotionnel, notamment ce qu’il évoque et ce qu’il rappelle au personnel et aux clients, de la prise de décisions consciente entourant la conception du programme et la réflexion quotidienne qui contribue aux objectifs du programme et aux liens spirituels que le programme crée pour le personnel et les clients. Toutefois, n’essayez pas de découvrir cela par vous-même :`utilisez des outils qui soutiennent ce type de réflexion holistique sur les mesures et les rapports d’évaluation. La communauté ne veut pas entendre parler de rapports rigides et limités : elle veut entendre parler du bon, du mauvais et du laid afin de se rappeler que nous sommes humains, mais elle souhaite aussi des rapports amusants, voire humoristiques. Les rapports doivent avoir un rythme et être pleins de vie pour inspirer la bonté et les sentiments de bonté, les sentiments de joie et de fierté envers leur communauté et les gens qui en font partie.

Cette définition recherchée de la pratique de l’évaluation élargit considérablement l’histoire qui doit être racontée. Elle transcende la personne afin de mettre l’accent sur une complexité au sein d’une même personne entre l’esprit, l’âme, les émotions et le corps et l’inclusion des sources d’influence et impacts communautaires et environnementaux.

Dans le cadre de notre travail, le partage de l’histoire soutient l’évaluation continue. Cette étape est la justice sociale en action. Il s’agit d’examiner la planification et la mise en œuvre des actions, par les collaborateurs de l’évaluation, à partir des résultats de l’évaluation. Cette section met en évidence la possibilité offerte à chacun d’apprendre et de perfectionner sa pratique de l’évaluation qui consiste à comprendre le programme dans l’optique de réconciliation. À cette étape, l’évaluateur doit dialoguer avec le programme, le bailleur de fonds, les Aînés, les gardiens du savoir, les guérisseurs traditionnels et d’autres collaborateurs principaux à l’évaluation afin de déterminer si l’histoire finale reflète la vision et l’esprit d’un peuple.

Nous avons travaillé sur cette pratique innovante de pointe et l’avons vue comme une élévation de la fonction et du rôle de la diffusion dans une procédure de validation. Au moyen d’un programme communautaire, une célébration culturelle du rapport d’évaluation comprenait une présentation, des chants, une tombola, un dîner et des danses. Au cours de l’événement, environ aux deux tiers, les enfants ont distribué des sondages et les ont ensuite tous récupérés. Les six questions du sondage auprès des membres de la communauté ont élevé leur rôle et leur fonction au niveau de ceux d’un décideur et d’un arbitre. On leur a essentiellement demandé si les résultats qui leur étaient présentés justifiaient la poursuite du programme.

Conclusion

Cette voie de la réconciliation en matière d’évaluation ne doit pas être prise à la légère; c’est un engagement profond en faveur de la décolonisation dans tous les mécanismes liés à la pratique de l’évaluation. Il est également entendu que ce n’est pas une ligne de conduite qui peut être mise en œuvre instantanément. L’éducation est avant tout nécessaire; notre prochaine génération d’évaluateurs devraient tous être au courant des connaissances contenues dans le présent document, comme ce type d’information intégrée dans les cours universitaires par des professeurs. Plusieurs professeurs d’université travaillent avec nous pour se tenir au courant de la mise au point de nos outils innovants et éduquer leurs étudiants sur des méthodes et des approches inspirantes qui respectent les actions de réconciliation. À tout le moins, les Aînés et les gardiens du savoir qui participent au processus d’évaluation devraient être non pas des collaborateurs de fortune, mais plutôt des grands décideurs quant à la forme et au déroulement de l’évaluation. La voix de la communauté est également importante : les membres doivent s’exprimer sur ce qui compte à leurs yeux et sur les diverses façons dont ils ont vécu les programmes et les services évalués. Cette participation est importante dès le début du programme et en particulier au stade de la conception. S’il est généralement admis que le programme et les pratiques d’évaluation sont des entités distinctes, ils sont en fait étroitement liés. Prenons le cas de l’outil d’évaluation appelé modèle logique : il est continuellement utilisé pour éclairer la conception du programme. Par ailleurs, la pratique de l’évaluation doit être utilisée comme un outil de renforcement positif du changement, dans sa conduite globale, mais aussi dans la collecte de données. L’évaluation est donc un moyen d’éclairer et d’exposer en détail l’amélioration et la transformation liées au programme. Enfin, l’évaluation est une activité à laquelle les communautés sont impatientes de participer et à laquelle elles veulent participer, non pas parce qu’elle les récompense avec une forme de paiement pour leur participation, mais parce que cette participation conduit à une croissance et à des changements positifs et continus dans l’ensemble de leur communauté.

Bibliographie