Évaluation du projet pilote de liaison du Programme d’exécution des ordonnances alimentaires de la Colombie-Britannique
3.1 Description du cadre d'évaluation
Un cadre d’évaluation, élaboré à l’étape de la conception, prévoyait d’évaluer non seulement les résultats, l’efficacité et l’incidence du projet pilote de liaison mais aussi dans quelle mesure le projet parvenait à répondre aux besoins des clients et des fournisseurs de services.
Le tableau 3 résume tous les éléments du cadre d’évaluation, notamment les objectifs du projet et de l’évaluation, les questions d’évaluation, les indicateurs de mesure et les méthodologies. Les objectifs d’évaluation ont été formulés en s’inspirant de documents de programme disponibles, d’entrevues avec des répondants clés et de commentaires des membres du sous-comité de l’évaluation chargés de donner leur avis sur le projet.
Nous décrivons ci-dessous chaque élément du cadre d’évaluation.
- Objectifs du projet :
- définir des objectifs quantifiables pour chacun des éléments du projet pilote de liaison;
- définir des objectifs à partir des documents de planification et de consultation auprès de membres clés du personnel du PEOACB et de membres du sous-comité de l’évaluation.
- Objectifs de l’évaluation :
- définir les objectifs de l’évaluation découlant des objectifs du projet.
- Questions d’évaluation :
- déterminer les grandes questions auxquelles doit répondre l’évaluation.
- Indicateurs de mesure :
- déterminer les données qui permettront de dire si un objectif d’évaluation a été atteint;
- faire en sorte que les indicateurs de mesure soient précis et quantifiables.
- Méthodes :
- définir des stratégies d’évaluation particulières qui permettront d’obtenir les données requises par les indicateurs de mesure;
- les stratégies sont variées et comprennent des sondages, des entrevues téléphoniques et l’examen de dossiers et de documents.
3.2 Cadre d'évaluation
Tableau 3. Projet pilote de liaison du PEOACB : cadre d’évaluation
3.3 Méthodes de collecte des données
Sept méthodes de collecte de données sont mentionnées dans le cadre d’évaluation et sont utilisées pour la mise en œuvre de l’évaluation.3.3.1 Examen de documents et de statistiques
Pour l’évaluation, nous avons examiné de nombreux documents, formulaires de collecte de données et de statistiques, entre autres des statistiques sur les rencontres de clients et les conférences de paiement, des données extraites de formulaires de collecte de données (formulaires d’orientation des centres de justice familiale, sommaire des conférences de paiement et formulaires d’orientation des clients) ainsi que le rapport d’étape du PEOACB. Nous avons examiné des documents de programme plus généraux (charte du projet pilote de liaison, documents de planification du programme) à l’étape de la conception et nous avons également intégré l’information au présent rapport.
3.3.2 Sondage téléphonique auprès de conseillers en justice familiale
Un sondage téléphonique a été effectué auprès de conseillers en justice familiale (CJF) qui ont orienté des clients vers des rencontres de clients. Vingt-quatre CJF (65 %) ont été choisis au hasard à partir d’une liste de 34 travaillant actuellement dans dix centres de justice familiale. La liste des répondants comprenait deux préposés à l’admission. La plus forte proportion des participants au sondage provenait de Vancouver (Robson) et de West Fraser (Surrey).
Le sondage a été effectué par téléphone, de septembre à octobre 2002, et a permis de recueillir de l’information :
- Sur le nombre approximatif de payeurs et de bénéficiaires orientés vers des rencontres de clients par les conseillers en justice familiale;
- Sur les critères utilisés les CJF pour filtrer et orienter payeurs et bénéficiaires;
- Sur les besoins particuliers des clients qui ont motivé une orientation;
- Sur l’utilité et les avantages du projet pilote de liaison pour les bénéficiaires, les payeurs et les conseillers en justice familiale;
- Sur les obstacles auxquels font face les payeurs pour obtenir des services;
- Sur les limites des rencontres de clients et les façons de les surmonter;
- Quant à savoir si, et dans quelle mesure, les rencontres de clients et le projet pilote de liaison favorisaient l’expansion des services fournis par les centres de justice familiale.
3.3.3 Sondage sur les rencontres de clients
Un sondage a été effectué auprès de clients ayant assisté à des rencontres après y avoir été orientés par des conseillers en justice familiale, entre le 9 septembre et le 6 décembre 2002. Le sondage consistait en un bref questionnaire que les clients ont rempli. Pour préserver leur anonymat, les clients ont placé le questionnaire rempli dans une enveloppe qu’ils ont scellée avant de la remettre à l’agente de liaison. Des payeurs et des bénéficiaires ont rempli le questionnaire qui a recueilli des renseignements sur :
- les caractéristiques du dossier (p. ex., la régularité des paiements);
- les motifs des orientations;
- les renseignements fournis ou les orientations suggérées par le projet pilote de liaison;
- la perception de l’utilité et de l’applicabilité de l’information;
- l’utilité des rencontres en personne par rapport aux contacts téléphoniques;
- l’évaluation par le client de la qualité de la réunion;
- la satisfaction des clients.
Cinquante-trois (75 %) des 71 clients qui ont participé à des réunions au cours de l’étude ont rempli le questionnaire.
3.3.4 Formulaire d’évaluation des résultats des conférences de paiement
Le formulaire d’évaluation des résultats des conférences de paiement a permis de réunir de l’information sur les résultats de ces conférences. Les données ont été extraites des dossiers de gestion des cas du PEOACB (surtout du dossier courant), du sommaire des conférences de paiement et des formulaires d’orientation du PEOACB.
Le formulaire d’évaluation des résultats des conférences de paiement a permis de réunir des renseignements sur :
- les caractéristiques démographiques des payeurs et les caractéristiques des dossiers (notamment l’état de l’arriéré);
- les ententes de paiement découlant des conférences de paiement;
- d’autres résultats découlant des conférences de paiement, notamment :
- la communication de nouveaux renseignements sur les actifs ou la situation financière;
- la communication de nouveaux renseignements sur l’emploi ou un travail autonome;
- des renseignements sur la capacité ou l’incapacité de payer du payeur;
- des renseignements sur le besoin du payeur d’obtenir une révision de l’ordonnance;
- l’état de l’audition pour défaut de paiement;
- d’autres résultats (p. ex., amélioration de la communication ou de la coopération entre le PEOACB et le payeur);
- la nature et le niveau des orientations vers d’autres ressources.
Les questionnaires sur l’évaluation des résultats ont été remplis pour 25 dossiers, représentant 23 payeurs (deux payeurs étant en cause dans deux dossiers). Ils concernent tous des payeurs qui ont participé à une conférence de paiement (en personne ou par téléphone) entre août 2001 et août 2002.
3.3.5 Sondage téléphonique sur les conférences de paiement
3.3.5.1 Description
Nous avons effectué un sondage téléphonique auprès de payeurs qui avaient été convoqués à une conférence de paiement afin d’évaluer l’incidence et l’efficacité de ces conférences dans l’élimination des obstacles au paiement de l’arriéré. Le sondage téléphonique sur les conférences de paiement abordait les points suivants :
- les caractéristiques et les antécédents des paiements;
- les rapports antérieurs avec le PEOACB;
- l’évaluation par les payeurs des rencontres en personne par rapport aux contacts téléphoniques;
- l’évaluation par les payeurs de l’utilité des conférences de paiement dans l’élimination des obstacles au paiement;
- les obstacles au paiement;
- les résultats des conférences de paiement.
3.3.5.2 Établissement des contacts pour effectuer le sondage téléphonique auprès des payeurs
Aux fins du sondage téléphonique, nous avons communiqué avec tous les payeurs dont les dossiers avaient été orientés vers des conférences de paiement. Afin de préserver leur anonymat, le directeur, Division des programmes de justice familiale, leur a envoyé une lettre décrivant l’objet et la nature de la recherche ainsi que des renseignements plus détaillés sur la recherche exécutée par le consultant. Les lettres ont été envoyées par courrier ordinaire.
3.3.5.3 Taux de réponse des payeurs
Le taux de réponse des payeurs au sondage téléphonique a été faible. Trente-cinq pour cent seulement des payeurs (8/23) ont participé à la recherche. Cela représente 40 % (10/25) des dossiers. Ce faible taux de réponse était dû aux numéros « sans abonné » (4), au refus de participer de certains payeurs (4), aux payeurs ne répondant pas aux messages téléphoniques (3) et aux payeurs niant avoir assisté à une conférence de paiement (2). Deux répondants ont nié être ou connaître le payeur.
Pour régler le problème du faible taux de réponse, les mesures suivantes ont été prises :
- nous avons examiné les données extraites des dossiers du PEOACB afin de vérifier si des coordonnées à jour y étaient disponibles;
- au moins cinq appels au numéro de contact fourni par chaque payeur ont été faits à différents moments de la journée;
- divers messages ont été laissés dans les boîtes vocales pour décrire la recherche et encourager la participation des payeurs.
Malgré ces efforts, le taux de réponse n’a pas augmenté.
3.3.6 Entrevues avec des répondants clés
Nous avons mené six entrevues avec des répondants clés au cours de la phase de mise en oeuvre de la recherche pour clarifier des points concernant les politiques ou les pratiques propres au projet pilote de liaison. Les répondants clés provenaient du projet pilote de liaison, du PEOACB et des centres de justice familiale. Les renseignements recueillis lors de ces entrevues sont venus s’ajouter aux entrevues plus détaillées menées auprès de 14 répondants clés à l’étape de la conception.
3.3.7 Autres méthodologies
Une septième méthode d’évaluation (formulaire de rétroaction des bénéficiaires du MRH) avait été mise au point mais n’a pas été utilisée en raison de changements apportés à la structure et à l’exécution de ce volet du projet (section 2.6.2).
- Date de modification :