Évaluation de la pratique et recherche

1.Techniques d’évaluation des progrès et de l’efficacité des plans d’intervention, de traitement et de service

• Mesurez les progrès par rapport aux buts et objectifs du plan, en commençant par une mesure de base avant l’intervention.
• Les devis à cas unique suivent un client dans le temps : AB (niveau de base, puis intervention), ABA et ABAB (le retrait puis la reprise renforcent l’inférence causale) et les devis à niveaux de base multiples selon les comportements, les milieux ou les clients.
• Outils : mesures normalisées répétées (comme le PHQ-9 ou le GAD-7), échelle d’atteinte des objectifs, comptage de comportements, journaux du client et échelles d’évaluation.
• Le suivi systématique des résultats, ou traitement guidé par la rétroaction (par exemple l’Outcome Rating Scale et la Session Rating Scale), utilise la rétroaction du client à chaque séance pour repérer tôt l’absence de progrès.
• Revoyez les résultats avec le client et modifiez le plan quand les progrès stagnent ; distinguez la portée pratique (clinique) de la signification statistique.

En pratique : Un travailleur social note chaque semaine, pendant trois semaines, le nombre d’attaques de panique d’une cliente avant de commencer la TCC, puis poursuit le comptage pendant le traitement et trace un graphique AB qu’ils examinent ensemble toutes les deux semaines.

2.Méthodes d’évaluation des programmes de l’organisme (évaluation des besoins, évaluation formative et sommative, rentabilité, analyse coût-avantage, évaluation des résultats)

• L’évaluation des besoins, faite avant la conception d’un programme, utilise des indicateurs sociaux, des sondages, des entrevues avec des informateurs clés, des groupes de discussion et des forums communautaires pour cerner l’ampleur et la nature d’un besoin.
• L’évaluation formative a lieu pendant le programme pour l’améliorer (y compris l’évaluation de processus : le programme est-il offert comme prévu ?) ; l’évaluation sommative a lieu à la fin pour juger de sa valeur globale et de ses résultats.
• L’évaluation des résultats vérifie si les participants ont changé comme prévu (connaissances, comportements, situation), idéalement par rapport à un groupe de comparaison.
• L’analyse coût-efficacité (« rentabilité » dans le libellé de l’ASWB) compare les coûts aux résultats exprimés en unités naturelles (coût par personne logée, par rechute évitée) ; l’analyse coût-avantage exprime les coûts et les avantages en dollars et donne un rapport avantages-coûts.
• Choisissez la méthode qui répond à la question : y a-t-il un besoin, le programme fonctionne-t-il comme prévu, est-il efficace, vaut-il ce qu’il coûte ?

En pratique : Un conseil d’administration se demande s’il faut maintenir un nouveau programme d’emploi pour les jeunes. L’évaluatrice utilise des données sommatives sur les placements en emploi et une analyse coût-efficacité du coût par jeune en emploi, comparée à celle du programme précédent.

Au niveau Généraliste avancé, les questions approfondissent l’évaluation de programmes et les coûts ; au Baccalauréat, elles portent sur la reconnaissance des types et de leurs buts.

3.Conception et méthodes de recherche élémentaire et appliquée, méthodes d’analyse et de collecte des données et méthodes d’évaluation de la fiabilité et de la validité dans la recherche sur le travail social (objectives, subjectives, qualitatives et quantitatives)

• La recherche fondamentale produit des connaissances ; la recherche appliquée résout des problèmes pratiques. Les devis quantitatifs comprennent l’expérimental (essai contrôlé randomisé : répartition aléatoire entre traitement et témoin), le quasi-expérimental (groupes de comparaison sans répartition aléatoire), le préexpérimental (un groupe, prétest et post-test) et les devis corrélationnels ou par sondage ; les devis qualitatifs comprennent l’ethnographie, la phénoménologie, la théorisation ancrée, le récit et l’étude de cas ; les méthodes mixtes combinent les deux.
• Échantillonnage : les échantillons probabilistes (aléatoire simple, systématique, stratifié, en grappes) permettent la généralisation ; les échantillons non probabilistes (de commodité, intentionnel, boule de neige) sont courants en recherche qualitative et auprès des groupes difficiles à joindre.
• Niveaux de mesure : nominal (catégories), ordinal (rang), d’intervalle (écarts égaux, sans vrai zéro) et de rapport (vrai zéro) ; ils déterminent les statistiques utilisables.
• La fiabilité est la constance : test-retest, interjuges, cohérence interne (alpha de Cronbach, couramment 0,70 ou plus jugé acceptable) et formes parallèles. La validité est l’exactitude : apparente, de contenu, de critère (concomitante, prédictive) et de construit. Une mesure peut être fiable sans être valide, mais pas valide sans être fiable.
• Menaces à la validité interne : histoire, maturation, effet du test, instrumentation, régression vers la moyenne, sélection et attrition ; la validité externe concerne la généralisation à d’autres personnes et milieux.
• Statistiques : descriptives (moyenne, médiane, mode, écart-type) et inférentielles (test t, khi carré, ANOVA, corrélation de moins 1 à plus 1 ; une valeur p inférieure à 0,05 est le seuil habituel) ; la corrélation ne prouve pas la causalité. La rigueur qualitative se juge par la crédibilité, la transférabilité, la fiabilité et la confirmabilité, à l’aide de la validation par les participants et de la triangulation.

En pratique : Un organisme compare les clients qui ont choisi un nouveau groupe à ceux de la liste d’attente et observe de meilleurs résultats dans le groupe. Le travailleur social souligne que, sans répartition aléatoire, le biais de sélection est une menace : les clients plus motivés ont peut-être choisi le groupe.

Cette connaissance figure aux examens Maîtrise, Généraliste avancé et Clinique ; au niveau Clinique, l’accent est mis sur la lecture de la recherche sur les traitements, au niveau Généraliste avancé sur la recherche sur les programmes.

4.Assurance qualité (analyse des programmes et vérification par des experts indépendants)

• L’assurance qualité vérifie que les services respectent des normes établies ; l’amélioration continue de la qualité va plus loin en utilisant les données pour améliorer les processus, souvent par des cycles planifier-réaliser-étudier-agir (PDSA).
• Les examens externes comprennent l’agrément (par exemple CARF, The Joint Commission, le Council on Accreditation, Agrément Canada), les vérifications des bailleurs de fonds et des organismes de réglementation, et les inspections liées aux permis.
• Les outils internes comprennent la vérification des dossiers, l’évaluation par les pairs, l’examen de l’utilisation des services, le traitement des plaintes, les indicateurs de rendement et la déclaration des incidents.
• Un incident grave exige une revue d’incident critique ou une analyse des causes profondes qui cherche les causes systémiques plutôt qu’un coupable.
• Les constats doivent mener à des plans d’action, à de la formation et à des vérifications de suivi, sinon l’assurance qualité n’est que de la paperasse.

En pratique : Une vérification externe révèle qu’un tiers des dossiers n’ont pas de formulaire de consentement signé. La gestionnaire du programme met en place un plan correctif : liste de vérification révisée à l’accueil, formation du personnel et vérification mensuelle des dossiers jusqu’à l’atteinte de la cible.

Cette connaissance figure aux examens Généraliste avancé et Clinique.

5.Méthodes d’établissement des objectifs et résultats escomptés du programme

• Les buts sont des énoncés généraux du changement visé ; les objectifs sont précis, mesurables, atteignables, pertinents et limités dans le temps.
• Les objectifs de processus décrivent les activités et les extrants (nombre de séances offertes, personnes servies) ; les objectifs de résultats décrivent les changements chez les participants (connaissances, attitudes, comportements, situation) à court, moyen et long terme.
• Un modèle logique ou une théorie du changement montre comment les intrants et les activités doivent mener aux résultats, ce qui clarifie les objectifs et les indicateurs.
• Chaque objectif exige un indicateur, une cible, une source de données et un échéancier, convenus avec les parties prenantes, y compris les clients et les bailleurs de fonds.
• Ne présentez pas des extrants comme des résultats : servir 200 familles ne dit rien sur la situation de ces familles.

En pratique : Un programme de soutien aux familles reformule son objectif « servir 100 familles » ainsi : d’ici juin, 70 % des familles participantes rapporteront une baisse du stress parental sur une échelle normalisée, mesurée à l’accueil et à six mois.

Cette connaissance figure aux examens Généraliste avancé et Clinique.

6.Évaluation du programme et effet connexe sur les services

• Les résultats d’évaluation doivent servir à améliorer, élargir, modifier ou abolir des programmes ; l’évaluation axée sur l’utilisation (Patton) conçoit l’évaluation dès le départ en fonction de ses utilisateurs et de ses usages.
• Associez les parties prenantes, y compris les clients et le personnel de première ligne, à la planification de l’évaluation et à l’interprétation des résultats, ce qui en accroît la pertinence et l’utilisation.
• Présentez les résultats honnêtement, y compris les résultats négatifs ou mitigés, et communiquez-les au personnel, aux clients, aux conseils d’administration et aux bailleurs de fonds sous une forme utilisable.
• Ventilez les résultats par groupe (origine, genre, âge, langue) pour vérifier si le programme fonctionne équitablement, et repérez les effets non voulus.
• Vérifiez la fidélité de la mise en œuvre avant de conclure qu’un programme ne fonctionne pas ; de mauvais résultats peuvent refléter une mauvaise prestation.

En pratique : Une évaluation montre qu’un programme parental fonctionne bien pour les parents anglophones, mais que la plupart des parents hispanophones abandonnent. L’organisme embauche une animatrice bilingue, adapte le matériel et réévalue le cycle suivant.

Cette connaissance figure aux examens Généraliste avancé et Clinique.