Guide des types et méthodes d'évaluation — Stufflebeam & Ketele

En outre, cela fait référence aux informations prévues pour assurer la qualité d'un service ou son amélioration. Nous devons porter une attention particulière à la nature et aux besoins des consommateurs, et à la relation entre les processus et les résultats. Les évaluateurs doivent être en contact étroit avec le personnel du programme. Le plan et les dispositifs d'évaluation doivent être adaptés et flexibles.

Résumé : analyse rétrospective sur les projets achevés. Les informations ne sont pas destinées au personnel chargé du développement, mais aux sponsors et aux consommateurs. Le rapport devrait inclure une évaluation de l'efficacité de l'investissement.

Illustration : l'évaluation et les investigations sont des activités distinctes. La première est consacrée à l'examen de tous les critères utilisés pour déterminer la valeur, tandis que la seconde est limitée plutôt à l'étude de certaines variables ayant un intérêt théorique. Les évaluations ont souvent recours à des méthodes subjectives, moins contrôlées ou manipulées que les investigations.

Types et modèles d'évaluation

Classification Stufflebeam

Stufflebeam distingue trois grands groupes dans lesquels nous pouvons construire l'évaluation :

Types d'évaluation — définition générale

Définition de l'évaluation : procédure systématique d'appréciation de la valeur ou du mérite d'un objet.

• Pseudo-évaluations : études qui utilisent l'évaluation pour atteindre des objectifs autres que l'évaluation impartiale.
  Exemples et caractéristiques :
  • Infiltration ; études de communication utilisées pour influencer.
  • Parfois, les quasi-évaluations sont destinées à juger de la valeur ou du mérite d'un objet ; parfois non.
• Objectif d'infiltration : ses organisateurs représentent une menace pour les clients. L'intention du commanditaire peut être secrète : obtenir, maintenir ou augmenter une sphère d'influence, le pouvoir ou l'argent. Les méthodes typiques incluent l'analyse de documents, la surveillance des personnes concernées, des études de simulation et des investigations secrètes. Comme les informations peuvent être divulguées pour créer une image fausse de la valeur d'un objet, ou au contraire cachées pour dissimuler une situation, cette méthode est appelée pseudo-évaluation.
• Études de communication : études planifiées, réalisées et utilisées pour satisfaire des fins liées aux relations publiques ; les besoins d'information de la propagande guident les organisateurs. Le but est d'aider les clients à créer une image positive d'une institution, d'un programme ou d'un système. Méthodes typiques : inspection, essais et recours à des experts-conseils.

Quasi-évaluations : ces études commencent par un problème spécifique et cherchent la méthode appropriée pour le résoudre.

• Études fondées sur les objectifs : les organisateurs avancent souvent un rapport d'objectifs. Ceux-ci peuvent être déterminés par les clients ou par les personnes dont le travail est évalué. Le but est de déterminer si les objectifs ont été atteints et si le travail évalué a été un succès. Les publics cibles sont souvent les développeurs, les sponsors, les administrateurs et les prestataires de services. Méthodes typiques : collecte et analyse de données d'emploi. Pionnier : Ralph Tyler.
• Études basées sur l'expérimentation : ce sont des quasi-évaluations parce qu'elles combinent parfois des questions et méthodologies expérimentales avec des jugements de valeur. Les investigations expérimentales rappellent l'avertissement de Kaplan contre la "loi de l'instrument" selon laquelle la méthode utilisée conditionne la réponse. Les organisateurs exposent problèmes, hypothèses et questions à l'étude. Le but le plus courant d'une expérience est de démontrer un lien de causalité entre variables dépendantes et indépendantes (par ex. méthode d'enseignement, correction d'examens). Méthodes typiques : plans expérimentaux et quasi-expérimentaux. Pionniers : Linnquist, Campbell et Stanley, Suchman, Cronbach et Shaw.
  Avantage : offrent de bonnes méthodes pour déterminer des relations causales claires entre le programme et les résultats.
  Problèmes : ces méthodes sont souvent impossibles à mettre en œuvre pour identifier toutes les limites d'un domaine et fournissent des informations plus restreintes que nécessaires pour évaluer des programmes en éducation, santé et bien-être ; elles tendent à produire des informations finales peu utiles comme guide pour le développement du processus.

Un autre type d'étude : la vérification des programmes, des systèmes d'information et la recherche des responsabilités administratives.

Les évaluations réelles selon Stufflebeam sont celles qui évitent les études biaisées et recommandent la mise en œuvre d'investigations établies en fonction des questions de valeur et de mérite.

• Études d'orientation de décision : soulignent que l'évaluation devrait être utilisée tant pour le développement d'un programme que pour évaluer sa valeur. L'intention est de fournir une base de connaissances pour prendre et justifier des décisions. Méthodes appropriées : inspections, évaluations des besoins, études de cas, séries de recommandations, observations structurelles et plans quasi-expérimentaux. Pionnier : Cronbach.
  Avantage : encourager les groupes professionnels et organisations à utiliser une évaluation systématique et continue pour planifier et exécuter des services répondant aux besoins des clients.
  Limitation : le partenariat indispensable entre évaluateur et décideur peut conduire à des résultats biaisés ; des méta-évaluations externes sont utilisées pour compenser ces écarts.
• Études centrées sur la clientèle : aident ceux qui effectuent un service quotidien à évaluer et améliorer leurs contributions. Les organisateurs sont les préoccupations et problèmes du programme de service. Le but est d'aider le personnel local à comprendre les besoins du service et la mesure dans laquelle ils sont respectés et appréciés. Méthodes typiques : études de cas, rapports contradictoires, jeux de rôle. Pionnier : Stake.
  Vertu : très utile pour aider les acteurs locaux à gérer leurs propres évaluations de programmes.
  Limitation : absence possible de crédibilité externe et risque de manipulation par des éléments locaux exerçant un plus grand contrôle sur l'évaluation.
• Études politiques : servent à identifier et évaluer les mérites des options politiques dans la société. L'organisateur avance une question politique particulière. Le but est de décrire et d'évaluer coûts et bénéfices potentiels des diverses politiques pour une institution ou la société. Méthodes : technique Delphi, plans quasi-expérimentaux, scénarios, prévisions et procédures juridiques. Pionnier : Joseph Rice.
  Avantage : essentielle pour guider les institutions et la société.
  Inconvénient : risque de corruption par l'environnement politique où elles se développent.
• Études fondées sur le consommateur : l'évaluateur agit comme représentant du consommateur. Les organisateurs avancent les valeurs et besoins de la société. Le but est de juger la valeur relative des biens et services afin d'aider les citoyens et les clients à choisir. Méthodes : listes de contrôle, évaluation des besoins, évaluation des objectifs, planification quasi-expérimentale, analyse des coûts. Pionnier : Scriven.
  Avantages : évaluation indépendante solide visant à protéger les consommateurs.
  Inconvénient : peut devenir trop indépendant des praticiens et donc incapable de les aider à mieux servir les consommateurs ; c'est également coûteux.

Classification de Ketele

Action sur l'évaluation d'orientation : une décision générale menant à une nouvelle phase d'action. Décisions spécifiques :

1. Déterminer les objets (évaluation du contexte).
2. Déterminer les chances de succès de l'action (évaluation prédictive).
3. Définir les stratégies et les moyens (évaluation des « entrants »).
4. Anticiper la réalité (évaluation préventive).

Évaluation décision — règlement général : prendre des mesures au cours du processus pour rendre l'action efficace. Décisions supplémentaires :

• Modifier les stratégies.
• Modifier les ressources humaines.
• Modifier les ressources matérielles.

Évaluation de certification (décision générale) : sanctionne la réussite ou l'échec de l'action selon les objectifs spécifiques fixés. Décisions :

• Arrêter l'action.
• Réorienter l'action.
• Évaluer la performance des stagiaires.

Évaluation d'orientation — formation : vue d'ensemble : commencer un nouvel apprentissage. Décisions spécifiques :

1. Identifier l'orientation adaptée à la personne.
2. Déterminer le succès et évaluer le potentiel d'un apprenant dans un secteur donné (évaluation prédictive).
3. Déterminer les caractéristiques et besoins de la personne (évaluation des « entrants »).
4. Anticiper la réalité (évaluation préventive) et prendre des mesures pour faciliter l'apprentissage tout au long du processus.

Décisions spécifiques complémentaires :

• Prendre des mesures individuelles (évaluation formative).
• Modifier les stratégies d'apprentissage au niveau du groupe (évaluation formative).

Évaluation générale de certification : certifier la réussite ou l'échec sur la base d'un rendement exigé. Décisions spécifiques :

• Sélection ou soutien (évaluation de la sélection).
• Délivrance des certificats nécessaires à la vie en société.
• Classer les personnes (classification d'évaluation).

Processus principal d'orientation et d'évaluation

Analyse des besoins : diagnostic des forces et faiblesses dans le système ou la personne (ou un système de vérification et d'évaluation diagnostique).

Évaluation diagnostique : réglementation des forces et faiblesses au niveau des produits intermédiaires, des procédures et des processus (audit d'un système, évaluation diagnostique de l'apprentissage).

Certification : étude d'évaluation à moyen et long terme.

Balance (évaluation du produit) : critères d'évaluation décrits ou, au contraire, évaluation sommative.

But de l'évaluation

Objectif (Stufflebeam) : l'utilité — l'évaluation doit être utile et reposer sur un processus scientifique qui la soutient.

But : accroître l'efficacité dans la mise en œuvre d'un programme.

Processus d'évaluation et de recherche

C'est un processus systématique et intentionnel destiné à montrer l'utilité et l'amélioration d'un objet. La rigueur est requise tout au long du processus.

Le procédé selon différents auteurs

Analyse comparative des différences avec des méthodes plus strictes :

• Les jugements de valeur sont explicites, non seulement dans le choix et la définition du problème, mais aussi dans le développement et la mise en œuvre des procédures de l'étude.
• Il est parfois difficile, et inapproprié, de formuler des hypothèses précises.
• La réplication peut être impossible.
• Les données à collecter dépendent de la viabilité du processus.
• Beaucoup de variables pertinentes ne sont que superficiellement prises en compte.
• Le critère de décision est l'organisme chargé d'administrer le programme.
• Le rapport d'évaluation doit répondre aux exigences du décideur.

Latorre et al. proposent des phases possibles de l'évaluation :

1. Le besoin, un problème, une plainte, l'audience, les attentes.
2. But.
3. Les variables, les situations, les régions, les aspects.
4. La conception du modèle, la stratégie, la procédure.
5. La collecte des données.
6. L'analyse des données.
7. L'évaluation du processus : jugements positifs et/ou négatifs.

Les différentes étapes

Ketele décrit des étapes valables pour tous les types d'évaluation :

Étape 1. Clarifier et répondre aux objectifs de l'évaluation. La première étape consiste à effectuer une analyse des besoins et à définir des objectifs (de formation ou d'action).

Étape 2. Définir les sous-objectifs ou les critères à recueillir. Pour les critères de performance des personnes, établir des critères pour l'évaluation, la correction, la pondération de la réussite, la résolution et la sélection des comportements.

Étape 3. Déterminer les informations à collecter en référence à l'objectif poursuivi et aux critères considérés comme signes de mise en œuvre.

Étape 4. Déterminer une stratégie de collecte des informations. Après cette détermination, il faudra :

• soit rechercher des situations naturelles adéquates où ces informations peuvent être recueillies,
• soit créer ou augmenter une situation permettant la collecte des informations.

Étape 5. Recueillir les informations de façon fiable. Cela comprend deux phases :

• collecte des informations via les instruments choisis,
• pondération des informations afin de permettre les analyses pertinentes.

Étape 6. Confronter les informations collectées aux critères définis. Il est important que les comparaisons soient effectuées par une seule personne ou, si plusieurs évaluateurs interviennent, qu'ils parviennent à un accord.

Étape 7. Formuler des conclusions de manière claire et précise. Le rapport peut être oral ou écrit. À chaque étape, veiller à la fiabilité et à la validité des contrôles.

Méthodes d'évaluation

Un aspect qui différencie l'évaluation systématique de l'approche informelle est la méthodologie. Nous recommandons une approche éclectique : les évaluateurs doivent maîtriser un large éventail de techniques et savoir les appliquer selon le contexte.

Domaines techniques : entretien, rapports préliminaires, analyse de contenu, observation, analyse des politiques, analyse économique, rapports techniques, études de cas, écoute de points de vue opposés, listes de contrôle, élaboration de tests, analyse statistique, conceptualisation et gestion de projet.

Rapport

Le rapport est le document destiné aux personnes ou organisations ayant commandé l'évaluation. Il doit être rédigé clairement.

Points que doit contenir le rapport :

• Brève description de l'objet à évaluer.
• Points examinés et évalués et justification de leur choix.
• Schéma ou modèle utilisé pour évaluer ces points.
• Techniques ou méthodes utilisées pour recueillir les informations, avec justification.
• Résultats présentés de la manière la plus concise et complète possible.
• Mesure de la durée du processus avec points positifs et négatifs ; informations sur la collecte, la communication en cours d'action, les possibilités, avantages et inconvénients.
• Décisions possibles à prendre.

Décisions

Il faut un plan sérieux pour l'amélioration, si tel est le but, ou une acceptation ou un rejet de la valeur objective. C'est la phase finale.