Évaluer les interventions : quoi, comment et pourquoi

Voyons ce que signifie « évaluer une intervention » en répondant à des questions peu évidentes : que peut-on évaluer, comment et pourquoi ?

Cet article marque le début de la collaboration de notre Guide avec l « ASVAPP, avec qui nous allons explorer le thème de l » évaluation. Article de Valentina Battiloro et Luca Mo Costabella.

L’évaluation : quoi et comment

Comment concevoir une évaluation ? Comment et quand la réaliser ? » sont des questions de plus en plus fréquentes lors de la conception d’une intervention visant à résoudre un problème collectif donné. Au cours des dernières décennies, l’attention accrue portée à l’évaluation s’est accompagnée de bénéfices en termes de connaissances, mais aussi d’une certaine confusion.

Pour clarifier un peu les choses, il convient de commencer par le terme. Évaluer » signifie porter un jugement : cela implique une activité comparative entre ce qui est observé à la suite d’une intervention et un terme de comparaison, tel qu’un niveau standard ou des conditions attendues.

À qui s’adresse l’arrêt ? Pas à l’entité qui conçoit, finance ou met en œuvre l’intervention. Alors, sur quoi doit-on porter un jugement et pourquoi ?

Les objets de jugement et les besoins cognitifs qui motivent l’évaluation sont potentiellement nombreux, et des questions différentes impliquent l’utilisation d’approches analytiques différentes. De manière schématique et non exhaustive, nous pouvons identifier trois expressions différentes du jugement qui visent à évaluer différents aspects d’une intervention et qui motivent chacune des approches évaluatives spécifiques :

• l’établissement de rapports sur les réalisations ;
• l’analyse de la mise en œuvre ;
• l’évaluation de l’impact.

Évaluation, ce qui a été fait : rendre compte des réalisations

L’un des besoins les plus fréquents en matière de connaissances pour ceux qui financent et planifient les interventions est de suivre et de communiquer au monde extérieur ce qui a été fait avec les ressources disponibles. Le rapport sur les réalisations examine le nombre et les caractéristiques des ressources investies, les actions réalisées, les bénéficiaires de l’intervention et leurs éventuelles conditions après le projet. Il s’agit d’une activité d’évaluation car elle implique une comparaison entre ce qui a été fait et ce que l’on imaginait faire, ou ce que l’on déclarait faire.

Cette forme d’évaluation implique un système de collecte de données ad hoc, dont la conception doit nécessairement précéder le début de l’intervention. La conception de cette activité implique certaines précautions indispensables :

• Identifier en temps utile les informations utiles pour suivre l’évolution de l’intervention et ses résultats ;
• Choisissez un mode d’enregistrement des informations sans ambiguïté. On est souvent confronté à des interventions mises en œuvre sur plusieurs territoires, par plusieurs exécutants et destinées à une multiplicité de bénéficiaires : l’identification de méthodes non ambiguës d’enregistrement des informations permet de faire des comparaisons et les agrégations nécessaires lorsque l’on veut connaître les réalisations et les résultats ;
• Définir les mesures de référence utiles pour vérifier la congruence entre ce qui a été réalisé et ce qui est attendu ou souhaité.

Ce qui a changé « grâce » à l’analyse d’impact

La troisième exigence cognitive concerne l’efficacité de l’intervention, c’est-à-dire sa capacité à modifier le problème initial. C’est le domaine de l « évaluation de l’impact (ou des effets) : un type d » évaluation qui consiste à observer ou à mesurer les conditions d’intérêt après l’intervention et à estimer de manière crédible ce qui se serait passé sans l’intervention.

L’effet (ou l’impact) est estimé comme la différence entre les deux scénarios, dont le premier (factuel) existe et est mesurable, tandis que le second (contrefactuel) doit être reconstruit et estimé d’une manière ou d’une autre. Les approches de l’estimation contrefactuelle sont diverses (voir ici pour un bref aperçu) et reposent en grande partie sur l’utilisation de groupes de contrôle sélectionnés de manière appropriée. Ce type d’estimation nécessite une expertise spécifique (statistique et économétrique) et des efforts considérables.

Certaines conditions de faisabilité sont également nécessaires à sa réalisation : la disponibilité de données adéquates, la possibilité de construire un groupe de contrôle réellement comparable aux « traités » et une taille suffisante des groupes analysés pour garantir la précision des estimations. La force de ce type d’évaluation réside dans la possibilité de fournir des réponses circonscrites, mais solides et précises, avec un degré de subjectivité très réduit par rapport à toute autre approche.

Alors que les deux premières activités accompagnent la réalisation de l’intervention (bien qu’elles puissent être effectuées à la fin de l’intervention), l « évaluation d’impact est nécessairement une activité ex post, qui ne peut être lancée qu » à la fin de l’intervention ou après qu’une fenêtre temporelle utile se soit écoulée afin de saisir les changements qu’elle a pu produire sur le problème initial.

S’équiper avant de partir : la théorie du changement et le cadre logique

Mais avant de se demander ce que l’on veut savoir, il est nécessaire de s’interroger sur la nature de l’intervention évaluée. Il est nécessaire de prendre du recul par rapport aux exigences qui motivent l’évaluation afin de reconstruire la « théorie du changement » de l’intervention. Partant de la définition du problème à traiter, la théorie du changement représente et explicite la manière dont les actions à mettre en œuvre doivent contribuer à modifier la situation existante et à produire le changement souhaité. En fin de compte, la « théorie du changement » n’est qu’un modèle plausible et raisonnable de la manière dont un programme devrait fonctionner. La théorie du changement peut être représentée graphiquement par le cadre logique, qui rend immédiatement visibles les « ingrédients » de l’intervention, ainsi que les hypothèses et les menaces qui pèsent sur son fonctionnement.

Une fois la théorie du changement reconstruite, il est possible de se demander ce que l’on veut savoir et pourquoi. Il n’est pas nécessairement toujours judicieux ou possible de répondre à tous les besoins de connaissances décrits. Les caractéristiques de l’intervention, le nombre de bénéficiaires, la quantité et la qualité des informations collectées sont autant de conditions qui influent sur la possibilité de produire des évaluations solides.

Le choix du type d’évaluation à réaliser doit donc s’accompagner, dans la mesure du possible, de la conception de l’intervention, afin que toutes les conditions nécessaires soient réunies pour répondre aux questions qui nous intéressent.

Pourquoi le faire : récolter les bénéfices des interventions d’évaluation

Une considération importante doit concerner les motivations qui sous-tendent l’évaluation.

Quel que soit le besoin de connaissance en amont, l’évaluation doit contribuer à produire des connaissances utiles pour « concevoir » de manière plus éclairée, en répondant aux doutes sur la cohérence des activités planifiées avec celles mises en œuvre, leur reproductibilité et leur efficacité, y compris par rapport aux coûts encourus.

Il s’agit dans tous les cas d’une activité coûteuse, pour ceux qui la financent et pour ceux qui y participent en tant qu’observateurs. Il convient donc de choisir avec soin ce que l’on demande et à quel moment, et de viser à produire un avis qui puisse être utilisé (même s’il est négatif !) à des fins de prise de décision.

Perspectives à venir

Dans les articles suivants, nous développerons l’applicabilité de ces trois types d « évaluation aux projets européens, leurs conditions de faisabilité et nous fournirons des exemples et des expériences d » évaluation de certains projets européens.

Une discussion plus générale sur le sujet peut être trouvée ici et un examen approfondi des activités et des outils offerts par l’ASVAPP peut être trouvé ici.

L’article reflète la terminologie adoptée par l’ASVAPP, de sorte que certaines différences avec la terminologie adoptée dans d’autres sections du guide sont possibles.