Gehen wir der Frage nach, was es bedeutet, eine Intervention zu evaluieren, indem wir einige nicht offensichtliche Fragen beantworten: was kann evaluiert werden, wie und auch warum.
Dieser Artikel markiert den Beginn der Zusammenarbeit unseres Leitfadens mit ASVAPP, mit dem wir das Thema Evaluierung untersuchen werden. Artikel von Valentina Battiloro und Luca Mo Costabella.
Bewertung: was und wie
Wie konzipiert man eine Evaluierung? Wie und wann führt man sie durch?“ sind Fragen, die immer häufiger gestellt werden, wenn eine Intervention zur Lösung eines bestimmten kollektiven Problems geplant wird. In den letzten Jahrzehnten hat die verstärkte Aufmerksamkeit für die Evaluierung zu einem Wissenszuwachs geführt, aber auch zu einem gewissen Maß an Verwirrung.
Um das zu klären, lohnt es sich, mit dem Begriff zu beginnen. Evaluieren“ bedeutet, ein Urteil zu fällen: Es impliziert einen Vergleich zwischen dem, was nach einer Intervention beobachtet wird, und einem Vergleichsbegriff, wie z.B. einem Standardniveau oder den erwarteten Bedingungen.
An wen ist das Urteil gerichtet? Nicht an die Einrichtung, die die Maßnahme konzipiert, finanziert oder durchführt. Worüber sollte also ein Urteil gefällt werden und warum?
Die Objekte der Beurteilung und die kognitiven Bedürfnisse, die die Bewertung vorantreiben, sind potenziell vielfältig, und unterschiedliche Fragen implizieren die Verwendung unterschiedlicher analytischer Ansätze. In schematischer und nicht erschöpfender Weise können wir drei verschiedene Ausdrucksformen der Beurteilung identifizieren, die darauf abzielen, verschiedene Aspekte einer Intervention zu bewerten, und die jeweils spezifische Bewertungsansätze vorantreiben:
- die Berichterstattung über Erfolge;
- die Analyse der Implementierung;
- Folgenabschätzung.
Bewertung, was wurde getan: Berichterstattung über das Erreichte
Einer der häufigsten Wissensbedürfnisse derjenigen, die Interventionen finanzieren und planen, besteht darin, den Überblick zu behalten und der Außenwelt mitzuteilen, was mit den verfügbaren Ressourcen getan wurde. Die Berichterstattung über das Erreichte umfasst einen Blick auf die Zahlen und Merkmale der investierten Ressourcen, die durchgeführten Maßnahmen, die Empfänger der Intervention und deren mögliche Bedingungen nach dem Projekt. Es handelt sich um eine Evaluierungsaktivität, denn sie beinhaltet einen Vergleich zwischen dem, was getan wurde, und dem, was man sich vorgestellt hat, oder was als getan erklärt wurde.
Bei dieser Form der Evaluierung handelt es sich um ein Ad-hoc-Datenerfassungssystem, dessen Konzeption notwendigerweise vor dem Beginn der Intervention erfolgen muss. Die Planung dieser Aktivität erfordert einige unerlässliche Vorsichtsmaßnahmen:
- Ermitteln Sie rechtzeitig die Informationen, die nützlich sind, um den Fortschritt der Intervention und ihre Erfolge zu verfolgen;
- Wählen Sie eine eindeutige Methode zur Erfassung von Informationen. Oft hat man es mit Interventionen zu tun, die in mehreren Gebieten und von mehreren Durchführenden durchgeführt werden und für eine Vielzahl von Begünstigten bestimmt sind: Die Festlegung eindeutiger Wege für die Aufzeichnung von Informationen ermöglicht Vergleiche und notwendige Aggregationen, wenn man etwas über Erfolge und Ergebnisse erfahren möchte;
- Definieren Sie die Bezugsgrößen, die zur Überprüfung der Übereinstimmung zwischen dem Erreichten und dem Erwarteten oder Gewünschten nützlich sind.
Was hat sich „aufgrund“ der Folgenabschätzung geändert?
Die dritte kognitive Anforderung betrifft die Wirksamkeit der Intervention, d. h. ihre Fähigkeit, das ursprüngliche Problem zu verändern. Dies ist der Bereich der Bewertung der Auswirkungen (oder Effekte): eine Art der Bewertung, die darin besteht, die interessierenden Bedingungen nach der Intervention zu beobachten oder zu messen und glaubhaft abzuschätzen, was ohne die Intervention geschehen wäre.
Der Effekt (oder die Auswirkung) wird als Differenz zwischen den beiden Szenarien geschätzt, von denen das erste (faktische) existiert und messbar ist, das zweite (kontrafaktische) muss rekonstruiert und irgendwie geschätzt werden. Die Ansätze für die kontrafaktische Schätzung sind vielfältig (einen kurzen Überblick finden Sie hier ) und beruhen größtenteils auf der Verwendung von angemessen ausgewählten Kontrollgruppen. Diese Art der Schätzung erfordert spezielles (statistisches und ökonometrisches) Fachwissen und erheblichen Aufwand.
Bestimmte Bedingungen der Durchführbarkeit sind ebenfalls notwendig für ihre Realisierung: die Verfügbarkeit angemessener Daten, die Möglichkeit, eine Kontrollgruppe zu bilden, die wirklich mit den „Behandelten“ vergleichbar ist, und eine ausreichende Größe der analysierten Gruppen, um die Genauigkeit der Schätzungen zu gewährleisten. Die Stärke dieser Art von Evaluierung liegt in der Möglichkeit, umschriebene, aber solide und präzise Antworten zu geben, wobei der Grad der Subjektivität im Vergleich zu allen anderen Ansätzen deutlich geringer ist.
Während die ersten beiden Aktivitäten die Durchführung der Intervention begleiten (auch wenn sie am Ende der Intervention durchgeführt werden können), ist die Folgenabschätzung notwendigerweise eine Ex-post-Aktivität, die erst am Ende der Intervention oder nach Ablauf eines sinnvollen Zeitfensters eingeleitet werden kann, um alle Veränderungen zu erfassen, die die Intervention in Bezug auf das ursprüngliche Problem bewirkt haben könnte.
Vorbereiten, bevor Sie loslegen: die Theorie des Wandels und der logische Rahmen
Bevor man sich jedoch fragt, was man wissen will, muss man die Art der zu bewertenden Intervention betrachten. Es ist notwendig, einen Schritt zurückzutreten von den Anforderungen, die die Bewertung vorantreiben, um die „Theorie der Veränderung“ der Intervention zu rekonstruieren. Ausgehend von der Definition des zu lösenden Problems stellt die Theorie der Veränderung dar und macht deutlich, wie die durchzuführenden Maßnahmen dazu beitragen sollen, die bestehende Situation zu verändern und die gewünschte Veränderung herbeizuführen. Letztlich ist die „Theorie der Veränderung“ lediglich ein plausibles und vernünftiges Modell dafür, wie ein Programm funktionieren sollte. Die Theorie der Veränderung kann durch den logischen Rahmen grafisch dargestellt werden, der die „Zutaten“ der Intervention sowie die Annahmen und Gefahren für ihr Funktionieren unmittelbar sichtbar macht.
Sobald die Theorie der Veränderung rekonstruiert ist, kann man fragen, was man wissen will und warum. Es ist nicht unbedingt immer sinnvoll oder möglich, alle beschriebenen Wissensbedürfnisse zu erfüllen. Die Merkmale der Intervention, die Anzahl der Begünstigten, die Quantität und Qualität der gesammelten Informationen sind alles Bedingungen, die sich auf die Möglichkeit auswirken, robuste Bewertungen zu erstellen.
Die Wahl der Art der durchzuführenden Evaluierung muss daher nach Möglichkeit mit der Konzeption der Intervention einhergehen, damit alle notwendigen Voraussetzungen für die Beantwortung der interessierenden Fragen gegeben sind. Viele dieser Überlegungen werden im Leitfaden in den Kapiteln über Monitoring und Evaluierung, die Definition der Interventionslogik und die Strukturierung des logischen Rahmens aufgegriffen.
Warum es tun: Die Vorteile von Evaluierungsmaßnahmen ernten
Eine wichtige Überlegung muss die Beweggründe für die Bewertung betreffen.
Unabhängig vom vorgelagerten Wissensbedarf sollte die Evaluierung dazu beitragen, Erkenntnisse zu gewinnen, die für eine sachkundigere „Gestaltung“ nützlich sind, um Zweifel an der Übereinstimmung der geplanten mit den durchgeführten Aktivitäten, ihrer Wiederholbarkeit und ihrer Wirksamkeit, auch im Verhältnis zu den entstandenen Kosten, auszuräumen.
Es handelt sich in jedem Fall um eine kostspielige Aktivität, sowohl für diejenigen, die sie finanzieren, als auch für diejenigen, die als Beobachter daran teilnehmen. Es ist daher gut, sorgfältig auszuwählen, wonach man fragt und wann, und darauf hinzuarbeiten, eine Stellungnahme zu erstellen, die für die Entscheidungsfindung verwendet werden kann (auch wenn sie negativ ist!).
Kommende Einblicke
In den folgenden Artikeln werden wir die Anwendbarkeit dieser drei Arten der Evaluierung auf europäische Projekte, ihre Durchführbarkeitsbedingungen sowie Beispiele und Erfahrungen mit der Evaluierung einiger europäischer Projekte erläutern.
Eine allgemeinere Erörterung des Themas finden Sie hier und einen detaillierten Einblick in die von ASVAPP angebotenen Aktivitäten und Tools finden Sie hier.
Der Artikel spiegelt die von ASVAPP verwendete Terminologie wider, so dass einige Abweichungen von der in anderen Abschnitten des Leitfadens verwendeten Terminologie möglich sind.
