Approfondiamo cosa vuol dire “valutare un intervento” rispondendo ad alcune domande non ovvie: che cosa si può valutare, come, e anche perché.
Questo articolo segna l’inizio della collaborazione della nostra Guida con ASVAPP, con cui approfondiremo il tema della valutazione. Articolo a cura di Valentina Battiloro e Luca Mo Costabella.
La valutazione: cosa e come
Come si disegna una valutazione? Come e quando la si realizza?” sono domande sempre più comuni quando si progetta un intervento, con lo scopo di risolvere un determinato problema collettivo. Negli ultimi decenni l’aumento di attenzione in tema di valutazione è stato accompagnato da benefici in termini di conoscenza, ma anche da una certa confusione.
Per chiarirsi un po’ le idee conviene partire dal termine. “Valutare” significa esprimere un giudizio: implica un’attività comparativa tra quanto osservato a seguito di un intervento e un termine di paragone, come per esempio un livello standard, o le condizioni attese.
A chi è rivolto il giudizio? Non al soggetto che progetta, finanzia o implementa l’intervento. Su cosa dunque si dovrebbe esprimere un giudizio, e perché?
Gli oggetti di giudizio e le esigenze conoscitive che muovono la valutazione sono potenzialmente tanti, e diversi interrogativi implicano il ricorso ad approcci analitici diversi. In maniera schematica e non esaustiva possiamo identificare tre diverse espressioni di giudizio che sono volte a valutare aspetti diversi di un intervento, e che muovono ciascuna specifici approcci valutativi:
- la rendicontazione delle realizzazioni;
- l’analisi d’implementazione;
- la valutazione d’impatto.
Valutazione, cosa è stato fatto: la rendicontazione delle realizzazioni
Una delle esigenze conoscitive più frequenti per coloro che finanziano e progettano interventi è quella di tenere sotto controllo e comunicare all’esterno cosa è stato fatto con le risorse a disposizione. La rendicontazione delle realizzazioni porta il suo sguardo sui numeri e sulle caratteristiche delle risorse investite, delle azioni realizzate, dei destinatari dell’intervento e delle loro eventuali condizioni post-progetto. È un’attività di valutazione perché comporta un confronto tra quello che si è fatto e quello che si immaginava di fare, o si era dichiarato di fare.
Questa forma di valutazione prevede un sistema di raccolta di dati ad hoc, il cui disegno deve necessariamente precedere l’avvio dell’intervento. Disegnare questa attività comporta alcune cautele indispensabili:
- Identificare in maniera puntuale le informazioni utili a tenere sotto controllo l’avanzamento dell’intervento e le sue realizzazioni;
- Scegliere una modalità univoca per la registrazione delle informazioni. Spesso si ha a che fare con interventi implementati su più territori, da più soggetti attuatori e destinati ad una molteplicità di beneficiari: identificare modalità univoche di registrazione delle informazioni consente di fare confronti ed aggregazioni necessarie quando si vuole conoscere realizzazioni e risultati;
- Definire le misure di riferimento utili a verificare la congruità tra quanto realizzato e quanto atteso o auspicato.
Cos’è cambiato “grazie a”: la valutazione d’impatto
La terza esigenza conoscitiva è quella relativa all’efficacia dell’intervento, ossia alla sua capacità di modificare il problema di partenza. Questo è l’ambito della valutazione d’impatto (o degli effetti): un tipo di valutazione che consiste nell’osservare o misurare le condizioni d’interesse post-intervento, e di stimare in modo credibile cosa sarebbe successo senza intervento.
L’effetto (o l’impatto) è stimato come differenza tra i due scenari, il primo dei quali (fattuale) esiste, è misurabile, il secondo (controfattuale) va ricostruito e in qualche modo stimato. Gli approcci alla stima controfattuale sono diversi (v. qui per una panoramica sintetica), e si basano in larga misura sul ricorso a gruppi di controllo opportunamente selezionati. Questo tipo di valutazione richiede competenze specifiche (di tipo statistico ed econometrico) e un impegno notevole.
Per la sua realizzazione sono inoltre necessarie alcune condizioni di fattibilità: la disponibilità di dati adeguati, la possibilità di costruire un gruppo di controllo realmente comparabile con i “trattati” e una dimensione dei gruppi analizzati sufficiente a garantire la precisione delle stime. Il punto di forza di questo tipo di valutazione sta nella possibilità di fornire risposte sì circoscritte, ma solide e precise, con un grado di soggettività molto ridotto rispetto a qualsiasi altro approccio.
Mentre le prime due attività accompagnano la realizzazione dell’intervento (anche se è possibile vengano realizzate al suo termine), la valutazione d’impatto è necessariamente una attività ex-post, che può essere avviata solo al termine dell’intervento o trascorsa una finestra temporale utile a cogliere eventuali cambiamenti da questo prodotti sul problema di partenza.
Attrezzarsi prima di partire: la teoria del cambiamento e il quadro logico
Prima di chiedersi cosa si vuole sapere è tuttavia necessario considerare la natura dell’intervento oggetto di valutazione. Si tratta di fare un passo indietro rispetto alle esigenze che muovono la valutazione, per ricostruire la “teoria del cambiamento” dell’intervento. Partendo dalla definizione del problema che si intende affrontare, la teoria del cambiamento rappresenta e rende esplicito il modo con cui le azioni che si realizzeranno dovrebbero contribuire a modificare la situazione esistente, producendo il cambiamento desiderato. In definitiva la “teoria del cambiamento” non è che un modello plausibile, e ragionevole, di come un programma dovrebbe funzionare. La teoria del cambiamento può essere rappresentata graficamente tramite il quadro logico, che rende immediatamente visibili gli “ingredienti” dell’intervento, così come gli assunti e le minacce al suo funzionamento.
Una volta ricostruita la teoria del cambiamento è quindi possibile chiedersi cosa si vuole sapere e perché. Non è detto che sia sempre sensato o possibile rispondere a tutte le esigenze conoscitive descritte. Le caratteristiche dell’intervento, la numerosità dei beneficiari, la quantità e qualità d’informazioni raccolte sono tutte condizioni che incidono sulla possibilità di produrre robuste valutazioni.
La scelta sul tipo di valutazione da condurre deve quindi accompagnarsi, laddove possibile, al disegno dell’intervento, affinché siano poste tutte le condizioni necessarie a rispondere alle domande d’interesse. Molte di queste riflessioni sono riprese dalla Guida nei capitoli dedicati al monitoraggio e alla valutazione, alla definizione della logica d’intervento e alla strutturazione del quadro logico.
Perché farlo: cogliere i frutti della valutazione interventi
Una riflessione importante deve riguardare le motivazioni che muovono la valutazione.
Quale che sia l’esigenza conoscitiva a monte, la valutazione dovrebbe contribuire a produrre conoscenza utile a “progettare” in maniera più consapevole, rispondendo a dubbi circa la coerenza delle attività programmate rispetto a quelle realizzate, la loro replicabilità e la loro efficacia, anche in rapporto ai costi sostenuti.
Si tratta in tutti i casi di una attività onerosa, per coloro che la finanziano e per coloro che vi partecipano in qualità di soggetti osservati. Bene quindi scegliere accuratamente cosa chiedere e quando, ed avere come obiettivo la produzione di un giudizio utilizzabile (anche se negativo!) ai fini decisionali.
I prossimi approfondimenti
Nei prossimi articoli approfondiremo l’applicabilità ai progetti europei di questi tre tipi di valutazione, le loro condizioni di realizzabilità e forniremo esempi ed esperienze di valutazione di alcuni progetti europei.
Si può trovare qui una trattazione più generale del tema e si può trovare qui un approfondimento sull’attività e sugli strumenti offerti da ASVAPP.
L’articolo riflette la terminologia adottata da ASVAPP, quindi sono possibili alcune discrepanze rispetto a quella adottata in altre sezioni della Guida.
