• 3.6

Gestire il progetto: monitoraggio e valutazione

Perché e come parlare di monitoraggio e valutazione nei progetti europei

Questo capitolo illustra il modo in cui il Quadro Logico, strumento di base per la formulazione dei progetti europei, viene utilizzato per la gestione del progetto, ovvero come strumento di monitoraggio e valutazione.

Come scopriremo, esistono infatti poche differenze tra il Quadro Logico (soprattutto nella sua versione “estesa” e ufficiale) e un “quadro di monitoraggio e valutazione”, che è essenzialmente una versione più dettagliata e operativa di quanto già riportato nel Quadro Logico.

L’utilizzo corretto del Quadro Logico e la buona gestione di un progetto europeo richiedono un’efficace attività di monitoraggio e valutazione. Questi aspetti costituiscono la componente più importante dell’attività di project management e su di essi esistono poche “istruzioni per l’uso” ufficiali: così come altri aspetti specifici trattati in questa sezione (es.: gestione della partnership e della rendicontazione), essi vengono normalmente appresi nell’ambito di corsi specialistici o con la pratica.

Quanto segue cerca dunque di colmare questa mancanza, fornendo un primo inquadramento operativo e non esaustivo su questo tema. Approfondisce e mette in relazione quanto già illustrato nei precedenti capitoli:

Come strutturare un progetto: il processo e gli strumenti | Come strutturare un progetto: un esempio pratico e altri strumenti | Elaborare e gestire un progetto

Il monitoraggio e la valutazione costituiscono una parte integrante di ogni attività progettuale. Per essere tale, un “progetto” è infatti soggetto a dei vincoli che richiedono forme di controllo:

  • Vincoli di realizzazione (un progetto è finalizzato al raggiungimento di risultati, prodotti e obiettivi, ottenuti attraverso una serie di attività tra loro correlate);

  • Vincoli temporali (un progetto si svolge in un arco temporale definito), economici e di risorse (un progetto ha risorse economiche, materiali e umane specificamente allocate);

  • Vincoli di natura organizzativa (un progetto è organizzato in fasi con specifiche date-limite e prevede una divisione di compiti e delle responsabilità).

Il monitoraggio e la valutazione sono forme di controllo di tali vincoli.

Questo controllo interessa sia chi realizza il progetto (colui che deve mantenerne l’esecuzione nei vincoli richiesti), sia chi lo finanzia (colui che definisce buona parte di tali vincoli). Anche la Commissione europea e le autorità di gestione dei fondi europei rispondono a dei vincoli e sono tenute (esse stesse) a realizzare attività di monitoraggio e valutazione sui loro programmi e sui loro progetti. Saper comunicare quanto realizzato con i fondi loro affidati è parte integrante della loro responsabilità verso la cittadinanza.

Raggiungere gli obiettivi prefissati, nei tempi impartiti e con le risorse disponibili, costituisce dunque il cuore del legame tra chi presenta un progetto europeo e l’autorità di gestione che lo finanzia. Per questo motivo, un’attività di monitoraggio e valutazione ben presentata (in fase di proposta) e ben realizzata (in fase esecutiva) è una componente fondamentale per chi si occupa di europrogettazione e una condizione di successo per i propri progetti.

Anche quando il bando non richiede espressamente l’elaborazione di un Quadro Logico o di un quadro di monitoraggio e valutazione, la richiesta risulta implicita in vari campi e criteri del formulario di candidatura (descrizione della logica del progetto, dell’impatto atteso del progetto, del sistema di monitoraggio del progetto, ecc.). Questi campi e criteri possono avere un peso notevole nel processo di selezione dei progetti e vanno presentati in termini concreti e coerenti con l’insieme della proposta. Questo è possibile se il progetto è sostenuto da un buon Quadro Logico e da un buon quadro di monitoraggio e valutazione.

Monitoraggio e valutazione sono due attività simili, si sostengono l’una con l’altra e servono entrambe a capire “come va” (o “com’è andato”) il progetto. Sono però distinte:

  • Per tempistica. Il monitoraggio è realizzato in modo continuo e sistematico durante lo svolgimento delle attività ed è necessario a orientare la vita operativa del progetto; la valutazione avviene in specifici momenti (soprattutto alla fine delle attività, ma anche a metà progetto o tempo dopo la sua conclusione) e ha implicazioni strategiche (cosa è stato realizzato dal progetto? Quali lezioni trarne? Come orientare di conseguenza nuovi programmi e progetti?);

  • Per intenti. Il monitoraggio si concentra sui livelli più “bassi” del Quadro Logico, sulla gestione quotidiana di attività, rischi, tempi e risorse e output del progetto e su dimensioni operative (Efficienza ed Efficacia); la valutazione si concentra sui livelli più “alti” e strategici del Quadro Logico (risultati, obiettivi, esito e impatto del progetto) e investe in profondità tutti i 5 criteri di Rilevanza, Efficienza, Efficacia, Impatto e Sostenibilità;

  • Per strumenti. La valutazione può utilizzare strumenti più “lenti” e complessi (ad esempio, questionari, interviste, focus group e altre modalità di raccolta dei dati), mentre il monitoraggio utilizza strumenti di analisi e raccolta dei dati più rapidi e immediati, o l’osservazione diretta di alcune variabili-chiave. Inoltre il monitoraggio è normalmente realizzato da chi si occupa delle attività di progetto, mentre la valutazione è spesso delegata a terzi;

  • Per rilevanza (per chi si occupa di progetti europei). Tra le due attività, il monitoraggio è quella cui chi implementa un progetto europeo è chiamato a rispondere più direttamente, e quella che impatta più direttamente sull’esecuzione del progetto. La valutazione resta comunque un esercizio importante, che fornisce un orientamento strategico (quando svolto ad esempio a metà progetto) e una serie di riflessioni e orientamenti conclusivi (spesso richiesti nella reportistica finale del progetto).

L’impegno richiesto per il monitoraggio e la valutazione si estende dalla fase di concezione di un progetto fino alla sua conclusione, e oltre. Si compone delle seguenti fasi, sviluppate nelle prossime sezioni di questo capitolo:

  • Definire la logica d’intervento;
  • Definire gli indicatori;
  • Definire il quadro di monitoraggio e valutazione;
  • Implementare il piano di monitoraggio e valutazione, attraverso appositi strumenti e modalità di raccolta dei dati;
  • Definire l’“impatto” di un progetto.

Definire la logica d’intervento: il Quadro Logico e la Teoria del Cambiamento

Il punto di partenza per una buona misura della performance del progetto è una chiara identificazione della sua logica d’intervento, ovvero della sequenza (logicamente concatenata) di obiettivi, risultati e attività che si intendono realizzare.

Una formulazione della logica d’intervento poco accurata, chiara e consistente (nella definizione e nel legame logico tra le sue parti) rende più complessa, meno efficace e meno significativa la successiva predisposizione del quadro di monitoraggio e valutazione. Infatti, se non si definisce in modo preciso cosa si intende ottenere da un progetto, è difficile effettuarne una valutazione.

La logica d’intervento è a sua volta la base del Quadro Logico, che rappresenta il nucleo più sostanziale di un quadro di monitoraggio e valutazione. Nella sua versione “estesa” il Quadro Logico include infatti quasi tutti gli elementi di un quadro di monitoraggio e valutazione (indicatori, fonti di verifica, baseline, target e dati progressivi riferiti alla misura degli indicatori).

Indicazioni più specifiche per la definizione della logica d’intervento e del Quadro Logico sono contenute in un capitolo dedicato (corredato da un esempio pratico).

Per sostenere la formulazione di una buona logica d’intervento esiste uno strumento alternativo e complementare al Quadro Logico (e all’Albero dei Problemi / delle Soluzioni), chiamato Teoria del Cambiamento.

La Teoria del Cambiamento si basa su un processo e su una terminologia simile (anche se non identica) e identifica (come il Quadro Logico) vari passaggi logici che uniscono le attività di progetto al “cambiamento ultimo” che si desidera realizzare. È uno strumento più dinamico e flessibile rispetto al Quadro Logico. Prevede i seguenti passaggi:

  • La definizione dal “cambiamento” di lungo termine che il progetto intende realizzare;
  • La mappatura delle condizioni necessarie a realizzare tale cambiamento;
  • La verifica della necessità e della esaustività delle condizioni individuate;
  • La formulazione di ipotesi che permettano di escludere dall’ambito d’intervento alcune delle condizioni individuate;
  • L’identificazione degli interventi necessari a realizzare le condizioni restanti, che costituiscono di conseguenza l’ambito d’azione del progetto;
  • Lo sviluppo di indicatori atti a verificare che siano state realizzate tutte le condizioni necessarie al cambiamento inizialmente individuato.

È possibile approfondire la conoscenza della Teoria del Cambiamento, con spiegazioni ed esempi, su un sito dedicato.

La visualizzazione della Teoria del Cambiamento di un progetto assume forme più varie e flessibili rispetto alla tabella (rigida e strutturata) tipica del Quadro Logico. Una Teoria del Cambiamento può essere visualizzata attraverso grafici con box, frecce e percorsi non lineari, ed è per questo più adatta a catturare la complessità dell’ambito in cui interviene un progetto.

D’altra parte, la forma più strutturata del Quadro Logico permette di definire con maggior precisione una “gerarchia” di indicatori, che vengono associati a seconda del “livello” di riferimento ad attività di monitoraggio oppure ad attività di valutazione.

Se la Teoria del Cambiamento è molto utile per definire la logica d’intervento e strutturare il progetto, il Quadro Logico è la base di riferimento per le successive attività di monitoraggio e valutazione.

Altri strumenti utili per sostenere lo sviluppo della logica d’intervento di un progetto sono la “gap analysis” e lo “scenario planning”, in cui vengono rispettivamente analizzati: a) i “gap” da colmare riguardo a determinati parametri, i parametri-obiettivo e le azioni e risorse necessarie a raggiungerli; b) i possibili “scenari” (positivi e negativi) di evoluzione di un determinato settore o contesto, le condizioni e i fattori (positivi e negativi) legati a ogni tipo di evoluzione e il percorso necessario a raggiungere lo “scenario” considerato più favorevole e realizzabile con le risorse disponibili.

Definire gli indicatori: criteri “SMART”, linearità e semplificazione

Il passaggio successivo alla definizione della logica d’intervento è la definizione di indicatori.

Come indicato nella matrice del Quadro Logico, occorre inserire almeno un indicatore per ogni linea della logica d’intervento (Obiettivo Generale, Obiettivi Specifici e Risultati). Ai fini di un monitoraggio efficace e puntuale, è consigliabile prevedere semplici indicatori o checklist operative anche per la realizzazione delle Attività o di gruppi di Attività (Work Package o Componenti).

La definizione degli indicatori deve seguire i seguenti criteri, che compongono l’acronimo “SMART”:

  • Specific (devono essere tangibili, definiti in modo preciso, univocamente identificabili);
  • Measurable (devono essere rilevabili in modo oggettivo, in termini qualitativi o quantitativi, con le risorse disponibili);
    Achievable (devono riferirsi a contenuti effettivamente realizzabili con le risorse disponibili);
  • Relevant (devono essere pertinenti rispetto a quanto si intende realizzare o misurare);
  • Time-bound (devono essere associati a una tempistica per il loro raggiungimento e la loro misurazione).

In termini operativi, una buona definizione degli indicatori richiede allo stesso tempo linearità e precisione.

Linearità e semplificazione. Un buon quadro di valutazione si basa su un numero ridotto di indicatori-chiave rilevanti, specifici e ben misurabili: troppi indicatori costituiscono un inutile sovraccarico sulle risorse del progetto. Ogni indicatore deve avere una sua rilevanza per definire il successo (o meno) del progetto. Indicatori che non sono davvero rilevanti per definire il successo o l’andamento del progetto, che sono difficilmente misurabili o che sono misurabili in modo troppo dispendioso possono essere evitati: rivedendo la logica d’intervento, utilizzando altri indicatori più facilmente misurabili o utilizzando indicatori “proxi” (che non misurano direttamente la variabile desiderata, ma ne danno una stima attendibile) 1 .

La complessità degli indicatori dipende dal livello di logica d’intervento cui si riferiscono. Gli indicatori di attività o di risultato dovrebbero poter essere misurati in modo immediato (nell’ambito del monitoraggio quotidiano del progetto), mentre gli indicatori di esito o di impatto (riferiti agli obiettivi del progetto) possono richiedere una valutazione più approfondita, in quanto misurano un cambiamento più generale e di lungo termine. Gli stessi obiettivi e risultati devono essere formulati in maniera semplice e possibilmente “empirica”, per ridurre il numero e la complessità degli indicatori necessari a misurarli.

La linearità e la semplificazione sono principi-guida anche nella formulazione degli indicatori: meglio utilizzare indicatori già noti, esistenti e utilizzati dagli “addetti ai lavori” (es.: dati Invalsi in una certa Regione) piuttosto che inventarne di nuovi (es.: dati analoghi ottenuti attraverso test propri); meglio definire gli indicatori in termini concisi piuttosto che includervi troppi dettagli (tempistica, target e altri aspetti vanno comunque specificati in campi dedicati del quadro di valutazione).

Specificità e precisione. La semplificazione non dovrebbe andare a discapito della specificità e della precisione, in particolare quando queste risultano alla portata delle proprie risorse o sono ottenibili con semplici accorgimenti. In particolare, la specificità e la precisione degli indicatori sono una conseguenza di obiettivi e risultati formulati in modo semplice, empirico e direttamente osservabile.

I parametri devono dare la misura effettiva di ciò che è definito come obiettivo e risultato. Devono essere formulati in modo univoco, in modo che la loro misurazione non sia soggetta a variazioni date dalla discrezionalità. Ad esempio, se necessario, se ne può definire a latere la modalità di calcolo (es.: parametri da considerarsi nel calcolo di una percentuale).

Specificità e precisione si possono applicare anche a indicatori di natura qualitativa, quando questi sono necessari a misurare un cambiamento desiderato. In questi casi il criterio di precisione impone di definire la scala e la situazione cui si riferiscono i parametri qualitativi utilizzati (es.: cosa indicano valutazioni come “ottimo” o “buono”) e/o di definire in modo specifico le modalità attraverso le quali si apprezza tale indicatore (es.: formulazione univoca delle domande somministrate in un questionario o in un focus group).

Gli indicatori, e in particolare i relativi valori-target, devono risultare concretamente realizzabili nell’ambito del progetto e devono essere associati a tempi di realizzazione, a tempi di rilevazione e agli altri aspetti del quadro di monitoraggio e valutazione.

Definire il quadro di monitoraggio e valutazione

Il quadro di monitoraggio e valutazione è una grande tabella che incrocia ciascun indicatore con ciascuno dei seguenti elementi, che specificano come e quando ciascun indicatore verrà verificato:

  1. Valori di partenza (baseline) e valori-obiettivo (target) degli indicatori,
  2. Fonti, modalità e mezzi materiali per la loro verifica,
  3. Tempistiche di verifica e di reporting,
  4. Responsabilità e divisione dei compiti nel processo di verifica.

L’ampiezza del quadro di monitoraggio e valutazione e l’impegno che esso richiede devono essere realistici, non sovradimensionati, commisurati alla natura del progetto, alle risorse disponibili, alle effettive capacità operative di chi lo gestisce e dei suoi beneficiari.
È meglio monitorare e valutare un numero minore di indicatori-chiave (key performance indicators o KPIs), eventualmente selezionati tra quelli definiti nel Quadro Logico, piuttosto che non realizzare alcuna attività di monitoraggio e valutazione a causa della complessità del sistema e del volume di attività che esso richiede.

Per progetti complessi è consigliabile elaborare anche un piano di monitoraggio e valutazione (ad esempio, sotto forma di diagramma di Gantt) che riassuma le attività da svolgere, la tempistica e i momenti salienti del processo di monitoraggio e valutazione.


1. Baseline e target. La definizione di una baseline, ovvero di un dato di partenza per gli indicatori considerati, rappresenta la prima attività “valutativa” vera e propria realizzata nell’ambito di un progetto ed è chiamata “baseline study”.

Definire una baseline può richiedere dati, tempo e risorse, in modo simile a quanto avviene quando si realizza un’attività di monitoraggio e valutazione. Lo sforzo necessario a individuare una baseline e i corrispondenti valori-obiettivo è proporzionale allo sforzo che si renderà necessario successivamente, in fase di monitoraggio e valutazione. Difficoltà in questa fase (per mancanza di dati, tempo e risorse) possono indicare che il quadro di monitoraggio e valutazione è sovradimensionato rispetto alle proprie capacità di metterlo in pratica.

È importante prevedere una tempistica per il raggiungimento dei valori-obiettivo. Oltre alla data di fine del progetto, è consigliabile indicare valori di riferimento per una valutazione a metà progetto (“mid-term review”) e possibilmente ulteriori valori intermedi, per capire prima della fine del progetto se si è in linea con il raggiungimento degli indicatori.

Gli indicatori che quantificano specifiche azioni o prodotti da realizzare nell’ambito del progetto hanno normalmente un valore di partenza pari a zero, che cresce con l’esecuzione delle attività. I valori target degli indicatori devono ovviamente essere quantificati in modo realistico.


2. Fonti, modalità e mezzi di verifica. Questa parte del quadro di monitoraggio e valutazione risponde alla domanda-chiave del “come” gli indicatori verranno misurati.

Innanzitutto è necessario definire la fonte (documento o supporto fisico) attraverso la quale il dato può essere raccolto: una fonte interna al progetto (il progetto “crea” il dato attraverso questionari, ricerche o osservazioni proprie) oppure esterna (pubblicazioni, basi di dati e annuari statistici di istituzioni regionali, nazionali o internazionali, università, società o organizzazioni attive nel settore, organizzazioni beneficiarie, altri progetti o azioni parallele che svolgono azioni di raccolta e elaborazione di dati, ecc.).

Insieme alla fonte occorre verificarne anche modalità e mezzi di verifica, considerando i seguenti parametri:

  • La coerenza del dato con la definizione adottata dal progetto e la sua costanza nel tempo (dato calcolato con gli stessi parametri con la frequenza necessaria, dal momento della baseline a quello delle ultime valutazioni);
  • L’attendibilità della fonte (fonte autorevole, verificabile anche da soggetti terzi, o metodologia rigorosa e verificabile quanto il dato è sviluppato internamente);
  • La sua reale disponibilità (necessità di accordi o abbonamenti, eventuali costi, fattori non controllabili che potrebbero condizionare l’accesso al dato);
  • Le modalità con cui vi si accede (online, biblioteca, acquisto del supporto, database propri, necessità di elaborare ulteriormente i dati).

A seguire, occorre definire in che modo i dati verranno elaborati per produrre informazioni utili al progetto, in che modo verranno conservati (tipo di formato e di supporto) e le modalità per accedervi, controllarli, aggiornarli e modificarli.

Le informazioni così ottenute devono essere trasmesse a chi può trarne conclusioni utili (ed eventuali misure correttive), ovvero a chi gestisce il progetto, a chi vi esercita un ruolo decisionale, a chi lo finanzia e a chi ha titolo e interesse a seguirne gli sviluppi. Questo avviene attraverso un’attività di analisi e di reportistica (di cui occorre definire periodicità e struttura) e specifici canali di comunicazione (di cui occorre definire natura, meccanismi e beneficiari).

Data l’entità di lavoro che possono implicare la raccolta e il trattamento dei dati, occorre anche in questo caso scegliere le opzioni più semplici, vantaggiose e lineari in termini di costi e di tempo, ad esempio limitando allo stretto necessario l’entità e la complessità della “produzione” di dati da parte del progetto e dei suoi beneficiari (attraverso questionari, survey, focus group, ecc.).

È possibile approfondire questo tema nel successivo paragrafo, dedicato alle modalità di raccolta e di elaborazione dei dati.


3. Tempistica di verifica e reporting. Questa parte del quadro di monitoraggio e valutazione risponde alla domanda-chiave del “quando” gli indicatori verranno misurati, o più in particolare, a quanto tempo dedicarci e con quale frequenza. La scelta dipende dagli indicatori, dai dati, dalle modalità precedentemente identificate, dall’impegno che richiedono ai beneficiari e dalle risorse umane e materiali disponibili.

La tempistica dipende inoltre dal “livello” cui si situa l’indicatore: come già ricordato, gli indicatori relativi alle attività e ai risultati (output) sono normalmente più semplici e possono essere verificati frequentemente, nell’ambito del monitoraggio del progetto; gli indicatori relativi agli esiti (outcome) e agli obiettivi del progetto (impact) vengono misurati nell’ambito di un’attività di valutazione ad hoc. L’attività di valutazione, pur più complessa, non dovrebbe essere relegata alla fine del progetto, ma avvenire già durante la realizzazione del progetto, eventualmente in forme più semplici, per consentire correzioni in itinere nel caso in cui la realizzazione degli obiettivi non sia in linea con le aspettative.

Infine, la tempistica identificata deve includere modi e tempi per riportare le informazioni raccolte a chi ha la possibilità di trarne conclusioni e realizzare azioni correttive. Gli indicatori più critici, ovvero quelli la cui mancata realizzazione comporta un maggior rischio per la performance del progetto, meritano un’attenzione costante lungo tutta la durata del progetto. L’analisi e la gestione dei rischi costituiscono infatti una parte integrante dell’attività di monitoraggio.

È possibile approfondire le modalità di verifica degli indicatori e di gestione dei rischi nel paragrafo seguente, dedicato agli strumenti di monitoraggio e valutazione.


4. Responsabilità e compiti. Questa parte del quadro di monitoraggio e valutazione risponde alla domanda-chiave del “chi” misura gli indicatori. Individuare responsabilità in modo preciso è utile a non tralasciare aspetti importanti della gestione del progetto, soprattutto in momenti in cui le scadenze e le attività correnti assorbono molto tempo ed energie.

“Alzare la testa” di tanto in tanto, anche solo per analizzare pochi e cruciali “KPIs”, permette al progetto di restare nella giusta direzione. Questo può essere fatto direttamente dallo staff di progetto e dal suo project manager, anche se per progetti grandi (e in particolare per attività di valutazione) possono essere previsti consulenti esterni specializzati (per garantire la neutralità del processo).

A questo scopo, può essere utile predisporre un semplice calendario che ricordi chi e in quali momenti deve svolgere le principali attività di monitoraggio e valutazione, sotto forma di promemoria o di diagramma di Gantt; includendovi anche, come aspetto fondamentale, le attività legate alla reportistica di progetto. Alcuni dei controlli operativi fondamentali (tempi, attività e prodotti da realizzare, budget e risorse) dovrebbero essere realizzati in automatico dal team durante l’attività quotidiana di gestione di progetto.

Strumenti di monitoraggio e valutazione

Un buon monitoraggio è indice di buona gestione del progetto. Il monitoraggio – e le azioni che fanno seguito al monitoraggio – costituiscono infatti il cuore dell’attività di project management. Intorno al project management sono stati sviluppati molti metodi e strumenti: ogni project manager e ogni progetto adottano la combinazione che meglio si adatta alla loro organizzazione e alle loro esigenze. La Commissione europea ha realizzato una propria “rassegna” di strumenti, organizzata in un metodo di gestione dei progetti chiamato “OpenPM2”: vi abbiamo dedicato un articolo e un breve approfondimento. L’ultima edizione del manuale, disponibile gratuitamente in italiano, risale ad aprile 2023. OpenPM2:

  • Definisce Monitoraggio e controllo come un’attività continua che si estende lungo tutta la vita del progetto, dal suo Avvio (fase 1), attraverso la sua Pianificazione ed Esecuzione (fasi 2 e 3) fino alla sua Chiusura (fase 4).
  • Identifica 11 principali componenti dell’attività di Monitoraggio e controllo: Gestire gli approvvigionamenti, Gestire i rischi, Gestire i punti di attenzione e le decisioni, Controllare i costi, Controllare i tempi, Monitorare le prestazioni, Gestire la qualità, Accettare i prodotti, Gestire gli stakeholder, Gestire le modifiche di progetto, Gestire la transizione.
  • Propone vari strumenti tipici della disciplina del project management, di cui molti sono presentati o citati in questa Guida (Matrice RACI e sue varianti, Matrice degli stakeholder, Pianificazione e Budget di progetto, Registro dei rischi e dei punti di attenzione, Checklist, Diagramma di Gantt…).

Senza pretesa di esaustività, presentiamo qui di seguito due degli strumenti più utilizzati per la gestione, il monitoraggio, il controllo e la valutazione dei progetti, in aggiunta rispetto a quanto già illustrato in questo capitolo e nei precedenti. La “dashboard” del progetto. Uno dei modi più diffusi ed efficaci per monitorare l’andamento di un progetto è quello di creare una “dashboard”, ovvero un “cruscotto” o “pannello di controllo” che permetta di tenere sotto controllo alcuni parametri-chiave, tra cui in particolare:

  • Le singole attività, gli output da esse prodotti e le relative tempistiche, con un’attenzione particolare a quelli che vengono chiamati “milestone” di progetto, ovvero le “pietre miliari” che ne segnano le principali tappe (ad esempio, le date-limite per la definizione, l’approvazione, l’avvio e il completamento di un piano formativo). Questa parte della “dashboard” può essere efficacemente rappresentata sotto forma di Diagramma di Gantt.
  • I principali indicatori individuati per il progetto, in particolare gli indicatori più semplici e “operativi” (quelli legati alle attività e ai risultati) e quelli che sono stati definiti come “KPIs” (indicatori-chiave) da monitorare con regolarità. In questo caso la “dashboard” può presentare, per ogni indicatore, un valore atteso per ciascuna data prevista di controllo, cui affiancarne la misura per evidenziare eventuali discrepanze.
  • Un piano dell’utilizzo delle risorse, anche in questo caso con valori attesi di utilizzo nel tempo di ciascuna risorsa (fondi, personale, materiali) e “checkpoint” periodici, da comparare con lo status di avanzamento degli indicatori.

A ogni misurazione è consigliabile attribuire a ciascuno di questi parametri “un’etichetta” sintetica, eventualmente associata a un simbolo e a codice colore (come nell’esempio):

▶ “In Corso”: avanzamento in corso come da programma, senza specifici ostacoli o ritardi;
▶ “In Ritardo”: avanzamento inferiore alle aspettative, con possibili necessità di interventi correttivi (nel caso di risorse: “In Eccesso” / utilizzo superiore alle aspettative);
▶ “A Rischio”: l’avanzamento è in pericolo e senza un rapido intervento è destinato a risolversi in una mancata realizzazione o in un mancato obiettivo (o in un superamento delle risorse disponibili);
◼ “Completato”: l’attività è conclusa (o la risorsa è esaurita) come da previsioni;
◼ “Sospeso”: l’attività è momentaneamente sospesa per fattori esterni o mancanza di risorse;
◼ “Fallito”: l’attività non è più realizzabile o la risorsa è stata esaurita anticipatamente.

Nel corso dell’attività di monitoraggio è inoltre consigliabile mantenere:

  • un registro delle discrepanze registrate, delle azioni correttive intraprese e delle eventuali modifiche alla struttura del progetto (rimodulazione di attività e risorse) attuate per rispondere alle sfide incontrate durante la sua realizzazione;
  • una matrice dei rischi e un registro dei relativi punti di attenzione (vedi sotto).

Gli elementi di una “dashboard” si possono ritrovare in alcuni software specificamente dedicati al project management, oppure si possono creare (in forma relativamente semplice) attraverso fogli di calcolo opportunamente impostati, condivisi in rete o su un cloud tra i membri del team di progetto.

La matrice dei rischi. La gestione del progetto e l’attività di monitoraggio hanno lo scopo di prevenire, mitigare e correggere i rischi che possono manifestarsi durante la sua esecuzione. La “Dashboard” di progetto è dunque normalmente integrata da appositi strumenti dedicati al concetto di rischio. La gestione del rischio si compone a sua volta di quattro momenti principali:

  1. Identificazione dei potenziali rischi che potrebbero avere un impatto sul progetto, attraverso attività di brainstorming, definizione di checklist e analisi dell’esperienza di altri progetti. Occorre considerare tutti i rischi rilevanti, che possono provenire da fonti diverse: l’organizzazione stessa e i suoi i partner (rischi interni), i target group e i beneficiari, altre organizzazioni facenti parte dell’ambito d’azione del progetto, le istituzioni, la congiuntura politica, economica e finanziaria, eventi sociali o tecnologici dirompenti, eventi naturali, ecc.;

  2. Analisi dei rischi, volta a determinarne la probabilità e il possibile impatto. I rischi possono essere iscritti in una matrice che, attribuendo un valore da 1 a 3 a probabilità (P) e impatto (I), ne suddivide la gravità (G = P x I) in lieve (G = 1 o 2, compatibile con un normale funzionamento del progetto), moderata (G = 3 o 4, richiede specifiche contromisure) ed elevata (G = 6 o 9, in grado di minare la fattibilità del progetto);

  3. Pianificazione di una risposta ai rischi, che può consistere in varie soluzioni volte a evitare il rischio (modificando il progetto, o con specifici accorgimenti), trasferire il rischio (affidandone a terzi la mitigazione, ad es. attraverso un’assicurazione), mitigare il rischio (riducendone la gravità a un livello “lieve”) o accettare il rischio (assumendone le conseguenze ma prevedendo un elaborato “piano di riserva” nel caso in cui si manifesti);

  4. Implementazione di un sistema di monitoraggio dei rischi, attraverso un aggiornamento più o meno continuo della matrice dei rischi e del relativo piano di risposta (con modalità simili a quanto realizzato con gli indicatori nell’ambito della “dashboard” di progetto). In modo analogo ai KPIs, rischi con più alto livello di gravità costituiscono i punti di attenzione da monitorare in modo più regolare e approfondito.

Modalità di raccolta e di elaborazione dei dati

L’attività di monitoraggio e valutazione si basa su dati che devono essere raccolti (ovvero, in qualche modo osservati e registrati), gestiti (ovvero, mantenuti e conservati in modo sicuro e omogeneo su un supporto, normalmente elettronico), elaborati (ovvero, trasformati in informazioni utili al progetto attraverso strumenti analitici e statistici) e presentati (ovvero, essere integrati in un sistema di reportistica).

I dati si dividono in varie tipologie:

  • I dati primari sono direttamente raccolti nell’ambito del progetto presso la popolazione che si intende osservare, mentre i dati secondari sono raccolti attraverso fonti già esistenti. I dati primari sono più specifici rispetto alla misura di effetti e impatto del progetto, ma meno comparabili con dati più generali e sicuramente più impegnativi da produrre; i dati secondari al contrario, sono più facilmente reperibili e comparabili ma tendono a misurare meno specificamente il contributo del progetto;
  • I dati quantitativi corrispondono a valori numerici direttamente rilevati al momento della misurazione, sono normalmente strutturati in un formato specifico e sono rappresentabili matematicamente attraverso equazioni e formule. I dati qualitativi sono invece riferiti a dimensioni soggettive e non direttamente riassumibili in un valore numerico, ma sono normalmente organizzati in categorie per essere più facilmente gestibili attraverso strumenti matematici e statistici. I dati quantitativi possono essere maneggiati più facilmente con strumenti matematici e possono per questo apparire più “oggettivi” ma possono catturare meno efficacemente la complessità di un fenomeno rispetto a quelli qualitativi.

La scienza e i metodi esistenti per la raccolta e l’elaborazione dei dati sono vari, ampi e complessi e vanno aldilà degli intenti di questa Guida. Senza alcuna pretesa di completezza e rigore tentiamo di fornirne una rapida rassegna, come punto di partenza per un successivo approfondimento su altre fonti più specializzate. I vari metodi sono tra loro complementari e vengono normalmente utilizzati in varie combinazioni per sostenere l’attività di monitoraggio e valutazione di un progetto.

 

1. Ricerca documentale e utilizzo di dati secondari, ricavabili ad esempio da documenti governativi, ricerche accademiche, ricerche e analisi di altri operatori del settore o altri progetti, fonti online come social media, blog o conversazioni tra utenti.

2. Osservazione diretta, ottenuta rilevando direttamente e in vari modi i dati relativi al progetto (ad esempio: numero di supporti prodotti, numero di partecipanti a un evento di formazione, liste di presenza, tracce e feedback registrati sugli strumenti informatici creati dal progetto, feedback ottenuti direttamente durante le attività di progetto, osservazioni registrate dagli operatori durante l’esecuzione delle attività, ecc.).

3. Sondaggi, utilizzati per raccogliere dati da un numero consistente di persone, attraverso strumenti online, indagini telefoniche o questionari cartacei, anche somministrati durante le attività di progetto (ad esempio, al termine di un evento). Possono permettere di raccogliere risposte quantitative, risposte qualitative organizzate per categorie e feedback qualitativi in formato libero (risposte aperte).

4. Interviste, ovvero conversazioni faccia a faccia tra un ricercatore e un partecipante, con un sistema di domande e risposte che può essere a seconda dei casi libero, semi-strutturato (con domande fisse e risposte che possono spaziare) o strutturato (domande con risposte più brevi o predefinite).

5. Focus group, ovvero discussioni di gruppo moderate in cui i partecipanti sono invitati a condividere opinioni e idee su un determinato argomento. Permette un’analisi più profonda e l’integrazione di vari punti di vista. Può seguire un percorso più o meno strutturato (come l’intervista), a seconda delle necessità e delle dinamiche che si instaurano nel gruppo di partecipanti.

6. Casi di studio, utilizzati per acquisire una comprensione approfondita di un particolare fenomeno e di uno specifico soggetto. Implica la raccolta e l’analisi di più fonti, come interviste, sondaggi e osservazioni dirette a ricostruire in modo dettagliato il contesto, i fattori e le dinamiche che hanno determinato il fenomeno, utile per trarne trend, dinamiche, modelli esemplificativi, soluzioni, raccomandazioni e insegnamenti.

7. Indagine narrativa, approccio qualitativo che utilizza interviste, appunti sul campo e altre forme di raccolta dati per scoprire le storie di gruppi o individui e analizzarne le esperienze, le prospettive, le dinamiche, gli insegnamenti per azioni future.

8. “Most significant change”, variante più strutturata dei precedenti approcci, che consiste nel chiedere a ciascun partecipante di descrivere il cambiamento più significativo avvenuto nella sua esperienza in merito a un determinato ambito o parametro, e di spiegarne la rilevanza. Le “storie” raccolte possono essere approfondite, ulteriormente selezionate e commentate in gruppo.

9. Analisi qualitativa dei trend, che utilizza tabelle e supporti visuali per raccogliere e rappresentare dati qualitativi sui cambiamenti prodotti su un gruppo e in un determinato arco di tempo. La si può rappresentare in varie modalità, con l’aiuto del gruppo di riferimento: 1) rappresentazione cartesiana su una scala da 1 a 5 dell’andamento di un certo parametro nel corso degli anni. Possono essere utilizzate più linee per rappresentare più parametri, indicando sinteticamente i fenomeni associati al raggiungimento di determinati “picchi” e “valli” nel grafico; 2) rappresentazione tabellare, con i vari criteri di riferimento, una loro valutazione da 1 a 5 nel corso degli anni e una valutazione sintetica (+ / -) del trend di ogni parametro nel corso degli anni; 3) rappresentazione visuale, in cui viene disegnato il percorso del gruppo su una vera e propria “strada”, indicando con disegni e commenti i principali eventi, fenomeni e cambiamenti che ne hanno contrassegnato l’evoluzione negli anni.

10. Benchmarking (o analisi comparativa), metodo utilizzato per confrontare e contrastare due o più casi diversi, identificando somiglianze e differenze tra due o più attori o fenomeni. La raccolta dei dati deve avvenire in parallelo con gli stessi parametri e metodi nei due casi da confrontare, per garantire una piena comparabilità.

11. Analisi statistica, che elabora dati quantitativi attraverso metodi statistici per descrivere e riassumere le informazioni (statistica descrittiva) o per fare previsioni (statistica inferenziale). I metodi di statistica descrittiva includono ad esempio la misura della tendenza centrale (media, mediana e moda), della correlazione (che valuta l’esistenza di una relazione positiva o negativa tra variabili) e della distribuzione (che descrive attraverso funzioni, dati e curve come i dati si distribuiscono in un campo). I metodi di statistica inferenziale includono ad esempio la regressione (che permette di delineare un trend a partire da una serie di dati), l’analisi di serie temporali e altri metodi di costruzione di modelli predittivi. L’analisi statistica utilizza il concetto di “campione”, la cui dimensione dipende dalla dimensione della popolazione totale cui si riferisce, dal livello di confidenza e dal margine di errore desiderati.

12. Text mining e Data mining, che prevedono la raccolta di dati online utilizzando set di documenti e di basi di dati di grandi dimensioni, da cui possono essere estratte informazioni utili, tendenze e modelli attraverso specifici strumenti informatici, algoritmi e applicazioni dell’Intelligenza Artificiale.

Nel predisporre un sistema di trattamento dei dati, in particolare quando i dati vengono raccolti e trattati “in proprio” (es. survey attraverso strumenti telematici) l’organizzazione deve prestare attenzione alla legislazione e alla regolamentazione vigente in materia di dati personali (GDPR). Si intendono come dati personali “le informazioni che identificano o rendono identificabile, direttamente o indirettamente, una persona fisica e che possono fornire informazioni sulle sue caratteristiche, le sue abitudini, il suo stile di vita, le sue relazioni personali, il suo stato di salute, la sua situazione economica, ecc.” (qui la pagina di riferimento del Garante per la Privacy). È consigliabile un utilizzo il più possibile ridotto di dati personali, la predisposizione di un registro dei dati raccolti, una raccolta dei dati attuata in più possibile in forma anonima (o quando non possibile, una “anonimizzazione” dei dati raccolti) e l’identificazione di un responsabile per il trattamento dei dati personali, sulla base della normativa vigente.

Dagli indicatori all’impatto

L’impatto, un concetto complesso. Il risultato dell’attività di monitoraggio e valutazione è chiaramente e direttamente apprezzabile quando riguarda aspetti operativi: attività e output realizzati, beneficiari raggiunti, conseguenze immediate e visibili di un progetto appena concluso. Questi dati, che si ricavano soprattutto attraverso l’attività di monitoraggio, sono anche i più importanti per chi realizza un progetto, che è chiamato a risponderne direttamente.

È, invece, più complesso rispondere a domande più ampie e strategiche, tipiche dell’attività di valutazione: qual è stato (e quale sarà) l’impatto del progetto? Il progetto ha raggiunto il suo fine ultimo, ovvero il suo obiettivo generale? Ha prodotto il cambiamento che si prefiggeva quando è stato elaborato?

Per rispondere a queste domande con elementi oggettivi occorrere raccogliere dati in un periodo successivo alla conclusione del progetto e utilizzare risorse che possono andare al di là di quanto è messo a disposizione nell’ambito di un singolo progetto europeo.

Inoltre, l’impatto è un concetto complesso dal punto di vista concettuale e statistico-matematico, perché molti fattori contribuiscono a realizzarlo: non è facile “isolare” il contributo del progetto da una pluralità di altri fattori concomitanti. Ad esempio: quanto sono apprezzabili su una comunità gli effetti di un progetto di riduzione della povertà, e come isolarli da una pluralità di altri fattori (positivi o negativi) quali gli effetti della congiuntura economica, delle politiche industriali, di altri progetti paralleli, dell’iniziativa dei membri della comunità?

La misura dell’impatto resta tuttavia una preoccupazione legittima: l’impatto è parte integrante della logica del progetto e del suo quadro di monitoraggio e valutazione; è il punto di partenza e di arrivo per chiunque realizzi o finanzi un progetto; è ciò che definisce nei termini più ampi l’effettivo successo del progetto.

Anche in questo caso, la trattazione che segue non ha pretese di rigore scientifico né di esaustività, ma si propone di tradurre il concetto di “impatto” in alcuni spunti che possano risultare “alla portata” di chi realizza un progetto europeo.


L’impatto come analisi controfattuale. L’analisi controfattuale definisce l’impatto come la differenza tra dati rilevati alla fine di un intervento (dati “fattuali”) e dati rilevati in una situazione caratterizzata da assenza di intervento (dati “controfattuali”). Si tratta dell’approccio più “scientifico” alla valutazione d’impatto: viene infatti utilizzato nella ricerca medica, che confronta gruppi “soggetti a trattamento” con gruppi “di controllo”.

Questo approccio è difficilmente utilizzabile in ambito sociale, in quanto presuppone:

  • L’esistenza di indicatori verificabili in modo univoco con strumenti analitici, dotati di un nesso altrettanto verificabile e univoco con la dimensione che intendono misurare.
  • La possibilità di identificare un “gruppo di controllo” con caratteristiche e dinamiche pienamente comparabili con quelle del gruppo-target del progetto.

Si tratta di condizioni non semplici per molti progetti che riguardano aspetti “umani” e sociali, in cui:

  • La correlazione tra i dati e fenomeno misurato può essere più o meno forte, ma è difficilmente univoca e dipende dall’intervento di più fattori.
  • Le situazioni di gruppi e comunità sono molto varie, complesse e (ad un’analisi approfondita) difficilmente comparabili.

Nonostante i suoi limiti, l’analisi controfattuale resta un utile “riferimento ideale” per misurare l’impatto.


L’impatto come cambiamento di un trend. L’analisi controfattuale può essere utilizzata in forma attenuata definendo l’impatto in termini più semplici e generali, come “capacità di produrre un cambiamento di traiettoria” in un trend o in un fenomeno.

Pur in modo non totalmente quantitativo e scientifico, l’analisi dei dati del progetto rispetto ad alcuni trend di riferimento fornisce una misura del suo impatto, ovvero di quanto il progetto ha saputo “cambiare” un trend esistente. Questo tipo di analisi è riconducibile in termini più formali al metodo “difference in differences”, che analizza la doppia variazione di una variabile: nel tempo (prima, dopo, ex-post”) e tra soggetti (destinatari e non).

Questo metodo può essere applicato con un maggiore o minore grado di complessità e rigore a seconda delle ambizioni e delle risorse disponibili. Può risultare applicabile:

  • Circoscrivendo l’ambito del fenomeno che si intende misurare a ciò cui il progetto ha contribuito più fortemente e direttamente (per aumentare il livello di correlazione tra indicatore e obiettivo misurato);
  • Comparando l’evoluzione registrata dai dati di progetto rispetto a punti di riferimento il più possibile “vicini” alla popolazione-target del progetto (situazione “quasi controfattuale”);
  • Coniugando tra loro, se possibile, riferimenti di comparazione diversi e complementari (o “triangolando” dati e punti di vista diversi per aumentare l’attendibilità dei risultati);
  • Includendo nell’analisi, se possibile, più momenti di misurazione (per definire un trend), incluse misurazioni di “di follow-up” (ad esempio dopo uno, due o tre anni dalla conclusione del progetto);
  • Accompagnando l’analisi con una valutazione dei fattori (positivi o negativi) che possono aver influito su dati e “trend” del progetto e dei riferimenti utilizzati.

Ad esempio, su un progetto dedicato all’inserimento lavorativo per giovani in fascia d’età 15-24, residenti in un territorio urbano soggetto a problemi sociali, si possono comparare le variazioni dei dati occupazionali dei giovani in fascia d’età 15-24 registrate:

  • Dal progetto sui suoi beneficiari (baseline vs dato finale: dato “fattuale”).
  • Nell’area d’intervento del progetto (o in un altro territorio urbano soggetto a problemi sociali), nello stesso periodo (dato “quasi controfattuale”).

In coda all’esempio di Quadro di monitoraggio e valutazione viene fornito un esempio più dettagliato e specifico.

La scelta del metro di comparazione (o l’utilizzo contemporaneo di più riferimenti di comparazione) può variare in funzione della disponibilità di dati. Le differenze tra “dato fattuale” e “dato quasi controfattuale” possono essere analizzate (ed eventualmente ponderate, o corrette) alla luce di altri fattori e variabili che possono aver inciso sulle due popolazioni di riferimento:

  • Fattori positivi – ad esempio, risultati positivi ottenuti da iniziative parallele presenti sul territorio (es. corsi professionalizzanti, sostegno a tirocini, strumenti di “matching” tra domanda e offerta di lavoro…).
  • Fattori negativi – ad esempio, difficoltà congiunturali delle imprese sul territorio o peggioramento di condizioni abilitanti (es. diminuzione delle risorse destinate dalle amministrazioni pubbliche ad educazione o assistenza sociale).

La Teoria del Cambiamento può essere d’ausilio in questa attività di ponderazione, in quanto prevede una “mappatura” di tutte le condizioni necessarie a realizzare un cambiamento desiderato.


L’impatto come “storie” di cambiamento. Quanto illustrato finora segue uno schema logico e strutturato, più o meno quantitativo, basato sul concetto di “misura” del cambiamento realizzato rispetto a quanto il progetto si propone.

In alcuni progetti questo schema può risultare complesso o non sufficiente ad illustrare in modo corretto e completo cambiamenti di tipo qualitativo, fenomeni inattesi ed effetti non definiti nelle metriche iniziali. Per questo motivo, esistono metodi di misura dell’impatto più ampi, qualitativi o svincolati dal concetto di misura rispetto ad “obiettivi” iniziali (es. valutazione “goal-free”).

Anche in questo caso, una trattazione del tema completa, esaustiva e rigorosa va oltre le ambizioni di questa Guida. È tuttavia importante attirare l’attenzione sull’importanza di aspetti qualitativi e meno strutturati nella misura dell’impatto di un progetto.

In termini operativi, questo significa porsi le seguenti domande: come è cambiata la vita dei beneficiari (o delle organizzazioni beneficiarie) in seguito al progetto? Che ruolo ha avuto il progetto nella loro evoluzione, nella loro “storia” e nella loro esperienza individuale? Nella percezione dei beneficiari (o delle organizzazioni beneficiarie), come sarebbe stata la loro vita e quale sarebbe stata la loro storia senza l’intervento del progetto? Queste piccole “storie” individuali sono in grado di produrre a loro volta nuove piccole e suggestive “storie di cambiamento”? Attraverso “storie” e punti di vista individuali è possibile tracciare una linea che identifichi i parametri di successo del progetto e le sue debolezze?

Le “storie” possono essere raccolte e valutate attraverso vari metodi di analisi qualitativa, già citati nei precedenti paragrafi: interviste e focus group; redazione di casi di studio e indagini narrative; metodi più specifici, quali il “most significant change” e i sistemi di analisi e rappresentazione grafica di trend e cambiamenti qualitativi.
Questo tipo di analisi adotta un approccio empirico basato sulla “induzione”, ovvero sulla formulazione di conclusioni di carattere generale a partire da casi particolari. Non va considerata un “piano B” rispetto ad altre metodologie, in quanto può essere in grado di cogliere elementi diversi, più profondi o quantomeno complementari rispetto a sistemi di analisi più strutturati.

Un’analisi attraverso “storie” di vario tipo permette inoltre di elaborare materiale di comunicazione e disseminazione interessante e fruibile da un’ampia platea di specialisti (in virtù della sua profondità di analisi), da partner e stakeholder (che possono a loro volta farlo proprio e diffonderlo) e dal pubblico più ampio di non addetti ai lavori.

Questi aspetti sono rilevanti ed apprezzati nell’ambito dei progetti europei. La reportistica e la comunicazione sono aspetti tra loro collegati, che rispondono a un comune obiettivo di responsabilità e trasparenza (accountability) nei confronti delle istituzioni, dei cittadini e della propria comunità di riferimento.


Approfondire concetti e approcci sull’impatto. Per chi desiderasse affrontare le metodologie di misura e gestione dell’impatto da un punto di vista alternativo e complementare, consigliamo un’ampia rassegna di guide e strumenti prodotti da organizzazioni specializzate del settore dell’impact investing, cui abbiamo dedicato un apposito approfondimento.

L’impact investing è caratterizzato da una mobilitazione metodica e consapevole delle risorse per il raggiungimento di un impatto misurabile in ambiti in cui ve ne è carenza (principi di intenzionalità, misurabilità e addizionalità). Pur non avendo un focus specifico sull’ambito d’intervento della nostra Guida, le guide e gli strumenti proposti hanno punti in comune con quanto descritto in questo capitolo e possono fornire spunti addizionali per la misura e la gestione dell’impatto nei progetti europei.