VALUTARE la situazione esistente –
Fase 1: sviluppare i punti oggetto di valutazione
La base di ogni valutazione dell’animazione giovanile in campo aperto è costituita dai punti oggetto di valutazione. Con ciò si intende un set di domande che indicano quali informazioni la valutazione deve fornire. In tal modo si definiscono gli aspetti che si desidera analizzare con la valutazione.
In genere il numero di domande è superiore rispetto alle risposte che una valutazione può fornire restando entro i limiti finanziari e temporali previsti. Per questo è necessario fissare sempre delle priorità. Il Quali-Tool si concentra su domande di tipo descrittivo (ad es. «Che cosa è stato fatto?») e di tipo valutativo (ad es. «Il programma ha prodotto i risultati desiderati?»).
Per ogni elemento del modello di efficacia è possibile formulare domande di valutazione. Qui di seguito sono elencati alcuni esempi relativi ai singoli elementi:
Punti oggetto di valutazione relativi ai criteri di base
Le questioni oggetto di valutazione relative ai criteri di base servono a valutare la qualità, l’efficacia e la logica interna dei fondamenti teorici.
Domande descrittive relative ai criteri di base (esempi):
- Quali criteri di base vengono utilizzati (dal Comune) per la progettazione?
- Quali obiettivi erano presenti e in quali settori?
- I gruppi di destinatari erano stati definiti (età ecc.)?
- Sono stati definiti gli obiettivi da raggiungere?
Domande di valutazione relative ai criteri di base (esempi):
- In che misura gli obiettivi prestazionali e di efficacia definiti e l’attuazione pianificata sono effettivamente basati sui criteri esistenti?
- In che misura era stato definito quando e in che lasso di tempo gli obiettivi sono da raggiungere?
- Le misure/i metodi previsti erano adatti agli obiettivi di prestazione e di efficacia?
- C'è la necessità di migliorare i criteri di base?
Punti oggetto di valutazione relativi all’attuazione
Mediante i punti in oggetto di valutazione relativi alla realizzazione dell’animazione giovanile giovanile si analizza se le strutture, le risorse e i processi di lavoro esistenti sono quantitativamente sufficienti, adeguati, efficaci ed efficienti per l’attuazione del progetto.
Domande descrittive relative all’attuazione (esempi):
- Quale struttura organizzativa (organigramma) e quale attribuzione delle responsabilità sono state previste? - Quali attori sono stati coinvolti nell’attuazione ?
- In che misura erano note le responsabilità degli attori coinvolti?
- In che modo hanno collaborato gli attori coinvolti?
- In che modo erano organizzati i processi (processi di lavoro, riflessione/garanzia di qualità/valutazione, interrelazioni ecc.)?
- Quali risorse erano disponibili e per che cosa (finanziarie, umane, infrastrutturali, competenze specifiche ecc.)?
Domande di valutazione relative all’attuazione (esempi):
- Erano stati coinvolti i giusti attori?
- Qual era il livello qualitativo della collaborazione?
- I processi di lavoro erano idonei?
- Gli attori coinvolti disponevano delle necessarie competenze decisionali e responsabilità?
- Gli attori coinvolti disponevano delle necessarie competenze specifiche?
- Erano disponibili risorse sufficienti?
- Per quali motivi l'attuazione non ha funzionato (come previsto)?
- Quali sono i miglioramenti ritenuti necessari?
Punti oggetto di valutazione relativi alle prestazioni (output)
Mediante i punti oggetto di valutazione relativi alle prestazioni, si valuta in che misura le prestazioni previste sono state fornite per quanto concerne il tipo, il numero e la qualità.
Il campo delle prestazioni è particolarmente adatto al coinvolgimento di bambini e giovani nella valutazione poiché sono il principale gruppo bersaglio, le conoscono e le sperimentano direttamente. Se si'intende valutare le prestazioni dell’animazione giovanile è necessario chiedere l’opinione di bambini e giovani, in quanto principali destinatari delle prestazioni. È anche consigliabile chiedere regolarmente a bambini e giovani qual è il loro grado di soddisfazione.
Domande descrittive relative alle prestazioni (esempi):
- Quali sono tipologie e in quali quantità sono stati realizzati prodotti e servizi (ad es. quanti, in che orari, in quali luoghi ecc.)?
- Quali gruppi bersaglio è stato possibile raggiungere con le prestazioni?
- Qual è stato il numero di partecipanti?
Domande di valutazione relative alle prestazioni (esempi):
- Le prestazioni previste erano adatte alla situazione di partenza?
- In che misura è stato possibile raggiungere gli obiettivi di prestazione?
- In che misura la composizione dei partecipanti era conforme agli obiettivi definiti (età, sesso ecc.)?
- In che misura il numero di partecipanti era conforme agli obiettivi definiti?
- In che misura i prodotti e servizi forniti erano conformi alle esigenze dei partecipanti/dei gruppi bersaglio?
- In che misura ne sono rimasti soddisfatti?
- Quali motivi hanno fatto sì che le prestazioni non abbiano potuto essere fornite (come previsto)?
- Che necessità di miglioramento esiste a livello di prestazioni?
Punti oggetto di valutazione relativi agli effetti sui gruppi bersaglio (outcome)
I punti oggetto di valutazione relativi agli obiettivi di efficacia hanno lo scopo di indicare in che misura sono subentrati cambiamenti nei gruppi bersaglio. Anche per quanto concerne questo elemento è importante coinvolgere i bambini e i giovani.
Domande descrittive relative agli effetti (esempi):
- Nei gruppi di destinatari sono riscontrabili cambiamenti relativi a comportamento, atteggiamento o mentalità?
Domande di valutazione relative agli effetti (esempi):
- In che misura i gruppi bersaglio hanno cambiato il proprio comportamento/atteggiamento o la propria mentalità nel modo auspicato?
- Qual è il rapporto tra lo sforzo profuso e gli effetti ottenuti sui gruppi bersaglio?
- Quali motivi non hanno consentito di ottenere il cambiamento/lo sviluppo desiderato?
- Gli effetti auspicati erano realistici?
- Che necessità di miglioramento esiste a livello di effetti?
Punti oggetto di valutazione relativi agli effetti in un contesto più ampio (impact)
Le valutazioni analizzano in che misura i cambiamenti nel comportamento dei gruppi bersaglio abbiano prodotto gli sviluppi desiderati in un contesto più ampio abbiano prodotto gli impatti desiderati in un contesto più ampio (impact), oppure abbiano contribuito alla soluzione del problema individuato. Gli impact non devono di norma essere rilevati direttamente dagli operatori dell'animazione socioculturale giovanile.
Domande descrittive relative agli effetti in un contesto più ampio (esempi)
- Ci sono elementi che indicano che i cambiamenti/gli sviluppi vanno nella direzione auspicata?
Domande di valutazione relative agli effetti in un contesto più ampio (esempi)
- Quale contributo fornisce l’animazione socioculturale giovanile ai cambiamenti/agli sviluppi sociali auspicati?
- Per quali motivi non vi sono stati i cambiamento/lo sviluppo desiderato?
Ogni elemento del modello di efficacia è collegato ai criteri di qualità del del DOJ che posso aiutare all’elaborazione delle domande di valutazione. In linea di principio, i criteri di qualità più rilevanti dovrebbero essere già state integrate nel modello di efficacia nel corso del lavoro preparatorio della valutazione. Anche se i criteri di qualità non sono stati integrati nel modello possono essere una base di riferimento sulla quale costruire le domande di valutazione. È dunque possibile ispirarsi a criteri di qualità pertinenti per elaborare le domande di valutazione.