ÉVALUER ce qui existe déjà –
étape 1: développer des questions d'évaluation
Les questions d’évaluation constituent la base de chaque évaluation de l’animation socioculturelle enfance et jeunesse. Par questions d’évaluation on entend une série de questions qui indiquent quelles informations l’évaluation doit fournir. Vous définissez ainsi ce que vous voulez découvrir avec l’évaluation. On fait une distinction entre les questions d’évaluation et les questions (items) qui sont posées dans des questionnaires, entretiens, etc.
La plupart du temps, il y a plus de questions que ce à quoi l’évaluation peut répondre dans le cadre financier et temporel donné. C’est pourquoi il faut toujours mettre des priorités. Le Quali-Tool se concentre sur des questions descriptives (par exemple « Qu’est-ce qui a eu lieu ? ») et sur des questions évaluatives (par exemple « Est-ce que le programme a donné les résultats souhaités ? »).
Pour chaque élément du modèle d'impact, des questions d'évaluation peuvent être formulées. Ci-après, des exemples de questions d'évaluation sont présentés pour les différents éléments d'un modèle d'impact :
Questions d'évaluation concernant les données de base
Les questions d’évaluation concernant les données de base servent à juger la qualité, la cohérence et la logique des données de base.
Questions descriptives concernant les données de base (exemples) :
- Quelles données de base existent (dans la commune) comme base pour la conception de l’animation ?
- Quels étaient les objectifs existants et dans quels domaines ?
- Les groupes cibles étaient-ils définis (âge, etc.) ?
- Était-il défini qui devrait atteindre quels buts (= porteur-euse d’objectifs) ?
Questions évaluatives concernant les données de base (exemples) :
- Dans quelle mesure les objectifs de prestation et d’efficacité définis ainsi que la mise en œuvre prévue reposaient-ils sur des données de base existantes ?
- Dans quelle mesure était-il défini à partir de quand les objectifs sont considérés comme atteints et dans quel laps de temps ?
- Les mesures/méthodes visées étaient-elles en accord avec les objectifs de prestation et les objectifs d’efficacité ?
- Quelles sont les améliorations nécessaires à apporter au niveau des données de base ?
Questions d'évaluation concernant la mise en œuvre
Avec les questions d’évaluation concernant la mise en œuvre de l’animation socioculturelle enfance et jeunesse, on examine si les structures, ressources et procédures de travail existantes sont suffisantes, appropriées, efficaces et efficientes.
Questions descriptives concernant la mise en œuvre (exemples) :
- Quelle structure organisationnelle (organigramme) et quelles dispositions concernant les responsabilités étaient prévues ? Quel-le-s acteurs-trices étaient impliqué-e-s dans la mise en œuvre ?
- Dans quelle mesure les responsabilités des acteurs-trices impliqué-e-s sont-elles connues ?
- Comment les personnes impliquées ont-elles travaillé ensemble ?
- Comment les processus (procédures de travail, réflexion/assurance qualité/évaluation, travail en réseau, etc.) étaient-ils gérés ?
- Quelles ressources étaient à disposition et pour quoi (financièrement, au niveau du personnel, de l’infrastructure, des compétences spécialisées, etc.) ?
Questions évaluatives concernant la mise en œuvre (exemples) :
- Les bon-ne-s acteurs-trices étaient-ils/elles impliqué-e-s ?
- Comment était la qualité de la collaboration ?
- Dans quelle mesure les procédures de travail étaient-elles appropriées ?
- Les acteurs-trices disposaient-ils/elles des compétences décisionnelles et des responsabilités nécessaires ?
- Les acteurs-trices disposaient-ils/elles des compétences spécialisées nécessaires ?
- Y avait-il suffisamment de ressources à disposition ?
- Pour quelles raisons la mise en œuvre n’a-t-elle pas fonctionné (comme prévu) ?
- Quelles améliorations sont nécessaires au niveau de la mise en œuvre ?
Questions d'évaluation concernant les prestations (output)
Avec les questions d’évaluation concernant les prestations, on évalue dans quelle mesure les prestations visées ont bien été fournies en ce qui concerne le type, la quantité et la qualité.
Le domaine des prestations se prête particulièrement bien pour impliquer les enfants et les jeunes dans le processus d’évaluation étant donné qu’en tant que groupe cible central ils/elles voient et expérimentent directement les prestations. Si les prestations de l’animation socioculturelle enfance et jeunesse doivent être évaluées, les enfants et les jeunes, en tant que bénéficiaires principaux-ales des prestations, doivent être interrogé-e-s sur leur appréciation. Il est également recommandé d’interroger régulièrement les enfants et les jeunes à propos de leur satisfaction.
Questions descriptives concernant les prestations (exemples) :
- De quelle façon et en quelle quantité les offres et services ont-ils été réalisés (par exemple, combien, à quelle heure, à quels endroits, etc.) ?
- Quels groupes cibles ont pu être atteints par les prestations ?
- Combien de participant-e-s a-t-on compté-e-s ?
Questions évaluatives concernant les prestations (exemples) :
- Les prestations visées étaient-elles adaptées à la situation de départ ?
- Dans quelle mesure les objectifs de prestation ont-ils été atteints ?
- IDans quelle mesure la composition du groupe de participant-e-s a-t-elle correspondu aux objectifs (âge, genre, etc.) ?
- Dans quelle mesure le nombre de participant-e-s a-t-il correspondu aux objectifs ?
- Dans quelle mesure les offres et services ont-ils correspondu aux besoins des participant-e-s/des groupes cibles ? Quel était le degré de satisfaction de ces derniers ?
- Pour quelles raisons la ou les prestations n’ont-elles pas pu être fournies (comme prévu) ?
- Quelles améliorations sont nécessaires au niveau des prestations ?
Questions d'évaluation concernant les effets sur les groupes cibles (outcome)
Les questions d’évaluation concernant les objectifs d’efficacité devraient montrer dans quelle mesure il y a eu des transformations dans les groupes cibles. Pour cet élément-là aussi, il est important d’impliquer les enfants et les jeunes dans l’évaluation.
Questions descriptives concernant les effets (exemples) :
- Peut-on constater des transformations au niveau du comportement, de l’attitude ou de la posture des groupes cibles ?
Questions évaluatives concernant les effets (exemples) :
- Dans quelle mesure les groupes cibles ont-ils changé leur comportement/attitude/posture de la manière voulue ?
- Dans quel rapport (proportionnel) se trouvent les efforts fournis et les effets atteints auprès des groupes cibles ?
- Pour quelles raisons la transformation souhaitée/le développement voulu n’ont-ils pas pu être atteints ?
- Les effets visés étaient-ils réalistes ?
- Quelles améliorations sont nécessaires au niveau des effets ?
Questions d’évaluation concernant les effets sur l’environnement élargi (impact)
Les évaluations examinent dans quelle mesure le comportement modifié des groupes cibles a mené à l’évolution désirée dans l’environnement élargi ou a contribué à la solution du problème en question. Les impacts (effets sur l’environnement élargi) ne doivent en général pas être recensés par l’animation socioculturelle enfance et jeunesse elle-même.
Questions d’évaluation concernant les effets sur l’environnement élargi (exemple) :
- Y a-t-il des indices montrant qu’il y a des changements/développements dans la direction voulue ?
Questions évaluatives concernant les effets sur l’environnement élargi (exemples) :
- Quelle est la contribution que l’animation socioculturelle enfance et jeunesse a apportée à la transformation/au développement souhaités dans la société ?
- Quelles sont les raisons possibles pour lesquelles la transformation/le développement souhaités n’ont pas pu être atteints ?
Pour chaque élément du modèle d’impact, vous pouvez vous aider, pour la définition des questions d’évaluation, des critères de qualité formulés par l'AFAJ. Dans l’idéal, vous avez déjà intégré les critères de qualité pertinents dans le modèle d’impact que vous avez rempli en vue de préparer l'évaluation. Si vous avez sauté cette étape, vous pouvez tout de même vous servir des critères de qualité pour la formulation des questions d’évaluation. Pour cela, choisissez les critères de qualité pertinents et utilisez-les comme inspiration pour la formulation des questions d’évaluation.