«Wir gestalten unsere Zukunft nach den Erkenntnissen aus der Vergangenheit.» Thomas Hobbes (1588- 1679)

Bestehendes BEWERTEN –
Schritt 1:
Evaluationsfragestellungen entwickeln

Grundlage jeder Beurteilung der offenen Kinder- und Jugendarbeit sind die Evaluationsfragestellungen. Darunter wird ein Set an Fragen verstanden, das festhält, welche Informationen die Evaluation bereitstellen soll. Sie definieren damit, was Sie mit der Evaluation herausfinden wollen. Es wird unterschieden zwischen Evaluationsfragestellungen und Fragen (Items), welche in Fragebogen, Interviewleitfaden usw. vorkommen.

Meistens gibt es mehr Fragestellungen, als eine Evaluation im gegebenen finanziellen und zeitlichen Rahmen beantworten kann. Deshalb müssen immer Prioritäten gesetzt werden. Das Quali-Tool konzentriert sich auf deskriptive Fragestellungen (beschreibend, z. B. «was fand statt?») und auf evaluative Fragestellungen (bewertend, z. B. «führte das Programm zu den gewünschten Resultaten?»).

Für jedes Element des Wirkungsmodells können Evaluationsfragestellungen formuliert werden. Nachfolgend werden Beispiele von Evaluationsfragestellungen zu den einzelnen Elementen eines Wirkungsmodells aufgeführt:

Evaluationsfragestellungen zu den Grundlagen

Evaluationsfragestellungen zu den Grundlagen dienen der Beurteilung der Qualität und der Schlüssigkeit bzw. inneren Logik der Grundlagen.

Deskriptive Fragestellungen zu den Grundlagen (Beispiele):

  • Welche Grundlagen bestehen (in der Gemeinde) als Basis für die Konzeption?
  • Welche Ziele waren vorhanden und in welchen Bereichen?
  • Waren die Zielgruppen benannt (Alter usw.)?
  • War definiert, wer welche Ziele erreichen soll (= Zielträger)?

Evaluative Fragestellungen zu den Grundlagen (Beispiele):

  • Inwiefern beruhten die definierten Leistungs- und Wirkungsziele sowie die geplante Umsetzung auf bestehenden Grundlagen?
  • Inwiefern war definiert, wann die Ziele erreicht sind und innerhalb welcher Zeit?
  • Passten die anvisierten Massnahmen / Methoden zu den Leistungs- und Wirkungszielen?
  • Welchen Verbesserungsbedarf gibt es auf der Ebene der Grundlagen?

Evaluationsfragestellungen zur Umsetzung

Mit den Evaluationsfragestellungen zur Umsetzung der offenen Kinder- und Jugendarbeit wird untersucht, ob die vorhandenen Strukturen, Ressourcen und Arbeitsabläufe zur Umsetzung der Konzeption ausreichend vorhanden, geeignet, wirksam und effizient sind.

Deskriptive Fragestellungen zur Umsetzung (Beispiele):

  • Welche Organisationsstruktur (Organigramm) und welche Verantwortlichkeitsregelungen waren vorgesehen? Welche Akteur/-innen waren an der Umsetzung beteiligt?
  • Inwieweit sind die Verantwortlichkeiten den beteiligten Akteur/-innen bekannt?
  • Wie arbeiteten die Beteiligten zusammen?
  • Wie waren die Prozesse gestaltet (Arbeitsabläufe, Reflexion/Qualitätssicherung/Evaluation, Vernetzung usw.)?
  • Welche Ressourcen standen zur Verfügung und wofür (finanziell, personell, Infrastruktur, Fachkompetenzen usw.)?

Evaluative Fragestellungen zur Umsetzung (Beispiele):

  • Waren die richtigen Akteur/-innen beteiligt?
  • Wie war die Qualität der Zusammenarbeit?
  • Inwieweit waren die Arbeitsabläufe geeignet?
  • Verfügten die Akteur/-innen über die notwendigen Entscheidungskompetezen und Verantwortlichkeiten?
  • Verfügten die Akteur/-innen über die notwendigen Fachkompetenzen?
  • Standen ausreichend Ressourcen zur Verfügung?
  • Welche Gründe waren dafür verantwortlich, dass die Umsetzung nicht (wie geplant) funktionierte?
  • Welchen Verbesserungsbedarf gibt es auf der Ebene der Umsetzung?

Evaluationsfragestellungen zu den Leistungen (Outputs)

Mit den Evaluationsfragestellungen zu den Leistungen wird beurteilt, wie gut die anvisierten Leistungen erbracht wurden bezüglich Art, Anzahl und Qualität.

Der Bereich der Leistungen eignet sich besonders gut, Kinder und Jugendliche in den Evaluationsprozess einzubeziehen, zumal sie als wohl zentralste Zielgruppe die Dienstleistungen direkt sehen und erfahren. Wenn die Leistungen der offenen Kinder- und Jugendarbeit beurteilt werden sollen, müssen Kinder und Jugendliche als die hauptsächlichen Leistungsempfänger/-innen nach ihrer Einschätzung gefragt werden. Es empfiehlt sich auch, die Kinder und Jugendlichen regelmässig zu ihrer Zufriedenheit zu befragen.

Deskriptive Fragestellungen zu den Leistungen (Beispiele):

  • In welcher Art und in welcher Menge wurden die Produkte und Dienstleistungen realisiert (z. B. wie viele, zu welchen Zeiten, an welchen Orten usw.)?
  • Welche Zielgruppen konnten mit den Leistungen erreicht werden?
  • Wie viele Teilnehmende waren zu verzeichnen?

Evaluative Fragestellungen zu den Leistungen (Beispiele):

  • Passten die anvisierten Leistungen zur Ausgangslage?
  • In welchem Mass konnten die Leistungsziele erreicht werden?
  • Inwieweit entsprach die Zusammensetzung der Teilnehmenden den Zielsetzungen (Alter, Geschlecht usw.)?
  • Inwieweit entsprachen die Teilnehmendenzahlen den Zielsetzungen?
  • Inwieweit entsprachen die Produkte und Dienstleistungen den Bedürfnissen der Teilnehmenden/der Zielgruppen? Wie zufrieden waren sie damit?
  • Welche Gründe waren dafür verantwortlich, dass die Leistung/en nicht (wie geplant) erbracht werden konnten?
  • Welchen Verbesserungsbedarf gibt es auf der Ebene der Leistungen?

Evaluationsfragestellungen zu den Wirkungen bei den Zielgruppen (Outcomes)

Die Evaluationsfragestellungen zu den Wirkungszielen sollen zeigen, inwiefern sich Veränderungen bei den Zielgruppen eingestellt haben. Auch bei diesem Element ist es wichtig, Kinder und Jugendliche in die Evaluation einzubeziehen.

Deskriptive Fragestellungen zu den Wirkungen (Beispiel):

  • Lassen sich bei den Zielgruppen Veränderungen in Bezug auf das Verhalten, die Einstellung oder die Haltung feststellen?

Evaluative Fragestellungen zu den Wirkungen (Beispiele):

  • Inwieweit haben die Zielgruppen ihr Verhalten/Einstellung/Haltung in der beabsichtigten Weise geändert?
  • In welchem Verhältnis steht der erbrachte Aufwand zu den Wirkungen bei den Zielgruppen?
  • Welche Gründe waren dafür verantwortlich, dass die gewünschte Veränderung/Entwicklung nicht erreicht werden konnte?
  • Waren die anvisierten Wirkungen realistisch?
  • Welchen Verbesserungsbedarf gibt es auf der Ebene der Wirkungen?

Evaluationsfragestellungen zu den Wirkungen im weiteren Umfeld (Impacts)

Evaluationen untersuchen, inwieweit das veränderte Verhalten der Zielgruppen die gewünschte Entwicklung im weiteren Umfeld hervorgebracht hat oder zur Lösung des anvisierten Problems beitrug. Die Impacts (Wirkungen im weiteren Umfeld) müssen in der Regel nicht von der offenen Kinder- und Jugendarbeit selber erhoben werden.

Deskriptive Fragestellungen zu den Wirkungen im weiteren Umfeld (Beispiel):

  • Gibt es Hinweise darauf, dass Veränderungen/Entwicklungen in die gewünschte Richtung erfolgen?

Evaluative Fragestellungen zu den Wirkungen im weiteren Umfeld (Beispiele):

  • Welchen Beitrag leistet die offene Kinder- und Jugendarbeit an die gewünschte Veränderung/Entwicklung in der Gesellschaft?
  • Welche Gründe können dafür verantwortlich sein, dass die gewünschte Veränderung/Entwicklung nicht erreicht werden konnte?

Bei allen Elementen gilt, dass Sie für die Definition von Evaluationsfragestellungen die vom DOJ formulierten Qualitätsmerkmale als Unterstützung beiziehen können. Idealerweise haben Sie die relevanten Qualitätsmerkmale bereits in Ihrem Wirkungsmodell integriert, als Sie zur Vorbereitung der Evaluation ein solches erstellt haben. Auch wenn Sie diesen Schritt ausgelassen haben, können Sie die Qualitätsmerkmale dennoch zur Formulierung der Evaluationsfragestellungen einbeziehen. Wählen Sie dafür die relevanten Qualitätsmerkmale aus und nutzen Sie diese als Anregung für die Formulierung der Evaluationsfragestellungen.