Anwendung der Zielerreichungsskalen

Auswahl der Ziele und Formulierung der Zielerreichungsskalen

In die Anwendung von Zielerreichungsskalen wurde im Rahmen der Vernetzungs-tagung im Mai 2009 eingeführt. Neben der generellen Vorstellung der Methode wurde in diesem Rahmen die Einordnung und Typisierung von Zielen und die Ab-grenzung gegenüber Maßnahmen thematisiert. Als weitere Orientierung für die Auswahl der Ziele wurden den Aktionsbündnissen die „SMART“-Kriterien an die Hand gegeben. Die „SMART“-Kriterien konkretisieren die Forderung nach präzise formulierten Zielsetzungen: Spezifisch –Messbar – Anspruchsvoll – Realistisch und Terminiert sollen Ziele sein, die diesen Kriterien entsprechen (Doran 1981).

Als weitere Unterstützung wurde den Aktionsbündnissen ein jeweils eintägiger, bündnisinterner Workshop für die Auswahl der Ziele, Festlegung der Indikatoren und Formulierung der Zielerreichungsskalen angeboten. An diesen Workshops sollten auch die Kernakteurinnen und -akteure und damit in einigen Bündnissen auch Vertreterinnen und Vertreter der Zielgruppe beteiligt werden.

Dieses Angebot wurde von den Aktionsbündnissen unterschiedlich in Anspruch genommen: In sieben Aktionsbündnissen wurde der Workshop als Ganztagesver-anstaltung (über 6 Stunden) und in zwei Bündnissen als HalbtagesverGanztagesver-anstaltung (weniger als 4 Stunden) durchgeführt. In einem Bündnis wurde anstelle des Workshops die Methode im Rahmen einer Sitzung des Steuerkreises vorgestellt und ein Bündnis hat auf das Angebot vollständig verzichtet. Insgesamt war der Koordinationsaufwand für terminliche Festlegung der Workshops höher als erwar-tet. Die Workshops konnten daher nicht wie zunächst geplant bis zur Sommerpau-se 2009 abgeschlosSommerpau-sen werden, sondern zogen sich bis September 2009 hin. In einem Bündnis konnte erst im November 2009 ein Termin organisiert werden.

Insgesamt haben jeweils 5-10 Teilnehmerinnen und Teilnehmer an den Workshops teilgenommen und die Zusammensetzung variierte: In drei Bündnissen wurde nur die Steuerungsebene einbezogen, in den übrigen Bündnissen waren auch Akteu-rinnen und Akteure eingebunden, die direkt an der Umsetzung der Maßnahmen beteiligten waren.

In den sieben Aktionsbündnissen, in denen Tagesworkshops mit Beteiligung der Kernakteurinnen und -akteure durchgeführt wurden, ist es gelungen, die drei Zieler-reichungsskalen vollständig oder nahezu vollständig zu formulieren. Die Formulie-rung der Zielerreichungsskalen in den übrigen Bündnissen hat sich noch über län-gere Zeit hingezogen. Von einem Bündnis wurde die Formulierung der Skalen erst im April 2010 abgeschlossen, ein Bündnis hat letztlich vollständig auf die Anwen-dung von Zielerreichungsskalen verzichtet.

Zusammenfassend sind somit zehn Aktionsbündnisse der Einladung nachgekom-men und haben Goal Attainnachgekom-ment Scaling für unterschiedliche Ziele ihrer Netzwerke

Seite 31 von 143

eingesetzt.¹¹ Es wurden insgesamt 35 Zielerreichungsskalen gebildet, davon 30 zunächst für Zwischenziele. Für den überwiegenden Teil dieser Skalen wurde ein Zwischenziel gebildet und für insgesamt vier Skalen jeweils drei Zwischenziele gebildet. Diese Ziele wurden zum Zeitpunkt ihrer Terminierung im Prozess (zwi-schen)bewertet und anschließend fortgeschrieben.

Fortschreibung der Zielerreichungsskalen

Als Unterstützung für die Fortschreibung der Zielerreichungsskalen wurde den Ak-tionsbündnissen die Möglichkeit der Überprüfung der Formulierungsvorschläge oder die Durchführung eines zweiten Workshops angeboten. Zwei Aktionsbündnis-se haben das Angebot zur Durchführung eines erneuten Workshops in Anspruch genommen. Die Entwürfe für die Fortschreibung der Zielerreichungsskalen der übrigen Aktionsbündnisse wurden anhand folgender Kriterien überprüft:

Vollständigkeit der Datierung und der Zielerreichungsgrade (5 Stufen) Eindeutigkeit/Verständlichkeit der Formulierungen

Anzahl der Variablen (lassen sich alle denkbaren Ergebnisse eindeutig zu-ordnen, gibt es Überschneidungen bzw. Lücken zwischen den Bewer-tungsstufen)

Berücksichtigung aller denkbaren Ergebnisse.

Bei mehr als der Hälfte der Formulierungen waren Anpassungen bzw. Änderungen erforderlich. Meist wurden innerhalb der Skala mehrere Indikatoren kombiniert, so dass eine eindeutige Bewertung evt. nicht möglich sein würde. In einzelnen Fällen fehlte auch die Datierung.

Aus zeitlicher Sicht erwies sich auch der Prozess für die Fortschreibung der Zieler-reichungsskalen als aufwändig und beanspruchte in der Regel mehrere Wochen oder auch Monate. Als Grund dafür wurde vielfach die Dauer der Abstimmungspro-zesse innerhalb der Aktionsbündnisse genannt.

Vorgehen bei der Bewertung

Für die Bewertungen der Zielerreichungen wurden Telefoninterviews durchgeführt, in Einzelfällen wurde die Bewertung einer Skala auch per E-Mail durchgeführt. Das jeweils erste und letzte Interview zur Bewertung einer Zielerreichungsskala wurde mit Fragen über die allgemeine Einschätzung der Anwendung von Zielerreichungs-skalen verknüpft (s. dazu auch die Interviewleitfäden im Anhang).

Die Fragen im Rahmen des jeweils ersten „erweiterten“ Interviews wurden für jede Zielerreichungsskala an die Projektkoordination sowie eine Vertreterin bzw. einen Vertreter der Akteure gerichtet. Die Fragen bezogen sich darauf, in welcher Weise die Anwendung der Zielerreichungsskalen die Arbeit beeinflusst hat, ob Zielerrei-chungsskalen als unterstützendes Instrument für die Qualitätsentwicklung einge-schätzt werden und wie der zeitliche/organisatorische Aufwand beurteilt wird.

11 Unabhängig davon wurden die Zielerreichungsskalen auch für die Ziele des Evaluations-projekts verwendet. Es wurden insgesamt acht Ziele formuliert und in eine Zielerreichungs-skala überführt.

Seite 32 von 143

Im Rahmen des zweiten „erweiterten“ Interviews wurde je ein Interview mit der Projektkoordination bzw. -leitung der Aktionsbündnisse geführt. Die Fragen dieses Interviews fokussierten auf die Einschätzung von Zielerreichungsskalen für die Ergebnisevaluation sowie die Implementation des Instruments in den Arbeitsalltag.

Alle „erweiterten“ Interviews wurden - soweit ein Einverständnis dafür gegeben wurde - aufgenommen, transkribiert und bündnisübergreifend ausgewertet. Im Rahmen des ersten „erweiterten“ Interviews wurden 38 Gespräche, im Rahmen des zweiten „erweiterten“ Interviews zehn Gespräche geführt.

4.3.3. Internetseite

Im Rahmen des BMBF-Förderschwerpunktes „Präventionsforschung“ wurden durch das IPP Bremen bereits Instrumente zur Evaluation von Maßnahmen der ernährungs- und bewegungsbezogenen Prävention bei sozial benachteiligten Kin-dern, Jugendlichen und jungen Erwachsenen erarbeitet und im Rahmen der Platt-form www.evaluationstools.de zur Verfügung gestellt. Darauf aufbauend wurde ein

„Anforderungskatalog“ an die Erweiterung dieser Webseite erarbeitet, der als Basis für die (begrenzte) Ausschreibung der benötigten Programmierungsleistung ver-wendet wurde. Dieser Pflichtenkatalog enthielt folgende Angaben:

Integration der bisherigen Inhalte auf www.evaluationstools.de Instituts-unabhängigeres Design von www.evaluationstools.de

Weiternutzung und Aktualisierung des bestehenden Redaktionssystems (Redaxo)

Umzug auf einen (von der Universität Bremen) unabhängigen Host Geschätzter Seitenumfang der inhaltlichen Erweiterung (75-80 Seiten) Integration eines Evaluationselements, das neben Zugriffsstatistiken auch

interaktive Formen der Rückmeldung ermöglicht

Integration eines geschützten Zugangsbereich für den Austausch von Do-kumenten mit den Aktionsbündnissen.

Nach der Entscheidung über die Vergabe der Programmierung wurden außerdem eine detaillierte Gliederung sowie Vorschläge für die grafische Gestaltung zur Ver-fügung gestellt.

Die erweiterte Internetseite konnte im März 2010 freigeschaltet werden. Sie um-fasst einerseits allgemeine Ausführungen zum Thema Evaluation, darin ansprech-bare Qualitätsdimensionen und häufig gestellte Fragen. Außerdem ein Set aus 27 Instrumenten, darunter Fragebögen, Checklisten sowie ein Motoriktest. Alle Instru-mente sind in ihrer Anwendung erprobt und – sofern vorliegend – in ihren wissen-schaftlichen Eigenschaften im Rahmen des Steckbriefs beschrieben. Sie enthält außerdem eine Literaturliste und Links zu anderen Informationsquellen im Bereich Qualitätsentwicklung und Evaluation.

Die Pflege und Aktualisierung der Webseite wurde im Förderzeitraum fortlaufend vorgenommen. Dabei wurden die in der Evaluation der Aktionsbündnisse einge-setzten Instrumente, daraus resultierende (Zwischen-)Ergebnisse und

Veröffentli-Seite 33 von 143

chungen stets transparent auch einer breiteren Öffentlichkeit zur Verfügung ge-stellt.

4.3.4. Vernetzungstagung im Haus der Wissenschaften (Bremen)