• Keine Ergebnisse gefunden

7. Erfahrungen und Methodenkritik

7.3. Tauglichkeit der entwickelten Instrumente für die Evaluation

7.3.2. Dokumentationsbögen

Die regelmäßige Erfassung der Arbeitsabläufe im Dokubogen sollte es ermögli-chen, diesbezügliche Veränderungen, Probleme und ihre Lösungen im Prozess zeitnah zu erheben, auszuwerten und rückzumelden und die Aktivitäten fortlaufend festzuhalten, um die Dynamik solch komplexer Projekte abzubilden. Die ersten drei Bögen enthielten dasselbe Grundgerüst an Fragen und beschäftigten sich vorran-gig mit der Erfassung der Aktivitäten auf Angebotsebene sowie dem Aufbau und der Verstetigung von Bündnisstrukturen. Weitere Themen waren Änderungen in den Arbeitstrukturen, Zuständigkeiten und Ressourcen, Schwierigkeiten in der Kommunikation und Konflikte unter den Partnerinnen und Partnern. Ab dem vierten Bogen wurden Fragen je nach Bedarf gestrichen, modifiziert oder neu integriert.

Diese flexible Handhabung des Bogens ermöglichte es, auf aktuelle Geschehnisse und Anforderungen im Projektverlauf zu reagieren und die Fragestellungen an die Bedürfnisse der Bündnisse und des Evaluationsprojekts anzupassen.

Die offen formulierten Fragen nach den Angeboten, die auf Bündnisebene planmä-ßig durchgeführt, nicht umgesetzt oder zusätzlich zur Planung im Antrag durchge-führt werden konnten, ergab für jedes Quartal pro Bündnis mehr oder weniger um-fangreiche Listen in unterschiedlicher Ausführlichkeit. Leider boten diese für das Evaluationsvorhaben keinen Anhaltspunkt der zeitnahen Auswertung, da eine Ver-zögerung in der Durchführung ja keinesfalls ein Nicht-Zustandekommen bedeutete.

Den Verzögerungen konnten zudem – außer der verzögerten Mittelbewilligung durch den Projektträger – keine verallgemeinerbaren Begründungen zugeordnet werden, deren Kenntnis für andere Bündnisse hilfreich hätte sein können. Da eini-ge Bündnisse die Bearbeitung dieser Fraeini-gen jedoch als gute Reflexionsmöglichkeit für den Ablauf ihrer bündnisinternen Aktivitäten ansahen (vgl. den folgenden Ab-schnitt zur Unterstützung der Qualitätsentwicklung in diesem Kapitel), stand sie ab dem 5. Dokubogen (Mai 2010) optional zur Beantwortung zur Verfügung.36 Die abschließenden Angaben zur (Nicht-)Umsetzung geplanter Aktivitäten wurden zum Ende der Durchführungsphase im 2. Raster zur Erfassung der Prozessqualität er-fasst. Die im Dokubogen erhobenen Daten konnte somit zwar nicht für eine zeitna-he Rückmeldung an die Bündnisse eingesetzt werden, sie konnten jedoch die Vor-bereitung des 2. Rasters erheblich erleichtern. Die zeitnahe Abfrage der zusätzlich (nicht im Antrag vorgesehenen) durchgeführten Aktivitäten erwies sich als erfolg-reich, da diese sporadischen oder einmaligen und besonderen Aktivitäten nach Ablauf der zwei Jahre von den Bündnissen vermutlich nicht vollständig erinnert worden wären.

Für die offen gestellte Frage zum Aufbau und der Verstetigung von Bündnisstruktu-ren zeichnete sich ab, dass eine vorstrukturierte Abfrage anhand der Angaben aus den ersten drei Bögen ebenso möglich und dabei sowohl für die Bündnisse als auch die Auswertung zeitsparend war. Allerdings musste aufgrund dieser Änderung

36 Immerhin sechs (5. Dokubogen), bzw. zehn Bündnisse (6./7. Bogen) haben diese freiwilli-ge Option freiwilli-genutzt und ihr Aktivitäten weiterhin einfreiwilli-getrafreiwilli-gen.

Seite 122 von 143

auf die Begründung für möglicherweise nicht durchgeführte Aktivitäten zur Struk-turbildung verzichtet werden.

Die (teilstandardisierten) Fragen zur Anpassung von Arbeitstrukturen, Zuständig-keiten und Ressourcen verloren im Prozessverlauf an Bedeutung und Aussage-kraft. Letztlich kann dies als Pluspunkt für die Planungsqualität aller Bündnisse angesehen werden, da nur geringfügige Änderungen notwendig waren und die Arbeitsorganisation überwiegend wie im Antrag formuliert beibehalten werden konnte. Entsprechend wurde ab dem vierten Bogen auf diese Fragen verzichtet, um Raum für andere Fragestellungen zu schaffen.

Die (teilstandardisierte) Frage zu Kommunikation und Informationsfluss im Bündnis verschmolz inhaltlich sehr stark mit der Frage nach auftretenden Konflikten unter den Kooperationspartnern. Die Bündnisse zeigten hier eine sehr uneinheitliche Einschätzung und Einordnung ihrer Schwierigkeiten in die Kategorien Kommunika-tionsproblem vs. Konflikt, die vermutlich auf eine mangelnde Trennschärfe der Fra-geformulierungen zurückzuführen ist (beide Fragen hätten zusammengefasst wer-den können und sind schließlich auch gemeinsam ausgewertet worwer-den).

Das Stimmungsbarometer spiegelte in der Gesamtschau sehr deutlich die Stim-mung in den Bündnissen wider. Gerade die verzögerte Mittelbewilligung und die Mittelkürzung zum Ende hin schlugen sich in den Barometern in deutlich schlechte-ren Werten nieder. Auch gravieschlechte-rende Probleme mit einem Hauptpartner drückten sich in einem Bündnis deutlich in den Schwankungen der Stimmungskurve aus.

Allerdings blieb für das Evaluationsvorhaben hier keine spezielle Möglichkeit der bündnisübergreifenden Auswertung, sodass der Nutzen der Barometer alleine in der Reflexion und Spiegelung der Stimmung in den bündnisinternen Arbeitsver-bänden liegt.37

Unterstützung der Qualitätsentwicklung in den Bündnissen

Auch wenn der Dokubogen ursprünglich ein reines Evaluationsinstrument sein sollte, wurde im Verlauf des Projekts deutlich, dass die durch ihn angeregte regel-mäßige Abfrage der bündnisinternen Abläufe einigen Bündnissen eine zusätzliche Unterstützung bot. Nach Ablauf eines Jahres wurden die Aktionsbündnisse daher explizit dazu befragt, ob sie die wiederholte Beantwortung der Frage zu den laut Antrag durchzuführenden Aktivitäten38 unterstützt hätte, die Bündnisarbeit zu re-flektieren und nötigenfalls zu optimieren. Immerhin fünf der elf befragten Bündnisse gaben hier ein „ja/eher ja“ an. Zwei Zitate aus dem Dokubogen vom Februar 2010 illustrieren den unterstützenden Charakter des Instruments. Der Dokubogen

„hilft zu reflektieren, warum Maßnahmen nicht wie geplant durchgeführt werden konnten. Ermöglichte somit Neustrukturierung des

37 Ein Bündnis hat sich dementsprechend durch das Barometer zu einer eigenen „Ampellö-sung“ zur Reflexion der Stimmung im Bündnis inspirieren lassen.

38 Genaue Frageformulierung: „Welche der (im Antrag) vorgesehenen Aktivitäten auf Maß-nahmeebene (z.B. Entwicklung oder Durchführung von Maßnahmen, Schulungen oder Da-tenerhebungen) konnten Sie wie geplant durchführen und welche nicht? Haben Sie über den Antrag hinausgehende Aktivitäten durchführen können?“

Seite 123 von 143

/Zeitplans, Optimierung der Zielsetzung und half flexibel auf (unerwartete) Veränderungen zu reagieren.“

„unterstützt intensive Reflexion, ermöglicht Überblick über Gesamtheit der Maßnahmen sowie Teilziele, die sonst nicht überprüft werden, ermöglicht positives Feedback über die insgesamt geleistete Arbeit.“

Für diese beiden Bündnisse ging der Nutzen des Instruments also weit über eine Reflexion des Projektstands und die Kontrolle des Arbeitsprozesses hinaus. Sie fühlten sich unterstützt in der (manchmal spontan) notwendigen Neuausrichtung geplanter Aufgaben, sowie der Anerkennung von Teilzielen, die sich dann direkt als positives Feedback an die Bündnismitglieder weitergeben ließen.

Die sechs Bündnisse, für die der Dokubogen keine Unterstützung bieten konnte, gaben an, eigene Methoden und Instrumente, bzw. die regelmäßigen Steuergre-miensitzungen zur Prozessbeobachtung und Reflexion zu nutzen.

Eine weitere Frage, die die Zufriedenheit mit dem eingesetzten Instrument belegen kann, ist die nach dem freiwilligen Einsatz in zukünftigen Projekten39: Hier haben sogar sieben Bündnisse mit „ja/eher ja“ geantwortet.40 Zur Begründung hieß es, dass der Bogen ein „nützliches Instrument der schriftlichen und kompakten Über-sichtgestaltung und Aktivitätserfassung“ und „positiv für den (Zwischen-)Bericht“ zu nutzen sei. Allerdings spielte auch der extern ausgeübte „Reflexionsdruck“ eine Rolle: „Ohne die Termine von ihrer Seite wäre eine solch umfassende Maßnah-men- und damit Fortschrittserhebung nicht durchgeführt worden. Allerdings wäre damit auch die positive Selbstbeobachtung dieser Art entfallen. Und das wäre – trotz des nicht zu unterschätzenden zeitlichen Aufwandes – schade gewesen.“ Der Dokubogen verfügt demnach über Potential, Projekte im Prozessverlauf zu unter-stützen und Arbeitsabläufe zu überwachen, zu optimieren und rückzumelden. Eine Bedingung für den weiteren Einsatz ist allerdings eine Überarbeitung und Anpas-sung des Instruments für den direkten Einsatz durch Projektleitungen.

Eine zeitnahe Rückmeldung der Ergebnisse des Dokubogens an die Bündnisse ist nicht durchführbar, allerdings auch nicht Ziel führend. Da Schwierigkeiten und auch deren Lösungen in den heterogenen Bündnissen sehr speziell und – bis auf die Notwendigkeit einer verbesserten Kommunikation – eher individueller Natur sind, sind die Möglichkeiten des Erfahrungsaustauschs und Feedbacks über dieses In-strument begrenzt.

Die flexibel gehandhabte Gestaltung des Bogens ermöglicht jedoch eine zeitnahe Reaktion auf Anforderungen, die sich im Verlauf des Evaluationsvorhabens erge-ben und bietet somit die Möglichkeit Themen und Fragestellungen erschöpfend zu analysieren.

39 Können Sie sich vorstellen, diesen Dokubogen (evtl. in modifizierter Form) in einem künf-tigen Projekt auf eigene Initiative hin einzusetzen (ggf. anstelle anderer Instrumente)?

40 Die verbleibenden fünf Bündnisse bezogen sich wiederum auf die ihnen bereits bekannten Instrumente, auf die sie sich auch zukünftig verlassen wollen. Ein Bündnis hätte sich eher ein Instrument gewünscht,„welches auch noch einmal ein Querdenken innerhalb der Struk-turen fördert.“

Seite 124 von 143

Auch bietet der Dokubogen die Möglichkeit, durch regelmäßige Kontrolle und Re-flexion von Arbeitsplänen und -abläufen Projekte in ihrer Qualitätssicherung und -entwicklung zu unterstützen. Ein guter Beleg für die Nützlichkeit des Instruments ist das Ergebnis, dass die Mehrheit der Bündnisse sich vorstellen kann, ihn zukünf-tig – in modifizierter Form – für eigene weitere Projekte einzusetzen.