• Keine Ergebnisse gefunden

7. Erfahrungen und Methodenkritik

7.3. Tauglichkeit der entwickelten Instrumente für die Evaluation

7.3.3. Leitfadeninterviews

Um die Struktur und Arbeitsweise aller Aktionsbündnisse detaillierter abbilden zu können als es mit den Angaben aus dem Antrag möglich war, wurden zu Beginn der Durchführungsphase strukturierte Leitfadeninterviews mit der Projektkoordi-nation und jeweils zwei Akteuren pro Bündnis durchgeführt. Ziel war es zudem, jene in der Struktur und Arbeitsweise liegenden Faktoren zu identifizieren, die eine erfolgreiche Bündnisarbeit befördern oder behindern. Die Interviews fokussierten entsprechend auf strukturelle und organisatorische Fragen, wie z. B. die Zusam-mensetzung der Aktionsbündnisse; Arbeitsstrukturen und Projektsteuerung; Infor-mationsaustausch, Kommunikation und Entscheidungsprozesse. Es hat sich ge-zeigt, dass die Informationen aus dem Antrag durch die Interviews umfassend er-gänzt werden konnten und zum Verständnis der Funktionsweisen der einzelnen Bündnisse beitragen konnten. Der Befragungszeitpunkt erwies sich jedoch für ein-zelne Fragestellungen als noch zu früh, da sich bspw. die Kommunikationsstruktu-ren im Bündnis aufgrund der verspäteten Mittelzusage durch den Förderer noch nicht ausreichend etabliert hatten.41

Die Vermutung, dass sich auf Bündnis- und Projektleitungsebene unterschiedliche Perspektiven auf die Arbeitsweise im Bündnis ergeben würden, hat sich nicht bes-tätigt. Gravierende Unterschiede in den Aussagen der drei befragten Personen – also den zwei Akteurinnen oder Akteuren einerseits und der Projektkoordination andererseits – ließen sich nicht feststellen. Der einzige Unterschied bezog sich auf die etwas geringere Detailkenntnis der Befragten auf Bündnisebene. Von daher wäre es in diesem Fall ausreichend gewesen, sich für das erste Interview auf die Projektkoordination zu beschränken, da diese im Unterschied zu den Akteurinnen und Akteuren am besten über die Strukturen des Aktionsbündnisses informiert war.

Das zweite Interview nach Ablauf eines Jahres beinhaltete Bewertungen bzw.

Einschätzungen zum Verlauf und den Ergebnissen der Bündnisarbeit (Konkurrenz, Synergieeffekte, Nachhaltigkeit, förderliche und hinderliche Bedingungen für Netz-werkarbeit). Dieses Interview wurde ausschließlich mit jeweils einem/-r Akteur/-in geführt, um die Einschätzungen aus der Praxis zu erhalten. Es sollte eine Ergän-zung zu den von den Koordinationen während der Durchführungsphase mit Hilfe der Dokumentationsbögen und dem 2. Raster eingeholten Auskünften darstellen.

Außerdem können vor allem die Akteure und Akteurinnen Informationen über die von ihnen erlebte Arbeitsweise und bereits erfolgte Strukturbildung in den Aktions-bündnissen geben. Dieses Vorgehen hat sich bewährt, da vor allem zu Konkurrenz und Synergieeffekten dezidierte und individuell gefärbte Aussagen von den

41 Diese Informationen ließen sich allerdings problemlos über den Dokubogen nacherheben.

Seite 125 von 143

ten getroffen werden konnten, die auf Koordinationsebene möglicherweise nur mittelbar verfügbar bzw. stark gefiltert gewesen wären. Die Fragen zum Stand der nachhaltigen Sicherung von Arbeitsstrukturen und Angeboten wiederum wären besser an die Koordinationen gerichtet worden, da die Kenntnis einzelner Bündnis-partnerinnen und -partner hierüber natürlich eingeschränkt war und ausschließlich für den eigenen Aktivitätsbereich befriedigend beantwortet werden konnten.

Zusammenfassend lässt sich sagen, dass die Leitfadeninterviews die gewünschten Informationen in vollem Umfang generieren konnten. Nicht zu unterschätzen ist allerdings die Herausforderung, die Auswahl der zu befragenden Personen genau auf die zu erhebenden Fragestellungen abzustimmen. Natürlich muss auch der Zeitpunkt der Befragung sorgsam gewählt und notfalls verschoben werden, wenn die äußeren Rahmenbedingungen sich ändern und damit zu rechnen ist, das ge-wünschte Informationen noch nicht vorliegen. Leitfadeninterviews sind generell gut geeignet, um als externes Evaluationsvorhaben Einblick in die Arbeitsweisen eines Netzwerks zu erlangen.

7.3.4. Raster zur Erfassung der Prozessqualität

Mit dem zweiten Raster sollte erfasst werden, welche der im Antrag vorgestellten und über das erste Raster zur Struktur- und Planungsqualität analysierten Ziele, Aktivitäten und Maßnahmen sowie Evaluationsvorhaben tatsächlich erreicht bzw.

umgesetzt werden konnten. Weiterhin wurde die Beteiligung von Akteur/-innen und Zielgruppe detailliert für Planung, Durchführung und Evaluation der einzelnen Akti-vitäten erfragt und außerdem die subjektiv größten Erfolge der Bündnisarbeit eru-iert. Das Instrument wurde bündnisspezifisch durch die wissenschaftliche Beglei-tung vorbereitet und vorab mit den bereits aus anderen Instrumenten vorliegenden Daten ausgefüllt.

Auf Maßnahmeebene konnte die im Dokubogen über den Projektverlauf erhobene Umsetzung einzelner Maßnahmen mit dem zweiten Raster abgeschlossen werden.

Diese Erhebung lieferte ein umfangreiches Bild über die erfolgreiche (oder auch problembehaftete) Durchführung der geplanten Maßnahmen in den Aktionsbünd-nissen.

Die detaillierte Erfassung der Partizipation von Akteur/-innen und Mitgliedern der Zielgruppe für jede einzelne durchgeführte Maßnahme hat einen differenzierten Blick auf die Beteiligung innerhalb der Aktionsbündnisse ermöglicht. Art und Um-fang der Partizipation unterscheiden sich nicht nur zwischen den Aktionsbündnis-sen, sondern auch innerhalb der Aktionsbündnisse zwischen den einzelnen Aktivi-täten. Dieses konnte durch die differenzierte Abfrage gut abgebildet werden.

Die Angaben zu den erreichten Zielen konnten von den Koordinatorinnen und Ko-ordinatoren zu diesem Zeitpunkt nur unvollständig eingetragen werden, da in vielen Bündnissen die Ergebnisse der internen Evaluation noch nicht vorlagen. Die Analy-se zur Zielerreichung auf Maßnahmeebene war demnach bündnisübergreifend kaum möglich. Dies ist allerdings eine Frage des zur Verfügung stehenden und durch Förderlaufzeiten begrenzten Zeitrahmens und nicht dem Instrument anzulas-ten.

Seite 126 von 143

Die Frage nach den umgesetzten Evaluationsvorhaben blieb in nur einem Fall un-beantwortet und liefert ansonsten Auskünfte darüber, in welchem Umfang welche Evaluationsinstrumente zum Einsatz kamen. Dass sowohl methodisch aufwändige Instrumente, als auch die einfacheren Anspruchs mitunter in der Umsetzung prob-lematisch sind bzw. der Aufwand des eingesetzten Instruments nicht zwingend im Verhältnis zum Nutzen stehen, wurde in der Analyse sehr deutlich. Es ließ sich jedoch problemlos ein Gesamteindruck über die im Bündnis erfolgte Evaluation gewinnen.

Die Frage nach den größten Erfolgen wurde offen gestellt, entsprechend vielfältig fielen die Antworten der Aktionsbündnisse aus. Manche beschränkten sich auf ein oder zwei Nennungen, während andere sich scheinbar nicht entscheiden mochten und sämtliche Maßnahmen und Aktivitäten ihres Bündnisses aufzählten. Hier wäre möglicherweise eine begrenzende Einschränkung auf maximal drei Nennungen angebracht gewesen.

Insgesamt hat sich – wie schon beim ersten Raster – die Vorab-Erfassung und Aufbereitung der bereits vorliegenden Daten ausgezahlt: Alle Bündnisse haben sich ein letztes Mal auf die Bearbeitung eines sehr umfangreichen Dokuments ein-gelassen, obwohl sie durch die verkürzte Laufzeit noch weniger Kapazitäten für die Zusammenarbeit mit der wissenschaftlichen Begleitung hatten als vorher.

Folgendes Fazit kann gezogen werden: Für die Erfassung der Umsetzung der Pla-nungen stellt diese Form der Erhebung eine gute Möglichkeit dar: Basierend auf den Anträgen und dem Raster zur Erfassung der Planungsqualität konnten die Aktivitäten und Maßnahmen, die Zielerreichungen und Erfolge, die Beteiligung so-wie die durchgeführten Evaluationen systematisch abgefragt werden. Durch die Integration der über den Dokumentationsbogen unsystematisch erhobenen Infor-mationen seitens der wissenschaftlichen Begleitung wurde der Arbeitsaufwand für die Bündnisse so gering wie möglich gehalten. Auch die Daten der vorangegange-nen Erhebung zu den Evaluationsinstrumenten in Form von Steckbriefen wurden vorab integriert.

Die genannten Fragen zum Verlauf der Durchführungsphase haben sich über das Raster gut darstellen lassen. Einzig im Hinblick auf die Frage nach den Zielerrei-chungen gibt es deutliche Einschränkungen: Dies lässt sich durch ein externes Evaluationsprojekt nur analysieren, wenn genügend Nachlauf zum Ende der Lauf-zeit der untersuchten Projekte vorgesehen ist. Zukünftige Förderinitiativen sollten dies beachten.

Seite 127 von 143