S u s a n n e B ü h r e r, S t e p h a n i e D a i m e r

D e G E v a l - J a h r e s t a g u n g i n L i n z , 1 4 . - 1 6 . S e p t e m b e r 2 0 1 1

E VA L U AT I O N A L S L E R N M E D I U M : V O N D E N C H A N C E N U N D G R E N Z E N D E R PA R T I Z I PAT I O N

S u s a n n e B ü h r e r, S t e p h a n i e D a i m e r

Consu -mer

Umwelt -Org.

Unis HGF

DFG FhG

MPG BMBF

Sonst.

BM

Länder BT

EU Komm

. Multi-

nationals KMU-

Organ . BDI

I n h a l t

 Einleitung

 Quantitative Perspektive: Auswertungen des europäisch vergleichenden Datensatzes INNO-APPRAISAL

 Qualitative Perspektive: Ausgewählte Evaluationsbeispiele aus der Praxis

 Fazit

E i n l e i t u n g

 Ausgangsbeobachtung: Zunahme partizipativer Verfahren seit Ende der 1990er Jahre in der Evaluation FTI-politischer Maßnahmen

 Hintergrund: Zunehmende Konzeptualisierung von Evaluationen als Lernmedium in komplexen Verhandlungsarenen

 Evaluation wird zum wichtigen Bestandteil des

Politikberatungsprozesses, wo nicht mehr (nur) die Legimitation

staatlichen Handelns bzw. der Mittelverwendung im Vordergrund stehen, sondern vielmehr die Bereitstellung intelligenter Informationen zur

(politischen) Steuerung

 Diese umfassen nicht nur wissenschaftliche Expertise, sondern

zunehmend auch Prozess- und Organisationswissen; dies erfordert von der Evaluation ein aktives Einbeziehen der Akteure

Was ist der Zweck von Evaluation? Legitimation politischen Handelns ist nicht mehr allein nutzbringend, es geht auch um Lernen, wie das folgende Zitat selbst für den Aspekt der Wirkungsmessung belegt:

“The demand for impact assessment can be seen as one element of the move to a knowledge-based society. Policymakers need to know what the results of their past policies have been, and to have a better idea of what the probable results of

future policies will be. The idea of impact assessment is an obvious response to this demand,” (Miles, Cunningham et al. 2005: 141)

 Evaluation als Lernmedium kann Nutzen für den Auftraggeber stiften, indem sie

Handlungsanleitungen aufzeigt. Ob aus dem Gelernten eine Handlungsanpassung erfolgt und ob diese auf einer tatsächlichen Überzeugung beruht oder opportunistisch dem Amtserhalt / der Wiederwahl dienen soll, bleibt offen, kann aber in diesem Zusammenhang unberücksichtigt bleiben.

 Auch Stakeholder können durch die Einbeziehung in die Evaluation lernen, bzw. durch das Wissen, das sie einbringen (zurückspiegeln), den Lerneffekt des Auftraggebers erhöhen.

E i n l e i t u n g : K o n z e p t u a l i s i e r u n g v o n

E v a l u a t i o n a l s L e r n m e d i u m

Q u a n t i t a t i v e P e r s p e k t i v e : L e i t f r a g e n

Quantitative Perspektive: Auswertung des europäisch vergleichenden

Datensatzes INNO-APPRAISAL im Hinblick auf partizipative Elemente und Nutzen von formativ angelegten Evaluationen

Wie lassen sich formativ angelegte Evaluationen in der Evaluationspraxis in Europa quantitativ verorten, insbesondere:

 Zeichnen sie sich durch einen besonders „partizipativen“ Methodenmix aus?

 Wie zufrieden sind die Auftraggeber mit dieser Art Verfahren?

 Gibt es länderspezifische Erkenntnisse und Besonderheiten?

 Inno-Appraisal : Meta-Evaluation von innovationspolitischen Maßnahmen

 http://www.proinno-europe.eu/appraisal

 Projektteam: University of Manchester (MIoIR), Fraunhofer ISI, Wise Guys, Joanneum Research

 Quantitative Verortung der Evaluationspraxis in Europa

 Trendchart Policy Measure Datenbank ► Erhebung von evaluierten Maßnahmen im Bereich der Innovationspolitik

 Charakterisierung anhand eines Templates durch:

 Evaluierungsexperten: Charakteristika von Evaluationen (171 Evaluationen)

 Auftraggeber: Qualität, Nutzen, Empfehlungen (132 Evaluationen)

 Ergänzung um qualitative Interviews, vorwiegend mit Experten aus Deutschland und Österreich

I N N O - A P P R A I S A L : D a t e n g r u n d l a g e

I N N O - A P P R A I S A L : Z w e c k v o n E v a l u a t i o n e n

N=167

Formativer Ansatz ist weit verbreitet.

I N N O - A P P R A I S A L : E v a l u a t i o n s z w e c k u n d T i m i n g

Formative Ansätze finden sich nicht nur bei Ex-ante- und

Begleitevaluationen, sondern auch bei Zwischenevaluationen.

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

ex-ante accompanying interim ex-post

summative formative both

N = 158

I N N O - A P P R A I S A L : D a t e n e r h e b u n g s m e t h o d e n f o r m a t i v e r E v a l u a t i o n e n

0% 10% 20% 30% 40% 50% 60% 70% 80% 90%

Technometrics/Bibliometrics Search Peer Reviews Non-participant Surveys Focus Groups/Workshops/Meetings Document Search Participant Surveys Existing Surveys/Databases Monitoring Data Interviews

summative formative

N = 104

I N N O - A P P R A I S A L : D a t e n a n a l y s e m e t h o d e n f o r m a t i v e r E v a l u a t i o n e n

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Before/After Group Comparison Approach Network Analysis Input/Output Analysis Econometric Analysis Cost/Benefit Approach Control Group Approach Counter-Factual Approach Case Study Analysis Document Analysis Context Analysis Descriptive Statistics

summative formative

N = 104

Gibt es systematische Unterschiede zwischen formativen und summativen Evaluationen?



Bei der Datenerhebung gibt es eine Tendenz von formativen

Evaluationen zu interaktiven Erhebungsmethoden (Interviews, Fokusgruppen, Peer Reviews) und zur Dokumentenrecherche.



Während es einen spezifischen Analyse-Methodenmix für summative Evaluationen gibt (Input/Outputanalyse, kontrafaktische und

Kontrollgruppen-Ansätze), kann man von einem Methodenmix

formativer Evaluationen insofern sprechen als formative Evaluationen etwas häufiger auf deskriptiven Statistiken und Dokumentenanalyse

beruhen.

I N N O - A P P R A I S A L : D a t e n e r h e b u n g s - u n d

D a t e n a n a l y s e m e t h o d e n i m Ve r g l e i c h



Die Qualität summativer Evaluationen wird von den Auftraggebern

höher eingeschätzt als die formativer Evaluationen (vermutlich aufgrund der besseren Greifbarkeit – „hard numbers“).



Auch den Nutzen der Evaluationsergebnisse schätzen die Auftraggeber bei summativen Evaluationen höher ein als bei formativen, dies bezieht sich jedoch v.a. auf den „externen“ Nutzen, d.h. im Hinblick auf die Gestaltung anderer Politikmaßnahmen bzw. der Politik allgemein.



Dementsprechend werden summative Evaluationen häufiger als die Grundlage „größerer“ Entscheidungen angeführt, wie die Beendigung von Programmen, während formativen Evaluationen eher kleinere

Änderungen am evaluierten Programm folgen.

I N N O - A P P R A I S A L : Q u a l i t ä t , N u t z e n u n d

F o l g e n f o r m a t i v e r E v a l u a t i o n e n

 In beiden Ländern hat sich eine ausgeprägte Evaluationskultur entwickelt

(höchste Anzahl an Studien im Datensatz: Österreich N=34, Deutschland N=18 für 2002-2005)

 Hoher Anteil an formativen Studien (Österreich 53%, Deutschland 72%)

 In beiden Ländern wird überdurchschnittlich stark von interaktiven Methoden wie Fokusgruppen /Workshops u. Ä. Gebrauch gemacht.

 Die Qualität der Studien in beiden Ländern wird hoch eingeschätzt, in beiden Ländern werden häufig auch Konsequenzen aus den Empfehlungen beobachtet.

 Diese Ergebnisse lassen die Interpretation zu, dass Evaluation als Lernmedium einen herausgehobenen Stellenwert in Deutschland und Österreich hat.

A u s g e w ä h l t e E r g e b n i s s e d e r F a l l s t u d i e n z u

Ö s t e r re i c h u n d D e u t s c h l a n d

Q u a l i t a t i v e P e r s p e k t i v e : P r a x i s b e i s p i e l e

 Im Folgenden werden zwei Praxisbeispiele näher dargestellt, welche beide vom Fraunhofer ISI durchgeführt wurden.

 Bei beiden Programmen handelt es sich um Multi-Akteur-/Multi- Maßnahmen-Programme:

Begleitende Evaluation der Interdisziplinären Zentren für klinische Forschung an deutschen Universitätskliniken (IZKF), Laufzeit von 1995-2003

Zwischen- und Abschlussevaluation der Cluster-Offensive Bayern, in den Jahren 2008 und 2010

Q u a l i t a t i v e P e r s p e k t i v e : L e i t f r a g e n

 Welches sind die Hauptadressaten der Partizipation?

 Auf welche Weise werden die unterschiedlichen Stakeholdergruppen einbezogen?

 Welche Vor- und Nachteile hat die Partizipation zahlreicher Akteurs- Gruppen?

 Welche Gefahren bestehen hinsichtlich der Einhaltung von Evaluationsgütekriterien?

P r a x i s b e i s p i e l 1 : I Z K F - E v a l u a t i o n

Kerndaten des Projekts

 Laufzeit: 1995-2003

 Auftraggeber: BMBF

 Programm-Merkmale:

Multi-Akteur-/Multi-Maßnahmen-Programm Degressive Finanzierung

Leuchtturmprojekt des BMBF: Substantielle Fördersumme

Explizite Intendierung von Verhaltensänderungen und nachhaltige Strukturveränderungen in einem Sektor, der bis dato stark durch Selbstverwaltungsprinzipien gekennzeichnet war

 Inhaltliche Schwerpunkte der Evaluation: Organisation, neue Formen der interdisziplinären und hierarchieübergreifenden Zusammenarbeit,

(leistungsorientierte) Finanzierungsmodelle, Qualitätssicherung und

Erfolgskontrolle, Nachhaltigkeit der Verhaltensänderungen bzw. Struktureffekte

P r a x i s b e i s p i e l 1 : I Z K F - E v a l u a t i o n

Adres s aten der Partizipation

Art und Weis e des Einbezugs

Auftraggeber BMBF Regelmäßige Diskussion von Grundannahmen und Ergebnissen Projektträger DLR Feinabstimmung des Evaluationsdesigns und der

Erhebungsinstrumente, regelmäßige Zwischenberichte, intensive Verhandlungen vor Freigabe von Texten / Fallstudien

Geschäftsstellen innerhalb der IZKF

Aktive Mitwirkung an qualitativen Pretests (Erhebungsinstrumente), Ergebnispräsentationen vor dem Kreis der Geschäftsführer-/innen, intensive Diskussion erster Entwürfe zur Zentrendarstellung

(Kreis der)

Zentrensprecher

Teilnahme und Ergebnispräsentationen vor Sprecherrunde, Diskussion der Grundannahmen und Problemsichten,

Feinabstimmung von Entwürfen zur Zentrendarstellung, Diskussion der zentralen Empfehlungen

Länderministerien Expert-/inneninterviews zur Ländersicht hinsichtlich

wissenschaftspolitischer Fragen, Abgleich von Daten und Darstellungen zu Ländergesetzen bzw. Finanzierung

P r a x i s b e i s p i e l 2 : C l u s t e r- O ff e n s i v e B a y e r n

Kerndaten des Projekts

 Laufzeit: 2008 (Zwischenevaluation), 2010 (Abschlussevaluation)

 Auftraggeber: Bayerisches Staatsministerium für Wirtschaft, Infrastruktur, Verkehr und Technologie, Clusterreferat

 Programm-Merkmale:

Multi-Akteur-/Multi-Maßnahmen-Programm

Degressive Finanzierung von Clustergeschäftsstellen, keine direkte Projektförderung

Vielzahl an sich thematisch teilweise überlappenden Clustern (21)

 Inhaltliche Schwerpunkte der Evaluation: Analyse der

„Kundenzufriedenheit“ aus Wirtschaft und Wissenschaft, Leistungen beim Aufbau von regionalen Innovationsnetzwerken, Zusammenarbeit

P r a x i s b e i s p i e l 1 : C l u s t e r- O ff e n s i v e B a y e r n

Adres s aten der Partizipation

Art und Weis e des Einbezugs

Auftraggeber Feinabstimmung des Evaluationsdesigns und der

Erhebungsinstrumente, regelmäßige Zwischenberichte, intensive Verhandlungen vor Freigabe von Texten / Fallstudien, Art der Ergebnisdarstellung

Clustermanager-/innen Diskussion von Designfragen (Adressgenerierung), aktive Mitwirkung an qualitativen Pretests zur Befragung, Ergebnispräsentationen vor dem Kreis der

Clustermanager-/innen, intensive Diskussion erster Entwürfe der Clusterfallstudien

Clustersprecher Ergebnispräsentationen vor Sprecherrunde,

Feinabstimmung von Entwürfen der Clusterfallstudien

„Taskforce“: weitere Abteilungen bzw. Ministerien

Expert/-inneninterviews zur Abschätzung von Stärken und Schwächen der Cluster

F a z i t

1. Welche Vor- und Nachteile hat die Partizipation zahlreicher Akteurs- Gruppen?

 Vorteile: Hohe Akzeptanz der Evaluationsergebnisse, kontinuierliche Einspeisung von Informationen zur weiteren Gestaltung von

Strukturen oder Maßnahmen, Zuverlässigkeit der Daten bzw.

Darstellungen

 Nachteile: Hoher Aufwand, Ergebnisse können nur mit deutlicher Zeitverzögerung generiert werden, Konflikte durch Versuche einer nicht mehr akzeptablen Einflussnahme

F a z i t

2. Welche Gefahren bestehen hinsichtlich der Einhaltung von Evaluationsgütekriterien?

 Klärung der Evaluationszwecke (N2): Bei stark partizipativen und formativen Verfahren besteht die Gefahr einer Rollenunklarheit zwischen Bewertung und Gestaltung

 Die Vollständigkeit und Klarheit der Berichterstattung (N6) sowie die Offenlegung der Ergebnisse (F5) kann durch die Mitwirkung

unterschiedlicher Akteurskreise tangiert werden.

 Die Unparteilichkeit der Durchführung und Berichterstattung (F4) sowie die Glaubwürdigkeit der Evaluator/-innen sind immer wieder neu zu erstreiten

L i t e r a t u r

 Edler, J./Cunningham, P./Gök, A./Rigby, J./Amanatidou, E./Garefi, I./Bührer,S./Daimer, S./Dinges, M./Berger,

M./Schmidmayer,J./Guy,K. (2010): INNO-Appraisal - Perspectives on Evaluation and Monitoring, Final Report.

Brussels, February 2010.

 Koschatzky, Knut; Pöchhacker-Tröscher, Gerlinde; Bührer, Susanne; Lefenda, Johann; Stahlecker, Thomas (2011):

Evaluation der Cluster-Offensive Bayern. Abschlussbericht. Karlsruhe.

 Bührer, S. (2009): Zwischenevaluation der Cluster-Offensive Bayern. Ein Zwischenbericht zu Konzept und methodischem Vorgehen der Untersuchung. In: Wessels, J. (Hrsg.): Cluster- und Netzwerkevaluation. Aktuelle Beispiele aus der Praxis. Berlin: Institut für Innovation und Technik, S. 20-26.

 Bührer, Susanne et al. (2008): Zwischen-Evaluation der Cluster-Offensive Bayern. Abschlussbericht. Karlsruhe.

 Bührer, Susanne; Edler, Jakob; Hinze, Sybille; Kuhlmann, Stefan; Braun, Dietmar (2004): Förderung

interdisziplinärer Zentren für klinische Forschung: Abschlussevaluation und Ausblick. Stuttgart: Fraunhofer IRB-Verlag.

 Bührer, Susanne; Saß, Uta; Braun, Dietmar; Kuhlmann, Stefan (2003): Mechanismen der Erfolgskontrolle und Qualitätssicherung. Stuttgart: Fraunhofer IRB-Verlag.

 Bührer, Susanne; Menrad, Klaus; Peter, Viola (2000): Modelle der Finanzierung interdisziplinärer Forschung an Hochschulkliniken. Fraunhofer IRB-Verlag. Stuttgart.

 Bührer, Susanne; Peter, Viola (1999): Kommunikation und Kooperation in den interdisziplinären Zentren für klinische Forschung. Fraunhofer IRB-Verlag. Stuttgart.

 Miles, Ian, Paul Cunningham et al. (2005). “SMART Innovation: A Practical Guide to Evaluating Innovation Programmes”, A study for DG Enterprise and Industry. October 2005.

Herzlichen Dank für Ihre Aufmerksamkeit!

Kontakt:

s.buehrer@isi.fraunhofer.de ; s.daimer@isi.fraunhofer.de www.isi.fraunhofer.de