Partizipation in Evaluation: Eine Analyse der Auswirkungen auf Beteiligte und Betroffene

(1)

deposit_hagen

Publikationsserver der Universitätsbibliothek

Kultur- und Sozialwissen- schaften

Dissertation

Partizipation in Evaluation

Eine Analyse der Auswirkungen auf

Beteiligte und Betroffene

(2)

Partizipation in Evaluation.

Eine Analyse der Auswirkungen auf Beteiligte und Betroffene

Dissertation zur Erlangung des Grades Dr. phil.

Fakultät für Kultur- und Sozialwissenschaften, Psychologisches Institut der

vorgelegt von Benjamin Froncek im September 2016

Unter der Betreuung von Prof. Dr. Anette Rohmann

(3)

Zusammenfassung

Partizipation in Evaluation, so legt die Literatur zur Evaluation nahe, fördert den Evaluationsnutzen bei Beteiligten und Betroffenen. Ein experimenteller Zugang, mit dem dieser Zusammenhang kausalanalytisch untersucht wird, fehlt jedoch bislang. Prozesse und Konsequenzen von Partizipation können mithilfe der psychologischen Fairness- und Gerechtigkeitsforschung erklärt werden, allerdings wird dies bislang nicht in den Kontext partizipativer Evaluation integriert. In drei Studien wurden die Auswirkungen von Partizipation experimentell untersucht und Prozesse und Konsequenzen dabei mit Konzepten der Fairness- und Gerechtigkeitsforschung erklärt. In Studie 1 zeigte sich entgegen den Annahmen in einer Gruppe gar ein negativer, in einer anderen Gruppe kein Effekt von Partizipation auf den Nutzen. In Studie 2 wurde der negative Effekt an zwei unterschiedlichen Stichproben erneut gezeigt. Vermittelt wurde er durch die Fairnesswahrnehmung. In Studie 3 wurde der fehlende Effekt von Partizipation auf den Evaluationsnutzen untersucht und ein möglicher Einfluss des Outcomes auf den Effekt zusätzlich variiert. Zwar konnte der Einfluss des Outcomes den fehlenden Effekt nicht erklären, jedoch hatte das Outcome seinerseits Auswirkungen auf den Evaluationsnutzen. Diskutiert werden die Ergebnisse unter anderem anhand mangelnder Beziehung oder persönlicher Relevanz, die die Studienteilnehmenden dem experimentellen Setting beimaßen. Abschließend stellen insbesondere Transparenz und Kommunikation praktische Implikationen für Beteiligte und Betroffene einer partizipativen Evaluation dar.

(4)

Einleitung ... 1

1. Theorie ... 4

1.1 Programmevaluation und Evaluationsnutzen ... 4

1.2 Partizipative Evaluation ... 7

1.2.1 Grundzüge der partizipativen Evaluation ... 7

1.2.2 Positive Konsequenzen partizipativer Evaluation ... 13

1.2.2.1 Erhöhter Evaluationsnutzen durch partizipative Evaluation ... 14

1.2.2.2 Weitere positive Konsequenzen partizipativer Evaluation ... 20

1.2.3 Herausforderungen partizipativer Evaluation ... 27

1.3. Wissensbestände zum Zusammenhang von partizipativer Evaluation und Evaluationsnutzen ... 30

1.3.1 Befragungen ... 30

1.3.2 Fallstudien ... 33

1.3.3 Literaturreviews ... 35

1.4. Fragestellung und Anliegen der Arbeit ... 39

2. Empirische Studien ... 45

2.1 Konsequenzen eines partizipativ entstandenen Produkts: Ratgeber zum Selbstmanagement, Studie 1 ... 45

2.1.1 Einleitung und Ziele ... 45

2.1.2 Kontext ... 47

2.1.3 Methode ... 48

2.1.3.1 Stichprobe und Design ... 48

2.1.3.2 Materialien ... 49

2.1.3.3 Durchführung, unabhängige Variablen, abhängige Variablen ... 50

2.1.4 Ergebnisse Studie 1 ... 52

2.1.4.1 Überprüfung der Manipulation ... 52

2.1.4.2 Experimentelle Effekte ... 53

2.1.4.3 Mediierende Effekte ... 56

2.1.4.4 Zusätzliche Analysen ... 58

2.1.5 Diskussion Studie 1 ... 60

2.2 Negative Konsequenzen von Partizipation: Evaluation in der Schulsozialarbeit, Studie 2 ... 63

(5)

2.2.2 Kontext ... 70

2.2.3 Methode ... 71

2.2.3.1 Stichproben und Design ... 71

2.2.4 Ergebnisse Studie 2, Laborstichprobe ... 78

2.2.4.5 Zusammenfassung Laborstichprobe ... 87

2.2.5 Ergebnisse Studie 2, Feldstichprobe ... 88

2.2.5.5 Zusammenfassung Feldstichprobe ... 97

2.3 Rolle des Ergebnisses in Partizipation: Evaluation in der Schulsozialarbeit, Studie 3 ... 104

2.3.2 Methode ... 108

2.3.2.1 Stichprobe und Design ... 108

2.3.3 Ergebnisse Studie 3 ... 111

3. Allgemeine Diskussion ... 122

3.1 Zusammenfassung und Diskussion ... 123

3.2 Einschränkungen ... 131

3.3 Implikationen für die Praxis ... 134

(6)

3.4 Ausblick ... 136

Literatur ... 138

(7)

Einleitung

Kaum ein Sektor kommt mehr ohne die fortwährende Überprüfung und Entwicklung der Qualität seiner Arbeit aus. Im Bereich der Bildung oder sozialer Dienstleistungen und Programme haben Qualitätsmanagementsysteme und –instrumente ebenso Einzug gehalten wie in der Wirtschaft. Ein gängiges Instrument zur Überprüfung und Entwicklung der Arbeit stellt dabei die Evaluation dar. Mithilfe von Evaluation können Ergebnisse und Wirkungen überprüft werden, kann die Arbeit sichtbar gemacht, angepasst und verbessert werden.

Evaluation liefert zu diesem Zweck systematisch gewonnene Informationen, die von den Mitarbeitenden dieser Programme genutzt werden, um etwas über ihre Arbeit zu lernen oder ihr berufliches Handeln anzupassen. Darin liegt schließlich das zentrale Anliegen von Evaluationen: Wissenschaftlich gewonnene Informationen einem außerwissenschaftlichem Verwendungszweck – einem Nutzen oder einer Nutzung – zuzuführen (Stockmann, 2007).

Evaluierende haben in vielen Jahren der Forschung versucht herauszufinden, wie der Aspekt des Nutzens und der Nutzung in Evaluationen gefördert werden kann. Sie haben eine Reihe von Einflussfaktoren identifiziert, von denen ein Faktor immer wieder besondere Betonung erfährt: Partizipation. Wenn die Menschen, die von der Evaluation betroffen sind – Mitarbeitende, Vorgesetzte, Management, die die durch die Evaluation gewonnenen Informationen nutzen sollen – in die Gestaltung der Evaluation einbezogen werden, so steigert dies die Wahrscheinlichkeit, dass Informationen schließlich genutzt werden.

Unter dem Begriff der partizipativen Evaluation wird nun eine Reihe von Vorgehensweisen subsumiert, die den aktiven Einbezug von Beteiligten und Betroffenen einer Evaluation an der Gestaltung der Evaluation vorsehen, unter anderem mit dem Ziel, den Nutzen und die Nutzung der Evaluation zu steigern (Cousins & Chouinard, 2012). Dass dieses Ziel erreicht wird, zeigen unterschiedlichste Untersuchungen der letzten rund 40 Jahre.

Allerdings weisen all diese Untersuchungen eine gemeinsame Schwäche auf: Deren

(8)

methodische Zugänge erlauben nicht den sicheren Schluss, dass der Nutzen oder die Nutzung tatsächlich und allein auf die Partizipation in der Evaluation zurückzuführen ist. Alle Befunde stützen sich stets auf rückblickende Wahrnehmungen von Evaluierenden oder anderen Beteiligten und Betroffenen. Experimentelle Untersuchungen, in denen Partizipation manipuliert und einer Kontrollgruppe gegenüber gestellt wird, existieren nicht.

Um Partizipation und ihre möglichen Konsequenzen besser verstehen zu können, liefert die sozial- und organisationspsychologische Forschung Erklärungen. Sie macht deutlich, dass Partizipation, ihre Prozesse und Konsequenzen eng verknüpft sind mit der Wahrnehmung von Fairness und Gerechtigkeit und dass diese Wahrnehmung entscheidend mitbeeinflusst, wie Menschen im Zusammenhang mit Partizipation empfinden oder sich verhalten (Lind, 2001; Lind & Tyler, 1988). Je nachdem, ob Fairness und Gerechtigkeit in Partizipation als positiv oder negativ wahrgenommen werden, kann Partizipation positive oder negative Emotionen und Verhaltensweisen befördern. In organisationalen Kontexten konnten derlei Effekte mehrfach gezeigt werden – die Forschung zur partizipativen Evaluation hingegen macht bis zum jetzigen Zeitpunkt nahezu keinen Gebrauch von diesem Wissen.

Die vorliegende Arbeit kombiniert nun diese offenen Fragen im Zusammenhang mit partizipativer Evaluation und Evaluationsnutzen erstmalig. In experimentellen Untersuchungen werden Facetten der partizipativen Evaluation variiert und mit Kontrollgruppen verglichen sowie Prozesse und Konsequenzen von Partizipation mithilfe des Wissens aus der Fairness- und Gerechtigkeitsforschung erklärt. Damit ist die Arbeit in zweierlei Hinsicht innovativ: (1) Sie wählt einen methodischen Zugang zur Untersuchung partizipativer Evaluation, der erstmalig Rückschlüsse auf die Partizipation als Ursache für bestimmte Konsequenzen, beispielsweise den Evaluationsnutzen, zulässt. (2) Sie führt Theorien und empirisches Wissen aus der psychologischen Fairness- und Gerechtigkeitsforschung an und vereint dies erstmalig mit dem Kontext partizipativer Evaluation, um darin Prozesse und Konsequenzen zu erklären.

(9)

In der vorliegenden Arbeit werden insgesamt vier Untersuchungen präsentiert. Studie 1 beinhaltet eine Untersuchung, in der Studienteilnehmende in einen partizipativen Prozess eingebunden werden, indem sie ein Produkt erzeugen, demgegenüber sie schließlich ihre Nutzungsabsichten erklären. Variiert wird, ob die Studienteilnehmenden am Produkt mitbestimmen können, ob sie einen Wortbeitrag dazu leisten können oder ob sie gar nicht beteiligt werden. In Studie 2 werden zwei Untersuchungen präsentiert, die sich durch die Stichprobenzusammensetzung voneinander unterschieden. Diese beiden Untersuchungen sind im Kontext von Schulsozialarbeit angesiedelt und versetzen die Studienteilnehmenden in die Situation einer externen Evaluation ihrer Schulsozialarbeit. In diesen Untersuchungen stehen mögliche positive wie negative Konsequenzen partizipativer Evaluation im Vordergrund.

Variiert wird, ob die Partizipation als „echt“ oder „unecht“ wahrgenommen wird.

Demgegenüber wird eine Kontrollgruppe gestellt. Konsequenzen und Prozesse werden dabei anhand der Fairness- und Gerechtigkeitsforschung erklärt. In Studie 3 schließlich wird untersucht, inwieweit der Einfluss des Ergebnisses eines partizipativen Prozesses erklären kann, wie sich die Fairnesswahrnehmung auf Prozesse und Konsequenzen auswirkt. Erneut angesiedelt im Kontext der externen Evaluation von Schulsozialarbeit wird variiert, ob Studienteilnehmende an einer partizipativen Evaluation teilhaben oder nicht sowie, ob sie ein ungünstiges versus ein günstiges Ergebnis erhalten.

Schließlich werden die Ergebnisse zusammenfassend diskutiert sowie darauf aufbauende praktische Implikationen und ein Ausblick für künftige Forschung vorgestellt.

(10)

1. Theorie

Im folgenden Teil der Arbeit wird die Bedeutung des Evaluationsnutzens im Rahmen von Programmevaluationen diskutiert. Dazu wird dargelegt, was partizipative Evaluation ist und inwiefern sie den Evaluationsnutzen fördern kann. Darüber hinausgehende Konsequenzen partizipativer Evaluationsansätze werden erläutert. Der aktuelle Forschungsstand über den Zusammenhang von partizipativer Evaluation und Evaluationsnutzen deckt Forschungslücken auf, auf Grundlage derer zum Ende dieses Theorieteils das Forschungsanliegen der Arbeit hergeleitet wird.

1.1 Programmevaluation und Evaluationsnutzen

In seiner Definition von Programmevaluation beschreibt Patton (2008): „Program evaluation is the systematic collection of information about the activities, characteristics and results of programs to make judgments about the program, improve or further develop program effectiveness, inform decisions about future programming, and/or increase understanding” (p. 39). Während Patton im ersten Teil seiner Definition darlegt, was in Programmevaluationen¹ gemacht wird – systematisches Sammeln von Informationen – , so geht er im übrigen Teil auf ein für Evaluationen konstituierendes Element ein, nämlich auf die Frage, was mit den in Evaluationen gewonnenen Informationen geschieht: Zum einen, um sich ein Urteil über ein Programm² zu bilden (make judgements) oder um ein Programm zu verbessern, bzw. weiterzuentwickeln (improve or further develop). Zum anderen, um Entscheidungen zu informieren (inform decisions) oder das Verständnis gegenüber einem Programm zu steigern (increase understanding). Patton spricht damit den besonderen Nutzenaspekt von Evaluationen – den Evaluationsnutzen – an, der Evaluationen abgrenzt von (grundlagen-)wissenschaftlicher Forschung einerseits und anderen Prüfverfahren in

1 Programmevaluation hiernach „Evaluation“, wobei Programmevaluation gleichermaßen gemeint ist.

2 Ein Programm ist ein intentionales Bündel von Maßnahmen, das mit Ressourcen und Zielen ausgestattet Ver- änderungen bei Zielgruppen oder Organisationen erreichen möchte (http://eval-wiki.org/glossar/Programm).

(11)

Organisationen wie Controlling, Balanced Scorecard oder Audits (Stockmann, 2007) andererseits.

Der Evaluationsnutzen hatte stets einen hohen Stellenwert im Kontext von Evaluationen. In den 1960er Jahren sollten größere öffentlich geförderte soziale Programme in den USA stärker evaluiert werden (Fitzpatrick, Sanders, & Worthen, 2011). Diese Evaluationen wiesen jedoch oftmals wenig Relevanz und Brauchbarkeit für die potenziell Nutzenden³ auf. Seither beschäftigt sich die Scientific Community insbesondere mit der Frage, inwieweit Evaluationen relevant und brauchbar für potenziell Nutzende einer Evaluation gestaltet werden können (Alkin & Taut, 2003). Diese Frage stellt den wohl meist beachteten Aspekt innerhalb der Forschung über Evaluation dar (Christie, 2007; Fleischer &

Christie, 2009).

Die Bedeutung des Themas hat sich neben der Untersuchung des Evaluationsnutzens auch institutionell niedergeschlagen. So führt das Joint Commitee on Standards for Educational Evaluation eine von fünf Standardgruppen unter der Überschrift Utility (Yarbrough, Shula, Hopson, & Caruthers, 2011). Ferner gliedert sich die American Evaluation Association in sogenannte Topical Interest Groups, von denen eine sich mit dem Topic Evaluation Use befasst (http://comm.eval.org/evaluationuse/home). Auch die Fachgesellschaft für Evaluationen im deutschsprachigen Raum, die Gesellschaft für Evaluation (DeGEval e.V.), führt die Standardgruppe Nützlichkeit (DeGEval, 2008) an. Die Fachgesellschaften und deren Standards dienen der Orientierung und Professionalisierung der Evaluationspraxis und drücken somit die Relevanz des Evaluationsnutzens für das Feld aus.

Faktoren, die den Evaluationsnutzen beeinflussen, sind unzählig. Cousins und Leithwood (1986) untersuchten beispielsweise die Faktoren Evaluationsqualität, Glaubwürdigkeit, Relevanz, Kommunikationsqualität, Evaluationsergebnisse,

3 Hinweis zur gendergerechten Schreibweise: Es wird an Stellen, an denen es möglich ist, die neutrale Form (bspw.: Nutzende) und an Stellen, an denen es nicht möglich ist, Beidnennungen (bspw.: Nutzerinnen und Nut- zer) verwendet, wobei stets alle Geschlechterkonstruktionen gleichermaßen angesprochen werden sollen.

(12)

Informationsbedarfe, politisches Klima, personelle Charakteristika oder die Empfänglichkeit gegenüber der Evaluation. Fleischer und Christie (2009) identifizieren Planung, Kommunikation, Design und die Rolle der Evaluierenden als beeinflussende Faktoren. Alkin und Taut (2003) führen die Faktoren Mensch, Evaluation und Kontext auf. Cousins und Chouinard (2012) benennen kontextuelle Faktoren und förderliche Bedingungen wie die Rolle der Evaluierenden, den Communitykontext, institutionelle Einflüsse und Einflüsse des Programms.

Ein Faktor jedoch, der insbesondere in Zusammenhang mit dem Evaluationsnutzen Beachtung findet, ist Partizipation oder der aktive Einbezug von Beteiligten oder Betroffenen eines zu evaluierenden Programms in die Evaluation (Cousins & Chouinard, 2012; Cousins &

Leithwood, 1986; Daigneault, 2014; Hofstetter & Alkin, 2003; Patton, 1997, 2008; Roseland, Lawrenz, & Thao, 2015). Viele Studien untermalen diesen Zusammenhang, lassen aber gleichzeitig, wie in Kapitel 1.3 noch gezeigt werden wird, methodische Fragen offen bei der Beurteilung dieses Zusammenhangs.

Dennoch erfährt Partizipation im Rahmen von Evaluation und von Personen, die am Programm beteiligt oder von ihm betroffen sind, seit rund vier Dekaden große Aufmerksamkeit in der Literatur (Daigneault, 2014). Sie stellt neben der Untersuchung des Evaluationsnutzens eines der beiden „hot topics“ (Daigneault, 2014, p. 171) der Evaluation dar, was nicht zuletzt mit der engen Verknüpfung der beiden Themen zusammenhängt. Die Art und Weise, wie Partizipation in Evaluation ausgestaltet wird und was unter partizipativer Evaluation verstanden wird, variiert stark: Eine Fülle von konzeptionellen Ansätzen firmiert unter dem Begriff der partizipativen Evaluation und ein gemeinsames Verständnis wird noch gebraucht (Cousins & Chouinard, 2012; Cullen & Coryn, 2011; Rodríguez-Campos, 2012).

Um einen Überblick über bereits bestehende Definitionen und Ordnungsversuche herzustellen und partizipative Evaluation als Begriff näher zu bringen, werden im folgenden Kapitel 1.2 prominente Funktionen und Dimensionen partizipativer Evaluation vorgestellt. Dieser erste

(13)

Überblick dient zunächst der konzeptionellen Einordnung der partizipativen Evaluation. Im Kapitel 1.3 dann wird – in Abgrenzung zur konzeptionellen Einordnung – der Blick auf empirische Befunde zur partizipativen Evaluation gerichtet, die die Wissensbasis über partizipative Evaluation bilden und diese empirischen Befunde werden kritisch beleuchtet.

1.2 Partizipative Evaluation

1.2.1 Grundzüge der partizipativen Evaluation

Cousins und Chouinard (2012) definieren partizipative Evaluation wie folgt:

„Participatory evaluation is evaluation in which trained evaluators work in partnership with [program] stakeholders to produce evaluative knowledge” (p. 10). Diese Definition ist breit gehalten, erhebt sie doch den Anspruch, möglichst viele Aspekte partizipativer Evaluationen einzuschließen (Cousins & Chouinard, 2012). Jedoch lässt sie Lesende im Unklaren darüber, wer Stakeholder sind, welche Formen der Zusammenarbeit partizipative Evaluation beinhaltet und was Partnerschaft bedeutet (Cullen, Coryn, & Rugh, 2011).

Als Stakeholder werden zumeist Personen bezeichnet, die einen Anteil oder ein berechtigtes Interesse an einem Programm und damit auch an dessen Evaluation und ihren Ergebnissen haben (Greene, 2005). Dies können Geldgebende, Manager, Entwickelnde, Durchführende, Mitglieder bestimmter Interessen- oder Zielgruppen eines Programms sein (Cousins & Chouinard, 2012). Neben den Personen, die (1) ein berechtigtes Interesse am Programm und dessen Evaluation haben (den primär Nutzenden, primary users), lassen sich Stakeholder weiter differenzieren nach Personen, die (2) Informationen für die Gestaltung der Evaluation liefern, die (3) Informationen in Form von Daten für die Evaluation liefern und die, die (4) den Evaluationsbericht lesen (Alkin, 1991). Da es praktisch unmöglich ist, alle Stakeholdergruppen aktiv in eine Evaluation einzubeziehen, sollten zumindest die primär Nutzenden, die Programmmitarbeitenden, Management des Programms sowie Geldgebende involviert sein, damit von partizipativer Evaluation gesprochen werden kann (Rebien, 1996).

In Hinblick auf die Formen der Zusammenarbeit und die Bedeutung von Partnerschaft

(14)

differieren partizipative Evaluationen stark und haben zu besagter Fülle an konzeptionellen Ansätzen sowie zu einem diffusen Verständnis gegenüber dem Begriff der partizipativen Evaluation geführt (Cullen & Coryn, 2011). Ein einheitliches Verständnis darüber, was partizipative Evaluation ist und was nicht, existiert nicht (Cullen & Coryn, 2011; Gregory, 2000; Rebien, 1996). Ein bis heute prominenter Ordnungsversuch begegnet diesem Problem und unterscheidet partizipative Evaluationen anhand von (1) zwei Funktionen und (2) drei Dimensionen (Cousins & Chouinard, 2012; Cousins & Whitmore, 1998).

Funktionen. Die erste Funktion – Practical Participatory-Evaluation – ist zweckmäßiger Natur. Partizipative Ansätze, die unter diese Funktion fallen, unterstützen pragmatisch Entscheidungsfindungen in Organisationen und beabsichtigen, praktische Probleme zu lösen. Bei dieser Funktion steht insbesondere der Evaluationsnutzen im Vordergrund. Die zweite Funktion – Transformative Participatory-Evaluation – ist politischer Natur und hat eine andere Entstehungsgeschichte und Ideologie als die erste Funktion. Hier stehen Themen wie sozialer Wandel, Emanzipation oder Empowerment im Vordergrund:

Stakeholdern, die ansonsten eher geringen Zugang zu Macht haben oder die unterdrückt werden, wird eine Stimme gegeben. Jedoch können diese beiden Funktionen keine distinkten Kategorien darstellen (Cousins & Chouinard, 2012). Überschneidungen treten auf, wenn beispielsweise in pragmatisch orientierten partizipativen Evaluationen Lernen einsetzt oder Personen in professioneller Hinsicht gestärkt werden. Dies sind transformative Effekte.

Gleichfalls, wenn in transformativ orientierten Evaluationen Evaluationsergebnisse praktisch genutzt werden, um programmrelevante Entscheidungen oder Veränderungen zu treffen, dann sind dies pragmatische Effekte. Weaver und Cousins (2004) bezeichnen ähnlich den bisher vorgestellten Funktionen drei Ziele von partizipativen Evaluationen: pragmatische (bei denen der Evaluationsnutzen durch Partizipation erhöht wird), politische (bei denen soziale Gerechtigkeit und demokratische Prozesse im Vordergrund stehen) sowie epistemologische Ziele (bei denen das lokale Wissen der Stakeholder zu höherer Glaubwürdigkeit der

(15)

Evaluationen führt). Insbesondere die ersten beiden Ziele lassen sich an die vorgestellten Funktionen anschließen: Pragmatische Ziele fallen unter die Funktion der Practical Participatory-Evaluation, politische Ziele unter die Funktion der Transformative Participatory-Evaluation.

Dimensionen. Drei als heuristisch verstandene Dimensionen partizipativer Evaluation elaborieren Cousins und Whitmore (1998): (1) Kontrolle über den Evaluationsprozess, (2) Stakeholderauswahl für Partizipation und (3) Tiefe der Partizipation. Jede der Dimensionen soll als Kontinuum verstanden werden, deren Ausprägung zwischen den jeweiligen Endpunkten bestimmt wird. Diese Ausprägungen können sich im Verlauf einer Evaluation verändern. Um einen Ansatz partizipativer Evaluation zu beschreiben, ihn in diesem dreidimensionalen Raum zu verorten, wird also bestimmt, (1) ob die Kontrolle über den Evaluationsprozess einerseits bei den Evaluierenden liegt oder andererseits bei den Stakeholdern oder einer Kombination daraus, (2) ob einerseits nur die primär Nutzenden einer Evaluation einbezogen werden oder andererseits auch andere, weiter gefasste legitime Stakeholdergruppen und (3) in welchen Phasen einer Evaluation Stakeholder einbezogen werden – ob nur zur oberflächlichen Konsultation oder in allen Phasen, von der Planung über Datensammlung und Auswertung bis hin zur Berichtslegung. Jedoch gilt die Partizipation erst dann als solche, wenn Stakeholder eine aktive Rolle im Gegensatz zu einer passiven Rolle im Verlauf der Evaluation einnehmen (Rebien, 1996). Konzeptioniert wurden diese Dimensionen zwar als voneinander unabhängig, jedoch wirken sie multidirektional aufeinander ein (Cousins & Chouinard, 2012), was sie gleichsam komplex erscheinen lässt. Sie können jedoch als konstituierend für die Beschreibung partizipativer Evaluationen betrachtet werden (Daigneault & Jacob, 2009).

Cousins und Whitmore (1998) sowie Cullen und Coryn (2011) nutzen die zwei Funktionen (Practical- und Transformative Participatory-Evaluation) sowie die drei Dimensionen (Kontrolle über den Evaluationsprozess, Stakeholderauswahl für Partizipation

(16)

und Tiefe der Partizipation), um konzeptionelle Ansätze partizipativer Evaluationen daran zu elaborieren. In Tabelle 1 werden einige der Ansätze beispielhaft und zur Veranschaulichung dargestellt. Die Tabelle verdeutlicht, welche Überschneidungen und welche Differenzen prominente konzeptionelle Ansätze partizipativer Evaluationen entlang der verschiedenen Funktionen und Prozessdimensionen aufweisen.

(17)

Tabelle 1

Beispielhafte konzeptionelle Ansätze partizipativer Evaluation unterteilt nach Funktionen und Prozessdimensionen Prozessdimensionen

Ansatz Autorinnen und Autoren

Funktion (Practical-/ Trans- formative Participa-

tory-Evaluation) Kontrolle über den

Evaluationsprozess Stakeholderauswahl für

Partizipation Tiefe der Partizipation Stakeholder-based

Evaluation Bryk (1983); Mark

& Shotland (1985) Practical: Evalua- tionsnutzen; teilweise Betonung politischer Aspekte

Evaluierende: Koordination der Tätigkeiten und fachli- chen Aspekte der Evaluation

Weite legitime Gruppen:

Repräsentanz ist der Schlüs- sel um negativer Programm- Mikropolitik entgegenzu- wirken

Limitiert: Stakeholder konsultiert in Planungs- und Interpretationsphase

Democratic Evalua-

tion McDonald (1976);

McTaggart (1991) Transformativ: Le- gitimierter Nutzen von Evaluation in pluralistischer Ge- sellschaft

Balanciert: Evaluierende und Stakeholder arbeiten partner- schaftlich

Weite legitime Gruppen:

Repräsentanz von Stakehol- dern ist entscheidend

Moderat: Stakeholder kon- trollieren Interpretation und Berichtslegung

Utilization-focused

Evaluation Patton (1997, 2008) Practical: Evalua-

tionsnutzen Balanciert: Evaluierende und Stakeholder arbeiten partner- schaftlich

Primär Nutzende: Intendierte

Nutzende der Evaluation Umfassend: Partizipation in allen Phasen der Evaluation

Empowerment Eva-

luation Fetterman & Wan-

dersman (2005) Transformative:

Empowerment, Selbst-Bestimmung

Stakeholder: Nahezu kom- plette Kontrolle, unterstützt durch Evaluierende

Primär Nutzende: Meist Schlüsselpersonen, manch- mal weitere Gruppen involviert

Umfassend: Partizipation in allen Phasen der Evaluation

Responsive Evalua-

tion Stake (2004) Transformative:

Gleichheit und Fairness fördern, Responsiv gegen- über den Belangen

Evaluierende: Behält Kon-

trolle und Autorität Primär Nutzende: Ansässi- ge/nahe liegende Stakehol- der

Umfassend: Partizipation in allen Phasen der Evaluation, insbesondere bei der Identi- fikation von Programm- Angelegenheiten

(18)

der Stakeholder

Anmerkung. Inhalte zusammengestellt, übersetzt und für die Darstellung angepasst aus den Analysen von Cousins und Whitmore (1998) sowie Cul- len und Coryn (2011).

(19)

Die in Tabelle 1 vorgestellten Ansätze partizipativer Evaluation bilden nur einen kleinen Ausschnitt der in der Literatur auffindbaren Ansätze, auch wenn den oben gewählten Ansätzen eine gewisse Prominenz zuerkannt werden darf (siehe auch Kapitel 1.3).

Zusammengefasst haben sich zwei Ordnungsversuche für partizipative Evaluationsansätze etabliert, die den Begriff der partizipativen Evaluation näher bringen können: Zwei Funktionen (Practical-, und Transformative Participatory-Evaluation) und drei Dimensionen (Kontrolle über den Evaluationsprozess, Stakeholderauswahl für Partizipation und Tiefe der Partizipation), auch wenn manche Autorinnen und Autoren sich gegen den Einsatz nahezu distinkter Kategorien aussprechen mit dem Argument, dass die Entwicklung gemeinsamer Charakteristika partizipativer Ansätze anstrebenswerter wäre (Cousins, Whitmore, & Shulha, 2013).

Wie bislang argumentiert wurde, besteht ein positiver Zusammenhang zwischen partizipativer Evaluation und Evaluationsnutzen. Doch was unter Evaluationsnutzen verstanden werden kann und welche weiteren Konsequenzen partizipativer Evaluation, die mit dem Evaluationsnutzen in Zusammenhang stehen, bekannt sind, das wird im folgenden Kapitel dargestellt.

1.2.2 Positive Konsequenzen partizipativer Evaluation

Partizipative Evaluationen erfreuen sich großer Popularität. In verschiedenen Anwendungskontexten sind sie nahezu nicht mehr wegzudenken. Im Folgenden werden Aspekte identifiziert, die begründen, warum partizipative Evaluationen so populär sind, bzw.

welche Vorteile mit partizipativen Evaluationen assoziiert werden relativ zu Evaluationen, die nicht partizipativ angelegt sind. Dies wird unabhängig davon diskutiert, wie stark die einzelnen Dimensionen partizipativer Evaluationen ausgeprägt sind (siehe Kapitel 1.2.1), bzw. unabhängig von verschiedenen Ansätzen partizipativer Evaluation, weil die Literatur mit Blick auf Konsequenzen partizipativer Evaluation ebenfalls diese Unterscheidung nicht vornimmt und somit keine Differenzierung ermöglicht. Es wird im Folgenden ein allgemeiner

(20)

Überblick über die in der Literatur bekannten Konsequenzen partizipativer Evaluationen gegeben und einzelne partizipative Ansätze nur an Stellen besprochen, an denen eine Konsequenz im Zusammenhang mit diesem bestimmten Ansatz steht.

1.2.2.1 Erhöhter Evaluationsnutzen durch partizipative Evaluation

Wie bereits oben erläutert, steht partizipative Evaluation im Zusammenhang mit dem Evaluationsnutzen – insbesondere bei der Practical Participatory-Evaluation steht der Evaluationsnutzen im Vordergrund. Evaluationsnutzen bedeutet dabei zunächst „[…] the way in which an evaluation and information from the evaluation impacts the program that is being evaluated“ (Alkin & Taut, 2003, p. 1). In der englischsprachigen Literatur wurde bis in die 1980er Jahre der Begriff utilization verwendet, der dann jedoch durch use ersetzt wurde, da letzterer neben einer eher instrumentellen Anwendungen von Evaluationsergebnissen auch subtilere Einflussnahmen durch Evaluation umfassen sollte (Weiss, 1980, zitiert in Kirkhart, 2000). Utilization und use werden in der aktuellen Evaluationsliteratur synonym verwendet (Amo & Cousins, 2007; Henry & Mark, 2003a; Johnson et al., 2009). In der deutschsprachigen Literatur werden zuweilen die Begriffe Nutzen und Nutzung verwendet (bspw.: Hense, 2010), wobei unterschieden werden kann – wenn auch nicht trennscharf – nach Nutzen („vorgesehene oder tatsächlich eingetretene erwünschte Folgen der Evaluation […]“, http://eval-wiki.org/glossar/Nutzen_(der_Evaluation/der_Evaluationsergebnisse)) und Nutzung („Empirisch beobachtbare Verwendung oder Gebrauch der Evaluation durch Stakeholder für angegebene Evaluationszwecke“, http://eval- wiki.org/glossar/Nutzung_(der_Evaluation)). Weil auf die Nutzenarten im Folgenden noch detaillierter eingegangen wird, soll zunächst der Begriff Evaluationsnutzen verwendet werden.

Verschiedene Konzepte des Evaluationsnutzens werden bis heute in der Literatur diskutiert. Eines der Konzepte unterscheidet die Nutzenarten instrumenteller Nutzen, konzeptioneller Nutzen und symbolischer Nutzen (Leviton & Hughes, 1981; Shadish, Cook, &

(21)

Leviton, 1991). Der instrumentelle Nutzen beschreibt eine direkte Beeinflussung von Entscheidungen oder Programmänderungen auf Grundlage einer Evaluation, bzw. ihrer Ergebnisse (Herbert, 2014). Instrumenteller Nutzen ist beobachtbar und verhaltensorientiert.

Der konzeptionelle Nutzen (auch enlightement, Weiss, 1979) bezieht sich nicht auf direkte Veränderungen, sondern auf ein erweitertes Verständnis gegenüber dem Programm oder auf neu erlerntes Wissen oder Lernen generell über das Programm durch die Evaluation. Dieses erweiterte Verständnis kann nachfolgende Entscheidungen informieren. Beim symbolischen Nutzen (auch persuasive oder legitimative, King & Stevahn, 2013; Kirkhart, 2000) werden Evaluationsergebnisse zu Argumentationszwecken genutzt, um Dritte von einer Idee oder von politischen Positionen zu überzeugen. Instrumenteller Nutzen, konzeptioneller Nutzen und symbolischer Nutzen stellen die meist verbreiteten, fundamentalen Nutzenarten dar (Herbert, 2014; Henry & Mark, 2003a; Johnson, 1998; Turnbull, 1998).

Eine besondere Nutzenart ist der Prozessnutzen (Patton, 1997, 1998, 2003, 2008; Amo

& Cousins, 2007). Prozessnutzen unterscheidet sich von den anderen Nutzenarten insofern, als dass er nicht als Folge von Evaluationsergebnissen auftritt, sondern dass der Evaluationsprozess selbst Veränderungen bewirkt – unabhängig von den Evaluationsergebnissen (Harnar & Preskill, 2007; Patton, 2007). Patton (1997) definiert:

„Process use refers to and is indicated by individual changes in thinking and behavior, and program or organizational changes in procedures and culture, that occur among those involved in evaluation as a result of the learning that occurs during the evaluation process” (p.

90). Prozessnutzen ist daher eng verknüpft mit der Partizipation von Stakeholdern (Amo &

Cousins, 2007; Fetterman, 2003; Jacob, Ouvrard, & Bélanger, 2011; Preskill, Zuckerman, &

Matthews, 2003). Größere Unklarheiten gibt es allerdings, wenn es um die konzeptuelle Eindeutigkeit und Operationalisierung des Prozessnutzens geht. Amo und Cousins (2007) identifizieren drei zentrale Typen des Prozessnutzens: Lernen (learning), Veränderungen des Verhaltens (action or behavior) und Veränderungen der Haltung (attitude and affect). In

(22)

ähnlicher Weise fassen Harnar und Preskill (2007) zusammen: Prozessnutzen besteht aus Veränderungen in der Perspektive gegenüber einem Programm, Veränderungen in der Haltung gegenüber Evaluationen oder zeigt sich in direkten Programmänderungen, die durch Stakeholder durchgeführt wurden. Trotz dieser Bemühungen, den Prozessnutzen als Konstrukt zu operationalisieren, besteht weiterhin großer Bedarf an Konkretisierung und Untersuchung des Begriffs Prozessnutzen (Amo & Cousins, 2007). Prozessnutzen zu untersuchen und messbare Indikatoren dafür zu finden ist ein komplexes Unterfangen (Taut, 2007). Patton (2007) argumentiert jedoch dagegen, dass Prozessnutzen gar nicht als klar umrissenes Konstrukt, sondern eher als sensibilisierendes Konzept verstanden werden kann, über das nachgedacht, das angestrebt und das besprochen werden soll.

Diesen Nutzenarten gegenüber steht das Konzept des Evaluation Influence (Kirkhart, 2000; Henry & Mark, 2003a; Mark & Henry, 2004). Ausgehend von einer wahrgenommenen Unschärfe des Begriffs use, weil er beispielsweise zeitliche oder nicht-intendierte Effekte einer Evaluation nicht hinreichend umfasst, argumentiert Kirkhart (2000) für ein breiteres Verständnis des Einflusses von Evaluationen in Programmen. Dabei elaboriert Kirkhart den Einfluss von Evaluationen entlang von drei Dimensionen: Quelle (source), Intention (intention) und Zeit (time). Jede dieser Dimensionen beinhaltet verschiedene Level, die die Dimensionen charakterisieren. Die Level der Dimension Quelle beziehen sich auf die Frage, ob es vorwiegend Evaluationsergebnisse (bspw. Berichte, Empfehlungen) oder Evaluationsprozesse (bspw. Verstehen, Lernen durch Partizipation bei der Evaluation) sind, die Veränderungen im Programm erzeugen. Die Dimension Intention unterscheidet, inwieweit Veränderungen durch Evaluation intendiert oder nicht-intendiert sind. Hauptsächlich beabsichtigen Evaluationen intendierte Veränderungen, beispielsweise Empowerment oder Soziale Veränderung, wie bei der Transformative Participatory-Evaluation, oder pragmatische Problemlösungen, wie bei der Practical Participatory-Evaluation. Dennoch können auch nicht- intendierte Veränderungen auftreten, wenn beispielsweise intendierte Nutzende die

(23)

Evaluationsergebnisse in nicht vorhergesehener Weise nutzen oder wenn im Verlaufe einer Evaluation nicht-intendierte Nutzende des Programms auftreten, die ihrerseits (durch die Evaluation motiviert) andere Personengruppen beeinflussen. Dabei müssen diese nicht- intendierten Einflüsse nicht negativ sein, sie sind nur nicht beabsichtigt. Die dritte Dimension von Kirkhart, die Dimension Zeit, beschreibt drei Level des Evaluationseinflusses:

Unmittelbar (immediate influence), am Ende einer Evaluation (end-of-cycle influence) sowie langfristig (long-term influence). Der unmittelbare Einfluss tritt zumeist während des Evaluationsprozesses auf und ist, wenn auch nicht ausschließlich, eng verknüpft mit partizipativen Evaluationsansätzen. Der Evaluationseinfluss am Ende einer Evaluation tritt auf als Reaktion auf die Produkte einer Evaluation oder deren Dissemination. Der langfristige Einfluss, der als Lernen oder Veränderung über die Zeit erst in Erscheinung tritt, soll Evaluierende motivieren, den Einfluss einer Evaluation auch über einen längeren, möglicherweise verzögerten Zeitraum wahrzunehmen und zu beobachten. Allen drei Dimensionen ist innerhalb sowie zwischen ihnen gemeinsam, dass sie keine trennscharfen Kategorien darstellen, sondern je ein Kontinuum mit Grauzonen, dass sie aber zusammen eine integrale Theorie zur Beschreibung des Evaluationseinflusses anbieten (Kirkhart, 2000).

Henry und Mark (2003a) sowie Mark und Henry (2004) schließen sich der Auffassung Kirkharts (2000) zwar an und argumentieren für die umfassendere Sichtweise des Evaluationseinflusses, kritisieren jedoch dessen eingeschränkte Berücksichtigung von zentralen Prozessen und Mechanismen, die dem Evaluationseinfluss unterliegen und ihn beschreiben helfen. In Ergänzung zu Kirkhart (2000) beschreiben sie drei Analyseebenen: Die individuelle, interpersonelle und die kollektive Ebene. Für jede dieser Ebenen klassifizieren sie vier Bereiche, innerhalb derer Mechanismen des Evaluationsnutzens beschrieben werden können: Kognitive und affektive Prozesse (attitude) beziehen sich auf Veränderungen im Denken und Fühlen. Beispielsweise wird die Haltung von Entscheidungstragenden eines Programms durch eine Evaluation beeinflusst und Entscheidungen entsprechend durch

(24)

Evaluationen informiert. Motivationale Prozesse (motivational) beziehen sich auf Ziele und Bestrebungen. Verhaltensbezogene Prozesse (behavioral) beziehen sich auf Änderungen des Verhaltens, indem sich beispielsweise Methoden und Praktiken von Programmitarbeitenden auf Grundlage von Evaluationen verändern. Parallelen zu den Nutzenarten instrumenteller Nutzen und konzeptioneller Nutzen werden hier deutlich: Verhaltensbezogene Prozesse stehen mit dem instrumentellen Nutzen in Zusammenhang und insbesondere kognitive, jedoch auch affektive Prozesse, mit dem konzeptionellen Nutzen. Allen Prozessen voraus geht ein eher genereller Evaluationseinfluss, bei dem beispielsweise durch Elaboration von Evaluationsergebnissen die genannten zentralen Prozesse ausgelöst werden.

Alkin und Taut (2003) nehmen eine dritte Perspektive ein und diskutieren Gemeinsamkeiten und Unterschiede der Konzepte der Nutzenarten (instrumentell, konzeptionell und symbolisch) sowie des Evaluationseinflusses – letzteres allerdings auf Kirkhart (2000) bezogen, da die Ausführungen von Henry und Mark (2003a) und Mark und Henry (2004) zur Zeit des Artikels von Alkin und Taut (2003) noch nicht veröffentlicht waren. So führen sie Kirkharts (2000) Dimension Quelle, innerhalb derer ein Evaluationseinfluss aus dem Prozess oder den Ergebnissen einer Evaluation resultieren kann, zusammen mit den Nutzenarten instrumenteller Nutzen und konzeptioneller Nutzen. Alkin und Taut (2003) argumentieren, dass sowohl im Zuge eines Evaluationsprozesses wie auch als Folge von Evaluationsergebnissen instrumentelle und konzeptionelle Nutzenarten berichtet werden (bspw. Greene, 1988). Mit Blick auf die Dimension Zeit argumentieren Alkin und Taut (2003), dass sowohl instrumenteller wie auch konzeptioneller Nutzen sich unmittelbar, am Ende einer Evaluation oder langfristig einstellen können. Einzig bei der Dimension Intention argumentieren Alkin und Taut (2003) für die Verwendung des Begriffs Bewusstsein (awareness) anstelle von Intention. Der Begriff Bewusstsein soll unterscheiden zwischen intendierten und nicht-intendierten Einflüssen, die Evaluierende identifizieren und beeinflussen können auf der einen Seite und nicht-intendierten Einflüssen, die Evaluierende

(25)

nicht identifizieren und beeinflussen können auf der anderen Seite. Evaluierende sollten nach Alkin und Taut (2003) auf die Nutzenarten fokussieren, die sie beeinflussen können und aufmerksam sein gegenüber unerwarteten Einflüssen. Auch sollten Evaluierende sich mit intendierten Nutzenden einer Evaluation über intendierte Nutzenarten austauschen, diese planen und auf deren Nutzung hinarbeiten.

Zusammengefasst bündeln Alkin und Taut (2003) die immer noch andauernde Diskussion um Konzepte des Evaluationsnutzens und des Evaluationseinflusses. Mit Blick auf partizipative Evaluationsansätze und im Einklang mit den vorangestellten Konzepten erscheinen im Rahmen der vorliegenden Arbeit insbesondere die Nutzenarten instrumenteller Nutzen und konzeptioneller Nutzen sinnvoll für die weitere Betrachtung, da sie die größten Überschneidungsmengen der vorangestellten Beschreibungen von Nutzen und Einfluss aufweisen. Der instrumentelle Nutzen bezeichnet dabei ein aus Evaluationsprozessen oder – ergebnissen direkt resultierendes Verhalten. Der konzeptionelle Nutzen bezeichnet eine aus Evaluationsprozessen oder -ergebnissen resultierende Kognition, also neues Verständnis oder neu gewonnenes Wissen gegenüber einem Evaluationsgegenstand. Mit Blick auf die Ausführungen von Henry und Mark (2003a) sowie Mark und Henry (2004) hat der konzeptionelle Nutzen über die von Kirkhart (2000) dargelegten kognitiven Facetten hinaus aber auch noch affektive Facetten, die in der Literatur bislang jedoch nicht genauer benannt werden. Auf diese soll deswegen – neben anderen berichteten Konsequenzen partizipativer Evaluation - im folgenden Kapitel 1.2.2.2 näher eingegangen werden. Festgehalten wird zunächst, dass mit Blick auf den konzeptionellen Nutzen insbesondere die kognitiven Facetten des konzeptionellen Nutzens im Weiteren als Evaluationsnutzen – neben dem instrumentellen Nutzen – betrachtet werden. Da der symbolische Nutzen eine eng begrenzte Nutzenart ist und deswegen auch weniger Betrachtung in der Literatur findet (Mark & Henry, 2004), wird dieses Konzept hier nicht weiter verfolgt.

Ferner wird festgehalten, dass es sich bei diesen Nutzenarten um zunächst

(26)

beschreibende Konzepte handelt, wie die Autorinnen und Autoren ihrerseits betonen. Auf den empirischen Nachweis über die mögliche Existenz des Zusammenhangs von partizipativer Evaluation, dem instrumentellen Nutzen sowie den konzeptionellen Nutzen wird in Kapitel 1.3 – der empirischen Betrachtung der Wissensbasis über partizipative Evaluation – näher eingegangen.

1.2.2.2 Weitere positive Konsequenzen partizipativer Evaluation

In diesem Abschnitt werden weitere Konsequenzen aufgeführt, die im Zusammenhang mit partizipativer Evaluation Erwähnung finden. Weil diese Konsequenzen jedoch häufig nicht weiter erläutert werden, werden teils ergänzend, teils zusätzlich zur evaluationsbezogenen Literatur Erläuterungen aus anderen Kontexten aufgeführt, beispielsweise aus der Literatur zur Partizipation in Organisationen (Wagner, Leana, Locke,

& Schweiger, 1997), im organisationalen Change Management (Lines, 2004) oder der partizipativen Stadtentwicklung (Zenker & Seigis, 2012). Diese werden schließlich in Beziehung gesetzt mit partizipativer Evaluation.

Validität und Glaubhaftigkeit. Neben dem Evaluationsnutzen als positiver Konsequenz von Partizipation ist eine weitere Konsequenz häufig aufgeführt und schließt an den epistemologischen Zielen partizipativer Evaluationen an (siehe Kapitel 1.2.1, Weaver &

Cousins, 2004): Die erhöhte Validität und Glaubhaftigkeit der Evaluation und ihrer Ergebnisse. Durch Partizipation werden die relevanten Themen eines Programms benannt, da Stakeholder über lokales Wissen über das Programm – bspw. soziale Phänomene oder Kontext – verfügen, das externen Evaluierenden zunächst vorenthalten ist (Brandon, 1998;

Cousins, 1996; Cullen, Coryn, & Rugh, 2011; Weaver & Cousins, 2004). Die Evaluation befasst sich in der Folge mit den Programmbestandteilen, die für die potenziell Nutzenden der Evaluationsergebnisse von hohem Interesse sind und setzen dafür Methoden ein, die von den Nutzenden als angemessen angesehen werden (Fleming, 2011).

Vertrauen und Respekt. Partizipative Evaluation erzeugt Vertrauen zwischen

(27)

Stakeholdern, Management, Institutionen und Evaluierenden (Diez, 2001) sowie Vertrauen in die Evaluation und ihre Ergebnisse (Rodríguez-Campos, 2012). Dabei stellt Vertrauen einen essentiellen Bestandteil partizipativer Evaluationen dar (Taut, 2008). In ihrer Definition von Vertrauen im organisationalen Kontext beschreiben Mayer, Davis und Schoorman (1995) Vertrauen als etwas Interpersonelles, nämlich das Vertrauen in andere Personen, gegenüber deren Handeln man sich verletzlich macht und der man vertraut, dass ihre Handlungen wichtig für die vertrauende Person sind. Cho und Park (2011) argumentieren, dass sich die Definition von Mayer et al. (1995) zwar zunächst auf interpersonelle Beziehungen bezieht, dass sie jedoch auch auf institutionelle Beziehungen, wie beispielsweise zwischen Management und Mitarbeitenden, ausgeweitet werden kann: Management gestaltet Regeln und Kultur einer Organisation und setzt dadurch die Mitarbeitenden gleichfalls verletzlichen Beziehungen aus. Personen können Vertrauen darüber hinaus nicht nur bestimmten anderen Personen gegenüber entwickeln, sondern auch gegenüber generalisierten Stellvertretenden, wie beispielsweise einer Organisation (Whitener, 1997, zitiert nach Aryee, Budhwar, & Chen, 2002). Vertrauen kann als vermittelnde Variable konzipiert werden. Beispielsweise zeigen Aryee et al. (2002) für den organisationalen Kontext, dass Vertrauen mediiert zwischen einer fairen Behandlung in Organisationen einerseits und Arbeitshaltungen, Arbeitsverhalten sowie Performance andererseits. Übertragen auf partizipative Evaluation könnte dies also bedeuten, dass ein möglicher Effekt von Partizipation auf die Nutzenart instrumenteller Nutzen mediiert wird durch das Vertrauen gegenüber der Evaluation – bzw. ihrem partizipativen Prozess als generalisierte Stellvertretende – und den Evaluierenden.

Ebenso im Zusammenhang mit partizipativer Evaluation steht das Gefühl von Respekt, bzw. sich mit Respekt behandelt zu fühlen (Taut, 2008). Im Kontext von Bürgerbeteiligung finden Zenker und Seigis (2012) in einem Feldexperiment, dass Respekt, bzw. das Gefühl, sich respektiert zu fühlen, ein zentraler Mediator ist: Respekt mediiert im Rahmen eines Stadtentwicklungsprogramms zwischen dem partizipativen Prozess und der

(28)

Zufriedenheit der Bürgerinnen und Bürger mit dem Stadtentwicklungsprogramm. Dabei führte allein die Möglichkeit, im Rahmen des Prozesses gehört zu werden bereits zu höherer Zufriedenheit, als nicht gehört zu werden. Respekt wirkt sich darüber hinaus auch auf Verhalten oder zumindest Verhaltensintentionen aus: Im Kontext der Gruppenforschung demonstrieren Simon und Stürmer (2003), dass Personen, die sich mit Respekt behandelt fühlen, eher Bereitschaft zu gruppendienlichem Verhalten zeigen als Personen, die sich mit weniger Respekt behandelt fühlen. Einzig einschränkend sei jedoch erwähnt, dass Respekt im letzten Beispiel nicht über Partizipation manipuliert wurde, sondern durch Kommentare von vermeintlichen Eigengruppenmitgliedern, was möglicherweise Konsequenzen für die Aussagekraft dieser Ergebnisse für den Kontext partizipativer Evaluation beinhaltet. Dennoch soll gelten: Wenn also partizipative Evaluation dazu führt, dass Personen sich mehr respektiert fühlen, dann sollte dieses Gefühl auch das Verhalten indirekt beeinflussen.

Respekt mediiert demnach zwischen dem partizipativen Evaluationsprozess und dem instrumentellen Nutzen.

Ownership und Commitment. Durch Partizipation haben Stakeholder die Chance, einen „sense of ownership“ (Rodríguez-Campos, 2005, p. 82) gegenüber der Evaluation zu entwickeln (Dobbs & Moore, 2002; Taut, 2007, 2008), was im Zusammenhang mit der Nutzung von Evaluationsergebnissen steht (Cousins, 1996; Preskill et al., 2003; Weiss, 1998, zitiert nach Rodríguez-Campos, 2005). Ownership bezieht sich dabei sowohl auf den Evaluationsprozess als auch auf die Evaluationsergebnisse (Fleming, 2011; Patton, 1997). Im Kontext von partizipativen Entscheidungsfindungen in Organisationen erläutern Han, Chiang und Chang (2010) Ownership als eine Haltung, die in Abgrenzung zu rechtlichem Besitztum wahrgenommen wird: Während letzteres an Objekten festgemacht wird, die eine Person dem Rechte nach besitzt, können Personen gegenüber einer Sache oder einem Produkt – materiell oder immateriell (Pierce, Kostova, & Dirks, 2001) – ebenfalls ein Gefühl von Ownership entwickeln und empfinden, auch wenn es rechtlich nicht ihres ist. Ein solches Gefühl der

(29)

Zugehörigkeit eines Objekts zu einer Person kann bspw. im Rahmen partizipativer Entscheidungsfindung entstehen (Rousseau & Shperling, 2003, zitiert nach Han et al., 2010).

Dabei nimmt dieses Gefühl, etwas gehöre (zu) jemandem und sei dadurch Teil einer Person (Pierce et al., 2001), eine vermittelnde Rolle ein: Ownership beeinflusst das Verhalten von Personen in positiver Weise, was sich beispielsweise in mehr Engagement oder besserer Performance in Organisationen äußert (Van Dyne & Pierce, 2004). Übertragen auf die partizipative Evaluation sollte ein durch Partizipation entstandenes Gefühl von Ownership dazu beitragen, die Evaluation und ihre Ergebnisse als etwas Eigenes anzusehen und in der Folge Engagement für den Erfolg dieser Evaluation zu zeigen, beispielsweise bei der Umsetzung von Evaluationsergebnissen – dem instrumentellen Nutzen.

Eng im Zusammenhang mit Ownership, jedoch konzeptionell verschieden ist Commitment (Van Dyne & Pierce, 2004). Partizipative Evaluation steht in positivem Zusammenhang mit dem Commitment der beteiligten Stakeholder gegenüber der Evaluation (Preskill et al., 2003) sowie gegenüber kontinuierlichem Evaluationsnutzen (Cullen, Coryn, &

Rugh, 2011; Lee, 1999). Während Ownership vor allem das Gefühl des Besitzes gegenüber einer Sache als „meines“ oder „unseres“ unterstreicht, beschreiben Meyer und Allen (1991) für den organisationalen Kontext Commitment als ein Gefühl, sich mit einer Sache (z.B. der Organisation) verbunden zu fühlen und ebenso das Bestreben, mit dieser Sache in Verbindung bleiben zu wollen (z.B. weiterhin angestellt zu sein). Im Kontext von Zielsetzungsmaßnahmen in Organisationen wird Commitment ebenso als Entschlossenheit, ein Ziel umzusetzen und als Wille, auf dieses Ziel hin zu arbeiten definiert (Leifer &

MacGannon, 1986, zitiert nach Renn, Danehower, Swiercz, & Icenogle, 1999), also ebenfalls die Verbundenheit gegenüber einer Sache, die zu mehr Aktivität für diese Sache motiviert.

Allerdings zeigen sich auch inkonsistente Befunde für Commitment im Zusammenhang mit Partizipation und partizipativen Zielsetzungsmaßnahmen. Partizipation steht in manchen Fällen in einem Zusammenhang zu höheren Zielen, in anderen hat sie keinen Einfluss auf

(30)

Commitment gegenüber Zielen (Hollenbeck & Klein, 1987). Lines (2004) jedoch zeigt, dass Commitment gegenüber Veränderungen als Folge eines partizipativen Change Managements in Organisationen durchaus empfunden wird und dass beteiligte Personen daher motiviert seien, den Veränderungsprozess zu unterstützen. Übertragen auf Evaluationen sollte Partizipation daher zu erhöhtem Commitment gegenüber der Evaluation und ihren Ergebnissen führen. Als Konsequenz daraus sollten Stakeholder Engagement aufwenden, die Evaluation und ihre Ergebnisse zu unterstützen, beispielsweise indem sie Ergebnisse aktiv nutzen (instrumenteller Nutzen).

Akzeptanz und Zufriedenheit. Ein Konstrukt, das in engem Zusammenhang mit Commitment insbesondere bei partizipativen Zielfindungen Erwähnung findet, ist die Akzeptanz von partizipativ entstandenen Zielen (Erez & Arad, 1986; Erez, Earley, & Hulin, 1985; Renn et al., 1999). Akzeptanz ist eine Haltung, die die Angemessenheit und Akzeptierbarkeit reflektiert, die eine Person beispielsweise Zielen gegenüber empfindet (Leifer & McGannon, 1986, zitiert nach Renn et al., 1999). Dabei dient Akzeptanz als vermittelnde Variable zwischen Partizipation und Performance (Erez et al., 1985; Locke &

Schweiger, 1979). Übertragen auf den Kontext partizipativer Evaluation könnte dies bedeuten, dass Partizipation zu mehr Akzeptanz gegenüber den Evaluationsergebnissen führt sowie zu einer positiveren Haltung der Evaluation gegenüber, was wiederum Einfluss auf die Verhaltenskomponente, namentlich den instrumentellen Nutzen, haben sollte. Insofern stellt Akzeptanz nun auch eine affektive Facette des konzeptionellen Nutzens dar. Akzeptanz erscheint als vermittelnde Variable überdies insofern sinnvoll, als dass eine positive Haltung gegenüber der Evaluation unterstützend auf die Umsetzung ihrer Ergebnisse wirken sollte (Fleming, 2011).

Partizipative Evaluation wird ferner mit erhöhter Zufriedenheit mit dem eigenen Programm assoziiert (Brandon & Fukunaga, 2014; Turnbull, 1999). Turnbull (1999) verweist darauf, dass die erhöhte Zufriedenheit mit dem Programm vor allem daher rührt, dass

(31)

Personen durch Partizipation ein verbessertes Verständnis über das eigene Programm erlangt haben. Dies geht inhaltlich eng mit dem konzeptionellen Nutzen einher. Dass Partizipation in einem positiven Zusammenhang mit Zufriedenheit steht, konnten auch Black und Gregersen (1997) im Kontext partizipativer Entscheidungsfindungen in Organisationen zeigen. In der Forschungsliteratur wird Zufriedenheit sowohl als eine Ergebnisvariable, als auch als eine vermittelnde Variable beschrieben, die Verhalten beeinflussen kann (Cho & Park, 2011), letzteres beispielsweise, indem höhere Job-Zufriedenheit zu verbesserter Performance in Organisationen führt (Judge, Thoresen, Bono, & Patton, 2001). Für partizipative Evaluationen könnte dies bedeuten, dass Zufriedenheit, eine weitere affektive Facette des konzeptionellen Nutzens, als vermittelnde Variable das Verhalten von Personen beeinflusst – den instrumentellen Nutzen (Fleming, 2011).

Empowerment. Ebenfalls in Zusammenhang mit partizipativer Evaluation steht das Konzept des Empowerment. Empowerment ist ein Prozess, bei dem Stakeholder Entscheidungen ihre Umwelt betreffend übernehmen, mit den Ressourcen, die ihnen zur Verfügung stehen (Zimmerman, 2000). Partizipative Evaluation empowert Stakeholder, indem diese an Entscheidungen der Evaluation mitwirken, je nachdem, wie sehr ihnen diese Entscheidungsmacht zugesprochen beziehungsweise übertragen wird. Ein Ansatz partizipativer Evaluation, bei dem insbesondere die Dimension Kontrolle über den Evaluationsprozess stark in Richtung der Stakeholder ausgeprägt ist – bei dem die Kontrolle also bei Stakeholdern und nicht oder nur teilweise bei den Evaluierenden liegt (siehe Kapitel 1.2.1) – ist Empowerment Evaluation (Fetterman, Kaftarian & Wandersman, 1996; Fetterman

& Wandersman, 2005). Empowerment Evaluation beinhaltet die Nutzung von Evaluationskonzepten, -techniken und -ergebnissen, die insbesondere der Weiterentwicklung und der Selbstbestimmung von Stakeholdern dienen (Fetterman, 1994) und kann demnach insbesondere der transformativen Funktion partizipativer Evaluationen (Transformative Particiaptory-Evaluation) zugeordnet werden (Cousins & Whitmore, 1998; Cullen & Coryn,

(32)

2011). Dabei ist Empowerment eine ausdrücklich gewünschte Konsequenz dieses Ansatzes (Fetterman & Wandersman, 2005), die sich allerdings nicht direkt, sondern erst in größeren Abständen zur Evaluation einzustellen vermag (Cousins & Chouinard, 2012). Ihr Zusammenhang mit Evaluationsnutzen ist insofern schwer zu konzipieren, als dass der Evaluationsnutzen direkter und in der Regel zeitlich vor den Effekten von Empowerment auftritt (siehe Practical Participatory-Evaluation, Cousins & Chouinard, 2012). Nicht zuletzt ist der Evaluationsnutzen im Sinne der pragmatischen Funktion partizipativer Evaluation nicht das Hauptanliegen der Empowerment Evaluation. Ihr Hauptanliegen ist der emanzipatorische und transformative Prozess.

Zusammenfassend sollen die oben aufgeführten Konsequenzen weiter wie folgt betrachtet werden: Zufriedenheit und Akzeptanz, die inhaltlich Facetten des konzeptionellen Nutzens darstellen, tragen zum instrumentellen Nutzen bei, indem sie zwischen dem Evaluationsprozess, also der Partizipation und dem instrumentellen Nutzen vermitteln.

Ownership und Commitment gegenüber den Evaluationsergebnissen entstehen als Folge von Partizipation. Sie vermitteln den Effekt von Partizipation auf Evaluationsnutzen, insbesondere den verhaltensbezogenen, instrumentellen Nutzen. Vertrauen und Respekt entstehen durch Partizipation in Evaluation. Auch sie vermitteln den Effekt von Partizipation auf Evaluationsnutzen, insbesondere den verhaltensbezogenen, instrumentellen Nutzen.

Empowerment erscheint insbesondere eine Folge der Empowerment Evaluation, bei der die Kontrolle über den Evaluationsprozess gänzlich bei den Stakeholdern liegt. Da dieser Ansatz als radikaler (vgl. Cousins et al., 2013, p. 8) gilt gegenüber anderen partizipativen Ansätzen und er damit eine gewisse Alleinstellung aufweist, er eher der transformativ- emanzipatorischen Funktion dient und damit nicht in erster Linie dem Evaluationsnutzen und schließlich, da Empowerment als Ergebnis partizipativer Evaluation erst in größerem Abstand erfolgt, wird Empowerment für die weitere Betrachtung ausgeklammert.

Diese Liste möglicher Konsequenzen und mediierender Prozesse innerhalb

(33)

partizipativer Evaluation mit Fokus auf den Evaluationsnutzen kann keine Vollständigkeit beanspruchen. Sie ist eine – mit Blick auf die Literatur und der verwandten Themenbereiche, die sich mit Konsequenzen von Partizipation auseinandersetzen – allenfalls naheliegende Sammlung. Dabei soll jedoch nicht vernachlässigt werden, dass je nach Art der Evaluation auch andere Prozesse und Konsequenzen relevant werden können, beispielsweise, wenn die Funktion der Transformative Participatory-Evaluation im Vordergrund steht. Dann wäre eher ein Bezug zu Konstrukten wie Empowerment relevant. In anderen, beispielsweise nicht- partizipativen Evaluationen können weitere Einflussgrößen zu möglichen Konsequenzen für den Evaluationsnutzen beisteuern wie (inter)personale oder organisationale Bedingungen (siehe Kapitel 1.1). Nicht zuletzt kann auch das Ergebnis einer Evaluation Prozesse und Konsequenzen – beispielsweise die Haltung und in der Folge den Evaluationsnutzen – der Evaluation beeinflussen, worauf in Kapitel 2.3 noch näher einzugehen sein wird. Der Fokus der vorliegenden Arbeit aber, so wird weiter unten noch deutlicher werden, liegt auf der Funktion der Practical Participatory-Evaluation aufgrund ihres direkten Bezugs zum Evaluationsnutzen (siehe Kapitel 1.2.2.1). Dies leitet schließlich die Auswahl der hier vorgestellten mediierenden Prozesse.

Bislang lag der Fokus auf den positiven Konsequenzen partizipativer Evaluation. Da jedoch durchaus auch negative Konsequenzen berichtet werden, sollen diese im folgenden Kapitel als Herausforderungen näher erläutert werden.

1.2.3 Herausforderungen partizipativer Evaluation

Herausforderungen stehen im Zusammenhang mit den Funktionen und Dimensionen partizipativer Evaluation (siehe Kapitel 1.2.1) und werden daher im Folgenden im Zusammenhang mit den Funktionen und Dimensionen näher erläutert.

Mit Blick auf die Dimensionen Stakeholderauswahl für Partizipation und Tiefe der Partizipation stehen Evaluierende vor der Herausforderung zu entscheiden, welche Stakeholder, wie viele und mit welchen Rollen diese eingebunden werden sollen. Je nachdem,

(34)

durch welche Funktion (transformativ oder pragmatisch) sich eine partizipative Evaluation eher motiviert sieht, werden unterschiedliche Auswahlkriterien relevant: Bei der transformativen partizipativen Evaluation sollen viele Stakeholder, insbesondere diejenigen mit wenig Macht und die Marginalisierten, eine Stimme erhalten, wohingegen es bei der pragmatischen partizipativen Evaluation vielmehr darauf ankommt, insbesondere die intendierten Nutzenden einzubeziehen, um so den Evaluationsnutzen zu erhöhen (Taut, 2008).

Eine Vielzahl an Stakeholdern bringt einen hohen logistischen Aufwand mit sich, die Intensität der Partizipation wird geringer, jedoch werden vielfältigere Ansichten gehört. Bei nur wenigen Stakeholdern – beispielsweise den primär Nutzenden der Evaluation – besteht die Gefahr, dass bestimmte Gruppen über- und andere unterrepräsentiert sind und dadurch marginalisierte Gruppen nicht gehört werden, dass aber Evaluationsergebnisse wahrscheinlicher genutzt werden (Taut, 2008).

Stakeholder, die an einer Evaluation partizipieren, können ihre eigene Agenda verfolgen und versuchen, die Evaluation und ihre Ergebnisse für eigene Zwecke zu beeinflussen auf Kosten der Validität (Cullen, Coryn, & Rugh, 2011) oder der Objektivität (Rodríguez-Campos, 2012). Sie können unmotiviert oder unfähig sein, mitzuwirken (Gregory, 2000; King & Stevahn, 2013), Konflikte zwischen führenden Personen oder Gruppen können die gesamte Evaluation beeinflussen (Whitmore, 1998). Diesen Konsequenzen zu begegnen erfordert hohen Aufwand und entsprechende Qualifikation aufseiten der Evaluierenden (Weiss, 1998).

Der Blick auf die Dimension Kontrolle über den Evaluationsprozess wirft weitere Fragen auf, die ebenfalls in Abhängigkeit der Funktionen (transformativ vs. pragmatisch) diskutiert werden. Schließlich sprechen partizipative Evaluationen fundamentale Werte (Mark

& Shotland, 1985) sowie Fragen der unterschiedlichen Machtverteilung zwischen Gruppen oder Personen an (Whitmore, 1998). Viele der Ansätze beachten diese Frage aber nicht in aller Konsequenz. Sie übersehen oftmals den Expertenstatus, der ihnen als externe

(35)

Expertinnen und Experten inne ist sowie eine daraus resultierende relative Abhängigkeit, die Stakeholder gegenüber Evaluierenden empfinden können (Gregory, 2000). Die Verteilung der Macht entscheidet schließlich darüber, wessen Ideologie, Interessen und Informationen dominant sind (Weiss, 1983). Bestehende Machtstrukturen können durch partizipative Evaluation erst sichtbar oder gar verfestigt werden, beispielsweise wenn Evaluierende Stakeholder für eine partizipative Evaluation auswählen oder darüber entscheiden, welche Zugänge Stakeholder zu Entscheidungsmacht erhalten. Diese Entscheidungen sind bereits Ausdruck der Werte derjenigen, die solche Entscheidungen treffen und bestimmen in der Folge auch die Werte, die in der Evaluation dominieren (Mark & Shotland, 1985; Taut, 2008).

Darüber hinaus ist die Stakeholderauswahl durch Evaluierende zunächst autokratisch und steht damit in gewissem Widerspruch insbesondere zu transformativ motivierten partizipativen Evaluationen (Mark & Shotland, 1985). Die an Werte gebundene Auswahl bestimmter Stakeholder kann überdies zum Ausschluss anderer, gegebenenfalls wichtiger Stakeholder führen (Gregory, 2000). Solange die Machtstrukturen also bestehen bleiben, ist partizipative Evaluation Risiken ausgesetzt: Stakeholdern eine Stimme zu geben, ihnen aber dabei die Macht vorzuenthalten, programmatische Entscheidungen tatsächlich treffen zu können, kann in der Folge sogar zu Abneigung und Unzufriedenheit führen (Mark &

Shotland, 1985).

Auf einer praktischen Ebene erhöhen partizipative Evaluationen ferner den logistischen, monetären und zeitlichen Aufwand, der für die Auswahl, Gewinnung und Aufrechterhaltung von Partnerschaften zwischen Evaluierenden und Stakeholdern aufgebracht werden muss (Cullen, Coryn, & Rugh, 2011).

Diese Herausforderungen partizipativer Evaluationen verdeutlichen, dass es neben den als positiv angenommenen Konsequenzen auch Aspekte gibt, die die Durchführung und Qualität partizipativer Evaluationen negativ beeinflussen oder gar zum Nachteil für Stakeholder oder die Evaluation gereichen können. Ihre sorgfältige Abwägung in der

(36)

Untersuchung oder Durchführung partizipativer Evaluationen erscheint daher ebenso relevant wie die überwiegend positiven Aspekte in der Literatur.

Bis hierher wurde dargelegt, welche positiven und negativen Konsequenzen mit partizipativer Evaluation in Verbindung gebracht werden. Doch wie wird dieses Wissen produziert und auf welchen Quellen beruht dieses Wissen zumeist? Dies soll im folgenden Kapitel erläutert werden.

1.3. Wissensbestände zum Zusammenhang von partizipativer Evaluation und Evalua- tionsnutzen

In den vergangenen Jahrzehnten hat sich ein beachtlicher Fundus an Wissen über und Erfahrungen mit partizipativer Evaluation sowie ihren Zusammenhang mit dem Evaluationsnutzen entwickelt. In diesem Kapitel wird dargelegt – in Abgrenzung zu den konzeptionellen Ausführungen des vorangegangenen Kapitels 1.2 – wie dieses Wissen zustande kommt und exemplarisch prominente Untersuchungen aufgezeigt, die die partizipative Evaluation selbst zum Forschungsgegenstand hatten. Kurze Zusammenfassungen der Untersuchungsberichte erläutern, welche empirischen Zugänge bisher gewählt wurden, um das Wissen über partizipative Evaluation sowie über den Zusammenhang von Partizipation und Evaluationsnutzen zu erlangen. Dazu zählen insbesondere Befragungen, Fallstudien und Literaturreviews. Es wird deutlich, dass diese Zugänge Mängel in Hinblick auf die Frage der Kausalität des besagten Zusammenhangs zeigen.

1.3.1 Befragungen

Preskill und Caracelli (1997) befragten Personen, die im Jahr 1996 Mitglieder der amerikanischen Evaluationsfachgesellschaft (American Evaluation Association) waren und die darin der Evaluation Use Topical Interest Group angehörten. Ein Fokus des Survey lag darin, etwas über mögliche Implikationen zu erfahren, die partizipative Evaluationen auf den Evaluationsnutzen haben. Von N = 530 angeschriebenen nordamerikanischen Mitgliedern dieser Topical Interest Group beantworteten schließlich n = 282 Personen den Paper &

(37)

Pencil-Fragebogen. Der Fragebogen beinhaltete unter anderem 50 geschlossene Fragen zum Evaluationsnutzen. Preskill und Caracelli (1997) berichteten, dass aus Sicht der Befragten der Einbezug mehrerer Stakeholder zu erhöhtem Prozessnutzen (72%) sowie zu erhöhtem Ergebnisnutzen (74%) führte. Allerdings gaben nur 34% der Befragten an, dass ein ausbalanciertes Machtverhältnis zwischen Evaluierenden und Stakeholdern für diesen Zweck notwendig ist. Die Autorinnen schlossen unter anderem mit dem Befund, dass Partizipation ein immer wichtigerer Bestandteil von Evaluationsdesigns wird und dass dies nicht zuletzt mit ihren Implikationen für den Evaluationsnutzen zusammenhängt.

Fleischer und Christie (2009) schlossen an den Survey von Preskill und Caracelli (1997) an und befragten im Jahre 2006 ebenfalls Mitglieder der American Evaluation Association. Der Survey von Preskill und Caracelli (1997) sollte unter anderem wiederholt und mit neuen Ergebnissen, etwa 10 Jahre später, verglichen werden. Via Email erreichten die Autorinnen N = 3.824 Mitglieder der American Evaluation Association (diesmal jedoch nicht beschränkt auf Angehörige der Use Topical Interest Group, sondern American Evaluation Association gesamt), von denen n = 1.140 Personen an der Befragung teilnahmen. Wiederum beinhaltete der Fragebogen geschlossene Fragen unter anderem zum Zusammenhang von Partizipation und Evaluationsnutzen. Als wichtigen Faktor, der den Evaluationsnutzen positiv beeinflusst, berichteten 86% der Befragten die Partizipation von Stakeholdern im Evaluationsprozess. Achtundsiebzig Prozent der Befragten gaben an, dass Partizipation den Ergebnisnutzen erhöht und 70% gaben an, dass der Prozessnutzen durch Partizipation erhöht wird. Auf die Frage nach einem ausbalancierten Machtverhältnis zwischen Evaluierenden und Stakeholdern antworteten 55% der Befragten zustimmend. Dies ist zwar mehr als im Survey von 1996, dennoch wurde diese Frage auch 2006 im Verhältnis zu anderen Fragen des 2006er Survey mit der geringsten Zustimmung beantwortet.

Cousins, Donohue und Bloom (1996) untersuchten, wie Evaluierende den Einsatz partizipativer Evaluation einschätzen, wie sie partizipative Evaluationen in ihrer Praxis