Abwasserentsorgung in Peru
4 MAPP als methodischer Ansatz zur Wirkungs- Wirkungs-analyse des FPA
4.1 Wirkungen und Wirkungsanalysen .1 Wirkungen
Der in der Entwicklungszusammenarbeit verwendete Begriff Wirkungen umfasst nach der Definition des Entwicklungshilfeausschusses der OECD
(Übersicht 4.1) sowohl die direkten kurz- und mittelfristigen Wirkungen (outcomes) als auch die längerfristigen, beabsichtigten und unbeabsich-tigten, positiven und negativen Wirkungen (impacts). Während bei der Betrachtung entwicklungspolitischer Maßnahmen lange die eingesetzten Ressourcen (inputs) und die mit ihnen erzeugten Leistungen (outputs) im Vordergrund standen, ist es inzwischen unumstritten, dass erst die Wirkun-gen über den Erfolg einer Maßnahme entscheiden.
Übersicht 4.1: Begriffe der Wirkungskette (results chain, cadena de resultados)
Project or program objective: die für eine Entwick-lungsmaßnahme einge-setzt werden
Inputs:
Financial, human, and material re sources used for the development intervention
Insumos:
Recursos financieros, humanos y materiales empleados en una inter-vención para el desa-rrollo
Leistungen:
Produkte, Güter, Dienst-leistungen und Insti-tutionen/Regelwerke, die durch die Entwick-lungsmaßnahme erstellt wurden
Outputs:
Products, capital goods, services and institu-tions/regulations which result from a develop-ment inter vention
Productos:
Productos, bienes de capital, servi cios e ins-tituciones/reglamentos que resultan de una intervención para el desarrollo
Direkte Wirkungen:
Voraussichtliche oder tatsächlich erreichte kurz- und mittelfristige Wirkungen des output einer Maßnahme
Outcomes:
The likely or achieved short-term and medi-um-term effects of an in tervention’s outputs
Efectos directos:
El conjunto de resulta-dos a corto y mediano plazo probables o logra-dos por los productos de una inter vención
Längerfristige Entwicklungs wir-kungen:
Positive/negative, pri-märe/sekun däre Lang-zeiteffekte, die direkt oder indirekt, beabsich-tigt oder un beabsichbeabsich-tigt aus einer Entwicklungs-maßnahme resultieren
Impacts:
Positive and negative, primary and secondary long-term effects pro-duced by a development interven tion, directly or indirectly, intended or unintended
Impactos:
Efectos de largo plazo positivos y negativos, primarios y secundarios, producidos directa o indirectamen te por una intervención para el de sarrollo, intencional-mente o no
Quelle: OECD (2002); OECD 2009; BMZ (2006d)
4.1.2 Ziele und Typen von Wirkungsanalysen
Wirkungsanalysen versuchen, Aussagen über die direkten und indirekten Wirkungen von Interventionen im Lichte des zugrunde gelegten Zielsys-tems (Oberziel, Projekt- oder Programmziele) zu machen. Voraussetzung ist, dass die Relevanz des Zielsystems bereits überprüft wurde; andernfalls beginnt die Wirkungsanalyse mit der Prüfung der Relevanz.29 Wirkungsana-lysen dienen nicht nur dazu, die Wirksamkeit einer bestimmten Intervention zu beurteilen, sondern auch dazu, laufende und künftige Interventionen zu verbessern (Lernziel). Wirkungsanalysen werden entweder von unabhängi-gen Gutachtern (externe Evaluierununabhängi-gen) oder von der Institution, die die Intervention durchführt, erstellt (Selbstevaluierung).
Wirkungsanalysen können auf drei Arten durchgeführt werden: (i) in Form eines Vergleichs der Situation vor und nach der Intervention; Voraussetzung sind Daten über die Ausgangssituation (baseline data); (ii) in Form eines Vergleichs zwischen der Gruppe, die von der Intervention profitiert hat, und einer Kontrollgruppe außerhalb der Intervention (experimenteller Ansatz);
Voraussetzung ist hier, dass tatsächlich eine hinsichtlich aller wichtigen Merkmale vergleichbare Gruppe existiert; (iii) durch Ermittlung der Wir-kungen zusammen mit den Betroffenen einer Intervention (SLE 2005, 40).
Diese drei Typen von Wirkungsanalysen können nur ex post durchgeführt
29 Zum Begriff Relevanz siehe Kap. 2.
werden. Es gibt allerdings auch Ex-ante-Wirkungsanalysen, die für Pla-nungszwecke eingesetzt werden.30
Wirkungsanalysen können sich auf die Mikro- oder die Makroebene bezie-hen. Besonders im ersten Fall eröffnen sie die Chance eines partizipativen Vorgehens zusammen mit Akteuren der Intervention und der Zielgruppe.
Dies bietet sich insbesondere bei Zielen an, deren Erreichung kaum objek-tiv messbar ist (z. B. im Falle der ownership, die eine Intervention bei der Zielgruppe hervorgerufen hat). Der Vorteil ist, dass die Erfahrungen der Be-teiligten direkt in die Wirkungsanalyse einbezogen und positive und nega-tive Veränderungen erfasst werden können (Neubert 2004a, 3; Marggraff / Posse 2006, 41).
4.1.3 Grundlegende Fragen der Wirkungsanalyse
Zuordnungslücke
Wirkungsanalysen beruhen auf der Annahme einer kausalen Beziehung zwi-schen inputs/out puts und den Wirkungen einer Intervention. Ein zentrales methodisches Problem besteht jedoch in der eindeutigen Zuordnung von Wir-kungen zu Ursachen. Diese als Zuordnungslücke bezeichnete Schwierigkeit resultiert daraus, dass Ursachen verschiedene Wirkungen entfalten können und umgekehrt eine bestimmte Wirkung verschiedene Ursachen haben kann.
Das Problem der Zuordnungslücke nimmt zu, je länger die Wirkungsketten sind und je höher aggregiert die Betrachtungsebene ist. In einem Trinkwas-serversorgungsprojekt ist die Wirkungskette in doppeltem Sinne eher kurz.
Zu erwarten ist erstens, dass die Bereitstellung sauberen Trinkwassers un-mittelbar zum Rückgang von Krankheiten führt, die durch verschmutztes Trinkwasser verursacht wurden, und zweitens, dass diese Wirkung rasch eintritt. Umgekehrt ist die Wirkungskette eines Projektes zur Verbesserung der Leistungsfähigkeit der Kommunalverwaltung länger und komplexer, da das Projekt erst über mehrere Zwischenschritte (z. B. Fortbildung von Per-sonal, dadurch bessere Planung, dadurch bessere Projekte) zur tatsächlichen
30 Ein Beispiel ist die Poverty and Social Impact Analysis (PSIA), die die Verteilungswir-kungen geplanter politischer Reformen auf unterschiedliche Bevölkerungsgruppen un-tersucht und dabei auch die wichtigsten Hemmnisse, die der Zielerreichung im Wege stehen, zu identifizieren versucht (Brendel 2005, 56–66). PSIA ist auf der Makroebene angesiedelt.
Verbesserung der Lebenssituation der lokalen Bevölkerung führt; und bei jedem Zwischenschritt können andere Einflussfaktoren wirksam werden.
Was die Betrachtungsebene betrifft, gilt, dass die Ermittlung der Wirkungen um so schwieriger wird, je weiter man sich von der Projektebene (Zielebe-ne) entfernt und in der Zielhierarchie die Oberzielebene erreicht. Je höher die Betrachtungsebene ist, desto mehr potenzielle Einflussfaktoren kommen ins Spiel, die die eindeutige Zuordnung von Ursachen und Wirkungen er-schweren. Hinzu kommt, dass quantitative Aussagen über den Beitrag eines Projektes zur Erreichung des Oberziels oft schwierig sind.
Problematik von Wirkungsketten
Die Ziele einer Intervention beschreiben die angestrebten (direkten) Wirkun-gen. Der Begriff der Wirkung ist daher konstitutiv für die Planung und Er-folgsbeurteilung einer Intervention. Da jede Intervention zur Erreichung ihres Ziels Ressourcen einsetzt, um Leistungen zu erbringen, von denen die ange-strebten Wirkungen erwartet werden, sind Annahmen über die Wirkungskette von den inputs über die outputs zu den outcomes und impacts notwendig.
Solche Annahmen sind für die Planung eines Vorhabens unverzichtbar, dürfen jedoch nicht die Ex-post-Wirkungsanalyse alleine bestimmen. Andernfalls besteht die Gefahr, dass die Wirkungskraft der Intervention überschätzt und der Blick für unerwartete Wirkungen und andere Einflussfaktoren verstellt wird (Tunnelblick). Die Wirkungsanalyse muss daher offen sein für das Er-kennen anderer als der beabsichtigten Wirkungen und anderer Einflussfakto-ren im jeweiligen sozialen Kontext. Dies ist ein Argument für partizipative Wirkungsanalysen zusammen mit den Zielgruppen (Neubert 2004a, 2).
Zeitpunkt von Wirkungsanalysen
Es gibt keinen optimalen Zeitpunkt für Wirkungsanalysen. Dies liegt einmal daran, dass Wirkungen in Abhängigkeit von der Intervention zu unterschied-lichen Zeitpunkten eintreten. Ein Trinkwasserversorgungsprojekt entfaltet seine Wirkungen schneller als die Erarbeitung eines Flächennutzungsplans, der Grundlage für eine Planung über zehn oder noch mehr Jahre sein soll.
Zum anderen kann sich die Intensität der Wirkungen einer Intervention im Zeitablauf objektiv (Beispiel Flächennutzungsplan) oder in der Wahrneh-mung der Zielgruppen ändern. Letzteres ist der Fall, wenn die Nutznießer eines Trinkwasserversorgungsprojektes die Bereitstellung sauberen
Was-sers nach einer bestimmten Zeit als normal und in ihrer Präferenzhierarchie als nicht mehr dringlich ansehen. Die Berücksichtigung dieses Aspektes ist bei partizipativen Wirkungsanalysen wichtig.
4.1.4 Quantitative und qualitative Wirkungsanalysen
In der Wirkungsanalyse gibt es quantitative oder qualitative Ansätze, die sich durch ihre Prämissen, ihr Erkenntnisinteresse und ihr Vorgehen unter-scheiden und jeweils Vor- und Nachteile aufweisen (Übersicht 4.2). Wäh-rend sich die Verfechter quantitativer und qualitativer Methoden früher oft unversöhnlich gegenüberstanden, werden die Methoden heute pragmati-scher angewandt. Ihre Auswahl orientiert sich am Erkenntnisinteresse und der Machbarkeit. Dabei werden Elemente quantitativer und qualitativer Me-thoden verknüpft, um die jeweiligen Vorzüge zu nutzen und Schwächen zu kompensieren (Baker 2000, 9).
Übersicht 4.2: Quantitative und qualitative Methoden der Wirkungsanalyse Quantitative Methoden Qualitative Methoden
Defini-tion
Zielen auf die systematische Messung und/oder Auswertung von Daten mit Hilfe verschiede-ner Erhebungsinstrumente
Beruhen auf sinnverstehen-den, interpretativen Verfahren der Erhebung und Auswertung von Daten
Erkennt- nisinter-esse
Überprüfung einer zuvor formu-lierten Hypothese; Messung einer beabsichtigten Wirkung
Erfassung von beabsichtigten und unbeabsichtigten Wirkun-gen innerhalb des jeweiliWirkun-gen sozialen und kulturellen Kon-textes; Darstellung von Be-gründungszusammenhängen Vorgehen Deduktiv: Überprüfung von
Hy-pothesen und Zusammenhängen mit Hilfe statistischer Methoden (z. B. Regressionsanalysen)
Induktiv: Evaluierung auf Grundlage von Experten-einschätzungen, Diskursen, Zielgruppenerhebungen u. a.
Prinzip der Offenheit: kein von Hypothesen determinier-tes Vorgehen
Der zu messende Gegenstand muss sinnvoll quantifizierbar sein.
Ausreichende Datenmenge bzw.
angemessen hohe Fallzahl zur Erhebung repräsentativer Stich-proben
Um Intransparenz der selek-tiven Plausibili sierung zu vermeiden, sollte die Analyse anhand eines Analyserasters erfolgen.
Crosschecking der Ergebnisse (Triangulation)
Vorteile Nachweis signifikanter Zusam-menhänge zwischen Variablen Falsifikation von Hypothesen mit Hilfe statistischer Verfahren
Aufdeckung und Erklärung erwarteter und un erwarteter Wirkungszusammenhänge Flexibilität im Forschungs-prozess
Nachteile Hoher zeitlicher und finanzieller Aufwand der Erhebung repräsen-tativer Stichproben
Fehlendes Prinzip der Offenheit Prüfung einer Hypothese: Ge-fahr, wichtige Variablen zu über-sehen Nach-weise erfordert zumeist zusätz-liche qualitative Analyse
Gefahr der Subjektivität in der Auswahl der Forschungs-objekte oder der Interpre-tation der Ergebnisse; dem kann man begegnen, indem der zu messende Gegenstand im Forschungsdesign ex ante konzeptionalisiert wird.
Eingeschränkte Generalisier-barkeit
Signifikanz von Zusammen-hängen kaum wis senschaftlich nachweisbar (aufgrund zu geringer Fallzahlen)
Gefahr von Quasi-Statistiken und Quasi-Kor relationen Quelle: Neubert (1999, 65–67; 2001, 6–11); Baker (2000, 1–15)