63-031 „Internationale Entwicklungszusammenarbeit – Segen oder Fluch?“, Geomatikum 531, 13. Januar 2016
Internationale
Entwicklungszusammenarbeit
Session 12:
Reflexion und Lessons Learned
Dr. Janpeter Schilling
Schilling
Internationale Entwicklungszusammenarbeit 13. Januar 2016
Übersicht
Evaluationsberichte: Reflexion und Auswertung ←
Diskussion Metz Beitrag
Schilling
Internationale Entwicklungszusammenarbeit 13. Januar 2016
Brainstorming zu Evaluierungsreports
Was fällt auf?
Stärken
Setzung in Gesamtkontext
Ähnliche Struktur / gute Vergleichbarkeit Internationale „externe“ Evaluierer
Verbesserungsvorschläge werden gemacht Logischer Aufbau
Mehrere Evaluierungen (teilweise)
Schilling
Internationale Entwicklungszusammenarbeit 13. Januar 2016
Brainstorming zu Evaluierungsreports
Was fällt auf?
Schwächen
Wenig quantitative Ergebnisse
Fast ausschließlich oder überwiegend positive Bewertungen
„Schwammige“ Aussagen, fehlende Informationen, Mangel an Infos.
Fehlen von Zielen, nicht klar definiert Abstrakt, Mangel an konkreten Beispielen
Frühe Evaluation im Projektverlauf??? Sehr unterschiedliche Evaluierunngszeitpunkte Diskrepanz Text vs. Noten
Schwaches Monitoring
Vieles wurde nur „erwähnt“ ohne Details (weil es musste, z.B. Gender) Gender nicht abgedeckt
„Zwischen den Zeilen“ lesen war wichtig (Beschönigung?) Informationserhebung (Methodik) unklar
Mehr „wo“ weniger „wie“ angesetzt wurde
Schilling
Internationale Entwicklungszusammenarbeit 13. Januar 2016
Brainstorming zu Evaluierungsreports
Lassen sich Muster erkennen? Welche?
Keine schlechtere Bewertung als „4“
DAC OECD als Grundlage
Hilfe zur Selbsthilfe in den meisten Projekten (teilweise?) vorhanden Viele hatten Beratungsmodul / capacity building
Einige Berichte als Legitimationsversuch?
Projekte als Selbstzweck??? Gutes Gefühl bei Geldgebern und Beteiligten?
Gender: Rein gezwungen!? Wenig integriert Gender gleichgesetzt mit „Frau“
Projekte wurden auf Nachhaltigkeit ausgelegt.
Nachhaltigkeit schwer zu benoten (keine Langzeitevaluierung, Mangel an Daten)
Schilling
Internationale Entwicklungszusammenarbeit 13. Januar 2016
Brainstorming zu Evaluierungsreports
Was sollte und könnte anders gemacht werden?
Zielformulierung sehr wichtig
Problemantizipation (risk assessment?)
Mangel an Zeit für die Evaluierung, mehr Zeit
Do no harm Ansatz wurde in den Projekten nicht deutlich Bessere/vergleichbare Kriterien für Nachhaltigkeit
Objektivität
Best Practice, Eignung für Zielland?
Nutzung der Noten? Notenskala? Besser keine Noten?
„Verschönerung“ verhindern „Beschönigung“
Ziel der Projekt: Verbesserungen der Projekte Grund für Beschönigung?
Anonyme Projektberichterstellung? /Schutz der Evaluierer
Schilling
Internationale Entwicklungszusammenarbeit 13. Januar 2016
Auswertung Evaluationsberichte
Themenfeld Land Eva. Dauer
in Wochen Gesamtkosten Note
Gesamt Relev
anz Effekt
ivität Impact Effizienz Nachhal tigkeit
Krise und Frieden Sri Lanka 3 8,750,000 3 4 3 2 1 3
Gesundheit Senegal 25 12,270,000 2 2 2 2 3 2
Management natürlicher
Ressourcen Ethiopien 12 25,900,000 2 1 2 2 3 3
Management natürlicher
Ressourcen Equador 2 7,723,924 3 2 3 3 3 3
Wasser Indien 8 12,751,914 2 1 2 3 3 2
Öffentliche Finanzen Georgien 3 2,600,000 2 1 2 3 2 2
Ländliche Entwicklung Nepal 24 9,701,000 2 2 2 3 2 3
Ländliche Entwicklung Bosnien 28 6,279,110 3 2 2 3 4 2
Bildung Pakistan 36 10,235,735 2 2 2 3 2 2
Dezentralisierung Phil. 20 13,000,000 2 2 2 3 2 3
Wasser Jordanien 16 28,000,000 2 1 2 3 2 2
Dezentralisierung Malawi 3 7,640,000 4 3 4 4 4 3
Summe 180.0 144,851,683.0 29.0 23.0 28.0 34.0 31.0 30.0 Durchsch. 15.0 12,070,973.6 2.4 1.9 2.3 2.8 2.6 2.5
Größte Stärken: Relevanz, größte Schwächen: Impact, Effizient und Nachhaltigkeit
Schilling
Internationale Entwicklungszusammenarbeit 13. Januar 2016
Übersicht
Evaluationsberichte: Reflexion und Auswertung
Diskussion Metz Beitrag ←
Schilling
Internationale Entwicklungszusammenarbeit 13. Januar 2016
Diskussion Metz Paper
Wie läuft der Prozess einer Evaluierung idealtypisch ab?
1.
Rekrutierung der Evaluatoren
2.
Briefing
3.
Feldphase
4.
Debriefing
5.
Projektbericht
6.
Follow-up/Überarbeitung
7.
Anwendung/Umsetzung der Empfehlungen
Schilling
Internationale Entwicklungszusammenarbeit 13. Januar 2016
Diskussion Metz Paper
Begriffsklärung
Was ist mit „EZ-Rhetorik” gemeint?
Was sind „Vorzeigestandorte”? Wie sind diese zu bewerten?
Diskussionsfragen
Welche Erwartungen könnte wer haben? (“different agendas”).
Was ergibt sich daraus?
Wie steht es um eine „gemeinsame” Evaluierung mit gleichem Ownership? Theorie und Praxis?
Was war an dem im Paper genannten Projekt problematisch?
Teile des Projekts standen in Konkurrenz zu „leidlich funktionierenden lokalen Strukturen“
Schilling
Internationale Entwicklungszusammenarbeit 13. Januar 2016
Diskussion Metz Paper
Zitate:
„Die Evaluierer sind also selbst Gegenstand einer Evaluierung durch die Projektbeteiligten.“
„wer kritisch ist, muss genauer sein“
„Es erscheint menschlich vollig plausibel, dass auch von einem Projekt, das Leichen im Keller hat, erst einmal die Sonnenseiten präsentiert werden”
Was lernen wir aus dem Paper?
Projektevaluationen sind keine reibungslosen Prozesse, die rein objektiv
ablaufen. Verschiedene Interessenslagen führen zu Herausforderungen und ggf.
einer Beeinflussung der Evaluation.
Schilling
Internationale Entwicklungszusammenarbeit 13. Januar 2016
