13 Evaluation pädagogischer Praxis – Erfahrungen und Möglichkeiten 14
13.3 Evaluation zwischen Zwang und Chance
Ein Blick in die pädagogische Praxis zeigt, dass Evaluation – und dies gilt auch für die ver-meintlich niedrigschwelligere Selbstevaluation – eher die (seltene) Ausnahme als die Regel ist. Darüber hinaus wurde deutlich, dass die Vorstellungen zu Sinn und Zweck einer Evaluation bei den pädagogischen Praktikern eher diffus sind. Dort wo Evaluationen statt-gefunden haben, bleibt sehr fraglich, ob sie den anerkannten Standards tatsächlich ent-sprachen; zumindest waren sie in ihrer Durchführung und Zielsetzung nicht transparent und haben in den Augen der Betroffenen auch nicht zu Veränderungen geführt. Die weni-gen Selbstevaluationen wurden zwar positiv bewertet, aber auch sie wurden nicht als Chancen erlebt, Prozesse zu erfassen oder die eigene Praxis weiterzuentwickeln.
Es ist es also wenig überraschend, dass der Ruf nach Evaluation besonders in der pädagogischen Auseinandersetzung mit Rechtsextremismus einerseits immer lauter wird, andererseits jedoch in der Praxis auf Skepsis stößt und als indirekte Kritik verstanden wird. Hinzu kommt, dass der Nachweis der Wirksamkeit im Kontext pädagogischer Arbeit schwer zu erbringen ist – vor allem dann, wenn es um Prävention geht. Auch entspricht es nicht unbedingt dem Selbstverständnis sowie dem Auftrag und der rechtlichen Ausgangslage von Jugendarbeit (nach §11 KJHG), sich durch die Erreichung bestimmter Ziele und durch den Nachweis von Leistungen grundsätzlich rechtfertigen zu müssen.
Selbstevaluationen durch die beteiligten Fachkräfte wiederum stoßen in Wissenschaft, Politik und Öffentlichkeit auf Skepsis, weil man von vornherein an deren methodischer Kompetenz und ‘Neutralität’ zweifelt.
Evaluation 113399
Wie oben anhand konkreter Problem- und Fragestellungen von Pädagoginnen und Pädagogen in der Auseinandersetzung mit Rechtsextremismus bei Jugendlichen exempla-risch deutlich wurde, können Selbst- und auch Fremdevaluationen grundsätzlich durchaus geeignet sein, um die pädagogische Arbeit gerade auch auf diesem schwierigen Feld wei-terzuentwickeln. Die Ziele der Arbeit können im Rahmen einer Evaluation erarbeitet und transparent gemacht werden – z.B. mittels einer SOFT-Analyse (Kluß 2002) – und sind auf diese Weise auch einer Überprüfung zugänglich (vgl. von Spiegel 2002). Es ist allerdings darauf zu achten, dass dann auch fortlaufende Entwicklungsprozesse erfasst und die Perspektiven der verschiedenen Beteiligten berücksichtigt werden. Daher muss sowohl die Ausgangssituation eines pädagogischen Projekts analysiert werden als auch die Zeit nach dem Abschluss der eigentlichen Maßnahme.
Wie sind nun aber die Chancen zu beurteilen, Evaluation auf diesem Feld fördern und etablieren zu können? Welche Hindernisse gilt es zu berücksichtigen? Sicher ist die Jugendarbeit und auch die gesamte Jugendhilfe nicht der einzige gesellschaftliche oder pädagogische Bereich, in dem Evaluation kaum etabliert und zumindest unter den Betroffenen umstritten ist. Und tatsächlich erscheint es nachvollziehbar, dass die Ankün-digung evaluiert zu werden oder sich selber evaluieren zu müssen, zwiespältige Reaktionen auslöst. Es fehlt somit weiterhin an einer Kultur der Evaluation. Dies gilt be-sonders für die Regelpraxis, aber auch für Programme und Modellprojekte: „Es gibt in Deutschland keine ausgeprägte Tradition, den Einsatz von Sozialtechniken zu evaluieren:
Oft werden große Summen in Kampagnen zur Gewaltprävention oder Gesundheits-förderung investiert, ohne dass der Frage nachgegangen wird, welche Wirksamkeiten sol-che Maßnahmen haben“ (Wagner et al. 2002: 101). Dies hat zur Folge, dass es häufig an entsprechenden Erfahrungen fehlt und dass Evaluation auch seitens der Praxis nicht ein-gefordert wird. Hinzu kommt, dass eine mögliche Evaluation – selbst wenn sie gewollt ist – daran scheitern kann, dass dafür keine finanziellen Ressourcen vorhanden oder vorge-sehen sind. Tatsächlich ist Evaluation aufwändig und auch im Fall einer Selbstevaluation mit gesondertem Beratungsbedarf und zusätzlichen Kosten verbunden.
Da aber der Ruf nach Evaluation unter dem Aspekt, was tatsächlich ‘gegen Rechts’ hilft und funktioniert, gerade seitens der öffentlichen Geldgeber immer lauter wird, ist dies auch für die Jugendhilfe und -arbeit zu einem Thema geworden, mit dem man sich ausein-ander setzen muss.18Deshalb scheint es für die Praxis durchaus geboten, einer möglichen Verpflichtung lieber offensiv zuvorzukommen und selber Evaluation als Qualitätssicherung der eigenen Arbeit zu begreifen und einzufordern. Gerade in der Auseinandersetzung mit Rechtsextremismus liegt darin auch immer die Chance, Hinweise zu bekommen, wo Möglichkeiten aber auch realistische Grenzen von pädagogischer Arbeit liegen.
Nach unserer Einschätzung gibt es in der Jugendarbeit durchaus Erfahrungen und Arbeitsweisen, die Ansatzpunkte für eine stärker evaluative Praxis bieten könnten: Dies
18Außerdem gibt es erste Beispiele für Verpflichtungen zu solchen Nachweisen durch rechtliche Regelungen wie dem (bei den freien Trägern durchaus umstrittenen) Wirksamkeitsdialog für die Jugendarbeit in Nordrhein-Westfalen (Schäfer 2001).
fängt bei den Anträgen und Berichten für den öffentlichen Träger und Zuwendungsgeber an, die wesentlich besser geraten könn(t)en, wenn sie nicht allein als lästige Pflicht emp-funden werden und auf realistischen Angaben statt auf reiner Antrags- und Berichtslyrik beruhen, was letztlich für alle Beteiligten unbefriedigend ist.
Solche Ansatzpunkte verweisen allerdings auch auf die bestehenden Schwierigkeiten:
Evaluation wird von Praktikern eng mit einem aufwändigen Berichtswesen, mit Kontrolle und Zwang von außen verbunden, sei es durch das Jugendamt, die Öffentlichkeit oder auch durch den eigenen Träger. Es herrscht die Angst, den Ansprüchen nicht zu genügen und durch das Offenlegen und Eingestehen von Problemen – auch wenn sie nicht selbst-verschuldet sind – Einsparungen und Abwicklungen zum Opfer zu fallen. Die Idee, dass Evaluation gerade auch dazu dienen kann, die eigene Wirksamkeit tatsächlich nachzuwei-sen und somit helfen kann, die Angebote und die Selbstdarstellung entscheidend zu ver-bessern und entsprechende Rahmenbedingungen einzufordern, liegt fern.
Andererseits existieren fachliche Standards der sozialpädagogischen Arbeit, wie die ge-meinsame Erarbeitung von Konzepten, regelmäßige Teambesprechungen und Reflexionen, Supervision und kollegiale Beratung, die die sinnvolle Durchführung von Evaluationen be-fördern können. Und schließlich fordert der Anspruch, partizipativ und lebensweltorientiert mit den Jugendlichen zu arbeiten, ohnehin die regelmäßige Überprüfung der eigenen Praxis, die Einbeziehung der Lebenswelt und der Feed-backs der Teilnehmenden und Klienten (vgl. Müller-Kohlenberg 2002). Gerade die fachlichen Standards der pädagogi-schen Arbeit werden allerdings im Alltag aus unterschiedlichen Gründen unterlaufen: Zum einen besteht der immer wieder angesprochene Mangel an Geld und Zeit, zum anderen ist häufig die Fachlichkeit der Mitarbeiterinnen und Mitarbeiter nicht ausreichend gewährlei-stet, noch immer trifft man auch in diesem heiklen Arbeitsfeld Einzelkämpfer ohne jede Absicherung. Arbeitsaufträge und Erwartungen seitens der Kommune sind oft unklar oder auch unrealistisch. Evaluation erscheint dann von vornherein bedrohlich. Und diese ist wohl auch erst dann sinnvoll und hilfreich, wenn zumindest gewisse fachliche Standards bestehen und eingehalten werden und nicht die Sinnhaftigkeit des ganzen Angebotes auf-grund mangelnder Absicherung und Ausstattung offensichtlich in Frage zu stellen ist.19
Bedenken ließen sich leichter ausräumen, wenn es bessere Kenntnisse über Evalua-tionen, angewandte Methoden und mögliche Erträge gäbe. Auch persönliche Ängste müs-sen dabei berücksichtigt werden. Niemand möchte sich an einer Evaluation beteiligen, die letztlich auf den Abbau der eigenen Stelle zielt. Hier ist auch die Bringschuld von Evaluatoren und wissenschaftlichen Begleitungen angesprochen, die über solche Bedenken, Zwänge und Fragen der Praxis nicht hinweggehen dürfen und dafür sorgen müs-sen, dass Zweck und Vorgehen der Evaluation transparent werden. Eine formative Evaluation kann außerdem nur gelingen, wenn sie strukturell so verankert und gewollt wird, dass den Beteiligten die notwendigen Freiräume im Rahmen der Arbeitszeit zur Verfügung stehen und durch Beteiligung eine Vertrauensbasis hergestellt wird. Hier sind
114411
19Zu den nötigen Voraussetzungen und den möglichen Erträgen einer Selbstevaluation im Rahmen der Qualitätsentwicklung in der Kinder- und Jugendarbeit vgl. auch von Spiegel 2002.
Evaluation
Zuwendungsgeber und vor allem auch die Träger gefordert, bei kleinen Projekten oder selbstorganisierten Strukturen auch die Teams selber gefragt.
Die Qualitätssicherungs-Reihe QS des BMFSFJ hat in den letzten Jahren mit regelmäßi-gen Veröffentlichunregelmäßi-gen umfassende, praxisnahe Materialien bereitgestellt, die nicht nur Beispiele von Fremdevaluation vorstellen, sondern auch als Anregung und Hilfe für Selbst-evaluation dienen könn(t)en. Deutlich wird, wie und unter welchen Bedingungen Evaluationen einen wichtigen Beitrag zur Entwicklung von Zielen und Konzepten sowie ins-gesamt zur Qualitätsentwicklung der pädagogischen Arbeit leisten können. Diese Reihe ist fachlich anerkannt, weit verbreitet und praktisch kostenlos erhältlich: Trotzdem hat sie kein Praktiker, den wir gesprochen haben, erwähnt. Dies mag teilweise daran liegen, dass die Exemplare bei den Zentralen der Träger liegen geblieben sind und die Basis nicht er-reichen, oft scheint es aber so zu sein, dass solche Informationen und Anregungen in der Praxis einfach untergehen. Neben der „eigentlichen“ Arbeit – so erschien es uns häufig – gibt es keine Zeit und Gelegenheit für anderes, selbst Fortbildung und Beratung sind Luxus. Auch wenn rational erkannt wird, dass es letztlich der eigenen Fachlichkeit und dem eigenen Wohlbefinden dienen kann, seine Ziele und Methoden zu überprüfen bzw. über-prüfen zu lassen, geht dies angesichts der alltäglichen Anforderung und praktischen Zwänge immer wieder unter.20
Der Vorstellung mancher Praktikerinnen und Praktiker – die auch von manchem Träger und Geldgeber geteilt wird – immer und überall von den Jugendlichen gebraucht zu wer-den und daher keine Zeit für anderes („unwesentliches“) zu haben, kann wohl am ehesten durch die konkrete Erfahrung begegnet werden, dass letztlich nicht die Quantität, sondern die Qualität der Angebote den Jugendlichen nützt. Die dafür nötige Voraussetzung wäre auch eine fehlerfreundliche Atmosphäre, die von den Zwängen der optimalen Selbstdarstellung und von unrealistischen Ansprüchen möglichst frei ist und Raum für tatsächliche Veränderungen bietet.
Praxisprojekte, die mit rechten Jugendlichen arbeiten, stehen unter großem Erwartungs-und Erfolgsdruck. Sie geraten besonders leicht in die Gefahr, innerhalb der Jugendhilfe iso-liert oder auch verdächtigt zu werden, die rechte Jugendszene letztlich zu unterstützen – was wiederum eine reale Gefahr ist, die auch die Fachkräfte beschäftigt. Der hohe Anspruch der Veränderung der Jugendlichen wird in der Regel von den Mitarbeiterinnen und Mitarbeitern geteilt, er setzt sie aber zugleich enorm unter Druck. Die Frage der Wirksamkeit und der Überprüfbarkeit eigener Erfolge stellt sich automatisch und ist doch sehr schwierig zu beantworten. Die Ursachen für rechtsextreme Orientierungen sind sehr komplex und auch weiterhin wissenschaftlich und politisch umstritten. Dementsprechend schwierig ist es, eindeutige Wirkungen und Effekte zu benennen. Wahrgenommene
positi-20Dabei hat sich in der Praxis exemplarisch bereits gezeigt, dass nicht nur hauptberufliche sondern auch ehren-amtliche Mitarbeiterinnen und Mitarbeiter in der Jugendarbeit in der Lage sind, Evaluationen durchzuführen und mit entsprechender professioneller Unterstützung, Daten erheben, auswerten und für sich nutzen können. Wenn dies so geschieht, bedeutet das gleichzeitig eine Kompetenzerweiterung, die hilft, die eigene Arbeit besser zu planen und zu beurteilen (Beywl u.a. 2001).
ve Veränderungen können demnach viele Ursachen haben, nach unseren Erfahrungen nei-gen Praktikerinnen und Praktiker aber eher dazu, ihren einei-genen Beitrag niedrig einzu-schätzen und mögliche eigene Erfolge kaum wahrzunehmen. Umso wichtiger wäre es für die einzelnen Mitarbeiter, für das gesamte Team und den Träger, überprüfbare, operatio-nalisierbare Ziele für die pädagogischen Interventionen und Angebote zu bestimmen und zu überprüfen. Genau dies kann eine Evaluation leisten.
Anhand einiger ausgewählter Aspekte der pädagogischen Arbeit gegen Rechtsextre-mismus und Fremdenfeindlichkeit sollte deutlich werden, inwiefern Evaluation konkret hilf-reich sein kann. Evaluation kann dazu beitragen, die Voraussetzungen und Ziele pädago-gischer Projekte zu klären, die Angemessenheit der verwendeten Methoden zu reflektieren sowie den Verlauf der Arbeit zu dokumentieren. Auf diese Weise können Praktikerinnen und Praktiker zusätzliche Informationen zur Selbstwirksamkeit gewinnen und ggf. dazu an-geregt werden, diese zu verbessern. Die Durchführung von Evaluationen ist außerdem mit einer methodischen Kompetenzerweiterung der Mitarbeiter verbunden. Auch für die inter-essierte Öffentlichkeit könnten solche Verfahren wichtige Orientierungshilfen und interes-sante Informationen bieten.
Evaluation 114433