Instrumentelle Erweiterung durch Evaluation

Eine sich als lernende Organisation verstehende Einrichtung kann sich das Rüstzeug für eine professionelle Reflexion selbst aneignen und Methoden für ihre eigene Weiterentwicklung systematisch in der Organisation personell und prozessual installieren. Dies kann im Kontext einer laufenden Qualitätsentwicklung geschehen, sofern sie sich strukturell entsprechend dem zweiten hier gezeigten Schaubild verortet:

Fachkräfte Fortbildung &

Fachberatung Supervision

Leitung

Qualitätsentwicklung Evaluation / Selbstevaluation

Abbildung 5: Das um den Aspekt Qualitätsentwicklung zum Viereck erweiterte Organisationsmodell von Leitung, Fortbildung und Supervision

Die Differenz der beiden Schaubilder ist augenfällig: Qualitätsentwicklung und Evaluation werden differenziert dargestellt. Leitung wechselt von der Zentralfunktion formaler Dienstaufsicht zum Kommunikationszentrum des fachlichen Unterstützungssystems. Durch eine ausdifferenzierte Qualitätsentwicklung und Evaluation werden auch Supervision und Fachberatung/Fortbildung nicht mehr nur von der Leitung entschieden, sondern über

Qualitätsentwicklung reflexiv in die Organisation eingebunden.

Leitung darf nach diesem Modell nicht nur formal an die unterstützenden Systeme angeschlossen sein, sondern muss auch normativ und inhaltlich im Diskurs sein. Sie muss fachlich transparente Entscheidungen treffen und präzise informiert sein, um einschätzen zu können, wie und inwieweit die einzelnen Bereiche ihre definierte Funktion und Aufgabe nicht nur ökonomisch-quantitativ, sondern auch fachlich-qualitativ für das Ganze erfüllen. Leitung

meint hier zunächst vor allem die Einrichtungsleitung, aber mit ihr kommunikativ eng verbunden auch alle Leitungsstellen, einschließlich der der Teamleitungen.

Die einzelnen Funktionen werden beschrieben im Blick auf eine erste mögliche Skizze der Verzahnung von Selbstevaluation im System. Systematische Vorstellungen über die Möglichkeiten der Implementation von Selbstevaluation in der Organisation erfolgen noch nicht.

Leitung

Leitung setzt normativ Ziele und Standards im Anschluss an die sich stellenden Aufgaben, unter Berücksichtigung der Wissensbestände und Standards der Disziplin, der Profession und der Gegebenheiten der Einrichtung und des Marktes. Leitung bindet alle Fachkräfte der Einrichtung frühzeitig schon in die Zielfindung und Standardsetzung mit ein und sorgt in enger Kommunikation mit den Fachkräften für die Umsetzung, indem sie die organisatorischen, konzeptionellen und personellen Strukturen bereitstellt. Leitung ist orientiert an Qualität, die auch ökonomischen Erfolg befördert und damit vereinbar ist.

Insofern hat Leitung notwendig einen pragmatischen, aber keinen beliebigen Qualitätsbegriff (Neubauer 1996, S. 75-108). Dies muss beachtet werden, wenn es um die Einführung neuer Methoden geht. So wird Leitung darauf achten, ob die eigene Reflexionskultur, zu der auch die Evaluationskultur gehört, anschlussfähig für die Reflexionskultur der Kunden, hier des Jugendamtes und der Klienten, ist. Wir werden später darauf zurückkommen und sehen, wie wichtig die Kundenorientierung gerade bei der Evaluation ist, die Evaluation sich in ihren Fragen und Antworten nicht auf die interne Fachperspektive beschränken darf.

Ohne die ausdrückliche Entscheidung der Leitung einer Einrichtung für Selbstevaluation als regelhafte Reflexionsmethode, neben Supervision, wird eine Implementation derselben schwerlich gelingen. Die Leitung ist hier zuständig für die Organisation der Information, Schulung, Implementation und laufenden Konzeptpflege. Leitung wird Selbstevaluation auf Dauer aber nur als unterstützende Methode nachvollziehen können, wenn sie an den Prozess und die Ergebnisse der durchgeführten Selbstevaluationen kommunikativ angeschlossen ist.

Hier zeigt sich auf den ersten Blick ein Widerspruch zur Vorstellung einer völlig autonomen Selbstevaluation etwa eines Teams. Aber: Selbstevaluation, die sich nicht von vornherein öffnet und anschlussfähig macht für interne und externe Fremdevaluation, wird sich schwerlich auf Dauer legitimieren und etablieren können (vgl. auch Heiner 1999, S. 67ff).

Besonders durch die Einführung des systemischen Paradigmas in den siebziger Jahren und neuerdings zunehmend durch betriebswirtschaftliche Sichtweisen wurden verschiedene Qualitätsebenen bewusster, die sich heute formulieren als Strukturqualität, Prozessqualität und Ergebnisqualität mit der weiteren Differenzierungsmöglichkeit der Konzeptqualität. Hier werden differenziert einzelfall- und teamübergreifende Strukturen und Prozesse in den Blick genommen, und es werden Methoden nötig, mit denen man diese Erweiterung systematisch begrifflich beschreiben, erklären und bewerten kann. Hier ist Evaluation die Methode der Wahl, die in Organisationen immer schon mit unterschiedlichen methodischen Standards angewandt wurde (Rosenstiel 1999, S. 56ff).

Ob Selbstevaluation bzw. Evaluation durch die Profession selbst oder von außen durch externe Prüfer vorgenommen wird, hängt auch von den Befähigungen der Profession vor Ort ab. Es hängt aber vor allem davon ab, ob Leitungen in der Lage sind, die qualitätsfördernden Instrumente der Beratung, Supervision und Evaluation so einzusetzen, dass diese Akzeptanz bei den Mitarbeitern und den Kunden erfahren können und sich so eine die Profession stärkende Berufskultur und damit Berufsidentität herausbilden kann (Lotmar & Tondeur 1994, S. 13-43).

Ähnlich wie Supervision, die sich inzwischen konzeptionell zu öffnen beginnt für die Organisationsentwicklung, wird Selbstevaluation, sofern sie sich methodisch anspruchsvoll etablieren will, konzeptionelle und inhaltliche Transparenz als Kultur mitführen müssen (Iser 2008, S. 66-68). Mindestens die Einführungsphase von Selbstevaluation erfordert erhebliche zeitliche und finanzielle Mittel, deren Genehmigung nicht alleine auf der Basis von Vertrauen möglich ist. Mit Misstrauen ist überwiegend zu rechnen, wenn Leitung systematisch kommunikativ ausgeschlossen wird. Die Problematik verweist auf eine Führungskultur des Vertrauens und der Verbindlichkeit, die Voraussetzung für die Implementation von Selbstevaluation sein dürfte (Sprenger 2002, S. 47-35).

Aus der Perspektive der Leitung kann Selbstevaluation vor allem folgende Möglichkeiten eröffnen:

• Beteiligung der Mitarbeiter an der Konzeptentwicklung und Ergebnisbewertung aus der Kenntnis des Alltags heraus erzielt mehr Wirklichkeitsnähe der QE.

• Stärkung der Motivation der Mitarbeiterinnen und Mitarbeiter. Nachvollziehbarere Koppelung der Arbeitsprozesse an die Ergebnisse erzeugt das Erleben von Sinn und verringert so die Gefahren der Selbstabwertung und Mythenbildung.

• Stärkung der Selbstverantwortung durch mehr und besseres Wissen um die eigene Wirkung des Tuns

• Evaluation insgesamt wird zur akzeptierten Kultur erst durch Selbstevaluation, die

• Qualitätsentwicklung wird durch die Fachkräfte breit unterstützt (Patton 1997).

Fachberatung

Unter Fachberatung verstehen wir, zunächst in Abgrenzung zu Leitung und Supervision, die Beratung mit Fokussierung auf die dialogische Vermittlung und von Expertenwissen, dessen praktische Anwendung im Beratungskontext evaluiert werden kann. Beratung kann kollegial geschehen oder in größeren Einrichtungen durch interne Fachdienste. In Einrichtungen ohne Fachdienste kann Fachberatung mit klarem Auftrag auch durch geeignete Supervisoren erfolgen. Auch Leitung kann beraten, wenn ein dialogisches und symmetrisches Beratungsverhältnis möglich ist. Besonders in kleineren Einrichtungen ist dies oft gegeben.

Beratung kann solch ein Ort sein, wo Selbstevaluation ständig als Methode der Qualitätsprüfung und Qualitätsentwicklung eingesetzt werden kann. Insbesondere in der Hilfe- und Erziehungsplanung können immer wieder einzelne Fragen und deren Bearbeitung durch Selbstevaluation gezielter bewertet werden. In professionellen Fallbesprechungen und im Fallmanagement kann Selbstevaluation fruchtbar einen dauernden Ort finden.

Bislang ist in der Tendenz immer noch eine Vermeidung der Herstellung von Verbindlichkeit in den Zielsetzungen und Zieloperationalisierungen der Einzelfallarbeit festzustellen, nicht selten wohl aus der Erfahrung heraus, wie hoch die Misserfolgsquote bei Erziehungsprozessen ist. Es besteht die Annahme, die Verantwortung klarer feststellen zu können, wenn eindeutige Erfolgskriterien vereinbart wurden (Schwabe 2008, S. 23ff). Dabei würde durch Selbstevaluation zuallererst konkret aufdeckbar und bewusster, dass gerade Erziehungs- und Hilfeprozesse durch ihre unvermeidbare Komplexität Verantwortung nicht monokausal zuschreiben lassen. Verantwortung wäre differenzierter darstell- und zuschreibbar, wie in vielen Projekten nachgewiesen ist (Heiner 1998).

Beratung könnte aber vor allem eines: Sie könnte die Gefahr des strukturell bedingten Objektivitätsproblems der Selbstevaluation durch Einbezug einer Außenperspektive durch die Beratungsperson verringern.

Die methodisch standardisierte regelmäßige Fallreflexion stellt den Kern der professionellen Reflexion in der Heimerziehung dar. Die Fallreflexion ist eng gekoppelt an Supervision und Fachberatung. Unter Fachberatung im Erziehungsheim verstehen wir primär pädagogische Beratung. Lange Zeit wurde in der Heimerziehung unter Fachberatung unausgesprochen psychologische Beratung verstanden. Dies beginnt sich in den letzten Jahren zu verändern,

vor allem mit der Etablierung qualifizierter systemischer Zusatzausbildungen und der neueren Methodenliteratur, die die methodischen Lücken oft länger zurückliegender Ausbildungen wenigstens zum Teil ausgleichen können. So geschieht Fachberatung immer mehr durch Vertreter der Profession selbst, entweder durch Leitung, Stabsstellen, externe Berater oder auch perspektivisch verstärkt durch kollegiale Beratung. Die neuere sozialpädagogische Methodenliteratur insbesondere zur Methode der Einzelfallarbeit unterstützt diese Entwicklung (Heiner u. a. 1994; Spiegel 2004; Neuffer 2005; Kleve u. a. 2006; Galuske &

Thole 2006; Stimmer 2006; Müller 2009). In dieser neueren Methodenliteratur fällt gegenüber früheren Veröffentlichungen zum Thema auf, dass Evaluation – gemeint ist bei Fallarbeit in der Regel Selbstevaluation – als methodischer Schritt beschrieben, mindestens aber explizit benannt wird, ausführlich etwa bei Stimmer, der in seinem Methodenbuch Selbstevaluation und Supervision als die beiden Instrumente der Reflexion der Sozialen Arbeit beschreibt (Stimmer 2006, S. 210-222). Fachberatung kann entscheidend zur Umsetzung dieses

„methodischen Zwillings“ beitragen, zumal die Abgrenzung zur und Kopplung mit Supervision besonders in der Einführungsphase wichtig sein dürfte.

Supervision

Supervision gilt als Unterform der Beratung mit Fokussierung auf Personalentwicklung (siehe Iser 2008, S. 101). Selbstevaluationsprojekte können in der Supervision insbesondere die subjektiven Haltungen der Fachkräfte als Wirkfaktoren in den Blick zu nehmen versuchen.

Gerade hier kann sich das Team autonom und angeleitet Rechenschaft geben über sein Tun, ohne etwa disziplinarische Maßnahmen bei Fehlern befürchten zu müssen. Ist die Methode der Selbstevaluation aber etabliert, kann der Supervisor hier schon an eventuell verabredete Verbindlichkeiten anschließen und muss diese nicht erst mühsam erfragen. Selbstevaluation konstruiert ja bewusst und systematisch eine Arbeitsstrecke mit den Aspekten Zielformulierung, Aufgabenstellung, Erfolgskriterien, Zielerreichungsgrad und Erfolgsbewertung. In dieser Systematik liegt aber auch die Gefahr der Vernachlässigung des schwierig zu erfassenden Beziehungsaspektes. Dieser kann gerade in der Supervision angemessener thematisiert werden als etwa in der Beratung durch Vorgesetzte oder in einer reinen Fachberatung.

Supervision ist zweifellos die Methode der Wahl bei Problemen, die Kommunikation und Beziehung betreffen. Sie kann aber nur zu einem bestimmten Teil die Probleme mangelnder Professionalität lösen; und hier setzt Selbstevaluation an (Stimmer 2006, S. 219ff).

Qualitätsentwicklung und Evaluation

Wir gehen mit Heiner davon aus, dass Evaluation und Selbstevaluation als Methoden der Qualitätsentwicklung einen eigenständigen Beitrag zur Entwicklung von Qualität in der Sozialen Arbeit leisten können (Heiner 1996 und 1999).

Mit der Festschreibung verbindlicher Qualitätsentwicklung in § 78 KJHG und einer Berichterstattung an das Jugendamt als Auftraggeber ist Evaluation schon als Vorgabe für die Einrichtungen verbindlich eingeführt. Im Fokus des § 78 KJHG steht die Summe der Ergebnisqualität der Einzelfälle und in Verbindung damit der Stand der Prozessqualität und der Strukturqualität der Einrichtung. Dieser Weg erfordert mindestens eine Fremdevaluation, die mit Elementen der Selbstevaluation verknüpft werden kann. In unserer Untersuchung soll gezeigt werden, dass ohne die Verschränkung mindestens mit Elementen der Selbstevaluation eine Kultur der Evaluation nur wenig effektiv zu etablieren ist und der § 78 die Dauerimplementierung von verlässlicher regelmäßiger Evaluation erfordert.

Selbstevaluation, so versuchten wir oben aufzuzeigen, ist die Methodisierung dessen, was die Fachkräfte im Alltag immer schon zur Bewertung und Entwicklung ihrer Arbeit leisten.

Fremdevaluation kann ebenfalls Defizite und Möglichkeiten der Verbesserung aufzeigen, sie erreicht die Mitarbeiter aber wenig im subjektiven Horizont ihres selbst motivierten Handelns, sondern aus deren Sicht als Objekte einer für sie nur schwer nachvollziehbaren Kontrolle.

Selbstevaluation kann gerade deshalb der methodische Schlüssel zur Etablierung einer funktionierenden Evaluationskultur sein.

Zwei Qualitätsentwicklungskonzepte treten mit dem expliziten Anspruch der Selbstevaluation auf: EVAS und EFQM. Beide Konzepte finden großen Zuspruch bei Leitungskräften von Jugendhilfeeinrichtungen. Wir werden EVAS im Feld in Bezug auf die Fragen untersuchen, ob es dem von uns formulierten Anspruch gerecht werden bzw. den Kriterien professioneller Selbstevaluationsstandards wenigstens dem Sinne nach genügen kann und welche Hinweise die Praxis auf Weiterentwicklungsmöglichkeiten gibt.

Ebenso interessiert uns, ob Selbstevaluation alleine schon ein Qualitätsentwicklungssystem sein bzw. wie sie diesem Anspruch gerecht werden kann oder ob bzw. wie sie integriert werden muss in ein System, wie es etwa EFQM darstellt.

Evaluation tritt bislang in der Heimerziehung überwiegend als quantitative externe Evaluation auf. Es gibt inzwischen aufwändige Versuche, ökonomisch die Rentabilität der

Heimerziehung allgemein zu berechnen (Roos 2005). Es gib seit nun zehn Jahren einen einzigen Versuch in größerem Maßstab, Heimerziehung systematisch fallbezogen und einrichtungsbezogen zu evaluieren: mit dem System EVAS, das als Methode der Selbstevaluation und des Benchmarkings antrat und das inzwischen in über 200 Einrichtungen in Deutschland und dem näheren Ausland praktiziert wird. WIMES ist ein neueres, im evangelischen Bereich etabliertes Evaluationskonzept, das aber ebenfalls nur Ergebnisqualität, wenn auch im Gegensatz zu EVAS mit Einbezug der Adressaten, erfasst, es wird deshalb hier nicht besprochen (Institut für Qualitätsentwicklung GmbH, 2010). EVAS wird in unserer Forschung besonders im Blick auf Mitarbeiterakzeptanz, kategoriale Passung und den Selbstanspruch Selbstevaluation untersucht. Wir werden dieses System im Abschnitt 2.6. vorstellen.

Evaluation ist noch am überzeugendsten dort zu finden, wo professionell Hilfe- und Erziehungsplanung geschieht – und sie geschieht ausnahmsweise qualifiziert in einzelnen Exzellenzeinrichtungen wie dem Haus Petra, das wir ebenfalls untersucht haben und das ebenfalls allgemein und im Rahmen unserer Forschungsdarstellung beschrieben wird. Es wird in dieser Arbeit noch zu zeigen sein, ob und inwieweit interne Evaluation (wobei hier eine methodisch erweiterte Selbstevaluation impliziert ist) „zum Dreh und Angelpunkt der Qualitätsentwicklung“ werden kann, wie Heiner formuliert. Heiner beschreibt Möglichkeiten der Verbindung von Evaluation mit Wissensmanagement in lernenden Organisationen und formuliert als Hoffnung und programmatisch für die Zukunft: „Interne Evaluationen, die als partizipative Lernprozesse organisiert sind, vermehren (...) Wissen nicht nur, sie lassen es auch sofort handlungswirksam werden und tragen so direkt zur Qualitätsentwicklung bei. Die Institutionalisierung solcher interner Evaluation wird daher in Zukunft eine der Hauptaufgaben organisierter Qualitätsentwicklung sein“ (Heiner 1999, S. 87). Partizipativ können die Lernprozesse aber nur sein, wenn die Evaluation nicht nur als Fremdevaluation angelegt ist, sondern sich auch als Selbstevaluation versteht, wie dies schon beispielhaft in vielen Einzelprojekten erprobt wurde (Heiner 1996, S. 197ff).

Fortbildung

Zunehmend wird auch Fortbildung als sogenannte Inhouse-Fortbildung ein weiterer Ort der Reflexion der eigenen Arbeit. Einrichtungsspezifische Fortbildungsprogramme wirken deutlich effektiver als übliche externe Fortbildungen auf die Entwicklung von Fachlichkeit im Sinne der Etablierung von Qualitätsstandards. Bei externen Fortbildungen ist zu beobachten, dass einzelne Mitarbeiter zwar Anregungen für Innovationen mitbringen, diese aber meist

verpuffen mangels systematischer Einbindung in das Wissen der Einrichtung, weil sie nicht im Alltag eingeübt werden.

Auf Fortbildungen folgt mancherorts unmittelbar die Implementierung neuer Konzepte, die aber mangels Projektmanagement und hier auch Evaluation oft nicht nachhaltig wirksam werden. Hier bietet die Selbstevaluation eine sehr gute Möglichkeit, im Anschluss an Fortbildungen, wo es ja oft nur um kleinere Teilkonzepte geht, die Praxistauglichkeit durch die Fachkräfte selbst zu bewerten und so motivierter in die Praxis zu übernehmen. Gerade in der Qualifizierung der Mitarbeiterinnen sieht Heiner eine Möglichkeit für den Einsatz der Selbstevaluation (Heiner 1999, S. 81f).