Haus Petra

Zu a) Darstellung des Systems

Es gibt keine veröffentlichte Darstellung des Hauses Petra. Datenquelle ist die eigene Untersuchung, insbesondere auch ein transkribiertes Interview mit dem Leiter und teilnehmende Beobachtung d. V. (vergleiche eigene Untersuchung in Punkt 4.3.)

Das Evaluationssystem des Hauses Petra geht über die oben beschriebenen Standards des Durchschnittsheims in folgenden Punkten hinaus:

(1) Das Haus hat eine eigene Systematik zur Hilfe- und Erziehungsplanung, die Selbstevaluation einschließt. Items und Maßnahmen (siehe Anhang unter Haus Petra) werden pro Fall festgelegt und regelmäßig in den Wochenbesprechungen „geratet“.

Dies geschieht transparent und dokumentiert in der Teambesprechung aller pädagogischen Mitarbeiter und Mitarbeiterinnen.

Es gibt:

• eine tägliche Dokumentation pro Kind über Konfliktratingskalen;

• auf der Basis systematischer Dokumentation und Bewertung des Halbjahres kategorial professionell gestaltete Entwicklungsberichte an das Jugendamt;

• analog der Arbeit mit dem Kind geplante regelmäßige, themenzentrierte und dokumentierte Elternarbeit, die auch die oft defizitäre Jugendamtsarbeit durch Familiendiagnostik und Familienberatung nacharbeitet;

• Handbücher, die alle qualitätstragenden Alltagsprozesse präzise beschreiben, so dass diese evaluierbar sind. Die Beschreibung differenziert nach den Ebenen Alltag, Pädagogik und Therapie. Die Texte der Handbücher werden jährlichen Revisionen unterzogen, indem in Normdiskussionstagen alle Mitarbeiter, die im Alltag arbeiten, Vorschläge zu Veränderung und Neuerungen diskutieren und im Konsens beschließen.

(2) Die Einrichtung

• führt in zweijährigen Abständen systematische Audits in allen Abteilungen durch die zur Einrichtung gehörende eigene Abteilung für OE durch

• unterhält eine eigene Forschungs- und Entwicklungsabteilung, die innerhalb und auch außerhalb der Einrichtung forscht;

• erstellt jährliche Qualitätsberichte im Sinne des KJHG; die Qualitätsberichte stellen die Summe der Ergebnisse der Einzelfallmaßnahmen dar und sind auch als Evaluationsberichte zu lesen;

• praktiziert systematisch Evaluation auf allen Ebenen der Organisation, also auf der Einzelfallebene, der Prozessebene und der Strukturebene, durch Vergleich auch mit den Ergebnissen der eigenen Forschung heimintern und in anderen Einrichtungen;

• orientiert sich am lerntheoretischen Paradigma.

Zu b) Beschreibung des eigenen Selbstverständnisses

Die Einrichtung versteht sich als eine selbst lernende Organisation, die sich systematisch selbst kontrolliert und evaluiert sowie Weiterentwicklung professionell und wissenschaftlich betreibt. Damit hebt sich das Konzept durch das Setzen auf hohe Professionalität und bewusste Pflege von Exzellenz bewusst vom Mainstream der Jugendhilfe ab.

Zu c) Analyse des Systems unter den Begriffen Selbst- und Fremdevaluation

Die Einrichtung differenziert bewusst zwischen Selbst- und Fremdevaluation, wenn auch dafür meist andere Begriffe stehen. Selbstevaluation geschieht ständig einzelfallbezogen, wie skizziert. Interne Fremdevaluation geschieht regelmäßig durch die eigene Organisationsentwicklungsabteilung und die Forschungsabteilung. Die Selbstevaluation wird durch die Fremdevaluation überprüft und in diese einbezogen. Die Ziele werden operationalisiert. Interventionen werden mit Hilfe von Ratingskalen auf ihren Erfolg hin geprüft. Kriterien werden beschrieben. Qualitätsentwicklung findet systematisch auf allen Ebenen statt. Nicht angeleitete und kommunizierte Selbstevaluation von Teams wird abgelehnt. In einem gewissen Sinne besteht die Kultur: Die Einrichtung evaluiert als Ganzes sich selbst und praktiziert in diesem Sinne Selbstevaluation auf der Basis von Vertrauen mit Überschreitung von in der Selbstevaluation üblichen Differenzierungen zwischen Fachkräften und Leitung.

Zu d) Bewertung nach dem Kriterium Übertragbarkeit

Diese Praxis, so exzellent professionell sie auch gestaltet ist, wovon sich der Verfasser in vielen Hospitationen überzeugen konnte, scheint nicht ohne Weiteres übertragbar auf andere Praxen der Jugendhilfe in Deutschland, da sie eine für die Sozialpädagogik sehr untypisch stringente lerntheoretisch orientierte Systematik mitführt. Auffällig ist die starke Orientierung an der Klinischen Psychologie und an der Lerntheorie, wobei die Leitungspersonen zu einem großen Teil Psychologen sind.

Dennoch: Zu lernen ist grundsätzlich, wie es möglich ist, eine gesamte Organisation

Verzahnung von Fremd- und Selbstevaluation herzustellen, wenn dies in der Einrichtung auch sprachlich anders codiert wird. Die Einrichtung ist von einem gemeinsamen Geist einer weitgehend operational beschriebenen Professionalität durchdrungen, und dies ist sehr selten so anzutreffen.

Wichtige strukturelle Besonderheit: Die Einrichtung ist auf eine Privatperson als privaten Träger und forschenden Heimleiter zugeschnitten, der die Aufbauarbeit und Pionierarbeit geleistet hat und durchaus als moderner Klassiker gesehen werden kann. Die Einrichtung hat eine Vorbildpraxis vorzuweisen. Es werden noch nähere empirische Untersuchungsergebnisse über die Einrichtung vorgestellt (siehe Abschnitt 4.3.).

2.6.2.3 EVAS

Zu a) Darstellung des Systems

Die folgende Darstellung stützt sich auf mehrere Quellen (Macsenaere & Knab 2004; Adams u. a. 2004: Knab & Macsenaere 2001; eigene Untersuchungen siehe unten Kapitel 4).

EVAS ist die Abkürzung für den Begriff „Evaluationsstudie erzieherische Hilfen“. EVAS stellt ein System einer Basisdokumentation bereit, die ausdrücklich zur Selbstevaluation und zum Benchmark dienen soll (Knab & Macsenaere 2001, S. 7). Über die Basisdokumentationsbögen (siehe Anhang) werden für jedes Kind regelmäßig und systematisch operationalisierte Daten zur Prozessqualität, zur Ergebnisqualität und zur Strukturqualität kind- und einrichtungsbezogen erhoben. Über eine systematische quantitative Auswertung des Instituts IKJ (Institut für Kinder- & Jugendhilfe, Mainz) ist es möglich, die wesentlichen Ergebnisse in quantitativer Form vorzulegen und auf dieser Basis laut Konzept Benchmarking und Selbstevaluation zu praktizieren. Seit ca. 3 Jahren sind Online-Einzelfallevaluationen möglich. Das System umfasst formal die wichtigsten Kategorien einer Selbstevaluation mit Ausnahme von benutzergenerierten Erfolgskriterien, die ersetzt sind durch vorgegebene Ratingskalen mit Erläuterungen im Handbuch unter dem Begriff Anlagen (IKJ 2004, 7. Anl.).

Die erhobenen Daten werden überwiegend im Ankreuzverfahren oder durch Ratingskalen erhoben. Die Kategorien lehnen sich überwiegend an die der Klinischen Psychologie bzw. der ICD10-Systematik an und folgen eher einer lerntheoretisch-linearen Logik, kaum einer systemischen Sichtweise (siehe Anhang unter EVAS-Bogen).

Das Evaluationssystem EVAS ist für uns eine wichtige Referenz, weil es – neben neuerdings WIMES – das quantitativ in mehrerer Hinsicht mit Abstand größte und in dieser Form einzige

Evaluationssystem in der deutschen Jugendhilfe und speziell in der Heimerziehung darstellt (Frey 2008, S. 97-112):

(1) EVAS wird in über 200 Jugendhilfeeinrichtungen, überwiegend in Heimen, praktiziert.

(2) Es erhebt eine beispiellos große Menge Daten, die auch zu Forschungszwecken dienen können.

(3) EVAS hat durch die Tatsache seiner jahrelangen Praxis mindestens formal die nicht zu unterschätzenden Einführungsschwierigkeiten von dauerhaft installierter Evaluation überwunden.

(4) EVAS hat die in der Sozialpädagogik schwierige und umstrittene Kategorienfrage bzw. typologische Fragen per Option für einen Anschluss an anerkannte psychologische Kategorien beantwortet und so einen Anfang für weitere Entwicklungen gesetzt und provoziert. Es bildet ein Kontrastprogramm für das sozialpädagogische Paradigma.

(5) EVAS ermöglicht nach eigenem Selbstverständnis Benchmarking und Selbstevaluation (Summe der Einzelfallergebnisse und Einzelfallauswertung).

Zu b) Beschreibung des eigenen Selbstverständnisses

„Mit EVAS soll die bisherige, auf ‚weichen Daten‘ beruhende Dokumentationspraxis durch eine Selbstevaluation abgelöst werden, die seriöse, nachvollziehbare und die Qualitätssicherung der Einrichtungen unterstützende Ergebnisse liefert“ (Knab 2004, S. 12).

Das Selbstverständnis wurde von den Entwicklern mit folgenden Zielvorstellungen präzisiert:

• „Darstellung der Klientel;

• Beschreibung der psychosozialen Belastungsfaktoren,

• Erfassung der pädagogisch-therapeutischen Methoden und Umfänge der Arbeit (Prozessqualität);

• Erfassung und Darstellung der Effekte (Ergebnisqualität);

• Herausarbeiten von hemmenden und fördernden Wirkfaktoren;

• Kosten-Nutzen-Darstellung (Effizienz);

• Aufzeigen einrichtungsinterner Stärken (Struktur-, Prozess- und Ergebnisqualität)“

(Knab 2004, S. 12).

Zu c) Zur Analyse und vorläufigen Bewertung des Systems unter den Begriffen Selbst- und Fremdevaluation

Das System ist angetreten mit dem Anspruch der Selbstevaluation. Der Begriff hat sich im Anfang wohl bezogen auf die Möglichkeit des Benchmarkings, also der vergleichenden Selbstbewertung im Blick auf andere Einrichtungen. Einzelfallauswertungsmöglichkeiten gibt es systematisch und abrufbar erst seit drei Jahren und erst hier liegt potenziell die Möglichkeit, fallbezogene Selbstevaluation zu unterstützen. EVAS scheint potenziell und grundsätzlich zur Fremdevaluation und auch zur Verzahnung von Fremd- und Selbstevaluation geeignet, und wir untersuchen in unserer Arbeit konkret in vier Einrichtungen diese Möglichkeiten und Entwicklungspotenziale. Da EVAS allerdings ein überwiegend quantitativ arbeitendes System ist, stellen sich weiter unten zu bearbeitende Fragen nach der Übersetzung in qualitative Dimensionen, ohne die eine Selbstevaluation im Blick auf die Prozessqualität und Warum-Fragen nicht möglich erscheint bzw. in einem heuristischen Entwicklungsstadium stehen bleibt. Gemessen daran, dass das System zwar in Zusammenarbeit mit Heimleitern konstruiert, jedoch in Heime importiert wird, die nicht an dieser Entwicklung beteiligt waren, dürfte EVAS gemessen an den vorliegenden Konzepten als ein System der Fremdevaluation einzuschätzen sein, entgegen dem eigenen Selbstverständnis (vgl. Heiner 2001, S. 35-58).

Zu d) Vorläufige Bewertung nach dem Kriterium der Übertragbarkeit in oder den Anschluss an eine Selbstevaluationssystematik für Heime

EVAS zeigt die Merkmale eines groß angelegten Evaluationssystems auf, sowohl dessen Stärken als auch dessen Schwächen. Die Fixierung auf Benchmarking und Ergebnisqualität sowie quantitative Erhebungsmethoden lässt den Anspruch, auch Selbstevaluation bieten zu können, fragwürdig erscheinen. Da EVAS den einzigen deutschen Großversuch dieser Art darstellt, verspricht eine erste Untersuchung wichtige Erkenntnisse für die Möglichkeit von Großevaluationen bzw. die Koppelung von Benchmarking und interner Evaluation. EVAS wurde bislang nicht systematisch als Praxis wissenschaftlich untersucht.

Soll Selbstevaluation breit als Methode installiert werden, so eine vorläufige These, kann nicht völlig auf den Anschluss an eine Kategorienfestlegung, wie sie EVAS versucht hat, verzichtet werden. Dies gilt zumindest, wenn man innerhalb des Praxisfeldes Heimerziehung mit vergleichbaren Praxen bleibt und den möglichen Erkenntnisgewinn durch Vergleich und Kontrastierung nutzen will.