Diese verfolgt den Zweck Aufschlüsse darü-ber zu erlangen, inwieweit es gelungen ist, den Projektzielen gemäße Veränderungen und Entwicklungen im sozialen und insti-tutionellen Umfeld zu erreichen oder zumin-dest anzustoßen. Inwieweit haben die Projekte das Ziel erreicht, in der Region ein wachsendes Interesse für das Thema ältere Menschen mit Behinderung zu wecken, ein vermehrtes Engagement für sie und eine breitere Kooperationsbereitschaft zu schaf-fen? Hierzu wurden in den jeweiligen Regi-onen Multiplikatoren, die von den einzelnen Projekten ausgewählt worden sind, befragt.
Mittels eines Fragebogens (s. Anhang, Eva-luationsinstrumente: III. Fragebogen zur Multiplikatorenbefragung), der von uns an die benannten Multiplikatoren versandt wurde, sollte erkundet werden, inwieweit es den Projekten gelungen ist, in ihrer Region relevante Akteure anzusprechen, bei ihnen Interesse für das Projekt, deren Zielgruppe und seine Ziele zu wecken und sie für eine
0 6 2 . . 0 6 3
./ die Evaluationsebenen und -instrumente
schritte bei der Planung und Durchführung der Begleitungen bzw. Qualifizierungsver-anstaltungen unverzichtbar ist – für sie selbst, um erfolgsversprechend handeln zu können, und für uns, um die Prozesse nachvollziehen und vergleichen zu kön-nen. Insofern nahmen wir zumindest in der Anfangsphase im Sinne einer formativen Evaluation Einfluss auf die Prozesse, die von den betreffenden Mitarbeitern maßgeblich gestaltet wurden und die wir in einem zwei-ten Schritt untersucht haben. Dies trifft ins-besondere auf die beiden Kernprozesse bei der personenbezogenen Begleitung und bei den Qualifizierungsangeboten zu: auf das Formulieren handlungsleitender Zwischen-ziele, das Benennen zielführender Maßnah-men gemäß den „SMART-Kriterien“ (in Teil E I.), das Operationalisieren von Lernzielen und das Bestimmen von Kompetenzen, die durch entsprechende Lerninhalte und -for-men zu vermitteln sind (in Teil E II.). Durch die Dokumentationsbögen wurde gleich-sam vorgeschrieben, wie vorzugehen ist. Es war gleichwohl nur eine Empfehlung. Von wenigen Ausnahmen abgesehen, wurden die Prozesse jedoch gemäß unseren Vorga-ben dokumentiert.
Die Vielfalt der gewählten Evaluationsins-trumente macht es zwar schwieriger, ein-fache „signifikante“ Ergebnisse zu präsen-tieren, die den Einfluss einzelner Faktoren benennen, aber die Vielfalt der Perspektiven gibt – davon gehen wir aus – einen detail-lierten und breiten Einblick in die komple-xen und heterogenen Rahmenbedingungen und Prozesse der untersuchten Projekte. Sie
37 Ferner gaben wir Rückmeldungen zu den ersten Do-kumentationen, wenn nach unserer Einschätzung Din-ge unklar waren oder RückfraDin-gen kamen.
macht die Komplexität des Anliegens der Projekte deutlich; die Selbstständigkeit und Teilhabe von älteren Menschen mit Behinderung ist nicht mit einigen wenigen Interventionen zu bewerkstelligen.
Leider erfolgt die endgültige Rückmeldung der Evaluationsergebnisse an die beteilig-ten Projekte und Projektmitarbeiter erst nach Abschluss der Modellphase, folglich zu spät, um in den laufenden Projekten noch Korrekturen vornehmen zu können.
Eine durchgängige formative Evaluation, die ihre Ergebnisse und Erkenntnisse fort-laufend rückvermittelt, mit den beteiligten Akteuren erörtert und dadurch konzeptio-nelle und methodische Weiterentwicklun-gen anstößt, hätte allerdings ein anderes Vorgehen, und – bei gleichen Ressourcen – eine Konzentration auf einige wenige Projekte erforderlich gemacht, um einen ständigen und intensiven Austausch mit den einzelnen Projektträgern und Projekt-mitarbeitern, mit relevanten Multiplikato-ren und nicht zuletzt mit den betroffenen älteren Menschen mit Behinderung vor Ort gewährleisten zu können. Dennoch geben die vorliegenden Evaluationsergebnisse – so ist zu hoffen – lehrreiche Anregungen für die Weiterführung der Projekte oder für andere vergleichbare Projekte, deren Ziel die Förde-rung einer selbstständigen LebensfühFörde-rung und sozialen Teilhabe von älteren Menschen mit Behinderung ist.
4. diE EvaluatioN im KoNtExt dEr GESam-tEN ProjEKGESam-tENtWicKluNG
Insgesamt stellen die Evaluationsinstru-mente auf den drei Ebenen einen Mix von Verfahren zur Ermittlung der Ergebnis-, Pro-zess- und (in begrenztem Rahmen) Struktur-qualität dar, wobei der Schwerpunkt auf der Untersuchung der Prozesse im Rahmen der personenbezogenen Begleitungen und Qua-lifizierungsangeboten auf den Ebenen I und II liegt. Die Ermittlung der Erfolge der durch-geführten Maßnahmen oder Veranstaltun-gen am Ende der Prozesse durch eine unmit-telbare Befragung der Teilnehmer runden die Beurteilung der Prozessqualität lediglich ab. Demgegenüber werden auf der Ebene III vorrangig die erzielten Wirkungen der Pro-jekte ermittelt: Welche (Lern-) Effekte lösten diese bei den befragten Multiplikatoren und anderen Akteuren im sozialen Umfeld aus und welche strukturellen Entwicklungen konnten ihrer Einschätzung nach durch die Projekte angestoßen werden oder welche strukturellen Defizite sind dadurch sichtbar geworden?
Die Bewertungen der Prozesse und Ergeb-nisse auf den Ebenen I und II basieren zudem zu einem erheblichen Teil auf den Selbstbe-wertungen der Akteure, welche die Beglei-tungen bzw. die VeranstalBeglei-tungen durch-führten und die Verantwortung für deren Gelingen hatten. Folglich dienten die Doku-mentationen der Prozesse und Ergebnisse im Sinne einer Selbstevaluation (Heiner 1988; Spiegel 1993; Bundesministerium für Familien 1999; vgl. Hense et al. 2013) haupt-sächlich der Strukturierung und Selbst-reflexion des eigenen Handelns36: Welche
36 Wie Müller (2013) auf der Grundlage von
Gruppen-Handlungsschritte, die der Zielerreichung dienen, sind geplant und umzusetzen, was ist erreicht worden und welches sind verläss-liche Indikatoren hierfür? Das Gleiche gilt bis zu einem gewissen Grad für die Befragung der Multiplikatoren. Da ein größerer Teil von ihnen selbst aktiv in den Projekten mitge-wirkt hat, beinhalten ihre Rückmeldungen zwangsläufig Selbstbewertungen ihres eige-nen Tuns und ihrer Erfolge.
Durch die vorgegebenen Evaluationsins-trumente wurde schließlich – wie bei der Erläuterung der einzelnen Evaluationsebe-nen bereits angesprochen – nicht nur die Wahrnehmung der beobachtenden Akteure, welche die Dokumentationen zu erstel-len hatten, sondern auch deren Handeln maßgeblich strukturiert oder angeleitet.
Aus diesem Grund legten wir großen Wert darauf, vor Beginn der Begleitungen und Veranstaltungen und während der Start-phase die Dokumentationsbögen mit den Mitarbeitern abzustimmen37. In Besuchen vor Ort und bei mehreren gemeinsamen Projektträgertreffen versuchten wir, einer-seits Fragen, kritische Einwände und Anre-gungen der beteiligten Projektmitarbeiter aufzugreifen, andererseits diese davon zu überzeugen, dass eine gewisse Transpa-renz und Zielgerichtetheit der
Handlungs-diskussionen darlegt, sind die Prozesse der Erhebung der Daten, wie auch die Prozesse ihrer Auswertung und Reflexion gebrochen durch vielfältige Mutmaßungen der Beteiligten über Erwartungen der Auftraggeber, der Anstellungsträger oder der Evaluatoren.
37 Ein Grund dafür war auch, die Akzeptanz zu erhö-hen und damit die Dateneingabe zu optimieren. Aus dem gleichen Grund votierten wir bei unseren Projekt-besuchen und auf den gemeinsamen Treffen der Pro-jektträger dafür, dass jedes Projekt das Hauptgewicht entweder auf die Evaluationsebene I oder II legen sollte.
0 6 4 . . 0 6 5
Die Anzahl der in die Evaluation eingeflosse-nen Begleitprozesse variiert je nach Projekt-träger, da es keine festen Vorgaben bezüglich der Fallzahlen gab und nicht alle Beglei-tungen, die während der Projektlaufzeit begonnen wurden, soweit abgeschlossen waren, dass sie in die Evaluation einbezo-gen werden konnten. Von einer vorgegebe-nen Fallzahl pro Projekt abzusehen, erschien sinnvoll, da die Vorlaufzeit und Dauer der einzelnen Begleitungen je nach Konzept, Zielgruppe und Rahmenbedingungen der Projekte unterschiedlich ausfallen.
Grundlage der Evaluation sind die Dokumen-tationen der fallbezogenen Unterstützungs- und Begleitprozesse durch die Projektmit-arbeiter nach Maßgabe des vorgegebenen Dokumentationsbogens (s. Anhang), dessen Struktur in Teil D erläutert wurde und in dem die einzelnen Schritte der personenbezoge-nen Begleitprozesse festgehalten worden sind. Abgeschlossen wurde die fallbezogene Dokumentation mit einer Einschätzung durch die Projektmitarbeiter, inwieweit die Zwischenziele und in Verbindung damit die übergeordneten Ziele der Begleitung erreicht worden sind. Die diesbezüglichen Ergebnisse Wie in Teil C bereits erläutert, konnten die
Projekte sich jeweils für einen Aufgaben-schwerpunkt, entweder die personenbe-zogene Begleitung von älteren Menschen mit Behinderung (s. E I.) oder ihre Qualifi-zierung durch Kursangebote (s. E II.) ent-scheiden. Auf diesen Schwerpunkt konzen-trieren sich sodann die Dokumentation der Prozesse und die Evaluation. Eine solche Schwerpunktsetzung war sinnvoll, um die Projektmitarbeiter schon in zeitlicher Hin-sicht nicht zu überlasten. Allerdings werden dadurch – das machte manchen Projekten die Entscheidung schwer – viele Aktivitäten der Projekte in anderen Feldern notgedrun-gen tendenziell ausgeblendet. Diese werden zwar am Rande thematisiert, aber nicht sys-tematisch erfasst. Zwar haben wir es den Projekten, die sowohl personenbezogene Begleitungen als auch
Qualifizierungsver-anstaltungen anbieten, freigestellt, beides zu dokumentieren, aber der Aufwand hier-für ist von ihnen dann offensichtlich als zu groß eingeschätzt worden. Die meisten Projekte konzentrieren zudem im weiteren Verlauf – so unser Eindruck – ihre Energie in wachsendem Maße auf den ausgewählten Aufgabenschwerpunkt.
Eine Sonderstellung nimmt die Multiplika-torenbefragung (s. Teil E III.) ein. Sie ist bei allen Projekten gleichermaßen durchge-führt worden und liefert auf der Ebene der Entwicklungen, welche die Projekte im sozi-alen Umfeld bewirkt haben, eine Datenbasis für projektübergreifende Einschätzungen.
Dementsprechend bilden die folgenden Teile E I. – E III. völlig separate Darstellungen der Evaluationsergebnisse.
e. eValuationsergeBnisse
Projektträger Name Anzahl
der Fälle Altersspanne Offene Hilfen Heilbronn „Hand in Hand in den Unruhestand“ 12 45 – 67 Jahre Landkreis Biberach „Förderung von Selbstständigkeit
von älteren Menschen mit Behin-derung“
6 58 – 65 Jahre
Landratsamt
Bodensee-kreis „Aktiv für ältere Menschen mit Behinderung – Senioren für Senioren“
13 50 – 89 Jahre
St. Elisabethstiftung –
Heggbacher Wohnverbund „Förderung der Selbstständigkeit von älteren Menschen mit Behin-derung“
7 64 – 79 Jahre
Verein zur Förderung einer sozialen Psy-chiatrie e.V. (VSP Reutlingen)
„BÄNKLE – Betreutes generati-onenübergreifendes Wohnen in Gastfamilien“
5 67 – 78 Jahre
WP Wohnprojekt
Rotten-burg „LEQUA – Lebensqualität im Alter“ 5 54 – 70 Jahre Caritasverband Konstanz
e.V. „Altissimo – persönliche
Zukunfts-planung realisieren“ 11 48 – 78 Jahre Gemeinnützige Werk- und
Wohnstätten GmbH (GWW) „Seniorenprojekt – Förderung von Selbstständigkeit von älteren Menschen mit Behinderung“
13 56 – 64 Jahre
Tabelle 7: Personenbezogene Evaluation – Überblick über die Projekte der personenbezogenen Evaluationsebene
e. i. prozesse und ergeBnisse der
personen-Bezogenen Begleitprozesse
0 6 6 . . 0 6 7
./ Evaluationsergebnisse
fünf und 13 Fällen. Der Anteil männlicher Teilnehmer ist mit 55% leicht höher als der Anteil der Frauen.
Der Altersdurchschnitt beträgt etwa 63 Jahre, wobei die Altersspanne der Teilneh-menden mit 45 bis 89 Jahren sehr weit ist.
Während die über 60- bis 70-Jährigen mit fast 50% die größte Gruppe bilden, ist etwa ein Drittel 60 Jahre alt oder jünger. Inner-halb der verschiedenen Projekte lassen sich im Hinblick auf die Altersgruppen deutliche Unterschiede erkennen: Die TN der GWW Sindelfingen (n = 13, Ø = 57 Jahre) und der OHH Heilbronn (n = 12, Ø = 60) haben den niedrigsten Altersdurchschnitt, der VSP Reutlingen (n = 7, Ø = 72) und die St. Elisa-bethstiftung (n = 5, Ø = 68) begleiten im Durchschnitt die ältesten Menschen mit Behinderung.
In 54% aller Fälle wird eine geistige Behin-derung als PrimärbehinBehin-derung angegeben, in 37% eine seelische Behinderung und bei 4% eine chronische Suchterkrankung.
Mehr-fachbehinderungen sind häufig, insgesamt werden bei mehr als der Hälfte aller TN zwei oder mehr Behinderungsformen angegeben.
Bei den TN, bei denen eine körperliche Behinderung vorliegt (34% aller TN), besteht in 60% der Fälle eine selbstständige Fortbe-wegungsfähigkeit, in 28% der Fälle ist diese nur mit Hilfsmitteln und in 12% nur mit per-soneller Unterstützung möglich. Im Hinblick auf vorliegende Sinnes- und Sprachbehin-derungen (27%) liegt in je 36% der Fälle eine Sehbehinderung oder eine Schwerhörigkeit (in einem Fall Gehörlosigkeit) vor, sieben TN haben außerdem eine Sprachbehinderung.
Die häufigsten angegebenen seelischen Behinderungen sind Depressionen (35%) und Psychosen (14%). Den TN mit einer geis-tigen Behinderung wird zu jeweils 50% eine leichte oder mittlere Intelligenzminderung attestiert. Unter den sonstigen Behinde-rungsformen (n = 20) werden zerebrale Stö-rungen (n = 4), Autismus (n = 3), Epilepsie (n = 3) und weitere meist körperliche Beein-trächtigungsformen angegeben.
alleine hätten jedoch kaum ausreichende Informationen geliefert; denn Ziel der wis-senschaftlichen Begleitung, wie des gesam-ten Modellprojekts ist, zu eruieren, welche Maßnahmen und Formen der Begleitung, Unterstützung, Qualifizierung etc. sich eignen, ältere Menschen mit Behinderung zu größerer Selbstständigkeit und mehr gesellschaftlicher Teilhabe zu befähigen und unter dieser Zielsetzung altersbedingte Übergänge auf gelungene Weise zu bewäl-tigen. Der Fokus liegt daher primär auf der Prozessevaluation.
Im Dokumentationsbogen wird – nach einer kurzen vorangehenden Bestandsaufnahme zur Ausgangssituation der betreffenden Per-son – Folgendes erfasst: Welche Ziele wur-den mit wur-den Teilnehmenwur-den vereinbart und sodann im Sinne der SMART-Kriterien38 zu konkreten Zwischenzielen operationalisiert und welche Maßnahmen wurden konzi-piert, durch die diese erreicht werden sollen?
Im darauffolgenden Teil wird dokumentiert, welche Maßnahmen tatsächlich durchge-führt, welche Mittel eingesetzt und welche personellen und sonstigen Ressourcen benö-tigt wurden sowie welche Probleme und Hindernisse aufgetreten sind. Abschließend folgt eine Bewertung des Erreichten.
In einem ersten Überblick werden im Fol-genden die Personen, die begleitet worden sind und auf die sich die fallbezogene Eva-luation bezieht, vorgestellt. Einleitend wer-den die Alters- und Geschlechterverteilung,
38 Siehe oben Teil D. Evaluationsebenen und -instru-mente, in dem erläutert wird, weshalb die von uns mit den Projektmitarbeitern abgestimmten Dokumentati-onsbögen zugleich als Leitlinien für die Strukturierung der Begleitprozesse fungieren.
die unterschiedlichen Behinderungsformen und der Beeinträchtigungsgrad nach der Internationalen Klassifikation von Funkti-onsfähigkeit, Behinderung und Gesundheit (ICF) vorgestellt. Im nächsten Schritt werden ausgehend von der erhobenen Wohnform und dem Beschäftigungsstatus insgesamt neun Gruppen gebildet, denen sich die TN zuordnen lassen. Daran anschließend wer-den bezogen auf diese TN-Gruppen die sozi-alen Netzwerke und Teilhabemöglichkeiten, die zu Beginn des Projekts ermittelt worden sind, skizziert. Außerdem werden die unter-schiedlichen Zugänge zu den Projekten und die angegebenen Gründe für die Teilnahme dargestellt. Abschließend werden bezogen auf die vereinbarten Ziele die Maßnahmen und Vorgehensweisen herausgearbeitet, welche sich insgesamt als besonders ziel-führend, d. h. geeignet für die Förderung der Selbstständigkeit und Teilhabe älterer Menschen herausgestellt haben.
Die Erhebung basiert auf einem halb-stan-dardisierten Dokumentationsleitfaden. Alle quantitativen Daten sind unter Nutzung des Statistikprogramms SPSS 21 ausgewertet worden. Die Zielvereinbarungen und Maß-nahmen der Begleitprozesse (Teil C und D des Evaluationsbogens) werden überwiegend durch offene Fragen erfasst. Auf Basis der qualitativen Angaben sind hierzu Katego-rien gebildet worden.