Die Definition von Evaluation und die Auswahl eines Evaluationsansatzes

Ziel der Evaluation ist es sicherzustellen, dass

– die zu entwickelnden Verfahren, Vorgehensweisen und Instrumente wirksam und nachhaltig den Arbeitsschutz in der ambulanten Pflege verbessern,

– die Verfahren und Instrumente hinsichtlich ihres Nutzens, ihrer Wirksamkeit und ihrer Nachhaltigkeit auf der Basis der im Projekt gemachten Erfahrungen weiter optimiert werden,

– die Vorgehensweisen zum Einführen dieser Verfahren und Instrumente regelmäßig im Projektverlauf einer Bewertung unterzogen werden hinsichtlich

· ihrer Wirksamkeit für die Akzeptanz der Instrumente in den Betrieben

· ihrer nachhaltigen flächendeckenden Verbreitung in der Branche und darüber hinaus.

Das Evaluationskonzept wurde zu Beginn des Projekts entwickelt, es ist unter www.arbeitsschutzinderpflege.deeinzusehen. Im Folgenden werden deshalb nur die wesentlichen Aspekte für die Konzeptauswahl benannt und die Hauptbestandteile beschrieben.

In den Evaluationszielen des Projektes geht es um die Verbesserung der Praxis. Das erforderte ein erfolgs- und handlungsorientiertes Evaluationskonzept, das bereits im Projektverlauf auf der Basis von Evaluationsdaten Eingriffe erlauben würde, welche die Qualität fördern und damit die Ergebnisqualität verbessern. Ein verbreitetes Konzept, das diesen Kriterien entspricht, ist das ›Mainzer Modell‹ des Mainzer Zentrums für Qualitätssicherung.

Die Definition dieses Evaluationsmodells lautet:

»Evaluation besteht aus der Analyse und Bewertung von Einrichtungen, Programmen und Interventionen unter dem Aspekt ihrer Wirksamkeit, Akzeptanz und Qualität mit dem Ziel der Situations- und Problemdiagnose sowie der Mobilisierung von Aktivität.

Evaluation erfolgt unter der Zugrundelegung von Maßstäben, die aus dem Evaluations -feld oder von außen stammen.«¹⁶

Diese Definition von Evaluation schließt mit ein, dass eine Verbesserung der Praxis nicht nur im Laufe eines Programms durch Feedback-Schleifen, begleitende Analysen und Soll-Ist-Vergleiche erreicht wird, sondern auch durch eine abschließende Bewertung der Veränderungen gegenüber der Ausgangssituation. Da diese Definition die Diskussion und Weiterentwicklung bzw. Veränderung von Zielen einschließt, kann auch das Soll sich verändern; ein abschließender SollIstVergleich kann sich daher von den Ausgangs -zielen schon entfernt haben.

In dem Projekt ›Arbeitsschutz in der ambulanten Pflege‹ wurden das Oberziel und die beiden Teilziele (Vgl. Kapitel 2) zunächst operationalisiert. Diese Ziele konnten für die Entwicklung eines Instruments zur branchenspezifischen Gefährdungsbeurteilung gut genutzt werden. Für das Teilziel 1, der Entwicklung einer qualitativ hochwertigen Betreuung nach dem ASiG, wurden die Ziele über die Erfahrungen mit den Multipli -katoren verändert und es kamen neue hinzu, die in den Kapiteln 8 und 9 dargestellt werden.

Die Projektevaluation sollte genutzt werden, um bereits im Verlauf Erkenntnisse zu gewinnen und Veränderungen einzuleiten. Es handelt sich, in Übereinstimmung mit der Entwicklung in der aktuellen projekt- und programmbegleitenden Sozialforschung, um eine prozessorientierte Evaluation. Dabei setzt sich ein am Mainzer Modell orientiertes Evaluationsverständnis zunehmend durch, weil durch die prozesssteuernden und korri gierenden Eingriffe eine erheblich höhere Effektivität erreicht werden kann. Da Evalua -tion somit als ein Lern- und Qualitätssicherungsinstrument verstanden wird, teilt sie sich in Prozess- und Ergebnisevaluation auf.

16 Vgl. Hennen, M./Häuser, S. (2002), S. 4.

In dem Projekt wurden im Verlauf die Methoden der Prozessevaluation genutzt und zum Abschluss die der Ergebnisevaluation. Auf beide Formen wird im Folgenden ein -gegangen.

3.2 Prozessevaluation

Evaluation ist nicht nur ein Instrument zur selektionsvorbereitenden Bewertung von Interventionen, Maßnahmen, Instrumenten etc., sondern auch eine Möglichkeit der aktivierenden Veränderung und Entwicklung von Organisationen. Versteht man unter Organisationsentwicklung »eine sozialwissenschaftliche Methode der Reorganisation in und von Organisationen zum Zwecke der Leistungssteigerung, bei der sowohl gemein -schaftliche und aufeinander abgestimmte Lernprozesse der Organisationsmitglieder als auch organisationelle Strukturanpassungen gleichzeitig befördert werden«, dann wird deutlich, dass Evaluation und Organisationsentwicklung ein sehr großes Überschnei -dungs feld haben und sich in der Praxis wirkungsvoll ergänzen können. Damit rückt Evaluation inhaltlich und methodisch in die Nähe der Organisationsentwicklung (OE), ohne mit ihr vollkommen übereinzustimmen.

Auch Aktionsforschung zielt nicht nur auf die Prüfung und Gewinnung theoretischer Erkenntnisse, sondern es sollen praktische Veränderungen bewirkt werden. Aktions -forschung hat, wie auch die Organisationsentwicklung, immer eine verbesserte Praxis zum Ziel.

Die prozessorientierte Evaluation hat somit ihre Wurzeln in der Aktions oder Hand lungsforschung. Entsprechend dem Vorgehen in der Aktionsforschung erfolgen im ge samten Projektablauf FeedbackSchleifen und SollIstVergleiche. Ergebnis und Prozess -evaluation gehen ineinander über und lassen sich nicht klar voneinander trennen.

Im Sinne der Aktionsforschung war unsere Projektevaluation von vornherein prozess begleitend angelegt und geprägt durch die Integration der Aspekte Forschung – Ent -wick lung – Umsetzung – Überprüfung/Bewertung. Dabei stand kontinuierlich die Frage im Vordergrund, welcher Nutzen für die Pflegebetriebe aus den vorgeschlagenen Aktivi täten erwächst. Vor allem: Wird das Projekt dem Anspruch das Ziel erreicht, handlungs -orientierte Gestaltungsempfehlungen zu geben?

Für die Arbeit im Projekt bedeutete das, dass jeder Schritt, jede Maßnahme und jedes Instrument auf ihre Tauglichkeit zur Erreichung der Projektziele überprüft wurden.

Dies diente der nachhaltigen Ergebnisoptimierung, der Übertragbarkeit auf die gesamte Zielgruppe sowie der Qualitätssicherung. Dabei mussten durchaus verschiedene Blick -winkel z. T. gleichzeitig berücksichtigt werden:

– die ambulanten Betriebe zu erreichen und zu gewinnen – die konkrete Beratungsarbeit vor Ort in den Betrieben

– die verschiedenen Rollen der Beteiligten bezogen auf die ›Kunden‹ – z. B. Berater und zugleich Aufsichtsperson zu sein

– die gemeinsam und in Untergruppen entwickelten Konzepte, Instrumente und Maßnahmen zur Gefährdungsbeurteilung

– Konzepte zur nachhaltigen Verbreitung umsetzungsfähiger Ergebnisse

– Kontaktaufnahme und Rollen gegenüber Dritten wie Verbänden und Multiplika -toren

– die Rollen gegenüber Auftraggebern in den jeweils eigenen Institutionen und in der INQA-Organisation

– die Bedürfnisse aller beteiligten Partner – die Lösungsideen aus dem Projekt

Bei unserer Prozessevaluation war eine der großen Herausforderungen für alle direkt Beteiligten, die Komplexität der teilweise heterogenen Fragestellungen und Lösungs -ansätze konstruktiv zu gestalten. Organisatorisch wurde das in erster Linie gelöst durch

die Projektstrukturelemente Projektgruppe und Regiegruppe, die in Kapitel 2 beschrie -ben sind. In der Regiegruppe wurden die Themen und Fragestellungen zur Reflexion und Weiterentwicklung vorsortiert und in der Projektgruppe und später zusätzlich in der

›Praxisbegleitung für Berater‹ bearbeitet und durch weitere Fragestellungen ergänzt.

Dieses Herangehen, das zunächst fokussiert war auf die betrieblichen Prozesse und die Entwicklung des Arbeitspaketes ›Mustergefährdungsbeurteilung‹, hat über die Eva -luation weitere (Organisations-)Entwicklungsprozesse im Projekt angeregt und geholfen, neue Ergebnisse zu generieren.

Aus dem oben Gesagten geht hervor, dass die Projektmitarbeiter auch gleichzeitig die Evaluatoren waren. Nur der Leiter der Evaluation stand außerhalb des aktiven Projekt -geschehens und übernahm die Rolle des unabhängigen Betrachters. So mussten die Projektmitarbeiter in Selbstevaluation ihre eigenen Produkte und Handlungen über -prüfen und weiterentwickeln.

Gleichzeitig waren sie gegenüber den Betrieben als externe Evaluatoren – Berater mit einer begleitenden und unterstützenden Aufgabe

– Befähiger zur Selbstevaluation der beteiligten Akteure in den Betrieben

– Berater mit dem Schwerpunkt, Verbesserungen anzuregen und mit zu gestalten Evaluation als Prozess bewegt sich in einer Landschaft von¹⁷

1. (Selbst-) Steuerungsinstrument zur Qualitätsentwicklung 2. Teil der Arbeitskultur von Berater/-innen

3. Selbstkontrolle und Rechenschaft 4. Beteiligungsinstrument

Zu 1. Prozessevaluation als Steuerungsinstrument der Qualitätsentwicklung:

Das bedeutet u. a., dass Stärken erkannt und ausgebaut und Schwächen erkannt und beseitigt werden. Dafür ist Voraussetzung, dass verlässliche Informationen und Daten zur Verfügung gestellt und Entwicklungsprozesse kontinuierlich begleitet werden. In diesem Projekt bezieht sich das sowohl auf die Prozesse, die in den Betrieben initiiert werden sollten als auch auf die eigene Arbeit der Projektgruppe.

Zu 2. Prozessevaluation als Teil der Arbeitskultur von Berater/-innen:

Trägt bei zur Professionalisierung der Beteiligten und zum Ausbau der Beratungs -kompetenzen durch Reflexion des eigenen und gemeinsamen Handelns, erhöht die Sensibilität gegenüber den Bedürfnissen anderer Beteiligtengruppen, mehrt die metho -dischen Kompetenzen, klärt und konkretisiert die Qualitätsvorstellungen. In dem Projekt wurde dieser Prozess noch verstärkt durch die Einrichtung einer Praxisbegleitung für Berater. Aus diesen Prozessen entstand auch eine Diskussion über die eigenen Rollen als Mitarbeiter einer Aufsichtsbehörde bzw. eines UV-Trägers; die Ergebnisse dieser Diskussion und die Erfahrungen eigenen Beratungsarbeit wiederum mündeten in die Entwicklung des Modells zum Arbeitssicherheitsgesetz ein.

Zu 3. Selbstkontrolle und Rechenschaft:

Die Selbstkontrolle dient der Unterstützung eines kontinuierlichen Entwicklungs -prozesses, Entwicklungspotenziale werden aufgedeckt gleichzeitig wird Verbindlichkeit zwischen den Handelnden geschaffen und durch die Dokumentation von Erfolgen Rechenschaft abgelegt.

Zu 4. Beteiligungsinstrument:

Sowohl auf der Ebene Betrieb als auch auf der Projektebene führt die prozess -bezogene Evaluation zu einer Förderung der Kommunikation und Kooperation sowie der Stärkung der eigenen Verantwortung für das betriebliche und/oder Projektgeschehen.

Sie bewirkt eine stärkere Transparenz des eigenen Handelns und erleichtert das Ein -beziehen verschiedener Beteiligtengruppen.

17 Vgl. Diedrich, M. (2005)

Die Prozessevaluation hat also wesentlich dazu beigetragen, interne Organisations -entwicklungsprozesse anzuregen, die wiederum dazu genutzt werden konnten, das zweite Teilprojekt ›Entwicklung eines Modells zum Arbeitssicherheitsgesetz‹, über die Ergebnisse der Literaturrecherche hinausgehend, auch auf der Grundlage eigener Er -fahrungen mit einer Struktur zu versehen und mit Inhalten zu füllen. In diesem Sinne war jeder Beratungs- und Evaluations-Schritt immer ein ›Fort-Schritt‹ auf dem Weg, unser Projektziel zu erreichen.