Ergebnis- und Wirkungsevaluation

Ergebnisevaluation soll feststellen, in welchem Ausmaß angestrebte inhaltliche Ergeb -nisse zu einem bestimmten Zeitpunkt erreicht wurden. Ergebnisevaluation ist zunächst ein klassischer Soll-Ist-Vergleich. Wenn dieser im Lauf eines Projektes in regelmäßige Feedbackschleifen eingebaut wird, gerät er zugleich zu einem Steuerungs und Quali -tätssicherungsinstrument. Am Ende eines Projektes ist diese Form der Evaluation eine Abschlussevaluation. Dabei wird erfasst, ob und in welchem Ausmaß die zu Beginn des Projektes vereinbarten Ziele erreicht wurden.

Darüber hinausgehend wird durch die Interpretation der Ergebnisse auch eine Wir -kungsevaluation durchgeführt. Die Interpretation erlaubt festzustellen, wie Instrumente und Maßnahmen wirken und welche erwünschten und unerwünschten Effekte erreicht wurden. Die Ergebnisevaluation in diesem Projekt wurde unter verschiedenen Frage -stellungen auf unterschiedlichen Projektebenen durchgeführt:

– Wie viele Betriebe wurden insgesamt erreicht?

– Wie viele Betriebe haben sich als Pilotbetriebe beteiligt, wie viele davon an allen Schritten der Beratung und Evaluation?

– Wird der Arbeits- und Gesundheitsschutz entsprechend den entwickelten Modellen durchgeführt und welche Wirkungen und welchen Nutzen haben die Betriebe davon?

– Wie handhabbar und nützlich sind die einzelnen Instrumente wie z.B. ›Die sicheren Seiten‹, die zusätzlich entwickelt wurden?

– Wie werden die Praxisbegleitungen für Geschäftsführer und für Arbeitsschutz -koordinatoren angenommen und welchen Nutzen haben diese?

– Wird die Fortbildung für Betriebsärzte und Fachkräfte für Arbeitssicherheit angenom -men und was sind die Ergebnisse und Erfahrungen?

3.4 Evaluationsstandards

Jede Evaluation sollte sich an den folgenden Standards orientieren. Wir haben diese Standards in unserer Evaluationsarbeit berücksichtigt:

– Nützlichkeit, d. h. es werden die Informationsinteressen der Betroffenen berück -sichtigt, das Zustandekommen der Ergebnisse ist nachvollziehbar und implizite Werturteile werden offen gelegt.

– Anwendbarkeit, d. h. die Evaluation ist realistisch und kosteneffektiv.

– Korrektheit, dazu gehören vor allem schriftliche Vereinbarungen mit den Beteiligten, der Schutz der öffentlichen Rechte ebenso wie der Privatsphäre der Beteiligten und ein vollständiger Bericht über Stärken und Schwächen des Programms.

– Genauigkeit bedeutet hier die Bereitstellung technisch angemessener Informationen, eine eindeutige Beschreibung des Evaluationsgegenstandes, der Ziele, Ansichten und Informationsquellen und valide und reliable Messungen.

Mit unserem am ›Mainzer-Modell‹ orientierten Evaluationsverständnis konnte und sollte auch in der Abschlussevaluation nicht auf externe, ›neutrale‹ Evaluatoren zurück -gegriffen werden, sondern auch dieser Beratungsschritt wurde von den gewohnten

Beratern, zu denen die Führungskräfte und Mitarbeiter in der Zwischenzeit ein starkes Vertrauensverhältnis aufgebaut hatten, geleistet. Ein absolut unabhängiger, nur ›von außen‹ die Daten registrierender Evaluator oder ein Berater, der nur als Kontrolleur gesehen wird, konnte nicht in dem von uns angestrebten Sinne als Unterstützer der Betriebe wahrgenommen werden.

Unser Verständnis von Evaluation greift bewusst die subjektiven Deutungsmuster der beteiligten Akteure auf und nutzt diese, um Handlungsmöglichkeiten für die Praxis zu ent wickeln und umzusetzen. Im Sinne der integrativen Prozess und Ergebnisevaluation wer den die Daten und Ergebnisse mit den Betroffenen reflektiert und mit dem Ziel der Opti -mierung der Praxis ausgewertet. Auf diese Weise werden Maßnahmen und Instru mente als an die Bedürfnisse des Betriebes angepasste good- oder best-practice um gesetzt.

Damit haben die Betriebe die Chance, sich zu Lernenden Organisationen zu entwickeln.

Dies kann am Beispiel des von uns entwickelten Arbeitsschutzmodells verdeutlicht werden. Auch dieses Arbeitsschutzmodell folgt dem dargestellten Muster der Aktions -forschung und des Change-Management, indem die Pflegebetriebe angeleitet und unterstützt werden, eigenständig zu erforschen, welche Belastungen es für die Mitarbeiter gibt und wie diese Belastungen reduziert werden können. Betriebe können direkt er -fahren, wie sie die angebotenen Instrumente sinnvoll in ihrem Betrieb einsetzen können, welche Wirkungen Maßnahmen zum Arbeits- und Gesundheitsschutz haben und in welchen Feldern sie Entwicklungsbedarf besteht.

Alle beteiligten Evaluatoren verfügen über umfassende, mehrjährige Erfahrungen im Bereich des Arbeits und Gesundheitsschutzes. Sie haben über die Betreuung und Be -ratung ein enges Vertrauensverhältnis zu den Betrieben aufgebaut und kennen die untersuchten Organisationen und die am Arbeits- und Gesundheitsschutz beteiligten Akteure sehr genau. Sie sind in den gesamten Forschungs- und Evaluationsprozess aktiv eingebunden und tragen dazu bei, dass die gewonnenen Erkenntnisse praxisgerecht implementiert und nachhaltig umgesetzt werden können.

Um sicher zu stellen, dass die Evaluatoren trotz ihrer hohen Beteiligung an der Ent wicklung in den Betrieben einen realistischen Blick auf die tatsächlich erreichten Ergeb -nisse behalten, wurde die Evaluation kontinuierlich von einem externen, unparteiischen Evaluator begleitet. Die Projektmitarbeiter wurden immer wieder mit Fragen und Problem-stellungen der Evaluation konfrontiert und aufgefordert, ›gefühlte‹ Verbesserungen in den Betrieben durch nachvollziehbare Kriterien zu beschreiben. Die einzusetzenden Evaluationsinstrumente und -methoden wurden gemeinsam reflektiert und abgestimmt.

Die Auswertung der Daten erfolgte durch den externen Evaluator.

Auf diese Weise konnte gewährleistet werden, dass die Berater, die die Abschluss-Evaluationsinterviews durchführten, ihr Wissen und ihre ›Feldkompetenz‹ einbringen konnten. Das Problem, dass die mitwirkenden Projektmitarbeiter zugleich Berater, Kon -trolleur und Evaluator sind und auch sein sollten, erklärt sich insbesondere aus deren Feld- und Fachkompetenz. Sie können aufgrund ihrer Kompetenzen die Betriebe der ambulanten Pflege umfassend beraten, aber auch kontrollieren.

Unabhängigkeit ist selbstverständlich nicht gleichbedeutend mit einer Entkoppelung vom Veränderungsprozess. Ein Nachteil dabei ist allerdings, dass die Evaluatoren im Rahmen des Abschlussinterviews aufgrund unterschiedlicher Wahrnehmungsmuster und Denkstrukturen die Ergebnisse eher subjektiv erfassten.

Es ist erklärtes Ziel des Projektes, die Betriebe der ambulanten Pflege in der Einfüh -rung und Umsetzung eines effektiven und effizienten Arbeits- und Gesundheitsschutzes beratend zu unterstützen. Ziel war es auch, die Betriebe soweit zu bringen, dass sie sich über die gesetzlichen Anforderungen hinaus zu ›vorbildlichen‹ Betrieben (s. Kap. 1.3.4) entwickeln. Ein ›absolut externer‹ Evaluator und Forscher könnte die Umsetzung eines vorbildlichen Arbeits- und Gesundheitsschutzes nicht kompetent bewerten, da ihm die Situationsspezifika der jeweiligen Branche und Organisation nicht geläufig sind.

Da die Evaluatoren zugleich Mitarbeiter einer Aufsichtsbehörde sind, können sie als unparteiisch bezeichnet werden.

Ein weiteres Mittel zur Objektivierung der Evaluation war der Einsatz wissenschaft -licher Methoden und die gemäß der Evaluationsstandards geforderte vollständige Offenlegung von Vorgehensweisen, Methoden und Ergebnissen.

Wichtig sind in diesem Kontext neben dem vertraulichen Umgang mit Daten bzw.

ihrer anonymen Auswertung, die Freiwilligkeit der Teilnahme an der Evaluation, die Herstellung von Transparenz über die eingesetzten Verfahren und das gesamte Vor -gehen. Die Objektivität der Ergebnisse wird durch unser methodisch kontrolliertes Vorgehen und die von (sachverständigen) Dritten intersubjektiv nachvollziehbaren und überprüfbaren Ergebnisse gewährleistet. Verbunden mit der Stichprobengröße von fast 10% aller Betriebe in dem Untersuchungsgebiet, erheben unsere Ergebnisse den An -spruch auf Gültigkeit, die über die untersuchten Einzelfälle hinausgehen und eine Prognose für die Umsetzung des Arbeits- und Gesundheitsschutzes in anderen kleinen und mittleren Unternehmen erlauben.

Die Ergebnisse der Abschlussevaluation und die wesentlichen Erkenntnisse sind in Kapitel 12 beschrieben. In den übrigen Kapiteln werden einzelne Evaluationsergebnisse dargestellt, wenn es der Verständlichkeit des Berichts dienlich erschien.

4

Bestandsaufnahme

Da die Bestandsaufnahme des aktuellen Standes des Arbeits- und Gesundheits schutzes in der Branche ›ambulante Pflege‹ bereits im Ergebnisbericht der Befragungen zum Projekt¹⁸ausführlich beschrieben wurde, erfolgt an dieser Stelle lediglich eine kurze Dar -stellung zur Vollständigkeit.

Mit der anfänglichen Datenerhebung wurden folgende Ziele verfolgt:

– Schaffen einer Grundlage für die Evaluation und die Entwicklung des Gesamt -projektes

– Gewinnen vertiefender Strukturdaten über die Betriebe im Pilotgebiet – Erreichen und Gewinnen der Betriebe für das Projekt