Formative Evaluation: Teilnehmernutzen und Teilnehmerzufriedenheit Das Training wurde pilothaft in einer konzernartig strukturierten Organisation des

Gesundheitswesens durchgeführt, und zwar in drei Veranstaltungen getrennt für die Unternehmensleitung/obere Führungsebene, den Konzernbetriebsrat und operative Führungskräfte (N = 45). Die formative Evaluation bezog die folgenden drei Elemente ein:

• Fragebogen an die Teilnehmer direkt im Anschluss an das Seminar (Evaluation des Teilnehmernutzens)

• Interviews mit einigen Teilnehmern sechs Monate nach dem Seminar (Prozess-evaluation)

• Diskussion des Seminarkonzepts mit Praxisexperten (ergänzende Informationen zur Prozessevaluation, zu Mechanismen, die die Wirksamkeit vor dem Hinter-grund der Praktikererfahrung eher fördern oder behindern)

Zunächst wurde direkt zum Ende des Seminars von den Teilnehmern ein Nutzerfra-gebogen ausgefüllt. Es konnte bei den Teilnehmern eine hohe Zufriedenheit erreicht werden, die gemeinhin als Erfolgsprädiktor einer Intervention interpretiert werden kann. Tabelle 4.1 zeigt die Teilnehmereinschätzungen bezüglich des gewonnenen Wissens, der Seminarbeurteilung und der Zufriedenheit mit dem Seminar:

Tab. 4.1 Im Seminar gewonnenes Wissen (N = 36)

Erkenntnis zu Qualität der

Vermittlung (Mittelwert)

Häufigkeit der Nennung

Gesundheitsrelevantes Führungsverhalten 1,5 14

Kommunikation 1,4 10

Gesundheit und Stress 1,6 10

Diskrepanzen der Eigen- und Fremdwahrnehmung im Hinblick auf

Stress im Team 1,4 7

Wissenschaftliche Hintergründe (Restrukturierung, Auswirkungen,

Stress, Vertragsbruch etc.) 1,5 4

Bedeutung von Transparenz (Information) 1,7 3

Bedeutung von Partizipation 1,7 3

Bedeutung sorgfältiger Planung in Restrukturierungen 1,7 3 Anmerkungen: Die Frage, welche Inhalte besonders bedeutsam waren, wurde offen gestellt und mit der Frage bezüglich der Vermittlungsqualität kombiniert; 5 stufige Antwortskala 1 = sehr gut; 2 = ziem-lich gut; 3 = mittelmäßig; 4 = weniger gut; 5 = nicht gut. / Die Diskrepanz zwischen Teilnehmerzahl und Zahl der ausgewerteten Fragebögen ergab sich aus der Tatsache, dass einige Teilnehmer das Seminar frühzeitig verlassen mussten.

Das primäre Ziel des EPIQUA Seminars als Initialmaßnahme zur Verbesserung ge-sundheitsorientierter Führung in der Organisation war die Vermittlung von Wissen und die Sensibilisierung für spezifische Probleme und Herausforderungen in Restruk-turierungsphasen, die potenziell bedeutsam für Gesundheit und Wohlbefinden sind.

Der erste Block des Fragebogens zur formativen Evaluation erfasste in offener Fra-geform, welche vermittelten Inhalte aus Sicht der Teilnehmer besonders bedeutsam waren. Tabelle 4.1 zeigt die Anzahl der Nennungen bestimmter Aspekte und die Ein-schätzung der Vermittlungsqualität. Als besonders bedeutsam wurden die inhaltli-chen Inputs und die Diskussion zu gesundheitsrelevantem Führungsverhalten in Change-Prozessen, die Bedeutsamkeit transparenter, zeitnaher und individualisierter Kommunikation sowie die Relevanz von Gesundheit und Stress im Kontext von Re-organisationen bewertet. Die Art der Vermittlung (diskussionsbegleiteter Input und intensive Diskussion sowie Entwicklung von Lösungsoptionen / Planung von An-schlussmodulen am eigenen Fall) wurde zwischen „sehr gut“ und „ziemlich gut“ be-wertet.

Im Rahmen verschiedener geschlossener Fragen wurde auf einem abstrakteren Ni-veau noch einmal das Erreichen der Lernziele, die Auswahl der Schulungsinhalte und die Rahmenbedingungen des Seminars beurteilt. Tabelle 4.2 fasst die entspre-chenden Ergebnisse unter Darstellung der Mittelwerte und Standardabweichungen zusammen:

Tab. 4.2 Beurteilung des Seminars (N = 36)

Beurteilung der…. Mittelwert

Standard-abweichung

Lernziele 1,89 0,72

Schulungsinhalte 1,81 0,71

Schulungsmethoden 1,72 0,78

Schulungszeitpunkt 2,15 0,86

Schulungsdauer 2,06 0,89

Räumlichkeiten 2,56 1,08

Schulungsmaterial 2,06 0,63

Trainer 1,42 0,60

Gesamturteil 1,93 0,47

Anmerkungen: Die Fragen wurden geschlossen gestellt; 5 stufige Antwortskala 1 = sehr geeignet; 2 = ziemlich geeignet; 3 = mittelmäßig geeignet; 4 = wenig geeignet; 5 = nicht geeignet.

Insgesamt wurde auch hier eine zustimmende Beurteilung abgegeben. Besonders positiv wurden bei der Beurteilung des Seminarkonzepts das Erreichen der Lernziele, die Auswahl der Schulungsinhalte und die Schulungsmethoden beurteilt. Im Ge-samturteil über Inhalte, Vermittlung, Methoden und organisatorische Rahmenbedin-gungen wurde das Seminar mit einem Score-Wert zwischen „sehr geeignet“ und

„ziemlich geeignet“ bewertet. Es wurde positiv hervorgehoben, dass schwierige In-halte/Konfliktsituationen offen angesprochen werden konnten und dass Vertreter der Stabsstelle HR anwesend waren. Dies war in der Konzeption ausdrücklich berück-sichtigt worden, um das Commitment des Managements zur Durchführung dieser Maßnahme an die Teilnehmenden zu signalisieren (vgl auch Abschnitt 1.4). Im Ge-samturteil zeigte sich somit, dass die sorgfältige Planung und Konzeption auf Basis der Erkenntnisse aus der Interventionsforschung (Nielsen & Noblet, 2018), dem Pro-jekt „Psychische Gesundheit in der Arbeitswelt“ (Haupt et al., 2016; Köper &

Gerstenberg, 2016; Montano et al., 2016a; Rothe et al., 2017) sowie der ausführli-chen Bedarfsanalyse zu einer passgenauen und sinnvollen Seminarausgestaltung geführt hatten. Mittelmäßige Bewertungen gab es bezüglich der Wahl des Schu-lungszeitpunkts, der Räumlichkeiten und des Schulungsmaterials. Insbesondere der Zeitraum von zwei Tagen mag vor dem Hintergrund des Arbeitspensums der Teil-nehmer zu lang gewesen sein. So waren einige TeilTeil-nehmer vor den Hintergrund be-trieblicher Aufgaben phasenweise abwesend.

Schließlich wurden noch verschiedene Zufriedenheitsaspekte erfragt, die sich auf die Interaktionen im Seminar und die Atmosphäre bezogen. Die Ergebnisse sind in Ta-belle 4.3 zusammengefasst:

Tab. 4.3 Beurteilung des Seminars (N = 36)

Zufriedenheit mit…. Mittelwert

Standard-abweichung

Umgang mit Problemen und Wünschen der Teilnehmer 1,69 0,58

Auskünfte bezüglich der Seminarorganisation (z.B. zeitliche Abläufe) 1,67 0,93

Wissen der Ansprechpartner 1,39 0,65

Aufmerksamkeit durch die Ansprechpartner 1,33 0,59

Ansprechen schwieriger Inhalte 1,56 0,65

Atmosphäre 1,28 0,51

Gruppenzusammensetzung 1,58 0,87

Anwesenheit von Vertretern aus den Stabsstellen 1,41 0,57

Gesamturteil 1,49 0,42

Anmerkungen: Die Fragen wurden geschlossen gestellt; 5 stufige Antwortskala 1 = sehr geeignet; 2 = ziemlich geeignet; 3 = mittelmäßig geeignet; 4 = wenig geeignet; 5 = nicht geeignet.

Das Seminar wurde in seiner Eignung im Durchschnitt zwischen sehr und ziemlich geeignet beurteilt. Bei der Gruppenzusammensetzung waren in der Planungsphase zwei Optionen durchdacht worden, nämlich die Seminare eher heterogen zusam-menzusetzen (Mischung aus den Gruppen Betriebsräte, oberes Management und operative Führungskräfte). Dies hätte den Vorteil gehabt, diverse Perspektiven un-terschiedlicher Teilnehmergruppen in die Diskussion einbringen zu können. De facto wurden die Gruppen dann aber nach Rücksprache mit den internen Abteilungen HR und Weiterbildung im Hinblick auf die Funktion der Teilnehmer in den Organisationen und im Hinblick auf die Hierarchieebene eher homogenisiert. Dies wurde auch aus Sicht der Teilnehmer als gut beurteilt und ist vielleicht auch ein Grund für die sehr positive Sichtweise bezüglich der Seminaratmosphäre. Konsistent damit wurde auch positiv bewertet, dass schwierige Inhalte und Situationen im Seminar offen ange-sprochen werden konnten. Auch die Frage, ob es für die Atmosphäre und Offenheit eher förderlich oder hinderlich sein könne, dass Vertreter aus den Stabsstellen (hier

„Human Resources“) zu großen Teilen / teilweise auch über die komplette Dauer des Seminars anwesend waren, wurde deutlich positiv beurteilt.

Die Ergebnisse der formativen Evaluation zeigen hohe Zufriedenheitswerte und Ein-schätzungen des Nutzens. Die Interpretation und die Ableitungen daraus müssen indes vor dem Hintergrund der relativ kleinen Stichprobe vorsichtig formuliert werden.

Das Seminar „breiter“ auszurollen wäre sicherlich im Hinblick auf die Ableitungen für das Projekt besser gewesen. Dies stieß indes an die Grenzen der Machbarkeit bei dem Praxispartner.