Fragebogenkonstruktion und Feldarbeit der quantitativen Validierung

Wie in Kapitel 7 beschrieben, hat der Member Check nicht nur dazu beigetragen, die vorläufigen Cluster zu endgültigen Typen zu verdichten, sondern auch die verwende-ten, aus dem qualitativen Material generierten Items für die sich anschließende quan-titative Validierung einem ersten kognitiven Pretest zu unterziehen. Unverständliche, mehrdimensionale oder sich wiederholende Items wurden überarbeitet oder ganz entfernt, noch fehlende Aspekte, auf die das Forschungsteam durch die Kommentare aus dem Feld aufmerksam gemacht worden war, wurden ergänzt. Diese erste Über-arbeitungsrunde war einer der ersten Schritte in Richtung eines reliablen und validen Fragebogens für die quantitative Befragung. Die Möglichkeit, dass die Interviewten ihre Kommentare zu den Clustern hinterlassen und sich selbst den vorgestellten Clustern zuordnen konnten, lieferte ebenfalls Hinweise auf mögliche Verbesserungen der Fragen bzw. Items. Das Forschungsprojekt befand sich an diesem Punkt auf der Schwelle von der qualitativen zur quantitativen Phase.

Bevor die eigentliche quantitative Phase begann, wurde der bereits überarbeitete Fragebogen einem weiteren Pretest unterworfen. Weiterhin wurden Fragebatterien zu Ansprache-Themen, Ansprache-Konzepten und Ansprache-Anbietern entwickelt.

Zudem wurden auch in der quantitativen Befragung strukturelle Daten der Betriebe erhoben, und zwar mit Hilfe von Fragen, die z. T. dem Kurzfragebogen der

qualitati-ven Interviews und z. T. dem Fragebogen der Betriebsbefragung der GDA-Dachevaluation (Sleik et al., 2015) entlehnt wurden. Für die Erstellung des Fragebo-gens wurde – wie für den Member Check (vgl. Kapitel 7) – die browsergestützte Software „Webropol“ benutzt.

Mit der Durchführung des Pretests wurde das Infozentrum der BAuA beauftragt. Im Pretest sollten zum einen Irritationen oder Verständnisschwierigkeiten der Befragten sowie die durchschnittliche Dauer des Interviews erfasst werden. Zum anderen hatte der Pretest das Ziel, dass sich die Interviewerinnen und Interviewer – überwiegend studentische Hilfskräfte – mit dem Fragebogen vertraut machten. Diese wurden teils eigens für das Forschungsprojekt eingestellt. Andere hatten schon Erfahrung in der telefonischen Anfragenbearbeitung des BAuA-Infozentrums sammeln können, die ihnen für die Durchführung der Befragung zugutekam. Die meisten Interviewerinnen und Interviewer erhielten vorab außerdem eine Interviewer-Schulung durch die Pro-jektleitung und eine Schulung in Outbound-Telefonie durch einen externen Dienst-leister. Im Fragebogen selbst waren zudem Interviewer-Anweisungen und zusätzli-che Informationen hinterlegt.

8.1.1 Durchführung des Pretests

Der Pretest fand in der Zeit vom 21. November 2016 bis zum 30. November 2016 statt. In dieser Zeit wurde versucht, 145 Betriebe zu kontaktieren. 94 von ihnen konn-ten telefonisch erreicht werden, von diesen nahmen insgesamt jedoch nur 12 auch am Interview teil. In Tab. 8.1 findet sich eine detailliertere Übersicht zu Antwortbereit-schaft und Ausfallgründen. Die Telefonnummern der Betriebe, die im Rahmen des Pretests kontaktiert wurden, stammten bereits aus der weiter unten (in Ab-schnitt 8.1.3) beschriebenen Stichprobe.

Tab. 8.1 Rücklauf Pretest

Anzahl Anteil in %

Bruttoansatz 145 100,0 %

Daten falsch 8 5,5 %

Summe neutraler Ausfälle 8 5,5 %

Bereinigtes Brutto 137 100,0 %

Nicht erreicht 48 35,0 %

Summe nicht neutraler Ausfälle 48 35,0 %

Verbleibende Adressen 89 100,0 %

Verweigerung 64 71,9 %

Termin vereinbart 4 4,5 %

Infomaterialien verschickt 9 10,1 %

Summe nicht neutraler Ausfälle 77 86,5 %

Summe der realisierten Interviews (Kooperationsrate) 12 13,5 %

Anteil der Teilnehmenden an allen Adressen 8,3 %

Ausschöpfungsrate 8,8 %

Die Erfassung der Dauer der Interviews erfolgte durch die Interviewerinnen und In-terviewer selbst, da Webropol im Datensatz nur den Endzeitpunkt des Interviews ausweist. Nach Abschluss der Kontaktierungsphase, d. h. wenn der richtige Ge-sprächspartner gefunden und am Apparat war, wurde die Zeitnahme von den

Inter-viewerinnen und Interviewern händisch gestartet und mit Beendigung des Interviews wieder beendet. Entsprechende Anweisungen und eine Möglichkeit, die gemessene Dauer einzutragen, waren im Fragebogen vorhanden. Kam es während den Inter-views zu längere Unterbrechungen, wurde die Zeitnahme ausgesetzt. Insgesamt ergab sich eine durchschnittliche Interviewdauer von ca. 25 Minuten.

8.1.2 Konsequenzen aus dem Pretest

Auf Basis des Pretests ergab sich zum einen Kürzungsbedarf, um die zeitlichen Res-sourcen der Befragten nicht überzustrapazieren. Zum anderen trat aber auch weite-rer Verbesserungsbedarf hinsichtlich Formulierung und Gestaltung der Itembatterie zutage. Daher wurde der Fragebogen im Anschluss wie folgt überarbeitet, bevor er in der Haupterhebung zum Einsatz kam:

Von den im Pretest verwendeten 54 Items der Einstellungsbatterie verblieben 46 – zum Teil umformuliert – im Fragebogen. Sechs Items wiesen jeweils große in-haltliche Nähe zu anderen Items auf und konnten mit diesen zu einem einzigen Item verschmolzen werden. Zwei weitere Items waren zu wenig trennscharf und wurden ebenfalls von anderen Items zumindest mitabgedeckt. Deshalb wurden sie aus dem Fragebogen entfernt.

Gründe für die Umformulierung einzelner verbliebener Items waren Mehrdimensiona-lität und Verständnisschwierigkeiten, die mangelnde Trennschärfe der Items (Moosbrugger und Kelava, 2012, S. 62-67) sowie die anzustrebende, möglichst aus-gewogene Abdeckung der Dimensionen der qualitativen Typologie. Daneben wurden auch bei unproblematischen Items die Formulierungen teilweise noch geglättet und präzisiert. Außerdem sind nach dem Pretest überwiegend geschlechtsneutrale Be-zeichnungen eingefügt worden. Der Nachvollziehbarkeit halber wurden die Item-Kürzel, die auf der ursprünglichen Zuordnung zu Clustern und Dimension basieren, beibehalten. Tab. 8.2 gibt einen Überblick über die betroffenen Items.

Tab. 8.2 Gegenüberstellung der geänderten Items

Pretest Haupterhebung

Gefährdungsrahmung

01_GA2 Uns ist wichtig, das Maximale zu tun, damit hier keine schweren Unfälle passieren.

Dafür stehen wir.

01_GA2 Uns ist wichtig, das Maximale zu tun, damit hier keine Unfälle passieren.

Gekürzt, allgemeiner Formuliert 4b_GB2 Wenn man alle nötigen technischen

Einrichtungen zur Verfügung gestellt hat und die in Ordnung sind, kann ein Unfall nur ein UN-GLÜCK sein.

Schwierigkeiten beim Vorlesen, Verstehen

4b_GB2 Unfälle, die passieren, obwohl man si-chere, gesundheitsgerechte Technik einsetzt, sind unvermeidbar.

Eindeutigere, kürzere Formulierung Interaktion mit Beschäftigten

01_IB1 Wir erwarten von unseren Beschäftigten, dass sie sich proaktiv mit möglichen Gefährdun-gen auseinander setzen.

01_IB1 Wir erwarten von unseren Beschäftigten, dass sie sich aktiv mit möglichen Gefährdungen auseinander setzen.

Einfachere Sprache

01_IB2 Heute weiß bei uns fast jeder Beschäftig-te, dass er sich ein bisschen um seine Gesund-heit kümmern muss, damit er das Rentenalter erreichen kann.

01_IB2 Heute weiß bei uns fast jede/r Beschäftig-te, dass er sich ein bisschen um seine Gesund-heit kümmern muss, damit er das Rentenalter erreichen kann.

Gender 03_IB2 Wenn ein Beschäftigter sich wohlfühlt,

kann er sich auf seinen Job konzentrieren und erbringt eine gute LEISTUNG.

03_IB2 Wenn die Beschäftigten sich wohlfühlen, können sie sich auf ihren Job konzentrieren und erbringen eine gute LEISTUNG.

Plural, Gender 02_IB2 Ein Großteil unserer Unfälle ist auf das

Verhalten der Beschäftigten zurückzuführen. Wir wissen noch nicht, wie wir das Sicherheitsbe-wusstsein unserer Beschäftigten steigern kön-nen.

Frage wurde zweigeteilt wahrgenommen

02_IB2 Wir suchen nach Möglichkeiten, wie wir das Sicherheitsbewusstsein unserer Beschäftig-ten steigern können.

Erster Teil gestrichen, zweiter Teil eindeutiger formuliert

5a_IB1 Die Beschäftigten sind durch ihre Ausbil-dung befähigt, Risiken selbst zu erkennen und, wenn ihnen das möglich ist, auch zu beseitigen.

Hinweis aus dem Feld, dass es nicht für unge-lernte Hilfskräfte gilt

5a_IB1 Unsere Beschäftigten können Risiken selbst erkennen und angemessen darauf reagie-ren.

Streichung des Ausbildungsaspekts Interaktion mit Staatlichkeit

01_IS1 Um sicher und gesund arbeiten zu kön-nen, brauchen wir keine Gesetze. Die Gesetze sind für uns nur ein Mindeststandard. Damit ge-ben wir uns nicht zufrieden.

Frage wird zweigeteilt wahrgenommen

01_IS1 Die Gesetze sind für uns nur ein Mindest-standard. Damit geben wir uns nicht zufrieden.

Streichung des ersten Aspekts „Gesetze wer-den nicht benötigt

4a_Na1 Wir versuchen, die geltenden Gesetze und Vorschriften im Arbeitsschutz bestmöglich umzusetzen.

Gelöscht

83 % stimmen sehr zu, 17 % stimmen zu 4b_IS2 Die Regelungsdichte nimmt immer mehr

zu. Fast alles wird heute gesetzlich geregelt. 4b_IS2 Die Regelungsdichte nimmt immer mehr zu. Fast alles wird heute gesetzlich geregelt, auch im Arbeitsschutz.

Bezug zu Arbeitsschutz hergestellt 4b_IS3 Bei jedem Besuch der Aufsichtsbehörde

oder der Berufsgenossenschaft wird etwas ande-res bemängelt. Wir verstehen nicht, warum nicht alles auf einmal angesprochen werden kann.

4b_IS3 Jedes Mal bemängelt unsere externe Fachkraft für Arbeitssicherheit etwas anderes.

Wir verstehen nicht, warum nicht alles auf einmal angesprochen werden kann.

Auf externe Fachkräfte bezogen 5a_IS3 Wenn man überzeugt ist, dass eine

Sa-che sinnvoll ist, braucht man keine rechtliSa-chen Vorgaben. Und der Arbeitsschutz ist wirklich sinnvoll.

Frage wurde zweigeteilt wahrgenommen

5a_IS3 Rechtliche Vorgaben sind zu wenig, um im Arbeitsschutz aktiv zu werden, man muss auch von der Sache überzeugt sein.

Eindeutigere Formulierung Arbeitsschutz-Verständnis

02_VB1 Der technische Arbeitsschutz ist bei uns ausgereizt. Deshalb ist verhaltensbedingter Ar-beitsschutz heute unsere wichtigste Aufgabe.

02_VB1 Wenn der technische Arbeitsschutz aus-gereizt ist, wird der verhaltensbedingte Arbeits-schutz zur wichtigsten Aufgabe.

Allgemeinere Formulierung 03_VC1 Uns ist an gesunden Mitarbeitern

gele-gen, die sich gesundheitsgerecht verhalten. Das ist für uns eine Frage der Nachhaltigkeit und des Menschenbildes.

03_VC1 Wir fordern unsere Beschäftigten immer wieder zu sicherheits- und gesundheitsbewuss-ten Verhalgesundheitsbewuss-ten an.

Allgemeinere Formulierung

01_VD1 Wir sehen unseren Betrieb als ideales Setting, um die Beschäftigten für Früherkennung von Gesundheitsgefahren und Gesundheitsförde-rung zu begeistern. Wo uns dies gelingt, bekom-men wir als Betrieb ein Vielfaches zurück.

Frage wurde zweigeteilt und zu lange wahr-genommen

01_VD1 Wir sehen unseren Betrieb als ideales Umfeld, um die Beschäftigten für Früherkennung von Gesundheitsgefahren und Gesundheitsförde-rung zu begeistern. Wo uns dies gelingt, bekom-men wir als Betrieb ein Vielfaches zurück.

Einfachere Formulierung und Kürzung 5a_VG1 Gut ausgebildete Mitarbeiter wissen

schon, worauf man im Arbeitsschutz achten soll-te.

5a_VG1 Gut ausgebildete Arbeitskräfte wissen schon, worauf man im Arbeitsschutz achten soll-te.

Gender 5b_VW1 Arbeitsschutz ist für uns eine Sache, die

man schon mal ein bisschen weiter nach hinten verlagert, weil man sich sagt: "Darum können wir uns kümmern, wenn wir es finanziell darstellen können."

Gelöscht

55,6 % stimmen überhaupt nicht zu, 33,6 % stimmen nicht zu

Aufgrund der Anregungen der Interviewerinnen und Interviewer und der Befragten des Pretests wurden auch die Antwortkategorien der Item-Batterien zu den Anspra-che-Konzepten geändert. Interviewer und Befragte merkten an, dass der Unterschied zwischen „sehr interessiert“ und „ziemlich interessiert“ nur graduell sei, während „ziemlich interessiert“ von den Befragten sogar mit stärkerem Interesse assoziiert wurde als „sehr interessiert“. Daher wurde im endgültigen Frage-bogen die Skalierung „sehr interessiert“ – „interessiert“ – „weniger interessiert“ –

„überhaupt nicht interessiert“ verwendet. Dadurch sollten nach Möglichkeit gleiche Skalenabstände realisiert werden (Baur und Blasius, 2014, S. 706 f.).

8.1.3 Beschreibung der Stichprobe und Datenqualität

Grundgesamtheit für die standardisierte Befragung waren alle Betriebe in Deutsch-land mit mindestens einem Beschäftigten. Ausgenommen wurden, wie auch schon im qualitativen Sample, die Branchen „Öffentliche Verwaltung“, „Erziehung und Un-terricht“, „Private Haushalte“ und „Exterritoriale Organisationen und Körperschaften“.

Untersuchungseinheit waren Betriebe, nicht Unternehmen. Während Unternehmen rechtlich eigenständig sind, kann ein Betrieb zusammen mit anderen zu ein und demselben Unternehmen gehören. Die Untersuchungseinheit Betrieb wurde gewählt, weil davon auszugehen war, dass Auskünfte über die Betriebsstätte vor Ort valider sind als Aussagen, die zum gesamten Unternehmen gemacht werden.

Ebenfalls analog zum qualitativen Sample (vgl. Abschnitt 3.2) wurde die Grundge-samtheit in vier Quadranten, diese jeweils noch in zwei Betriebsgrößenkategorien, insgesamt also in acht „Halb-Quadranten“ unterteilt. Diese Einteilung war Basis für eine disproportionale Schichtung. Jede der so entstandenen acht Zellen sollte nach Möglichkeit eine gleich große Zahl an Interviews aufweisen, damit über jeden „Halb-Quadranten“ Aussagen möglichst mit der gleichen quantitativen Fundierung getroffen werden konnten. Damit sollte auch die Qualität der Vergleiche zwischen diesen Gruppen, im Gegensatz zu einer proportionalen Stichprobe, verbessert werden (vgl. Tab. 8.3).

Die beste Grundlage für die Stichprobenziehung der quantitativen Validierung wäre eine Stichprobe aus der Betriebsdatei der BA gewesen. Diese stellt ein Register aller Betriebsstätten in Deutschland mit mindestens einem sozialversicherungspflichtigen oder geringfügig Beschäftigten dar. Dieses Register beruht auf der Meldung der Be-triebe zur Sozialversicherung, zu dessen Zweck jede eigenständige Betriebsstätte eine Betriebsnummer erhält. Im Rahmen des IAB-Betriebspanels ist die Stichproben-ziehung erprobt und die Qualität als Auswahlgrundlage bestätigt (Ellguth et al., 2014, Bossler et al., 2017, Fischer et al., 2008).

Aufgrund der Sensibilität dieser Daten sind allerdings hohe Hürden zu nehmen, be-vor Zugang gewährt wird. So dürfen diese Daten mit externen Forschungseinrichtun-gen nur befristet und nur für ein konkretes Forschungsprojekt geteilt werden, wobei an diesem ein erhebliches öffentliches Interesse bestehen sollte. Darüber hinaus ist eine Genehmigung durch das Bundesministerium für Arbeit und Soziales (BMAS) nötig. Sind diese Vorgaben erfüllt, kann der Zugang dann auch nur über Gastaufent-halte und Remote Execution mit Outputkontrolle erfolgen (Roß, 2015, Antoni, 2015).

Dieser Aufwand wurde im Rahmen dieses Forschungsprojekts als unverhältnismäßig eingeschätzt. Daher ist auf einen kommerziellen Adressanbieter zurückgegriffen worden. Die Anforderungen, die an diesen Adressanbieter gestellt wurden, werden im Folgenden erläutert.

Tab. 8.3 Adressdatensatz

Bis zu

50 Beschäftigte Mehr als 50

Beschäftigte Gesamt Quadrant I

Lebensmittelproduktion Gesundheitswesen (inkl. Apotheken)

1.250 875 2.125

Quadrant II

Bau, Energie und Abfall-wirtschaft, Chemie-, Papier- u. Automobilindustrie, Land- und Forstwirtschaft

1.500 1.125 2.625

Quadrant III

Logistik, Transport und Verkehr

1.375 1.000 2.375

Quadrant IV

IT-, Finanz- und Immobili-endienstleistungen, Einzel-handel (exkl. Apotheken) und Gastgewerbe

1.625 1.250 2.875

Gesamt 5.750 4.250 10.000

Da insgesamt von einer geringen Rücklaufquote von ca. zehn Prozent auszugehen war – kaum höhere Rücklaufquoten hatten die GDA-Betriebsbefragungen 2011 und 2015 gezeigt (Sleik et al., 2015, Riedmann, 2012) – und da zugleich insgesamt 1.000 Interviews realisiert werden sollten, wurden über einen kommerziellen Adressanbie-ter 10.000 Betriebsadressen angekauft. Dabei wurde ein AdressanbieAdressanbie-ter gesucht, der über eine ausreichend große Anzahl an Adressdateien verfügte, dem die Kontaktdaten auf Ebene der Betriebsstätten und nicht auf Ebene der Unterneh-men vorlagen, und der in der Lage war, eine Zufallsstichprobe aus diesen

Adressda-teien gemäß Tabelle (Tab. 8.3) zu ziehen. Vier in Frage kommende Adressanbieter sind um ein Angebot gebeten worden. Der Anbieter, von dem die höchste Qualität erwartet wurde, hat allerdings kein Angebot abgegeben.

8.1.4 Durchführung der standardisierten Telefonbefragungen

Das als Callcenter organisierte Infozentrum der BAuA in Dortmund hat die reguläre Befragung in knapp fünf Monaten, d. h. zwischen dem 07.12.2016 und dem 28.04.2017, durchgeführt.

Es gab zwei Einstiegstexte für das Interview, die sich hinsichtlich der Beschreibung der Zielperson unterschieden, und zwar eine für die Betriebe mit maximal 50 Be-schäftigten und eine für größere Betriebe. In den kleineren Betrieben wurde nach der Geschäftsführung oder Leitung gefragt, während in den größeren Betrieben nach der Person in der Geschäftsführung verlangt wurde, die für die Koordination des Arbeits-schutzes in diesem Betrieb verantwortlich war. Ziel war es, in beiden Fällen eine Zielperson zu kontaktieren, die fundierte Auskunft über die Ausgestaltung des Ar-beitsschutzes im Betrieb geben konnte.

Neben der unterschiedlichen Kontaktierungsphase erfolgte an einigen Stellen auch innerhalb des eigentlichen Fragebogens eine Filterführung. Denn nicht alle Fragen konnten von allen Betrieben sinnvoll beantwortet werden. So wurden beispielsweise nur Betriebe mit mindestens 20 Beschäftigten nach dem Vorhandensein eines Ar-beitsschutzausschusses gefragt, weil die Existenz eines ASA erst ab dieser Be-triebsgröße gesetzlich vorgeschrieben ist (Aus dem Fragebogen in Anhang 11 gehen alle Filterführungen hervor.).

Die Reihenfolge der Items der Einstellungsbatterie wurde durch Webropol bei jedem neuen Aufruf des Fragebogens zufällig erzeugt. Anders als im Member Check konnte dies auf Basis der einzelnen Items und nicht nur blockweise erfolgen, da in der Tele-fonbefragung die Items keinen festen Gruppen mehr zugeteilt werden mussten, um eine ad-hoc-Auswertung möglich zu machen. Dadurch konnten die Auswirkungen von Reihenfolgeneffekten gering gehalten werden.

Aufgrund von Rückmeldungen durch die Interviewerinnen und Interviewer, wurden auch noch im Verlauf der Feldphase Änderungen im Fragebogen vorgenommen.

Dies betraf allerdings ausschließlich den Einleitungstext, der von den Interviewerinnen und Interviewern als zu holprig und zu lang empfunden wurde. Mit einem kürzeren Alternativtext, der von den Studierenden selbst vorgeschlagen wur-de, sollte zudem den Befürchtungen mancher Betriebe entgegen getreten werden, dass die Interviewteilnahme einen Besuch der Aufsichtsdienste oder negative Kon-sequenzen mit sich bringen könnte.

Tab. 8.4 Verändertes Intro der Telefonbefragung

Ursprüngliche Formulierung Veränderte Formulierung Guten Morgen / Tag, mein Name ist...

Ich bin Mitarbeiter/in der Bundesanstalt für Arbeitsschutz und Arbeitsmedizin. Wir führen eine Telefon-Befragung zu Si-cherheit und Gesundheitsschutz am Ar-beitsplatz durch.

Ich bin Mitarbeiter/in der Forschungs-einrichtung des Bundes für Arbeits-schutz und Arbeitsmedizin. Wir führen im Rahmen eines wissenschaftlichen Projekts eine Telefon-Befragung unter Betrieben durch. Ziel dabei ist, Einstel-lungen zu Sicherheit und Gesundheit bei der Arbeit zu erfassen. Entspre-chende Angaben bleiben anonym und werden nicht an Dritte - beispielswei-se an aufsichtsführende Behörden - weitergeleitet. Das Interview dauert etwa 15 Minuten.

Für das Interview würde ich gerne mit der Geschäftsführung oder Leitung des Be-triebes sprechen. (Betriebe < 50 Beschäftigte)

bzw.

Für das Interview würde ich gerne mit der Person aus der Geschäftsführung spre-chen, die für die Koordination des Arbeitsschutzes in diesem Betrieb verantwortlich ist. (Betriebe ≥ 50 Beschäftigte)

Ebenfalls erst in der Feldphase ergab sich die Notwendigkeit, eine zusätzliche Aus-fall-Kategorie „Sprachprobleme“ einzuführen, nachdem eine Zielperson eines Betrie-bes zwar prinzipiell zur Teilnahme bereit war, sich aber nicht in der Lage sah, den Fragebogen auf Deutsch zu beantworten.

Im Dokument Formen von Präventionskultur in deutschen Betrieben (Seite 154-161)