Methodenexperiment im Rahmen der BIBB/BAuA-Erwerbstätigenbefragung 2011/2012: Ein Vergleich von CATI, CAPI und CAWI

BIBB/BAuA-Erwerbstätigenbefragung 2011/2012: Ein Vergleich von CATI, CAPI und CAWI

M. Gensicke, N. Tschersich

Forschung Projekt F 2296

M. Gensicke N. Tschersich

Methodenexperiment im Rahmen der BIBB/BAuA-Erwerbstätigenbefragung 2011/2012:

Ein Vergleich von CATI, CAPI und CAWI

Dortmund/Berlin/Dresden 2014

CATI, CAPI und CAWI“ − Projekt F 2296 – im Auftrag der Bundesanstalt für Arbeits- schutz und Arbeitsmedizin.

Die Verantwortung für den Inhalt dieser Veröffentlichung liegt bei den Autoren.

Autoren: Miriam Gensicke, Nikolai Tschersich TNS Deutschland GmbH

Landsberger Str. 284, 80687 München Titelfoto: Uwe Völkner, Fotoagentur FOX, Lindlar/Köln

Umschlaggestaltung: Susanne Graul

Bundesanstalt für Arbeitsschutz und Arbeitsmedizin Herausgeber: Bundesanstalt für Arbeitsschutz und Arbeitsmedizin Friedrich-Henkel-Weg 1 − 25, 44149 Dortmund Telefon 0231 9071-0

Fax 0231 9071-2454

poststelle@baua.bund.de www.baua.de

Berlin:

Nöldnerstr. 40 − 42, 10317 Berlin Telefon 030 51548-0

Fax 030 51548-4170

Dresden:

Fabricestr. 8, 01099 Dresden Telefon 0351 5639-50 Fax 0351 5639-5210

Alle Rechte einschließlich der fotomechanischen Wiedergabe und des auszugsweisen Nachdrucks vorbehalten.

www.baua.de/dok/5517774

Inhaltsverzeichnis

Seite

Kurzreferat 5

Abstract 6

1  Ziele und Untersuchungsanlage des Gesamtprojekts und des

Methodenexperiments 7

2  Grundgesamtheit Los 1 10 

2.1  Non-Coverage bei der telefonischen Erhebung (CATI) 11  2.2  Non-Coverage bei der Online-Erhebung (CAWI) 12  2.3  Coverage-Probleme im Vergleich: Zwischenfazit 13

3  Stichprobenanlage und Gewichtung 16 

3.1  Stichprobenanlage bei der telefonischen Erhebung (CATI) 16 

3.1.1  Auswahl des Haushalts 16 

3.1.2  Auswahl von Erwerbstätigen ab 15 Jahren 19  3.2  Stichprobenanlage bei der mündlich-persönlichen Erhebung (CAPI) 20  3.2.1  Auswahl der Samplepoints und der Haushalte 21  3.2.2  Auswahl von Erwerbstätigen ab 15 Jahren 21  3.3  Stichprobenanlage bei der Online-Erhebung (CAWI) 22  3.4  Gewichtungsverfahren und Vergleich der Gütekriterien 23  3.4.1  Gewichtung aufgrund von Stichprobendesign und Ausfallgeschehen 23 

3.4.1.1 Designgewichtung 24 

3.4.1.2 Korrektur des Ausfallgeschehens über Strukturgewichtung 25 

3.4.2  Vergleich der Gütekriterien 27

4  Durchführung der Erhebung 32 

4.1  Feldarbeit CATI 33 

4.2  Feldarbeit CAPI 37 

4.3  Feldarbeit CAWI 39 

4.4  Ablauf und Ergebnisse der Feldarbeit im Vergleich 40 5  Vergleich der Erhebungsmodi – Methodeneffekte 44 

5.1  Empirischer Vergleich der Stichproben 44 

5.2  Mobile-Onlys und Nonliner: Ausmaß des Non-Coverage 47 

5.3  Messeffekte 50 

5.4  Methodeneffekte – Zwischenfazit 63

6  Reliabilität und Validität 65 

6.1  Vorgehen bei der Beurteilung der Strukturgleichungsmodelle 66 

6.2  Konfirmatorische Faktorenanalysen 68 

6.2.1  Konstrukt 1: „Psychische Arbeitsbedingungen“ 68  6.2.2  Konstrukt 2: „Physische Arbeitsbedingungen“ 72  6.2.3  Konstrukt 3: „Psychovegetative Beschwerden“ 75  6.2.4  Konstrukt 4: „Muskel-/Skelettbeschwerden“ 78 

6.2.5  Kurzzusammenfassung der Ergebnisse der konfirmatorischen

Faktorenanalysen 81 

6.3  Strukturgleichungsmodelle 82 

6.3.1  Hypothese 1 83 

6.3.2  Hypothese 2 86 

6.3.3  Hypothese 3 89 

6.3.4  Hypothese 4 91 

6.3.5  Kurzzusammenfassung der Ergebnisse der Strukturgleichungsmodelle 93 7  Inhaltliche Ergebnisse und Unterschiede in den Modi 95  7.1  Tätigkeitsmerkmale im Vergleich 95 

7.2  Indexhöhen im Vergleich 98 

7.3  Multivariate Analyse der Indexwerte 106 8  Zusammenfassung der Ergebnisse und Empfehlungen 112 

Literaturverzeichnis 117 Tabellenverzeichnis 119 Abbildungsverzeichnis 121 Anhang

Anhang 1 Erhebungsunterlagen 122

Fragebogen CAPI 123

Fragebogen CAWI 158

Informationsschreiben für Zielperson CAPI 193

Ankündigungsmail CAWI 195

Anhang 2 Schulungsunterlagen CAPI 197

Anhang 3 Exkurs: Designeffekte, effektive Stichprobengröße,

Gewichtung und Standardfehler 204

Anhang 4 Regressionsmodelle zu Indexwerten 207

Methodenexperiment im Rahmen der BIBB/BAuA- Erwerbstätigenbefragung 2011/2012: Ein Vergleich von CATI, CAPI und CAWI

Kurzreferat

Im Rahmen der BIBB/BAuA-Erwerbstätigenbefragung (früher BIBB-IAB-Erhebung) werden seit 1979 Daten von Erwerbstätigen zu ihrer Arbeitssituation erhoben. Dabei wurden die Daten bis 1998/1999 mit persönlichen Interviews bei den Befragten zu Hause erhoben (CAPI; Computer-Assisted-Personal-Interviews). Bei der Befra- gungswelle 2005/2006 wurde die Erhebungsmethodik auf CATI (Computer-Assisted- Telephone-Interviews) umgestellt.

Zusätzlich zu den 20.036 mittels CATI durchgeführten Interviews der Hauptbefra- gung wurden im Rahmen des Projektes (im Auftrag der BAuA) jeweils 2.000 Perso- nen mit CAPI und CAWI (Computer-Assisted-Web-based-Interviews) befragt. Zum einen sollte geprüft werden, ob sich alle drei Methoden für eine Erwerbstätigenbefra- gung eignen und zum anderen sollte untersucht werden, welche Unterschiede durch die Befragungsmethodik verursacht werden.

Es zeigt sich, dass CAPI und CATI gleichermaßen für eine Erwerbstätigenbefragung geeignet sind, wobei nahezu alle Gütekriterien bei der CAPI-Erhebung besser waren als bei CATI. Allerdings ist unter Berücksichtigung der Kostenaspekte CATI die effi- zientere Methodik. Bei CAWI gab es in der vorliegenden Studie erhebliche Ein- schränkungen. Zum einen gab es deutliche Unterschiede in der Stichprobenselekti- on, die auch mit Gewichtung anhand des Mikrozensus nicht auszugleichen waren.

Zudem ist eine Interviewlänge von mehr als 20 Minuten bei CAWI als kritisch einzu- stufen.

Was die methodenimmanenten Unterschiede zwischen CAPI und CATI betrifft, sind für die Bildung der untersuchten Konstrukte (physische Arbeitsbedingungen, psychi- sche Arbeitsbedingungen, psychovegetative Beschwerden, Muskel-/Skelett- beschwerden) vergleichbare Werte für Reliabilität und Validität mittels konfirmatori- scher Faktorenanalysen und Strukturgleichungsmodellen festgestellt worden. Die Zusammenhänge zwischen den Konstrukten erweisen sich als stabil und vergleich- bar in allen drei Befragungsmethodiken.

Die Ergebnisse weisen insgesamt darauf hin, dass CAPI und CATI zwar für eine Er- werbstätigenbefragung geeignet sind, ein Zeitvergleich über beide Methoden jedoch nicht ohne weiteres möglich ist.

Schlagwörter:

CATI, CAPI, CAWI, Erwerbstätigenbefragung, Methodenvergleich

Methodological experiment as part of the BIBB/BAuA Employment Survey 2011/2012:

A comparison of CATI, CAPI, and CAWI

Abstract

In the BIBB/BAuA Employment Survey (formerly BIBB-IAB Survey) interviews with employees about their working situation have been conducted since 1979. Until 1998/1999 the respondents were interviewed personally at their homes (CAPI; Com- puter-Assisted-Personal-Interviews). The survey method was changed to CATI (Computer-Assisted-Telephone-Interviews) in the fifth wave in 2005/2006.

In this project (by request of BAuA), in addition to the 20.036 interviews that were done with CATI, 2000 respondents were interviewed using CAPI or CAWI (Comput- er-Assisted-Web-based-Interviews) method. The first aim was to examine whether all three methods are suitable for an employment survey. The second aim was to inves- tigate differences caused by the survey method.

The findings reveal that both CAPI and CATI are suitable for an employment survey.

Nearly all psychometric criteria of the CAPI-survey showed better results than those of the CATI- survey. However, CATI is the more efficient method with regard to costs.

The findings for the CAWI-survey indicate substantial limitations. On the one hand, there are significant deviations in the selection of the sample which cannot be com- pensated by weighting the data according to Microcensus. On the other hand, an interview length of more than 20 minutes is classified as critical for CAWI.

With regard to method-immanent differences between CAPI and CATI, different con- structs (physical demands, psychological demands, psychovegetative complaints, musculoskeletal complaints) are analysed using confirmatory factor analyses and structural equation modeling. These constructs show comparable reliabilities and va- lidities in both survey methods. The relationships between the constructs are shown to be stable and similar in all three survey methods.

In general, the findings reveal that CAPI and CATI are suitable for employment sur- veys but a comparison of different methods over time is not possible without compli- cations.

Key words:

CATI, CAPI, CAWI, employment survey, comparison of methods

1 Ziele und Untersuchungsanlage des Gesamt- projekts und des Methodenexperiments

Das Bundesinstitut für Berufsbildung (BIBB) und die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin (BAuA) haben im August 2011 TNS Infratest Sozialforschung mit der Durchführung der „BIBB/BAuA-Erwerbstätigenbefragung 2011/2012“ beauftragt.

Ziel der Erhebung war es, die Arbeitsbedingungen und -anforderungen, den Erwerb und die Verwertung beruflicher Kenntnisse sowie die diesbezüglichen Entwicklungen und Veränderungen im Zuge des technischen und organisatorischen Wandels der Arbeitswelt zu erfassen. Die Gesamtuntersuchung unterteilt sich in drei Lose und fünf Erhebungen (3 CATI-Erhebungen im Rahmen von Los 1 bis Los 3 sowie eine CAPI- und eine CAWI-Erhebung im Rahmen des Methodenexperiments zu Los 1).

Im Rahmen von Los 1 wurden von Oktober 2011 bis Ende März 2012 rund 20.000 Erwerbstätige ab 15 Jahren telefonisch und computerunterstützt, d. h. per CATI (Computer Assisted Telephone Interview), befragt. Ergänzend dazu wurde ein Me- thodenexperiment durchgeführt, bei dem ein Auszug des Fragenprogramms von Los 1 mit jeweils etwas mehr als 2.000 Interviews per CAPI (Computer Assisted Personal Interview) bzw. per CAWI (Computer Assisted Web Interview) erhoben wurde.

Los 2 sah eine ergänzende Stichprobe von 2.600 Erwerbstätigen sowie Auszubil- denden im Alter von 15 bis unter 25 Jahren vor, die im Wesentlichen mit demselben Erhebungsinstrument sowie in demselben Erhebungszeitraum wie die Hauptstich- probe aus Los 1 befragt wurden.

Los 3 umfasst eine repräsentative telefonische Befragung (CATI) von 5.000 Absol- venten einer beruflichen Erstausbildung, die in den Jahren 2006 bis 2008 abge- schlossen wurde.

Auftraggeber für die Durchführung der Haupterhebung von 20.000 Interviews mit Er- werbstätigen ab 15 Jahren sind das BIBB und die BAuA gemeinsam, Auftraggeber für die Durchführung des Methodenexperiments sowie für Los 2 ist die BAuA. Das BIBB wiederum ist Auftraggeber von Los 3.

Aufgrund des Methodenexperiments im Rahmen von Los 1 sowie der Ergänzungs- stichproben im Rahmen von Los 2 und Los 3 handelte es sich um ein hochkomple- xes Forschungsprojekt. Eine der zentralen Herausforderungen lag darin, dass es sich bei den Zielgruppen von Los 2 und 3 um äußerst seltene Populationen handelt.

Um die Möglichkeiten, diese seltenen Zielgruppen zu ermitteln, umfassend zu nut- zen, wurde ein integriertes Konzept sowohl für die Stichprobenanlage als auch für das Erhebungsinstrument entwickelt. Dieses ist im Feldbericht zu Los 1 näher darge- stellt.¹

Hintergrund für die Durchführung eines Methodenexperiments war zum einen die Umstellung der Erhebungsmethode in der Befragung 2005/2006: Bis zur Befra- gungswelle 1998/1999 wurde die Erwerbstätigenbefragung mündlich-persönlich

1 TNS Infratest Sozialforschung, 2012: BIBB/BAuA-Erwerbstätigenbefragung 2011/12 – Feldbericht Los 1. München.

durchgeführt, zuletzt computergestützt (CAPI). Mit der Befragung 2005/2006 wurde die Erhebungsmethode auf Telefon (CATI) umgestellt. Dadurch ist die Vergleichbar- keit der Befragungswellen nur bedingt möglich. Zum anderen ist grundsätzlich eine Online-Befragung als kostengünstige Alternative für die BAuA ebenfalls von Interes- se. Um die Auswirkungen des Methodenwechsels und die Möglichkeiten einer Onli- ne-Erhebung im Rahmen eines Access-Panels besser beurteilen zu können, wurde im Rahmen der Erwerbstätigenbefragung 2011/2012 ein Methodenexperiment durchgeführt. Dieses soll Erkenntnisse über die Übereinstimmungen und Unterschie- de hinsichtlich der Stichprobe sowie der Ergebnisse zwischen den drei Erhebungs- methoden liefern.

Um methodische Effekte identifizieren zu können, wurden die Rahmenbedingungen hinsichtlich der Anlage der Stichprobe bzw. der Identifikation von Zielpersonen, der Feldzeit sowie des Erhebungsinstrumentes in allen drei Erhebungsmodi soweit wie möglich identisch gehalten. Für das Erhebungsinstrument bedeutete dies, dass die Fragen möglichst unverändert aus dem CATI-Instrument übernommen und nicht für CAPI und CAWI optimiert dargestellt wurden. Somit können die Erhebungsinstru- mente direkt miteinander verglichen und mögliche Moduseffekte identifiziert werden.

Um zusätzliche Informationen hinsichtlich Messeffekten zu gewinnen, wurden für ei- ne ausgewählte Frage das Befragungsinstrument für den jeweiligen Erhebungsmo- dus optimiert dargestellt und jeweils die Hälfte der CAPI- und CAWI-Interviews in der optimierten Form durchgeführt.

Im Rahmen des Methodenexperiments wurden folgende Analysen vorgenommen, um Methodeneffekte zu identifizieren:

 Vergleich der Stichprobenziehung, Gewichtung sowie Ergebnisse der Feldar- beit hinsichtlich durchgeführter Interviews und Ausschöpfung

 Deskriptiver Vergleich der Nettostichproben auf Personenebene hinsichtlich soziodemografischer Merkmale sowie Analyse des Ausmaßes von Non- Coverage

 Analyse von Messeffekten anhand von Verteilungsanalysen

 Analysen zur Reliabilität im Rahmen von konfirmatorischen Faktorenanalysen

 Analysen zur Validität anhand von Strukturgleichungsmodellen

 Vergleich inhaltlicher Ergebnisse nach Erhebungsmodus

Bevor auf die Ergebnisse dieser Analysen eingegangen wird, stellen wir zunächst die Grundgesamtheit, die Stichprobenanlage sowie die methodische Durchführung der drei Erhebungen dar. Dabei ist vorauszuschicken, dass die Methode, die als Anker für die gesamte methodische Anlage fungierte, CATI war. Aus Kosten-Nutzen- Abwägungen wurden die Stichprobenziehung und Durchführung zudem z. T. so an- gelegt, dass nicht immer das methodisch hochwertigste Verfahren zum Einsatz kam.

So wurde die CATI-Stichprobe auf eine reine Festnetzstichprobe begrenzt, sodass Mobile-Onlys nicht einbezogen wurden. Bei CAPI wurde ein Random-Route-

Verfahren und nicht das strengere Adress-Random-Verfahren gewählt. Die CAWI- Erhebung basiert auf einem Online-Access-Panel mit befragungsbereiten Personen.

Damit könnten die methodischen Voraussetzungen in den drei Erhebungsmodi – so- fern Kostengesichtspunkte außen vor blieben – noch optimiert werden. Für die vor- liegende Untersuchung bedeutet dies, dass im Hinblick auf die Verallgemeinerbarkeit und die Bewertung der Ergebnisse immer die konkrete Ausgestaltung der Untersu- chungsanlage in dem jeweiligen Mode berücksichtigt werden muss.

Der vorliegende Bericht wurde von Miriam Gensicke und Nikolai Tschersich verfasst.

Sie wurden bei den Analysen unterstützt durch Miriam Rudel. Dr. Josef Hartmann war beratend an der Berichterstellung beteiligt.

2 Grundgesamtheit Los 1

Grundgesamtheit der Los-1-Untersuchung waren Erwerbstätige ab 15 Jahren mit einer Arbeitszeit von mindestens zehn Stunden pro Woche in Deutschland. Als er- werbstätig wurde definiert, wer zum Zeitpunkt der Befragung eine bezahlte bzw. eine mit einem Einkommen verbundene Tätigkeit ausübte. Diese Definition muss an ver- schiedenen Stellen präzisiert werden:

 Personen, die ihre Tätigkeit kurzeitig, d. h. bis zu einer Dauer von maximal drei Monaten, unterbrochen hatten, wurden einbezogen. Hierbei konnte es sich um Mutterschutz oder Elternzeit sowie um Sonderurlaub aus einem ande- ren Grund handeln.

 Auch mithelfende Familienangehörige wurden befragt. Sie zählen als erwerbs- tätig, obwohl sie u. a. darüber definiert sind, dass sie ohne feste Vergütung im Betrieb oder Geschäft des anderen Familienmitglieds mitarbeiten.

 Ausländer wurden bei der Untersuchung einbezogen, wenn sie ausreichend deutsch sprachen.

 Dagegen wurden Personen, die der bezahlten Tätigkeit ehrenamtlich nachge- hen, nicht befragt. Hintergrund ist, dass viele ehrenamtliche Tätigkeiten, für die eine Aufwandsentschädigung erstattet wird, keine Erwerbstätigkeit darstel- len, da mit ihnen keine Einkünfteerzielungsabsicht verbunden ist. Und selbst wenn Aufwandsentschädigungen für Verdienstausfall oder für Zeitaufwand gewährt werden und somit eine Einkünfteerzielungsabsicht vorliegt, unterlie- gen die Tätigkeiten dann nicht der Einkommensteuer und stellen daher im steuerrechtlichen Sinne keine Erwerbstätigkeit dar, wenn eine Steuerbefreiung wie z. B. nach § 3 Nr. 26 EstG vorliegt. Eine Einkünfteerzielungsabsicht wird zudem nicht bei politischen Mandatsträgern unterstellt, die diese Tätigkeit eh- renamtlich ausüben. Für sie wird davon ausgegangen, dass Aufwands- entschädigungen, die sie erhalten, eine Erstattung für tatsächlich entstandene Aufwendungen darstellen.

 Ausgeschlossen wurden schließlich auch Personen in einem Beschäftigungs- verhältnis, das Teil einer Erstausbildung ist, sowie Tätigkeiten im Rahmen ei- nes Praktikums.

Sowohl für die CATI- (Computer Assisted Telephone Interviewing) als auch für die CAWI- (Computer Assisted Web Interviewing) Erhebung gibt es darüber hinaus technisch bedingte Einschränkungen der Grundgesamtheit, die bei CAPI (Computer Assisted Personal Interviewing) nicht bestehen. Die Grundgesamtheit der CATI- Erhebung ist begrenzt auf die Auswahlgesamtheit „Personen in Privathaushalten mit mindestens einem Festnetzanschluss“. Die Grundgesamtheit der CAWI-Erhebung ist reduziert auf Personen, die über einen Internetzugang verfügen. Im Folgenden wird dargestellt, welches Ausmaß die Einschränkung der Grundgesamtheit in dem jewei- ligen Erhebungsmodus hat.

2.1 Non-Coverage bei der telefonischen Erhebung (CATI)

Bei der CATI-Stichprobe der vorliegenden Untersuchung handelt es sich um eine Stichprobe auf Basis von Festnetzanschlüssen. Mobilfunknummern wurden nicht einbezogen (nähere Ausführungen zur Stichprobenanlage siehe Kapitel 3.1). Damit waren Haushalte/Personen, die privat telefonisch gar nicht oder nur über eine Mobil- funknummer (sog. Mobile-Onlys) erreichbar sind, per se aus der Untersuchung aus- geschlossen. Bei klassischen Bevölkerungsstichproben aus dem ADM-Festnetz- Auswahlrahmen – wie der Vorliegenden – können nur Haushalte/Personen mit Fest- netzanschluss oder einer „Homezone“ (=Hybrid) erreicht werden.

Relevant bei der Beurteilung der Problematik ist dabei, welches Ausmaß diese Be- grenzung der Grundgesamtheit hat, ob bestimmte Teilgruppen in unterschiedlichem Maße davon betroffen sind bzw. inwieweit sich Erwerbstätige, die nicht über Festnetz zu erreichen sind, in untersuchungsrelevanten Merkmalen von der über Festnetz er- reichbaren Population der Erwerbstätigen unterscheiden.

TNS Infratest beobachtet seit 10 Jahren die Entwicklung der Mobile-Onlys im Rah- men der persönlich-mündlich durchgeführten Mehrthemenbefragung. Basis dabei sind rund 20.500 Face-to-face-Interviews, in denen ermittelt wird, ob, und wenn ja, über wie viele Festnetzanschlüsse der Haushalt bzw. die Person verfügt.

Danach ging seit 2005 die Erreichbarkeit über Festnetz/Hybrid leicht zurück. Mit dem Stand 2011 können 88,5 % der Haushalte über diese Anschlussarten erreicht wer- den. Der Anteil an Mobile-Onlys ist von seinem stabilen Niveau von rund 8 % der letzten Jahre in 2011 auf 10 % angestiegen.

Andere Quellen kommen auf eine vergleichbare Größenordnung. Nach den Daten der Einkommens- und Verbrauchsstichprobe² lag der Anteil der Privathaushalte mit Festnetzanschluss an allen Privat-haushalten Anfang 2008 in West- und Ostdeutsch- land bei knapp 89,7 %, 9,3 % der Privathaushalte waren damals nur über Mobilfunk erreichbar. Häder, Gabler und Heckel (2009, S. 23) schätzen den entsprechenden Anteil für 2008 auf 11 %. Der ADM weist in seinem Jahresbericht 2011 einen Anteil von 12,4 % Mobile-Only aus.³

2 Quelle: Statistisches Bundesamt, Fachserie 15 Heft 1 2009: Wirtschaftsrechnungen Einkommens- und Verbrauchsstichprobe – Ausstattung privater Haushalte mit ausgewählten Gebrauchsgütern, Wiesbaden. S. 63 ff.

3 Quelle: ADM – Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e. V. 2011, Frankfurt am Main. S. 6.

Tab. 2.1 Anteile von Haushalten mit Telefonanschlussarten in %

2001 2003 Erhebungsjahr 2005 2007 2009 2011

Festnetzanschluss 92,8 92,9 90,6 89,8 89,2 88,5

Nur Mobilfunk 5,0 5,5 7,8 8,3 8,2 10,0

Telefonhaushalte insg.

97,8 98,4 98,4 98,9 98,9 98,5

Kein Telefonbesitz 2,2 1,6 1,6 1,1 1,1 0,9

Keine Angabe - - - - - 0,6

Quelle: F2F-Bus TNS Infratest München mit ca. 20.500 Fällen (2011)

Die Daten der Mehrthemenbefragung erlauben über die Schätzung des Anteils hin- ausgehende Strukturanalysen. So zeigen die Ergebnisse aus der Mehrthemenbefra- gung von TNS Infratest, dass der Anteil der ausschließlichen Mobilfunknutzer in Ost- deutschland mit 17,7 % um rund 10 Prozentpunkte höher ist als in Westdeutschland.

Betrachtet man Alter und Geschlecht, stellt man fest, dass Männer unter den Mobile- Onlys leicht überrepräsentiert sind. Der höchste Anteil an Mobile-Onlys ist bei den jüngeren Personen unter 30 Jahren zu verzeichnen. Die ältere Bevölkerung hat nach wie vor eine hohe Festnetzerreichbarkeit. Auch Personen mit niedriger oder mittlerer Bildung sowie Haushalte mit einem geringen Haushaltseinkommen sind vermehrt nur über das Mobiltelefon erreichbar.

Dagegen sind Personen, die erwerbstätig sind, zu 91,9 % und damit überproportional häufig über Festnetz erreichbar. In Bezug auf die Stellung im Beruf sind nun mehrere Aspekte interessant: Zum einen ist zu erkennen, dass die telefonische Erreichbarkeit insgesamt bei allen Gruppen mit über 99 % etwa gleich hoch ist. Zum anderen ist aber auch festzustellen, dass Arbeiter mit 10,4 % überproportional häufig nur mobil telefonieren, gefolgt von den Angestellten mit 5,5 %. Bei Beamten (2,6 %) und Selbstständigen (4,2 %) liegen die Anteile niedriger. Sie sind also gut über das Fest- netz erreichbar.

2.2 Non-Coverage bei der Online-Erhebung (CAWI)

Bei der Durchführung einer Online-Erhebung im Rahmen eines Access-Panels be- steht die Begrenzung der Grundgesamtheit in dem Besitz einer eigenen E-Mail- Adresse. Voraussetzung hierfür ist die Nutzung des Internets. Das Statistische Bun- desamt weist in der Fachserie 15, Reihe 4 zwei verschiedene Nutzungsanteile aus.

Zum einen wird der Anteil an Personen, die mindestens einmal das Internet genutzt haben, dargestellt. Zum anderen wird der Anteil der Personen ausgewiesen, die das Internet in den letzten drei Monaten genutzt haben. Um einen Eindruck zu erhalten, wie hoch der Bevölkerungsanteil ist, der potenziell für eine Online-Befragung in Fra- ge kommt, erscheint der Anteil der Nutzung in den letzten drei Monaten der interes- santere. Entscheidend für eine Teilnahme an einer Online-Erhebung im Rahmen ei- nes Access-Panels, auf die die meisten Bevölkerungsbefragungen und auch die vor- liegende Befragung zurückgreifen, ist jedoch die Erreichbarkeit über eine E-Mail- Adresse. Da es hierfür aber keine Vergleichszahlen gibt, werden im Folgenden die Anteile der Internetnutzung in den letzten drei Monaten als Orientierungsgröße für einige Bevölkerungsgruppen dargestellt.

Auf Personenebene weist das Statistische Bundesamt einen Anteil von 76 % Nutzern des Internets in den letzten drei Monaten aus. Der Anteil liegt dabei in den neuen Bundesländern mit 71 % niedriger als in den alten Bundesländern mit 77 %.

Die Nutzungsanteile unterscheiden sich dabei erwartungsgemäß nach Altersgrup- pen. Geschlechtsspezifische Unterschiede zeigen sich lediglich bei den Altersgrup- pen ab 45 Jahren.

Tab. 2.2 Internetnutzung von Personen innerhalb der letzten drei Monate

Alter Insgesamt Männer Frauen

16-24 Jahre 99 98 99

25-44 Jahre 96 96 96

45-64 Jahre 78 82 75

65 Jahre und älter

31 43 22

Insgesamt 76 81 72

Quelle: Statistisches Bundesamt, Fachserie 15, Reihe 4, 2011: Wirtschaftsrechnungen Private Haus- halte in der Informationsgesellschaft – Nutzung von Informations- und Kommunikationstechnologien, Wiesbaden. S. 13 ff.

Größere Unterschiede im Anteil der Internetnutzung sind je nach Bildungsstand fest- zustellen. Personen mit einem niedrigen Bildungsstand haben lediglich zu 60 % in den letzten drei Monaten das Internet genutzt, im mittleren Bildungsstand liegt dieser Anteil bei 77 % und bei den höher Gebildeten bei 87 %.

Relevant für die vorliegende Untersuchung ist insbesondere der Anteil der Internet- nutzer unter den Erwerbstätigen. Dieser liegt mit 93 % deutlich über dem Bevölke- rungsdurchschnitt. 80 % dieser Gruppe nutzen das Internet dabei täglich. In der Ge- samtbevölkerung sind es 77 % der Internetnutzer, die täglich surfen.

Der (N)Onliner-Atlas 2012⁴ - eine Studie der Initiative D21, die von TNS Infratest durchgeführt wird – weist dabei vergleichbare Anteile von Internetnutzung aus. Da- nach nutzen 75,6 % der deutschen Bevölkerung das Internet. Dabei werden diesel- ben Unterschiede nach Geschlecht und Alter mit sehr ähnlichen Anteilswerten fest- gestellt. Der Anteil der berufstätigen Internetnutzer fällt mit 88,4 % etwas geringer aus, wobei entsprechend dem Erwerbspersonenkonzept im (N)Onliner-Atlas auch Arbeitslose zu den Berufstätigen gerechnet werden. Der Anteil der Onliner unter den derzeit Erwerbstätigen dürfte demnach auch nach Messungen des (N)Onliner-Atlas etwas höher ausfallen.

2.3 Coverage-Probleme im Vergleich: Zwischenfazit

Ein Vergleich der drei Erhebungsmodi zeigt Unterschiede in den Möglichkeiten, die Grundgesamtheit der Untersuchung vollständig abzudecken, die im Folgenden zu- sammengefasst und bewertet werden.

4 http://www.nonliner-atlas.de

 Ausreichende Deutschkenntnisse

Unabhängig vom Erhebungsmodus gibt es eine Einschränkung der Auswahlgesamt- heit auf Personen, die über ausreichende Deutschkenntnisse verfügen, um das In- terview geben zu können, da das Erhebungsinstrument ausschließlich auf Deutsch erstellt wurde. Führt man sich die Interviewsituation vor Augen, dürfte dies bei der Online-Erhebung zu einer stärkeren Begrenzung der Auswahlgesamtheit führen, da die Befragten ohne Unterstützung eines Interviewers den Fragebogen schriftlich zu beantworten haben. Dies stellt höhere sprachliche Anforderungen, als dies in einem Gespräch der Fall ist. Dadurch wird die Grundgesamtheit begrenzt auf Personen, die auch über ausreichende Literalität in Deutsch verfügen.

Vergleicht man die Interviewsituation am Telefon mit der persönlich-mündlichen In- terviewführung, so verlangt die Gesprächsführung am Telefon grundsätzlich höhere Sprachkenntnisse als ein persönliches Gespräch. Durch die non-verbale Kommuni- kation im persönlichen Gespräch kann sich der Interviewer oder die Interviewerin deutlich besser auf den Gesprächspartner einstellen und beispielsweise das Ge- sprächstempo reduzieren, sobald er oder sie den Eindruck gewinnt, dass die befrag- te Person Verständnisprobleme hat. Zudem besteht in der persönlichen Gesprächs- situation grundsätzlich auch die Möglichkeit, dass andere Haushaltsmitglieder mit besseren Deutschkenntnissen punktuell unterstützen. Generell bietet ein persönlich- mündliches Interview auch verschiedenste Möglichkeiten der visuellen Unterstüt- zung, z. B. in Form von Listenvorlagen. Dies war allerdings bei der vorliegenden Un- tersuchung nicht vorgesehen, da die Interviewsituation soweit wie möglich mit der am Telefon vergleichbar gestaltet werden sollte.

Grundsätzlich ist es möglich, auch Personen, die nicht ausreichend gut Deutsch sprechen, telefonisch oder persönlich-mündlich zu befragen. Bei einer telefonischen Erhebung können hierfür fremdsprachige Interviewer eingesetzt werden. Bei einer Face-to-face-Befragung wird in solchen Fällen mit Übersetzungshilfen gearbeitet.

Beides war in der vorliegenden Untersuchung nicht vorgesehen.

Damit lässt sich alles in allem hinsichtlich des Merkmals Deutschkenntnisse festhal- ten, dass eine persönlich-mündliche Erhebung wohl die beste Abdeckung der Grundgesamtheit erwarten lässt, gefolgt von einer telefonischen Befragung. Eine Online-Erhebung dürfte dagegen eine höhere Hürde bezüglich der Sprachkenntnisse darstellen und damit eine Teilgruppe ausschließen, die am Telefon noch ein Inter- view geben kann.

 Grundsätzliche Erreichbarkeit

Bei der mündlich-persönlichen Erhebung sind grundsätzlich alle Personen einbezo- gen und erreichbar, die in Privathaushalten leben. Bei der CATI-Erhebung auf Fest- netzbasis sind 11 %-12 % der Gesamtbevölkerung aufgrund der Untersuchungsan- lage ausgeschlossen. Für die eigentlich relevante Zielgruppe der Erwerbstätigen re- duziert sich dieser Anteil auf rund 8 %. Dabei zeigen sich gewisse gruppenspezifi- sche Unterschiede (Stichworte: Jüngere, Ost, niedrige Bildung).

Bei einer Online-Erhebung ist aufgrund des Erhebungsmodus rund ein Viertel der Gesamtbevölkerung ausgeschlossen. Auch hier reduziert sich der Anteil der Nicht- Erreichbaren deutlich auf 7 %, wenn man nur die Gruppe der Erwerbstätigen be- trachtet. Ähnlich wie bei der telefonischen Erreichbarkeit über Festnetz gibt es grup-

penspezifische Unterschiede (Stichworte: Ältere, Ost, niedrige Bildung), die in die gleiche Richtung gehen.

Damit lässt sich festhalten, dass es in der CAPI-Erhebung praktisch keine Coverage- Probleme gibt. Dagegen sind sowohl eine CATI-Festnetzerhebung als auch die Onli- ne-Befragung mit der Thematik des Non-Coverage konfrontiert.

3 Stichprobenanlage und Gewichtung

Im Folgenden wird dargestellt, wie die Stichproben in den drei Erhebungsmodi je- weils gezogen wurden und welche Ergebnisse in der Feldbearbeitung erzielt wurden.

Dabei wird auch zu betrachten sein, welche Auswirkungen die Begrenzungen der Grundgesamtheit bei den realisierten Nettostichproben tatsächlich hatten. Um eine möglichst vergleichbare Messung in allen drei Modi zu erreichen, wurde die Stich- probe – soweit es möglich war – identisch angelegt. Dies betrifft in erster Linie die Ermittlung, ob die ausgewählte Zielperson erwerbstätig im Sinne der Untersuchung ist. Dies erfolgte in einem Screeninginterview, das in allen drei Modi identisch geführt wurde. In der davor gelagerten Auswahlstufe gibt es jedoch Unterschiede zwischen CAWI versus CATI und CAPI. Während es sich sowohl bei CATI als auch bei CAPI zunächst um eine Haushaltsstichprobe handelt, erfolgte die Ziehung der CAWI- Stichprobe direkt auf Personenebene.

Auch das Gewichtungsverfahren wurde – soweit möglich – identisch angelegt. Auch hier unterscheidet sich die Gewichtung der CAWI-Stichprobe wiederum in einigen Aspekten von der Gewichtung der CATI- und der CAPI-Stichprobe (vgl. Kapitel 3.4).

3.1 Stichprobenanlage bei der telefonischen Erhebung (CATI) Die Auswahl der zu befragenden Zielpersonen erfolgte bei der telefonischen Befra- gung in zwei Schritten: Im ersten Schritt wurde eine Telefonnummer und damit letzt- endlich ein Haushalt aus-gewählt, im zweiten Schritt dann innerhalb des Haushalts die Zielperson. Wir beschreiben im Folgenden diese beiden Schritte ausführlicher.

3.1.1 Auswahl des Haushalts

Die Durchführung telefonischer Befragungen basiert bei TNS Infratest auf dem Infra- test-Telefon-Master-Sample (ITMS), das für bevölkerungsrepräsentative Untersu- chungen aufgebaut wurde und zu verzerrungsfreien Stichproben ohne Klumpeneffek- te führt. Es ist als multistratifizierte Haushaltsstichprobe auf Flächenbasis mit zufälli- ger Zielpersonenauswahl konzipiert. Das Random-Digit-Dialling wird gemäß ADM- Standard durchgeführt, eine Weiterentwicklung des sogenannten „Gabler-Häder- Verfahrens“.⁵

Das „Gabler-Häder-Verfahren“ stellt sicher, dass innerhalb eines Ortsnetzes Ruf- nummern verzerrungsfrei gezogen werden können – unabhängig davon, ob eine Rufnummer eingetragen ist oder nicht, und unabhängig von der Dichte und Häufig- keit der Einträge im Telefonbuch. Dazu werden in einem ersten Schritt auf Basis der Rufnummernstammliste der Bundesnetzagentur (BNA) und aktueller Telefonver- zeichnisse die sogenannten Nummernstämme identifiziert. Bei den Nummernstäm- men handelt es sich um Telefonnummern ohne die beiden letzten Ziffern. Die ent- scheidende Erweiterung gegenüber dem „Gabler-Häder-Verfahren“ ist, dass durch

5 Vgl. z. B. Siegfried Gabler, Sabine Häder, 1998: Ein neues Stichprobendesign für telefonische Umfragen in Deutschland. S. 69 ff. In: Siegfried Gabler, Sabine Häder, Jürgen H. P. Hoffmeyer- Zlotnik, (Hrsg.): Telefonstichproben in Deutschland. Opladen: Westdeutscher Verlag.

die Nutzung der Rufnummernstammliste der BNA auch Nummernstämme in die Auswahlgrundlage einbezogen werden, zu denen keine Telefonnummer in einem aktuellen Telefonverzeichnis gelistet ist.

Dieser Datenbestand wird auf doppelte Nummernstämme geprüft und bereinigt. Im zweiten Schritt wird für jeden Nummernstamm der 100er-Block erzeugt, d. h. es wird die Ziffernfolge 00 bis 99 ergänzt. Im Rahmen dieses Prozesses werden verschiede- ne Kennzeichen gesetzt: eingetragene vs. generierte Nummer, privater vs. geschäft- licher Eintrag und die amtliche Gemeindekennziffer (GKZ). Die ADM- Auswahlgrundlage enthält keine Namens- und Straßennennungen, da diese für eine anonyme Befragung nicht erforderlich sind. Die aktuelle Auswahlgrundlage umfasst insgesamt ca. 110 Mio. Rufnummern, die auf Basis der Rufnummernstammliste der BNA und aktueller Telefonverzeichnisse erzeugt wurden. Die Aktualisierung der Auswahlgrundlage erfolgt jährlich.

Charakteristisch für das beschriebene Verfahren ist somit, dass die Randomisierung der Telefonnummern nicht bei einzelnen Stichproben realisiert wird, sondern dass diese bereits in den Erstellungsprozess der Auswahlgrundlage implementiert ist. Die- ses Vorgehen besitzt gegenüber herkömmlichen Verfahren, bei denen jeweils eine eingetragene Telefonnummer gezogen wird und anschließend nur für sie Ziffernfol- gen zufällig generiert werden (z. B. „Random-Digit-Dialling“ oder „Randomize Last Digits“), den Vorteil, dass es die ungleichmäßige Verteilung der gültigen Telefon- nummern über das theoretische Ziffernintervall je Ortsnetz berücksichtigt. Nummern in Blöcken mit vielen eingetragenen Nummern haben bei den herkömmlichen Verfah- ren eine höhere Auswahlwahrscheinlichkeit als Nummern in Blöcken mit wenigen Einträgen. Bei der von TNS Infratest angewandten Randomisierung nach dem Gab- ler-Häder-Verfahren ist die Auswahl der Nummern dagegen jeweils gleich wahr- scheinlich. Verfahren einer gänzlich freien Zufallszifferngenerierung indessen leiden unter dem Problem, dass sie zu einer verhältnismäßig geringen Trefferquote führen, da es innerhalb des theoretisch möglichen Zahlenbereichs große, nicht belegte Lü- cken gibt.

Da das ITMS bei TNS Infratest, wie bereits erwähnt, als Flächenstichprobe konzipiert ist, muss jede Telefonnummer eindeutig einer regionalen Flächeneinheit zugewiesen sein. Diese Regionalisierung erfolgt auf Ebene der Städte und Gemeinden (GKZ). Im Rahmen der Erstellung der Auswahlgrundlage wird die eindeutige Verortung für ein- getragene Rufnummern bereits gesetzt. Demgegenüber sind nichteingetragene Tele- fonnummern nur dann eindeutig zu verorten, wenn sich alle eingetragenen Rufnum- mern desselben Blockes in einer einzigen Gemeinde befinden. Ist dies nicht der Fall, wird im ITMS-System bei generierten Rufnummern mit mehreren möglichen Ge- meindekennziffern innerhalb des betreffenden 100er-Blockes eine der Gemein- dekennziffern per Zufall ausgewählt. Diese Zufallsauswahl wird per Bedeutungsge- wicht so gesteuert, dass die Häufigkeitsverteilung der Gemeindekennziffern der nichteingetragenen Nummern im jeweiligen Block der Verteilung der eingetragenen Nummern entspricht.

Auf der ersten Stufe besteht das ITMS aus einer mikrostratifizierten und ungeklump- ten Haushaltsstichprobe, die sich proportional zur Zahl der Privathaushalte auf die Mikrozellen aufteilt. Die Schichtung erfolgt zum einen anhand von Kriterien der amtli- chen Gebietseinteilung (Bundesländer, Regierungsbezirke, Kreise, bei Schwerpunkt-

stichproben gegebenenfalls auch auf Ebene der Gemeinden oder von Gemeindetei- len), zum anderen anhand der BIK-Gemeindetypen (10er-Gliederung).⁶ Das jeweilige Schichtungsmodell ist studienspezifisch wählbar und wird auf die angestrebte Netto- fallzahl, die Optimierung der Feldarbeit und andere studienspezifische Gesichts- punkte ausgerichtet.

Die entsprechende Multistratifikation und Aufteilung der Stichprobe auf die Zellen erfolgt vollautomatisch über ein Allokationsprogramm. Dabei wird erstens das Netto- Soll (Anzahl der zu realisierenden Interviews) mit dem reziproken Wert der erwarte- ten Ausschöpfung multipliziert und in einer Allokationsrechnung unter Verwendung des Cox-Verfahrens auf die Schichtungszellen verteilt.⁷ Diese Brutto-Sollverteilung des Schichtungstableaus wird zweitens haushaltsproportional auf die jeweiligen schichtangehörigen Gemeinden verteilt und daraus wird dann das Ziehungsbrutto auf Gemeindeebene berechnet. Die Ziehung der Telefonnummern erfolgt anschließend über die Schlüsselbrücke der Gemeindekennziffer (GKZ) per reiner Zufallsauswahl.

Nicht private Einträge, bereits gezogene sowie gesperrte Rufnummern werden dabei ausgeschlossen.

Die Stichprobenrealisierung erfolgt nach dem Konzept der Nettosteuerung per Samp- le Management System und garantiert so die korrekte regionale Verteilung der reali- sierten Interviews. Dabei geht das Schichtungstableau der Allokationsrechnung in die Steuerung der Feldarbeit als Sollstruktur ein. Es ist somit gewährleistet, dass in jeder Mikrozelle die erforderliche Zahl von Interviews durchgeführt wird. Innerhalb dieser Steuerungszelle sind die Datensätze der Telefonhaushalte nach Zufallszahlen sor- tiert. Somit bildet jede Zelle eine Urne im klassischen Sinne.

Das Steuerungsprogramm des Sample Management System kontrolliert während der gesamten Feldzeit ständig den Erfüllungsgrad jeder einzelnen Schichtungszelle und wählt die jeweils nächsten zu kontaktierenden Telefonnummern so aus, dass der Er- füllungsgrad in allen Schichtungszellen möglichst gleich ist. Terminvereinbarungen sind unabhängig von dieser Steuerung und haben Vorrang. Während der Feldarbeit wird der durch Terminvereinbarungen erreichte Erfüllungsgrad einer Zelle vom Sample Management System registriert und durch adäquate Vorgabe weiterer Tele- fonnummern ausgeglichen. Nicht erreichte Haushalte werden zurückgelegt und kommen in größerem zeitlichem Abstand zu anderen Tageszeiten zur Wiedervorla- ge. Die an einem bestimmten Tag nicht erreichten Haushalte werden durch solche substituiert, die an anderen Tagen nicht erreicht werden. Damit entfällt der soge- nannte „not-at-home-bias“ weitgehend. Eine Begrenzung der Zahl der Kontaktversu- che ergibt sich allenfalls aus der begrenzten Feldzeit.

6 Die BIK-Gemeindetypologie unterscheidet 10 (Stadt-)Regionen:

0 = 500.000 und mehr (Zone 1) 1 = 500.000 und mehr (Zone 2, 3) 2 = 100.000 bis unter 500.000 (Zone 1) 3 = 100.000 bis unter 500.000 (Zone 2, 3) 4 = 50.000 bis unter 100.000 (Zone 1) 5 = 50.000 bis unter 100.000 (Zone 2, 3) 6 = 20.000 bis unter 50.000

7 = 5.000 bis unter 20.000

7 Vgl. Lawrence H. Cox, 1987: A constructive procedure for unbiased controlled rounding. JASA 82, S. 520–524.

Es kann somit festgehalten werden: ITMS-Stichproben von TNS Infratest sind über das Bindeglied amtlicher Flächeneinheiten auf die Verteilung der Privathaushalte justiert. Bei der Stichprobenanlage wird dabei sowohl auf der Ebene der Bruttozie- hung (Schichtung à priori) als auch bei der Stichprobenrealisierung eine optimale Aussteuerung garantiert, sodass eine Gewichtung nach Haushaltszahlen zu einer äußerst kleinen Faktorenspanne führt und praktisch unterbleiben könnte. Das ITMS- Stichprobendesign erfordert jedoch zwingend eine Designgewichtung, da unter- schiedliche (aber berechenbare) Auswahlchancen ausgeglichen werden müssen.

3.1.2 Auswahl von Erwerbstätigen ab 15 Jahren

Die Ausführungen im vorangegangenen Abschnitt machen deutlich, dass bei einer telefonischen Erhebung auf der ersten Stufe zunächst ein Haushalt ausgewählt wird.

In diesem muss dann über einen Zufallsmechanismus eine zu befragende Zielperson ausgesucht werden. Dabei wurde das gleiche Auswahlverfahren wie für die BIBB/BAuA-Erwerbstätigenbefragung 2005/06 angewendet.

Die Auswahlgesamtheit wurde bei dieser Untersuchung zunächst bestimmt als die im Haushalt lebenden Personen ab 15 Jahren. Aus dieser Auswahlgesamtheit wurde durch eine Zufallsauswahl, und zwar nach dem Schwedenschlüssel (Kish-Methode), die zu befragende Zielperson bestimmt. Anschließend wurden dieser Person mehre- re Leitfragen im Rahmen des Screeninginterviews gestellt, anhand derer identifiziert wurde, ob sie erwerbstätig im Sinne der geplanten Untersuchung ist (s. Anhang). Nur dann wurde sie mit dem vollständigen Fragebogen befragt. War sie dagegen nicht erwerbstätig, wurde ermittelt, ob die zufällig ausgewählte Person zur Los-2- oder Los-3-Zielgruppe gehörte. War dies nicht der Fall, wurde ermittelt, ob eine oder meh- rere andere Personen im Haushalt leben, die zur Los-3-Zielgruppe gehören. Traf dies ebenfalls nicht zu, verabschiedete sich der Interviewer mit dem Hinweis darauf, dass die Person nicht zur Zielgruppe der Studie gehört.

Charakteristisch für dieses Vorgehen zur Ermittlung der Zielpersonen ist eine hohe Genauigkeit bei der Zielpersonenbestimmung und die leichte Handhabbarkeit des Screening-Instruments, denn nur die Zielperson muss die Fragen zur Identifikation des Erwerbsstatus, und zwar nur ihres eigenen, beantworten.⁸ Durch die direkte Er- mittlung des Erwerbsstatus bei der Zielperson selbst ist gewährleistet, dass auch Tä- tigkeiten am Rand des Arbeitsmarktes identifiziert werden. Würde der Erwerbsstatus im Rahmen eines Proxy-Interviews ermittelt werden, bestünde die Gefahr, dass die- se Tätigkeiten untererfasst werden, da die Auskunft gebende Person diese möglich- erweise vergisst oder gar keine Kenntnis davon hat.

Bei der Befragung zeigte sich erwartungsgemäß, dass über eine telefonische An- sprache der Zugang zu den unteren Bildungsschichten schwieriger ist als über eine mündlich-persönliche.⁹ Da ein Zusammenhang zwischen Bildungsniveau und Merk-

8 Angemerkt sei, dass es für die Designgewichtung bei diesem Verfahren nicht erforderlich ist, die Zahl der Erwerbstätigen im Haushalt zu ermitteln.

9 Ein niedriges Bildungsniveau geht meist einher mit einer geringeren kommunikativen Kompetenz.

Dies ist möglicherweise ein erklärender Mechanismus, der hinter der geringeren Neigung steht, an telefonischen Befragungen teilzunehmen. Eine weitere Ursache könnte der etwas höhere Anteil an Personen ohne Festnetzanschluss im unteren Bildungssegment sein. Vgl. dazu die Ausführun- gen in Kapitel 2.1.

malen der Erwerbstätigkeit besteht, wurde – vergleichbar zur letzten Erwerbstätigen- befragung 2005/06 – bei der Stichprobenziehung mit gezielten Maßnahmen gegen- gesteuert. Ziel war es, über das Screening-Verfahren die Wahrscheinlichkeit zu er- höhen, dass untere und mittlere Bildungsschichten in die Stichprobe gelangen.

Während diese Aussteuerung bei der letzten Erwerbstätigenbefragung über die be- rufliche Stellung vorgenommen wurde, erfolgte die Gegensteuerung dieses Mal über den Schulabschluss. Hintergrund für diese Änderung war, dass es seit 2005 in der Sozialversicherung keine Unterscheidung mehr zwischen dem Status „Arbeiter“ und

„Angestellter“ gibt. Auch wenn sich viele Personen noch selbst als Arbeiter bezeich- nen, dürfte sich das Selbstverständnis an dieser Stelle wandeln. Somit erschien es für die Erwerbstätigenbefragung 2011/12 zielführender, nach dem höchsten Schul- abschluss, den die Zielperson erreicht hat, gegen den Bildungsbias zu steuern. Zu diesem Zweck wurden die Frage nach dem höchsten Schulabschluss in das Scree- ninginterview aufgenommen und die Fragen nach der beruflichen Stellung in das Hauptinterview verlegt.

Zunächst wurde die Erhebung von Oktober 2011 bis Ende Januar 2012 ohne Steue- rung durchgeführt. Regelmäßige Strukturkontrollen zeigten allerdings die erwarteten Abweichungen bezüglich der Verteilung des höchsten Schulabschlusses. Daher wurde ab dem 1. Februar 2012 steuernd eingegriffen. Dieses zeitlich versetzte Vor- gehen hatte den Vorteil, dass man mehr Sicherheit in Bezug auf den Umfang der erforderlichen Steuerung hat. Durch die Steuerung der Stichprobe nach der Bildung wurde die bekannte Verteilung über die verschiedenen Gruppen angenähert, diese somit besser abgebildet, die Aussagekraft der Analysen in Bezug auf diese Gruppen erhöht und die Effektivität des Gewichtungsmodells gesteigert.¹⁰

Wie in Kapitel 2.1 dargestellt, reduziert sich die Auswahlgesamtheit bei der telefoni- schen Durchführung auf Deutsch sprechende Personen ab 15 Jahren in Privathaus- halten mit mindestens einem Festnetzanschluss. Die Durchführung von Interviews über Mobilfunk erschien sowohl hinsichtlich der Stichprobenziehung als auch hin- sichtlich der Messung selbst problematisch. Insbesondere die für ein Telefoninter- view an sich sehr hohe Interviewdauer hätte bei Interviews über ein Mobilfunktelefon zusätzliche Schwierigkeiten zur Folge gehabt. So wäre beispielsweise aufgrund von Akkuproblemen ein höherer Anteil von abgebrochenen Interviews und damit von Unit-Non-Response zu erwarten gewesen. Zudem wäre mit Messproblemen zu rechnen gewesen, bedingt durch die häufig unruhige Interviewsituation, die sicherlich zu Ablenkung oder fehlender Konzentration in einigen Interviews geführt hätte. An- gesichts dessen haben sich das BIBB und die BAuA für eine Festnetzstichprobe ent- schieden.

3.2 Stichprobenanlage bei der mündlich-persönlichen Erhebung (CAPI)

Basis für die Ermittlung der Zielpersonen bei der mündlich-persönlichen Erhebung ist zunächst die in Privathaushalten lebende Wohnbevölkerung der Bundesrepublik

10 Vgl. hierzu: TNS Infratest Sozialforschung, 2012: BIBB/BAuA-Erwerbstätigenbefragung 2011/12 – Strukturkontrolle, Steuerung und Gewichtung der Stichprobe.

Deutschland ab 15 Jahren mit für die Befragung ausreichenden deutschen Sprach- kenntnissen. Die Auswahl der Befragungspersonen erfolgte mit Hilfe einer mehrfach geschichteten, dreistufigen Zufallsstichprobe nach ADM-Standard (Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e. V.).

Als Schichtungsmerkmale dienten dabei:

 Bundesländer

 Regierungsbezirke

 BIK-Gemeindetypen

Auch für eine persönlich-mündliche Befragung ist es charakteristisch, dass zunächst der Haushalt und anschließend die Zielperson ausgewählt werden. Daher gehen wir im Folgenden wieder zuerst auf das Verfahren zur Auswahl des zu befragenden Haushalts ein und beschreiben anschließend die Bestimmung der Zielperson im Haushalt.

3.2.1 Auswahl der Samplepoints und der Haushalte

Auswahlgrundlage auf einer ersten Stufe sind zunächst die bundesweit 53.000 zur Verfügung stehenden Samplepoints (= Gebietsflächen, aufgeteilt anhand der kom- munalen, statistischen Bezirke und unter Zuhilfenahme eines geografischen Informa- tionssystems (GIS) zur Straßeneinteilung). Durch Schichtung nach regionalen Merk- malen (Bundesländer, Regierungsbezirke, BIK-Gemeindetypen, Kreise, Gemeinden und gegebenenfalls Stadtbezirke) werden Zellen gebildet, die in ihrer Struktur der Verteilung der Privathaushalte entsprechen. Innerhalb der durch die Schichtungs- merkmale definierten Zellen wird dann jeweils eine Zufallsauswahl von Samplepoints mit Wahrscheinlichkeiten proportional zur Zahl der dort lebenden Haushalte gezogen („Probability proportional to size“ – PPS). Bei der vorliegenden CAPI-Erhebung wur- den 738 Samplepoints eingesetzt.

Innerhalb der Samplepoints werden die Befragungshaushalte zufällig ausgewählt.

Dies erfolgt nach dem bekannten Verfahren, bei dem ausgehend von einer zufälligen Startadresse, die selbst nicht Befragungshaushalt ist, auf einem „Random-Route- Weg" jeder dritte Haushalt bestimmt wird. Der zufällig ausgewählte Startpunkt legt die Folgehaushalte eindeutig fest.

In jedem ausgewählten Haushalt wird zunächst geprüft, ob darin mindestens eine Person lebt, die 15 Jahre oder älter ist. Wenn ja, gehört dieser Haushalt zur Stich- probe. Wenn nein, gilt er als neutraler Ausfall und wird am Ende des Random-Route- Weges durch einen, nach demselben Verfahren auszuwählenden, anderen Haushalt ersetzt. Entsprechend wird auch mit anderen Ausfällen verfahren.

3.2.2 Auswahl von Erwerbstätigen ab 15 Jahren

Innerhalb der ausgewählten Haushalte muss der Interviewer ermitteln, wie viele Per- sonen ab 15 Jahren im Haushalt leben. Wenn keine Zielperson im Haushalt lebt, wird der Haushalt – wie bereits beschrieben – ausgesteuert und als neutraler Ausfall fest- gehalten. Wenn es mehrere Zielpersonen im Haushalt gibt, wird ermittelt, mit welcher Person im Haushalt die Befragung durchzuführen ist. Die Auswahl der zu befragen-

den Person erfolgt mit Hilfe des gleichen systematischen Auswahlschlüssels wie bei CATI, der für alle zum Haushalt gehörenden Personen der Grundgesamtheit die glei- che Chance gewährleistet, in die Stichprobe zu gelangen, und die Zielperson eindeu- tig festlegt (Schwedenschlüssel bzw. Kish-Methode). Ein subjektiver Einfluss der In- terviewer auf die Auswahl der Befragungspersonen ist damit ausgeschlossen.

Mit der durch dieses Verfahren ausgewählten Person wird anschließend – wie in der CATI-Erhebung – das Screeninginterview geführt, in dem festgestellt wird, ob die Person im Sinne der Untersuchung erwerbstätig ist. Ist dies der Fall, wird das Lang- interview für das Methodenexperiment durchgeführt. Wenn sich im Kurzinterview herausstellt, dass die Zielperson nicht erwerbstätig ist, ist die Erhebung in diesem Haushalt abgeschlossen.

3.3 Stichprobenanlage bei der Online-Erhebung (CAWI)

Basis für die Stichprobenziehung der CAWI-Erhebung war das Online-Access-Panel eines Schwesterinstituts aus der WPP-Gruppe, in dem sich rund 61.000 aktive Pa- nelteilnehmer befinden, also Personen, die bereits für Online-Erhebungen rekrutiert und bereit sind, an weiteren Befragungen teilzunehmen. Diese 61.000 sind aktive Panelisten gemäß der enger gefassten institutseigenen Definition (sehr regelmäßige Teilnahme). In Deutschland liegt die offizielle Panelgröße gemäß ISO bei aktuell 160.000 Panelisten.¹¹ Voraussetzung für die Registrierung in diesem Access-Panel ist eine E-Mail-Adresse, über die die Einladungen zu den Befragungen versendet werden.

Bei einem Access-Panel handelt es sich um einen Pool grundsätzlich befragungsbe- reiter Personen, die in der Regel auf unterschiedlichen Wegen rekrutiert werden. Da- her können die Auswahlwahrscheinlichkeiten für die Panelisten nicht berechnet wer- den.

Anders verhält es sich, wenn das Access-Panel auf Basis einer Zufallsstichprobe offline rekrutiert wird und damit die Auswahlwahrscheinlichkeiten berechnet werden können. Ein solches Verfahren wurde kürzlich von TNS Infratest im Auftrag des Son- derforschungsbereichs SFB 884 der Universität Mannheim im Rahmen des Projektes

„Stichprobenziehung und Rekrutierung der Teilnehmer für das German Internet Pa- nel GIP“ angewandt.¹² Dieser Weg ist jedoch mit deutlich höheren Kosten verbunden und relativiert damit die finanziellen Vorteile, die eine Online-Erhebung hat, deutlich.

Über die befragungsbereiten Personen liegen umfangreiche soziodemografische Strukturinformationen vor. Auf Grundlage dieser Strukturmerkmale wurde eine ge- schichtete, bevölkerungsrepräsentative Stichprobe von Personen ab 15 Jahren ge- zogen. Sie war nach regionaler Verteilung, Alter, Geschlecht und Bildung der Ziel- personen geschichtet. Dabei handelt es sich bereits um eine Personenstichprobe und nicht um eine Haushaltsstichprobe. Damit musste der erste Schritt, der bei der

11 The panel size is based on the International Organization for Standardization (ISO) definition which states, “An active panel member is one who has participated in at least one survey, or has updated his/her profile data, or has registered to join the panel within the last 12 months.

12 Vergleiche hierzu auch http://gesellschaft-im-wandel.de/

CATI- und der CAPI-Erhebung vorzunehmen war – die zufällige Auswahl einer Ziel- person innerhalb des Haushalts über den Schwedenschlüssel –, nicht erfolgen.

Vergleichbar zu der telefonischen und der persönlich-mündlichen Erwerbstätigenbe- fragung wurde auch mit den ausgewählten Personen in der CAWI-Erhebung zu- nächst ein Screeninginterview geführt, in dem festgestellt wurde, ob die Person im Sinne der Untersuchung erwerbstätig ist. Falls dies der Fall war, schlossen sich di- rekt an das Screeninginterview die Fragen des Langinterviews an.

3.4 Gewichtungsverfahren und Vergleich der Gütekriterien

Wie die Stichprobenziehung war auch die Gewichtung soweit wie möglich identisch bei allen drei Erhebungsmodi angelegt. Die Tatsache, dass es sich bei der CATI- und bei der CAPI-Stichprobe jeweils um eine Haushaltsstichprobe handelte, bei der CA- WI-Stichprobe jedoch um eine Personenstichprobe, hatte auch bei der Gewichtung Unterschiede im Verfahren zur Folge. Bei den beiden Haushaltsstichproben musste in einem ersten Schritt im Rahmen einer Designgewichtung die unterschiedliche Auswahlwahrscheinlichkeit für die Auswahl der Zielperson ausgeglichen werden.

Dieser Schritt der Designgewichtung entfällt für die CAWI-Stichprobe, da die Aus- wahlwahrscheinlichkeit, Teilnehmer des Access-Panels zu werden, nicht berechnet werden kann. Deshalb erfolgte für die Gewichtung der CAWI-Stichprobe ausschließ- lich eine Ausfallgewichtung auf Personenebene. Dieser Gewichtungsschritt war bei der CATI- und CAPI-Gewichtung der zweite Schritt, der im Anschluss an die Design- gewichtung erfolgte. Ein weiterer Unterschied bestand hinsichtlich der Gewichtung nach regionalen Merkmalen. Da für die CAWI-Stichprobe lediglich die Informationen zum Bundesland vorlagen, konnte hier keine Gewichtung nach BIK-Typen sowie Re- gierungsbezirken vorgenommen werden, wie es bei CATI und CAPI der Fall war.

Im Folgenden wird das Gewichtungsverfahren beschrieben und ein Vergleich der zwei Gütekriterien Effektivität sowie Standardabweichung der Gewichtungsfaktoren vorgenommen.

3.4.1 Gewichtung aufgrund von Stichprobendesign und Ausfallgeschehen Die Auswahl der zu befragenden Zielperson erfolgt bei einer telefonischen wie bei einer persönlich-mündlichen Befragung in zwei Schritten: Im ersten Schritt wird ein Haushalt ausgewählt, im zweiten Schritt dann innerhalb des Haushalts die Zielper- son.¹³ Aufgrund dieses Vorgehens gibt es folgende Designkomponenten, die die Proportionalität der Abbildung beeinträchtigen: zunächst die von der Zahl der zur Zielgesamtheit gehörenden Personen im Haushalt abhängige Auswahlwahrschein- lichkeit für Personen. Hinzu kommt bei der telefonbasierten Erhebung die von der Zahl der für Gespräche nutzbaren Anschlüsse abhängige Auswahlwahrscheinlichkeit für Telefonhaushalte. Darüber hinaus gibt es einen zweiten Ursachenkomplex für Abbildungsprobleme, der auf alle drei Stichproben – also auch auf CAWI – zutrifft:

Einerseits ist bei Zufallsstichproben ein Zufallsfehler unvermeidlich, andererseits sind

13 Vgl. ausführlich zur Stichprobenanlage der CATI-Erhebung TNS Infratest Sozialforschung, 2012:

BIBB/BAuA-Erwerbstätigenbefragung 2011/2012 – Feldbericht – Los 1.

bei jeder auf Freiwilligkeit basierenden Befragung non-response-bedingte Selektivitä- ten zu konstatieren.

Die Ursachen für Abbildungsprobleme gilt es zu prüfen und im Rahmen des Gewich- tungs- und Hochrechnungsmodells zu korrigieren. Das geschieht nach folgenden Grundsätzen:

Designgewichtung

Die designbedingten Unterschiede in den Auswahlwahrscheinlichkeiten sind theore- tisch und praktisch leicht mittels Gewichtung zu korrigieren. Dazu bedarf es lediglich der im Interview erhobenen Zahl der Festnetzanschlüsse, über die der Haushalt er- reichbar ist (für CATI), sowie der Zahl der im Haushalt lebenden Personen der Ziel- gruppe (für CATI und CAPI).

Ausfallgewichtung

Anders ist es mit der Korrektur der Abbildungsprobleme, die durch selektive Ausfälle entstehen. Ausfallgewichtungen bei Querschnittsstichproben orientieren sich an den Strukturen der realisierten Stichprobe und deren Vergleich mit Strukturen der Grund- gesamtheit. Die Stichprobenstrukturen werden denen der Grundgesamtheit mittels Gewichtungsfaktoren angepasst. Voraussetzung ist die Verfügbarkeit von Referenz- statistiken, die (per Konvention) als Abbildung der Grundgesamtheit gelten und die interessierenden Strukturmerkmale in vergleichbarer Weise abbilden. Es empfiehlt sich, solche Strukturgewichtungen so behutsam wie möglich vorzunehmen und dabei Merkmale (und deren Kombinationen) zu verwenden, die möglichst hoch mit den Zielmerkmalen der Untersuchung korreliert sind.¹⁴

3.4.1.1 Designgewichtung Auswahlchance des Haushalts

An erster Stelle steht die Korrektur der Auswahlwahrscheinlichkeiten der Haushalte.

Diese ist bei der persönlich-mündlichen Erhebung im Rahmen des Random-Route- Verfahrens für alle zufällig ausgewählten Haushalte dieselbe. Bei der telefonischen Erhebung unterscheidet sich diese in Abhängigkeit von der Anzahl der Festnetzan- schlüsse, über die der jeweilige Haushalt für Gespräche erreichbar ist. Alle An- schlussnummern werden nach dem Gabler-Häder-Verfahren und daher mit identi- schen Wahrscheinlichkeiten ausgewählt. Die Wahrscheinlichkeit, dass ein Haushalt in die Stichprobenauswahl gelangt, ist daher direkt proportional zur Zahl der Fest- netznummern, über die er erreichbar ist. Ein Gewichtungsfaktor, der reziprok zu die- ser Zahl ist, gleicht diese Unterschiede aus. Dieser Korrekturfaktor dient als Ein- gangsfaktor für die nachfolgenden Gewichtungsschritte.

Die CATI-Stichprobe wird nach dem Prinzip der so genannten Nettosteuerung reali- siert. Dabei wird dem Sample-Management-System (SMS) die regionale Zellenver- teilung quantitativ vorgegeben, die die realisierte Stichprobe erreichen soll. Ergebnis dieser Steuerung ist eine Nettostichprobe, die nur marginal von der vorgesehenen Regionalverteilung der Privathaushalte abweicht, also praktisch keine oder nur sehr gering von 1 abweichende Gewichtungsfaktoren benötigt.

14 Vgl. Heyde, Christian von der, 1999: Techniken und Möglichkeiten der Realisierung von Random- Stichproben, Abschnitt Gewichtung. S. 54 ff. in: ADM, AG.MA (Hrsg): Stichproben-Verfahren in der Umfrageforschung. Opladen: Leske + Budrich.

Bei der CAPI-Stichprobe werden die Samplepoints sowie die Zahl der darin zu befra- genden Haushalte mit Wahrscheinlichkeiten proportional zur regionalen Verteilung der Haushalte gezogen. Da diese Auswahl a priori erfolgt und in der Feldarbeit nicht so zeitnah gemonitort und nachjustiert werden kann, wie dies bei der Steuerung der CATI-Stichprobe möglich ist, sind bei der realisierten CAPI-Stichprobe größere Ab- weichungen hinsichtlich der regionalen Sollverteilung zu erwarten als bei CATI.

Unabhängig davon, wie gering oder groß die regionalen Abweichungen in der Netto- stichprobe sind, wurden diese durch die Anpassung an zwei Ränder, die sich aus der Kombination verschiedener regionaler Merkmale ergeben, ausgeglichen (vgl.

Tab. 3.1, 1. Stufe). Dadurch wird erreicht, dass die Regionalverteilung der Haushalte vor Umwandlung in eine Personenstichprobe und vor der Ausfallgewichtung der re- gionalen Sollverteilung entspricht.

Auswahlchance der Person

Pro Haushalt wird eine Person für die Befragung zufällig ausgewählt. Die Aus- wahlchance der Person ist umgekehrt proportional zur Zahl der Zielpersonen im Haushalt – bei dieser Untersuchung Personen ab 15 Jahren. Diese Zahl wird im Ein- gangsteil des Interviews ermittelt und dient jetzt dazu, durch faktorielle Gewichtung jeder Person die gleiche Auswahlwahrscheinlichkeit zu geben (vgl. Tab. 3.1, 2. Stufe). Als Produkt aus diesem Faktor und dem Haushaltsgewicht errechnet sich ein Designgewicht, welches auch „Umwandlungsfaktor“ genannt wird, weil es die zu- nächst haushaltsproportionale Stichprobe in eine personenproportionale Stichprobe umwandelt. Dieses Gewicht bildet den Eingangsfaktor der folgenden Ausfallgewich- tung, die anschließend für alle drei Modi durchgeführt wurde (vgl. Tab. 3.1, 3. Stufe).

Auch wenn die CAWI-Stichprobe von vorneherein eine Personenstichprobe ist, wäre eine Designgewichtung zur Korrektur der unterschiedlichen Auswahlwahrscheinlich- keiten der Teilnahme an dem Online-Panel nötig. Dies ist allerdings nicht möglich, da die unterschiedlichen Auswahlwahrscheinlichkeiten nicht bekannt und damit nicht berechenbar sind.

3.4.1.2 Korrektur des Ausfallgeschehens über Strukturgewichtung

Die Berechnung der Gewichtungsfaktoren zur Korrektur des Ausfallgeschehens er- folgt bei TNS Infratest in einem iterativen Randsummenverfahren.¹⁵ In diese Optimie- rungsbemühungen fließt auch die Begrenzung der Gewichtungsfaktoren ein, die ver- hindert, dass einzelnen Fällen in der Auswertung zu großes Gewicht beigemessen wird. Nach Festlegung der Variablenkombinationen wird das Modell als Gewichtung mit mehrdimensionalen Randverteilungen realisiert, d. h., es wird ein iterativer Ge- wichtungsprozess aufgesetzt, dessen Ergebnis Gewichtungsfaktoren sind, die die realisierte Stichprobe an alle vorgegebenen Sollverteilungen mit vordefinierter Ge- nauigkeit und minimaler Varianz anpassen. Ein integriertes Verfahren ermöglicht es, durch das iterative Vorgehen aktuelle Verschiebungen der Strukturen von in einem vorangegangenen Iterationsschritt berücksichtigten Merkmalen in späteren Iterati- onsschritten, die sich auf diese Merkmale beziehen, wieder zu korrigieren. Dadurch wird die Anpassung an alle Ränder sukzessive solange verbessert, bis ein vorher definiertes Konvergenzkritierium erreicht ist.

15 Vgl. z. B. Wauschkuhn, Udo, 1982: Anpassung von Stichproben und n-dimensionalen Tabellen an Randbedingungen. GMD-Bericht Nr. 138. München: Oldenbourg Verlag.

Der ausgewählten Zielperson wurden zunächst mehrere Leitfragen gestellt, anhand derer identifiziert wurde, ob sie erwerbstätig im Sinne der Untersuchung ist. Nur dann wurde sie befragt. War sie dagegen nicht erwerbstätig, wurde die Zielperson nur mit einem kurzen Frageprogramm befragt und der Interviewer verabschiedete sich mit dem Hinweis darauf, dass sie nicht zur Zielgruppe der Studie gehört. Somit kann die Stichprobe der Bevölkerung ab 15 Jahren in zwei Teilstichproben unterteilt werden:

in eine Stichprobe von nach der Definition der Untersuchung erwerbstätigen Perso- nen und in eine Stichprobe von nicht erwerbstätigen Personen.

Ausgangspunkt für die im Folgenden beschriebene Ausfallgewichtung ist die Ge- samtstichprobe der Bevölkerung ab 15 Jahren. Ziel war es, im Rahmen der Ausfall- gewichtung die Strukturen dieser Stichprobe in Bezug auf bestimmte Merkmale an die Strukturen in der Grundgesamtheit anzupassen und so eine bevölkerungsreprä- sentative Gesamtstichprobe zu erhalten. Zur „Feinjustierung“ wurden schließlich be- stimmte Randverteilungen zusätzlich für die Gruppe der Erwerbstätigen kontrolliert und angepasst. Die Gewichtung erfolgte dabei grundsätzlich vergleichbar zu der der Erwerbstätigenbefragung 2005/2006. Zur Ermittlung des endgültigen Gewichtungs- modells wurden zwei Varianten gerechnet, wobei zunächst das Merkmal „Stellung im Beruf“ nicht berücksichtigt wurde. Da jedoch nach der Gewichtung mit Variante 1, die die Stellung im Beruf nicht berücksichtigte, Abweichungen in dieser Verteilung vorla- gen, wurde die Gewichtung nochmals modifiziert. In Variante 2 wurde das Merkmal

„Stellung im Beruf“ als weiterer Rand in die Gewichtung aufgenommen. Die Refe- renzstrukturen bei der Gewichtung lieferte der Mikrozensus 2011.

Die folgende Tabelle gibt einen Überblick über die Gewichtungsschritte sowie die Randverteilungen, nach denen die Gewichtung erfolgte.

Tab. 3.1 Ränderkombinationen der Gewichtungsmodelle (Referenzstruktur: Mikrozensus 2011)

Erhebungsmode CATI CAPI CAWI

1. Stufe: Designgewichtung 1 (Haushalte mit Personen ab 15 Jahren)

Auswahlwahrscheinlichkeit des Haushalts: Zahl der Festnetzanschlüsse

X

Regierungsbezirk x BIK X X

Bundesland x BIK X X

2. Stufe: Designgewichtung 2 (Personen ab 15 Jahren) Auswahlwahrscheinlichkeit der Person: Zahl der Ziel-

personen X X

3. Stufe: Ausfallgewichtung 1 (Erwerbstätige bzw.

Personen ab 15 Jahren)

Stellung im Beruf (Erwerbstätige) X X X

West/Ost x Bildung x Alter ^a) (Erwerbstätige) X X X Geschlecht x Alter (6 Gruppen, Erwerbstätige) X X X Geschlecht x erwerbstätig/nicht erwerbstätig X X X West/Ost x deutsch/nicht deutsch x Geschlecht

(Erwerbstätige)

X deutsch/nicht deutsch x Geschlecht (Erwerbstätige) X X Familienstand x Geschlecht x Alter (6 Gruppen) X X X

West/Ost x Bildung x Alter X X X

Bundesland x Geschlecht x Alter X X X

Geschlecht x Alter X X

Bundesland x Geschlecht X

Bundesland X X

Stichprobenumfang

Fallzahl insgesamt 54.128 4.084 4.773

Fallzahl Erwerbstätige 20.036 2.109 2.404

a) Die Merkmalsausprägungen der Variablen sind Tab. 3.2 zu entnehmen. Davon weicht nur die Gruppierung der Altersvariable in Kombination mit der Bildungsvariable ab: Hier wurde eine Dichoto- misierung in „bis 50 Jahre“ und „ab 51 Jahren“ verwendet, da die Bildungsstruktur in den beiden Al- tersgruppen sehr unterschiedlich verteilt ist.

3.4.2 Vergleich der Gütekriterien

Zwei Indikatoren zur Qualität der Gewichtungsmodelle sind in der untenstehenden Tabelle dargestellt. Ihre Bedeutung wird im Folgenden kurz vorgestellt.

 Die Effektivität wird berechnet als das Verhältnis von effektiver Stichprobe n‘

zur realisierten Stichprobe n. Sie nimmt im optimalen Fall den Wert 100 an. Je

niedriger ihr Wert ist, umso kleiner ist die effektive Stichprobengröße n‘. Dem- entsprechend größer sind die Konfidenzintervalle anzusetzen.¹⁶

 Die Standardabweichung der Gewichtungsfaktoren ist ein Maß für ihre Varia- tion. Sie sollte möglichst klein sein.

Tab. 3.2 Qualitätsindikatoren der Gewichtungsmodelle für die Erwerbstätigen stichprobe (Referenzstruktur: Mikrozensus 2011)

Erhebungsmode CATI CAPI CAWI

Erwerbstätigenstichprobe

Fallzahl ungewichtet 20.036 2.109 2.404

Fallzahl gewichtet nach Anpassung 20.036 2.109 2.404

Effektivität der Designgewichtung in % 75 74 nicht bere- chenbar Effektivität der Gewichtung insgesamt in %

Standardabweichung der Gewichtungs- faktoren

59 0,830

69 0,668

51 0,979

Tab. 3.2 zeigt sowohl die Effektivität der Designgewichtung als auch die Effektivität der gesamten Gewichtung. Wie oben erläutert ist eine Designgewichtung für die CAWI-Stichprobe nicht möglich. Die Effektivität nach der Umwandlung von der Haushalts- in eine Personenstichprobe (in CATI unter Berücksichtigung der Anzahl der Telefonnummern) liegt in beiden Erhebungen bei etwa 75 % und ist damit gleich gut. Nach der Designgewichtung ist in CATI die endgültige Effektivität um rund 16 % niedriger bei 59 %, in CAPI reduziert sich die Effektivität nur um ca. 5 Prozentpunkte auf 69 %. Dies bedeutet, dass im Rahmen der Strukturgewichtung in CAPI kaum noch Effektivitätsverlust zu verzeichnen ist – der Anpassungsbedarf an die Sollstruk- turen nach Designgewichtung ist in dieser Stichprobe demnach gering. Dagegen ist in der CATI-Stichprobe der Anpassungsbedarf trotz Steuerung gegen den Bildungs- bias etwas höher als in der CAPI-Stichprobe.

Die Effektivität der CAWI-Stichprobe liegt mit 51 % mit Abstand am niedrigsten – al- lein durch die Strukturanpassung verringert sich die Effektivität um 49 %. Das bedeu- tet, dass der Anpassungsbedarf in der CAWI-Stichprobe am höchsten war, und das, obwohl hier bereits eine Personenstichprobe vorlag und nach einigen Merkmalen eine Nettoaussteuerung vorgenommen wurde (Region, Alter, Geschlecht und Bil- dung). Da es sich bei der CAWI-Stichprobe nicht um eine Zufallsstichprobe handelt (Stichwort: unterschiedliche Teilnahmewahrscheinlichkeiten in einem Online-Panel), wäre zudem eigentlich auch hier eine Designgewichtung nötig – was die Effektivität voraussichtlich weiter verkleinern würde. Wäre man darüber hinaus in der Lage, die Auswahlwahrscheinlichkeiten für den Zugang in das Access-Panel zu bestimmen,

16 Genauere Erläuterungen zu Designeffekten und zur effektiven Stichprobengröße finden sich im Anhang.