Interviewenden-Effekte bei den Antworthäufigkeiten in den Fragebögen

Um einen potenziellen Einfluss der Interviewenden auf das Antwortverhalten der Teilnehmen-den oder systematische Unterschiede bei Teilnehmen-den von Teilnehmen-den InterviewenTeilnehmen-den zu erhebenTeilnehmen-den

Informationen aufzudecken und anschließend minimieren zu können, fanden für drei Zeiträume dahingehende Überprüfungen statt. Anhand der Daten, die im Zeitraum Januar 2015 bis

Dezember 2015 erhoben wurden erfolgte die erste Testung. Für die zweite Testung wurden zum einen die Daten, die von Januar 2016 bis Juni 2016 erhoben wurden, und zum anderen die Daten des gesamten Zeitraums Januar2015 bis Juni2016 zugrunde gelegt. Die Testung über den

gesamten Datensatz erfolgte nach Ende der Feldarbeit.

Hierfür wurden die Häufigkeiten der Antworten auf statistisch signifikante Unterschiede zwischen den Interviewenden getestet, für die aufgrund von Beobachtungen im Feld Interviewenden-Effekte vermutet wurden. Die ersten beiden Testungen hat das UBA

durchgeführt. Dazu hat das UBA die Unterschiede zwischen den Interviewenden bei kategorialen Variablen anhand von Chi²-Tests geprüft und bei metrischen Variablen eine Varianzanalyse (ANOVA) durchgeführt. In den Analysen wurde ein p-Wert < 0,05 als statistisch signifikanter Unterschied angesehen.

In den beiden Auffrischungsschulungen wurden die identifizierten Interviewenden-Effekte bei den Antworthäufigkeiten in den Fragebögenintensiv mit den Interviewenden diskutiert. Dem unterschiedlichen Vorgehen der Interviewenden wurde mit Präzisierung der standardisierten Gesprächsführung, verbindlichen Definitionen und Formulierungen, die in dem Dokument

„Ergänzenden Hinweise zu den Fragen“ festgehalten wurde, und mit praxisbezogenen Übungen entgegengewirkt.

Die Analyse über den gesamten Datensatz hat KH durchgeführt und dabei zum einen bivariate Methoden (Chi²-Test und Varianzanalyse) und auch ein multivariates Verfahren angewandt. Für kategoriale Variablen wurde dabei jeweils ein logistisches Regressionsmodell und für metrische Variablen ein lineares Regressionsmodell erstellt. In diese Regressionsmodelle wurden

diejenigen Variablen aufgenommen, die anhand der Erfahrungen und unter Berücksichtigung der vorangegangenen Auswertungen einen Hinweis auf Interviewenden-Effekte gaben. Die Modelle wurden für Altersgruppe, Geschlecht und Wohnortgröße (Gemeindegröße) der Zielperson adjustiert. Damit wurde der Einfluss dieser strukturellen Faktoren kontrolliert.

Modelliert wurde jeweils die Antwort der untersuchten Fragenstellung als abhängige Variable unter dem Einfluss von Interviewenden, Altersgruppe, Geschlecht und Wohnortgröße

(Gemeindegröße) der Zielperson. Bei der Bewertung der Ergebnisse wurde auch hier ein p-Wert

< 0,05 als statistisch signifikant angesehen. Die Stärke des jeweiligen Einflusses der einzelnen Variablen (z. B. des Interviewenden) auf das Antwortverhalten wurde nicht weiter untersucht.

Dies ist für die Interpretation zu berücksichtigen. Mögliche Interaktionen der Einflussgrößen untereinander wurden ebenfalls nicht geprüft.

89 Diese letzte Prüfung auf Unterschiede der erhobenen Informationen zwischen den

Interviewenden erfolgte zum Ende der Feldphase. Von 24 abschließend getesteten Fragen, die aufgrund von Experteneinschätzungen festgelegt wurden, waren unter Berücksichtigung des gesamten Erhebungszeitraums von Januar 2015 bis Juni 2017 die Antworthäufigkeiten folgender Fragen auf bivariater Ebene signifikant (p-Wert < 0,05) unterschiedlich:

► Bebauungsart (Einschätzung des Interviewenden)

► Gebietstyp/ Stadt-Land-Verteilung (Einschätzung des Interviewenden)

► Gemeindegröße

► Art der Warmwasserbereitung

► Verzehr von geräucherten Speisen vor der Morgenurinprobenahme

► Häufigkeit des Verzehrs von Innereien

► Häufigkeit des Verzehrs von Fisch

► Häufigkeit des Verzehrs von Speisen aus der Gemeinschaftsverpflegung

► Häufigkeit der Verwendung von Shampoo (Elternfragebogen)

► Häufigkeit der Verwendung von Shampoo (Kinder- und Jugendlichenfragebogen)

► Nutzung von Toilettensteinen/WC-Gel

► Häufigkeit der Verwendung von Toilettensteinen/WC-Gel

► Bodenbelag Kunstfaser (Haus/Wohnung)

► Hauptschallquelle

► Straße vor dem Messfenster

► Hinweg Schule/Kita zu Fuß (Elternfragebogen)

► Hinweg Schule/Ausbildungsstelle zu Fuß (Kinder- und Jugendlichenfragebogen)

► Haltung von Haustieren in der Wohnung

Zur Absicherung der bivariat ermittelten Unterschiede wurden weitergehende multivariate Auswertungen unter Berücksichtigung von Altersgruppe, Geschlecht und Gemeindegröße als kontrollierende Variable durchgeführt. Die Antwortverteilungen aller Fragen aus der bivariaten Analyse auf einen Einfluss des Interviewenden wurden geprüft. Bei folgenden Fragen besteht ein signifikanter Einfluss (p-Wert < 0,05) der Variable „Interviewenden-Team“ auf die von der Zielperson gegebene Antwort:

► Gemeindetyp (Einschätzung der/des Interviewenden)

► Bebauungsart (Einschätzung der/des Interviewenden)

► Geräucherte Speisen vor Morgenurinprobenahme

► Häufigkeit des Verzehrs von Speisen aus der Gemeinschaftsverpflegung

► Häufigkeit der Verwendung von Shampoo (Elternfragebogen)

► Häufigkeit der Verwendung von Shampoo (Kinder- und Jugendlichenfragebogen)

► Nutzung von Toilettensteinen/WC-Gel

► Häufigkeit der Nutzung von Toilettensteinen/WC-Gel

► Bodenbelag Kunstfaser (Haus/Wohnung)

► Bodenbelag Kunstfaser (Raum)

► Straße vor dem Messfenster

► Verkehrsmittel Schule/Kita zu Fuß (Elternfragebogen)

► Verkehrsmittel Schule/Ausbildungsstätte (Kinder- und Jugendlichenfragebogen)

► Anzahl Zähne mit Fissuren-Versiegelung

► Aufenthalt werktags im Freien im Straßenverkehr

90 Bei folgenden Fragen konnte über den gesamten Datensatz kein signifikanter Einfluss der

Variable „Interviewer“ auf die Antworthäufigkeiten mehr festgestellt werden:

► Häufigkeit des Verzehrs von geräucherten Speisen

► Häufigkeit des Verzehrs von über offenem Feuer gegrillten Speisen

► Häufigkeit des Verzehrs von Fisch

► Verzehr von Fisch vor der Morgenurinprobenahme

► Haltung von Haustieren in der Wohnung

► Wohnfläche [m²]

Zusammenfassend bleibt fest zu halten, dass trotz der intensiven Auffrischungsschulungen bei einigen Fragen ein Unterschied zwischen den Interviewenden im Antwortverhalten der Zielperson über den gesamten Zeitraum der Feldarbeit (Januar 2015 bis Juni 2017) erhalten blieb. Demgegenüber konnte aber auch bei einigen Fragen eine Reduzierung der

Interviewenden-Effekte erreicht werden.

Für zukünftige Projekte empfiehlt es sich, kontinuierlich während der Feldarbeit (sobald eine ausreichende Fallzahl erreicht wurde) mit Hilfe bivariater statistischer Methoden und von multivariaten Regressionsmodellen zu prüfen, inwieweit ein Interviewenden-Einfluss auf die erhobenen Daten vorliegt. Hinsichtlich potenzieller Confounder könnten in den multivariaten Analysen mehrere Variablen eingeschlossen werden und auch Interaktionen getestet werden.

Dies würde weitere Informationen darüber liefern, inwieweit ein Einfluss der Interviewenden wahrscheinlich ist. In Kombination mit fachlicher Expertise und Erfahrungswerten können solche Einflüsse frühzeitig identifiziert und unterbunden werden. Rückfragen der Zielpersonen an die Interviewenden können schon bei der Fragebogengestaltung durch präzise

Formulierungen der Fragen oder der Hinweise für die Interviewenden verringert werden.

Eine abschließende multivariate Analyse auf Interviewenden-Effekte ist darüber hinaus hilfreich, um Hinweise auf mögliche Verzerrungen bei bestimmten Fragen zu erhalten, die im Rahmen der Datenanalyse und –interpretation zu berücksichtigen sind.

91