Maßnahmen zur Senkung der Non-Responsequote

Je geringer die Probleme mit der Online-Abdeckung sind, desto intensiver rückt die Quote derer, die nicht an der Befragung teilnehmen oder sie abbrechen, in den Mittel-punkt des Interesses. Denn je höher diese Quote ausfällt, desto mehr wächst die Gefahr, dass die Daten einer systematischen Verzerrung unterliegen (Porter, 2004). An sich gelten diese Bedenken grundsätzlich für alle sozialwissenschaftlichen Erhebungen.

In den Pioniertagen der Forschung zum Einsatz von Online-Befragungen wurde sogar vermutet, dass sie auf die neue Form der Datenerhebung in besonderem Maße zutreffen (Couper, 2000b). Dies hat sich nicht bestätigt. Jedoch berichten zahlreiche Studien, die Online-Befragungen mit klassischen Papierfragebögen vergleichen, mit Blick auf den Rücklauf widersprüchliche Ergebnisse, weshalb eine abschließende Beurteilung nicht möglich ist.

Eindeutig besser gestaltet sich dagegen die Analyse des Non-Response-Verhaltens, da im Verlauf einer Befragung sog. Meta- oder Para-Daten aufgezeichnet werden können, die einen Einblick in das Bearbeitungsverhalten der Probanden auch dann erlauben, wenn der Fragebogen nicht abgeschlossen wird. Bandilla & Bosnjak (2000) haben die unterschiedlichen Formen des Verhaltens, wie in Abbildung 14 zu sehen ist, charakte-risiert.

Der erste Kontakt kommt bei einer Online-Befragung, die sich einer festgelegten Stich-probe bedient, in der Regel über eine Email zustande. Viele Autoren erwähnen die Gefahr, dass die Einladungsmail von vornherein als SPAM eingestuft wird (z.B. Evans

& Mathur, 2005; Sheehan & McMillan, 1999; Sills & Song, 2002). Die persönliche Ansprache kann möglicherweise in einigen Fällen die irrtümliche Einordnung als SPAM verhindern (Joinson, Woodley & Reips, 2007). Leider gibt es bislang kaum Erkenntnisse dazu, wie sich dieses Problem auf die Rücklaufquote auswirkt.

Ein weiteres Gestaltungsmerkmal, das Beachtung verdient, ist die richtige Wahl der Betreffzeile. Sie kann die Funktion übernehmen, Aufmerksamkeit für die Umfrage zu erzeugen und Interesse an dem Inhalt der Email zu wecken. Umgekehrt besteht die Abbildung 14: Formen der Non-Response bei Online-Befragungen (Quelle: Bandilla

& Bosnjak, 2000, S. 21)

Gefahr, dass ein falscher Betreff zur Einstufung als SPAM führt. Porter & Whitcomb (2005) haben die Wirkung der Betreffzeile untersucht und festgestellt, dass der Umfragen-Sponsor in der Betreffzeile negative Auswirkungen auf den Rücklauf hat.

Weit mehr Aufmerksamkeit hat das Thema Sicherheit und Anonymität auf sich gezogen. Evans & Mathur (2005) haben drei mögliche Bedenken von potentiellen Teilnehmern identifiziert. Erstens ist kaum erforscht, inwieweit per Email angeschrie-bene Probanden auf Grund von Sicherheitsbedenken zögern, einen Link auf den Frage-bogen anzuklicken. Zweitens stehen heute für die Sicherung der Datenübertragung zwischen Client und Server wirkungsvolle Techniken bereit (z.B. das Secure-Socket-Layer-Protokoll). Ob ihr Einsatz sich allerdings auf die Rücklaufquote auswirkt, ist wissenschaftlich bislang nicht untersucht worden. Drittens gibt es Bedenken, ob in einem Internet-Fragebogen gemachte Angaben tatsächlich anonym sind. Auf Grund der weit verbreiteten und teilweise begründeten Skepsis im Hinblick auf die Erhebung und Verwendung persönlicher Daten im Internet kommt der überzeugenden Versicherung, die Daten anonym zu erheben und zu verarbeiten, bei Online-Befragungen noch größere Bedeutung zu als bei klassischen gedruckten Fragebögen (Cho & LaRose, 1999; Porter, 2004; Sassenberg & Kreutz, 1999). Wie aus der Forschung zu klassi-schen Befragungen bekannt, hat die Versicherung vor allem dann positive Effekte auf den Rücklauf, wenn sensible Daten erhoben werden sollen (Singer, von Thurn &

Miller, 1995). Eine sprachlich überzeugende Anonymitätserklärung ist demnach besonders wichtig, wenn sie die forschende Institution oder das Gesetz nicht sowieso vorschreiben. Ihre Formulierung im Einzelnen scheint auf die Rücklaufquote kaum Einfluss zu haben (Dillman, Singer, Clark & Treat, 1996).

Um das Vertrauen in die Anonymität der Daten zu erhöhen, sollten die Seitenelemente möglichst offiziell aussehen (Jacob & Zerback, 2006). Hinsichtlich einer persönlichen Ansprache der Probanden ist ein Kompromiss ratsam. Eine Personalisierung des Email-Anschreibens scheint sinnvoll. Im Fragebogen selbst sollte aber eine nament-liche Ansprache unterbleiben (Heerwegh & Loosveldt, 2003; Joinson, Woodley &

Reips, 2007).

Ein in Zweifel gezogenes Anonymitätsversprechen führt häufig dazu, dass Probanden sozial erwünscht antworten. Gerade für Online-Befragungen liegt hierin ein nicht zu unterschätzenden Problem (Sassenberg & Kreutz, 1999).

Die Ausführungen zu Problemen beim Erstkontakt über die Email wie auch die Erkenntnisse zur Sicherheit und zur Anonymität dienen vornehmlich dazu, die Unit-Non-Response, also die Zahl derer, die nicht mit dem inhaltlichen Fragebogen in Kontakt kommen, zu senken. Ebenso große Probleme bereiten aber die Item-Non-Responders und das Answering Drop-Out. Um diese Gruppen möglichst klein zu halten, hat die Forschung einige Designleitlinien entwickelt, die für Online-Fragebögen spezifisch sind.

Anders als gedruckte Fragebögen, die auf ein gängiges Papierformat beschränkt sind, können online beliebig viele Fragen auf einer einzigen Seite gezeigt werden. Für die Präsentation auf einer Seite spricht, dass sie weniger Zeitaufwand erfordert, weil keine

Seite vom Server nachgeladen werden muss (Manfreda, Batagelj & Vehovar, 2002), was dank zunehmender Versorgung mit Breitbandinternet und leistungsfähigen Servern kein Problem mehr darstellt (Peytchev, Couper, McCabe & Crawford, 2006). Zudem können sich Probanden inhaltlich besser orientieren und verlieren nicht den Überblick über den Fragebogen, da sie thematisch ähnliche Fragen in der „Nachbarschaft“ finden und bei Bedarf hoch und runter scrollen können (Jacob & Zerback, 2006). Demgegen-über hat ein Design mit mehreren Seiten Vorteile, weil es erlaubt, ausgefeilte Bedin-gungen zu setzen und nur die Fragen zu zeigen, die relevant sind. Einseitige Fragebögen haben insofern Nachteile, als die Item-Non-Response ausgeprägter zu sein scheint (Manfreda, Batagelj & Vehovar, 2002). Daher schlagen die meisten Autoren ein mehrseitiges Design vor, bei dem allerdings thematische Gruppen gebildet werden (Couper, Traugott & Lamias, 2001; Jacob & Zerback, 2006).

Sich bei einem Papier-Fragebogen Gewissheit über die Zahl der Fragen zu verschaffen und einzuschätzen, wie lange die Bearbeitung dauern wird, fällt leicht. Bei mehrsei-tigen Fragebögen im Internet ist das ohne Hilfestellung nicht möglich. Fortschrittsan-zeigen sollen deshalb verhindern, dass Probanden Fragebogen noch kurz vor Ende wegen mangelnder Informationen über die weitere Dauer abbrechen (Couper, Traugott

& Lamias, 2001; Heerwegh & Loosveldt, 2006; Jacob & Zerback, 2006).

Die bis hierher diskutierten Designelemente sind zwar spezifisch für Online-Befra-gungen, repräsentieren aber nur einen sehr kleinen Teil des Online-Fragebogen-Designs. Die Möglichkeiten des Internets gehen weit darüber hinaus. Damit werden neue Vorschläge für die Benutzbarkeit benötigt (Couper, 2000a). Die Forschung dazu steckt noch in den Kinderschuhen.

Der Einsatz von visuellen Effekten, wie Bildern, graphischen Skalen und anderen Illus-trationen, ist nachgerade ein Markenzeichen des Internets. Um die Abbruchquoten zu senken, sollen Bilder dazu beitragen, dass der Proband beim Ausfüllen des Fragebo-gens Spaß hat oder sein Interesse an der Thematik steigt (Ganassali, 2008). Forscher, die sich mit dieser These empirisch beschäftigt haben, warnen dagegen vor dem Einsatz von Bildern. Ihren Erkenntnissen zu Folge steigt die Motivation nicht wie erwartet an, die Bilder üben aber einen starken, unberechenbaren Einfluss auf die Beantwortung der Fragen aus (Couper, Tourangeau & Kenyon, 2004). Ähnlich ist das bei Skalen, die über Slider⁴⁵ realisiert werden. Gegenüber feststehenden herkömmli-chen Skalen mit Radiobuttons kommt es bei Slidern zu höherer Item-Non-Response, ohne dass bessere Ergebnisse entstehen (Couper et al., 2006). Drop-Boxen, bei denen gescrolled werden muss, um alle Antwortalternativen zu sehen, sollten vermieden werden, sofern es sich bei den Alternativen nicht um feststehende Antworten, wie Geburtsjahr oder Bundesland, handelt. Ansonsten ist zu befürchten, dass nur die ersten, sichtbaren Alternativen wirklich in Erwägung gezogen werden und es zu Verzerrungen durch Reihenfolge- und Skaleneffekte kommt (Couper, Tourangeau, Conrad & Craw-ford, 2004; Vogt, 1999).

45 Slider sind Schieberegler, bei denen keine Stufung vorgegeben wird und die vom Befra-gungsteilnehmer mit der Maus in eine ihm adäquat erscheinende Stellung geschoben werden.

Die meisten Autoren empfehlen daher mit Blick auf die visuelle Gestaltung und den Einsatz interaktiver Techniken dem Motto zu folgen: Weniger ist mehr. Ein konserva-tives Layout, das sich an den bereits ausführlich erforschten Leitlinien der klassischen Fragebogenforschung orientiert (z.B. Christian & Dillman, 2004; Dillman, 2007), erscheint den meisten Autoren ratsamer als der Einsatz aller neuen Möglichkeiten (Couper, Tourangeau & Kenyon, 2004; Jacob & Zerback, 2006). Dafür spricht, dass die technische Basis bei den Teilnehmern sehr unterschiedlich sein kann. Abbrüche oder Verzerrungen, die auf dem Einsatz eines inkompatiblen Browsers beruhen, lassen sich so weitgehend reduzieren.

Wie bereits beschrieben, unterscheidet sich das Ausfüllens eines mehrseitig angelegten Online-Fragebogens von einem klassischen Fragebogen erheblich, weil sich der Zeit-aufwand nicht abschätzen lässt. Eine Information schon im Vorfeld über die wahr-scheinliche Dauer des Ausfüllens ist daher sinnvoll (Heerwegh & Loosveldt, 2006). In diesem Zusammenhang stellt sich die Frage, wie viel Zeit Teilnehmer überhaupt bereit sind, in das Ausfüllen eines Online-Fragebogens zu investieren. Gerade bei wissen-schaftlichen Erhebungen sind umfangreichere Fragebögen häufig kaum zu vermeiden.

In einer Studie von Bosnjak & Batinic (1999) war die überwiegende Mehrheit der Befragten bereit, mindestens zehn Minuten für einen Fragebogen zu verwenden, die Hälfte sogar mindestens 16 bis 20 Minuten. Daraus schließen die Autoren, dass die Dauer der Befragung auch als Anhaltspunkt für die Bedeutung des untersuchten Themas gesehen wird.

Der Umfang der Forschung zur Dauer des Ausfüllvorgangs von Online-Fragebögen ist bislang unbefriedigend. Die vorliegenden Erkenntnisse lassen lediglich den Schluss zu, dass ein Fragebogen nicht zu kurz, aber auch nicht zu lang sein darf. Konkrete Hand-lungsempfehlungen liegen kaum vor. Übereinstimmend betonen alle Autoren, wie wichtig es ist, dem Probanden vorab realistische Information über die Dauer des Frage-bogens zu vermitteln (Crawford, Couper & Lamias, 2001; Heerwegh & Loosveldt, 2006).