Während in der Marktforschung reine Online-Interviews, sogenannte Computer-Assisted Web Interviews (CAWI), längst Standard sind, hat sich der Anteil an Online-Interviews in der Sozialforschung in den letzten Jahren vergleichsweise langsam erhöht. Oftmals dominieren hier noch Computer-Assisted Telephone Interviews (CATI), Computer-Assisted Personal Interviews (CAPI), Paper and Pencil Interviews (PAPI) oder verschiedene Mixed-Mode-Ansätze. Dennoch haben gerade in der Schweiz auch einige wichtige Erhebungen in der Sozialforschung wie die Schweizerische Arbeitskräfteerhebung die primäre Erhebungsmethode zu Online-Interviews geändert. Obwohl Online-Interviews gegenüber allen anderen Erhebungsmethoden einen deutlichen Kostenvorteil bieten, setzen viele Behörden noch auf andere Erhebungsmethoden. Dieser Artikel soll aufzeigen, woran dies liegt und wie die mit einem Wechsel verbundenen Herausforderungen adressiert werden können.
Selektionseffekte
Alle genannten Erhebungsmethoden bringen Vor- und Nachteile mit sich. Online-Interviews sind meist die günstigste Erhebungsmethode, während CAPI im Normalfall die kostspieligste Erhebungsmethode darstellt. Die beiden anderen Methoden sind dazwischen anzusiedeln. Während Online-Interviews natürlicherweise nur die Onlinebevölkerung erreichen, erreicht CATI nur Menschen mit Telefon. Mit PAPI und CAPI kann fast die ganze Bevölkerung erreicht werden.
Obwohl grundsätzlich die meisten Erhebungen den Anspruch haben, eine Stichprobe zu generieren, die repräsentativ für eine gewisse Population ist, kann keine der Erhebungsmethoden dies garantieren, solange die Teilnahme an der Erhebung freiwillig ist. Da eine Teilnahmeverweigerung durch die Eingeladenen erfolgt, ist diese nicht zufällig; die Selbstselektion der Teilnehmenden führt damit zu Verzerrungen der Nettostichprobe. Man versucht solche Verzerrungen auszugleichen, indem man gewisse Bevölkerungsteile überproportional einlädt, die Stichproben gewichtet oder einen Mix der Methoden anwendet.
Erhebungsmethodeneffekte
Zusätzlich verzerren die verschiedenen Methoden die Antworten der Teilnehmenden unterschiedlich. Sowohl CATI als auch CAPI sind Methoden, bei denen eine interviewende Person in die Erhebung involviert ist. Studien haben gezeigt, dass dies zu sogenannten Interviewer-Effekten führt, d.h. Teilnehmende antworten eher zurückhaltender und eher im Sinne eines gesellschaftlich gewünschten Ideals. In beiden Methoden tendieren Teilnehmende zudem dazu, zuletzt genannte Antworten überproportional häufig zu wählen. Bei selbstadministrierten Erhebungen wie Online-Interviews und PAPI ist dies genau umgekehrt. Zudem gibt es bei diesen Methoden keine Interviewer-Effekte.
Quelle: Eigene Darstellung nach Voorpostel et al. (2020).
Bedeutung der Verzerrungen
Für die richtige Methodenwahl ist es entscheidend, die Grössenordnungen der Verzerrungen zu kennen. Einige Studien nutzen Mixed-Mode-Erhebungen, bei denen sich die Datensätze der unterschiedlichen Teil-Erhebungen vergleichen lassen. Allerdings lassen sich daraus in den meisten Fällen keine sinnvollen Schlüsse ziehen, da die Selektion der Befragungsmethode den Teilnehmenden überlassen wird. So überlagern sich Effekte von Erhebungsmethode und Selektion, die ex-post nicht mehr unterschieden werden können. Zur Unterscheidung dieser beiden Effekte bei einem Erhebungsmethodenwechsel gibt es trotz der hohen Relevanz in der Schweiz kaum Forschung. Eine der wenigen Ausnahmen bildet die Studie von Voorpostel et al. (2020), die in einem experimentellen Design die Umstellung des Schweizer Haushalt-Panel (SHP) von CATI auf Online-Interviews als primäre Erhebungsmethode untersuchten. Für das Experiment wurden drei unterschiedlich grosse zufällige Bruttostichproben gezogen, eine für CATI, eine für einen Mixed-Mode und eine für eine Onlinebefragung. Zur leichteren Lesbarkeit wird hier nicht weiter auf den Mixed-Mode eingegangen. Voorpostel et al. (2020) finden zwar für Online-Interviews mit 38.5% eine initial geringere Teilnahmebereitschaft bei der Rekrutierung als bei CATI mit 48.7%, aber für beide Methoden eine ähnliche Panelsterblichkeit (vgl. Tabelle 1).
Wenig überraschend sind beide Nettostichproben nicht komplett repräsentativ für die Bevölkerung. Tabelle 2 zeigt das Ergebnis zweiseitiger z-Tests, ob die jeweiligen Anteile der Nettostichproben denjenigen der Bruttostichproben entsprechen. In beiden Nettostichproben ist die jüngste Altersgruppe untervertreten. Individuen über 58 Jahre sind in der CATI-Stichprobe übervertreten, während in der Online-Stichprobe diese Altersgruppe keinen signifikanten Unterschied zum Bruttosample aufweist. Bei der Nationalität sind beide Nettostichproben sehr ähnlich verzerrt.
*p<0.10, **p<0.05, ***p<0.01. Quelle: Eigene Darstellung nach Voorpostel et al. (2020).
Die Online-Interview-Teilnehmenden weisen zwar in allen Wellen und Interviewteilen eine höhere Rate an nicht beantworteten Items auf, aber bei den meisten Variablen resultiert kein Unterschied zwischen den beiden Stichproben. Dies könnte unter anderem auf eine zufällige Antwortwahl der zusätzlich Antwortenden in der CATI-Stichprobe hindeuten.
Der Interviewer-Effekt bei CATI tritt hingegen zum Beispiel bei Gesundheitsfragen in Welle 1 deutlich zu Tage, wie Abbildung 3 zeigt. Interessanterweise verschwindet er aber in Welle 2, d.h. wenn die Teilnehmenden ein zweites Mal befragt werden. Da die Analysemethode versucht, den Selektionseffekt zu kontrollieren, ist es unwahrscheinlich, dass das Verschwinden des Interviewer-Effekts rein aufgrund einer Selektion in der zweiten Welle geschieht. Vielmehr könnte ein Gewöhnungseffekt dieses Phänomen erklären. Also beeinflussen solche Gewöhnungseffekte die intertemporale Vergleichbarkeit von Studien, bei denen Individuen in mehreren Wellen befragt werden, selbst wenn die Methode konstant bleibt.
Quelle: Eigene Darstellung nach Voorpostel et al. (2020)
Entwicklung Verzerrungen
Während die Effekte auf die Antworten der Teilnehmenden konstant sind, verändern sich die Selektionseffekte mit der Zeit. Die Erreichbarkeit per Festnetztelefon ist in den letzten Jahrzehnten stark gesunken. Es wird versucht, diese sinkende Erreichbarkeit durch Anrufe an zufällig generierte Mobiltelefonnummern auszugleichen. Diese Methode weist allerdings einen sehr hohen Anteil an Teilnahmeverweigerungen auf. Zudem ist es meist nicht möglich, kosteneffizient spezifische Zielgruppen anzusteuern, da auch keine geographische Eingrenzung möglich ist.
Die Online-Erreichbarkeit hingegen hat in den letzten Jahren insbesondere bei älteren Menschen deutlich zugenommen (vgl. Abbildung 4). Es bleibt aber auch hier ein vergleichsweise hoher Anteil an Teilnahmeverweigerungen.
Anmerkung: Aus methodischen Gründen können die Ergebnisse ab Herbst 2012 nicht mit älteren Studien verglichen werden. Ein Vergleich mit den kommenden Jahren ist dagegen möglich. Quelle: Eigene Darstellung nach Bundesamt für Statistik
Herausforderungen der Umstellung auf Online-Interviews
Die Onlineerreichbarkeit hat auch bei vielen Behörden dazu geführt, die Umstellung von Erhebungen auf Online-Interviews oder Mixed-Modes zumindest zu prüfen. Dies ist jedoch längst nicht bei allen der Fall. Für das Beibehalten alter Erhebungsmethoden werden hauptsächlich zwei Gründe aufgeführt: Erstens sei die Erreichbarkeit mittels Online-Interviews in spezifischen Bevölkerungsgruppen noch nicht ausreichend gut. Diese Nichterreichbarkeit sinkt beispielsweise bei älteren Personengruppen seit einigen Jahren deutlich. Bei anderen Methoden wie CATI steigt zugleich die Nichterreichbarkeit gewisser Bevölkerungsgruppen. Das Argument der schwereren Erreichbarkeit mancher Bevölkerungsgruppen durch Online-Interviews schwächt sich folglich immer weiter ab und wird sich vermutlich eher ins Gegenteil kehren. Zweitens sind viele Erhebungen in der Sozialforschung Wellenerhebungen über lange Zeiträume. Bei diesen steht die Entwicklung gewisser Themen im Fokus. Wenn man nun die Erhebungsmethode ändert, ist es aufgrund der genannten Selektions- und Methodeneffekte wahrscheinlich, dass sich die Ergebnisse ändern, da alle Methoden gewisse Verzerrungen mit sich bringen. Die Erhaltung der intertemporalen Vergleichbarkeit dient daher oftmals als Grund für das Beibehalten der ursprünglichen Erhebungsmethode. Dieses Argument greift allerdings zu kurz, da sich Selektionseffekte wie oben beschrieben über die Zeit verändern. Folglich ist die intertemporale Vergleichbarkeit auch bei konstanter Erhebungsmethode nur eine scheinbare.
Die Zukunft
Langfristig werden sich Online-Interviews in der Sozialforschung weiter etablieren. Die Selektionseffekte bei Online-Interviews schwinden, während sie bei anderen Methoden grösser werden. In manchen Bereichen, wo Offliner wichtig sind, wird es zumindest eine Zeit lang noch notwendig sein, die Erhebungen als Mixed-Mode durchzuführen. Hier eignet sich allerdings die Kombination PAPI/Online-Interviews aus methodischer Sicht deutlich besser als CATI/Online-Interviews, da PAPI und Online-Interviews beide selbstadministriert und somit frei von Interviewer-Effekten sind. Doch keine Sorge, Telefone werden ihren Nutzen für die Sozialforschung nicht verlieren, können sie doch als mobiler Zugang zu Online-Befragungen und als Mobilitätstracking-Device dienen.
Referenz
Voorpostel, M., Kuhn, U., Tillmann, R., Monsch, G. A., Antal, E., Ryser, V. A., … & Dasoki, N. (2020). Introducing web in a refreshment sample of the Swiss Household Panel: Main findings from a pilot study. Fors Working Series paper, 2.
Dr. Marcus Roller
Leiter Sozialforschung,
intervista AG
marcus.roller@intervista.ch, +41 31 511 39 12
Der Autor
Dr. Marcus Roller ist Leiter Sozialforschung bei intervista. Er ist promovierter Ökonom und spezialisiert auf quantitative Forschungsmethoden. Er hat an den Universitäten Basel und Bern zu quantitativen Methoden gelehrt und forscht weiterhin zu ökonometrischen Fragestellungen.
Download Artikel
Swiss Insights News #7
Institute Member von
SWISS INSIGHTS
Alle SWISS INSIGHTS News finden Sie hier: SWISS INSIGHTS NEWS