5.4 Mangelnde Aussagekraft von Ausschöpfungsquoten

„Die Aussagekraft der errechneten Stichprobenausschöpfung kann unterschiedlich sein. Sie hängt davon ab, wie die verwendeten Bruttoadressen ausgewählt und dokumentiert werden. In dieser Hinsicht gibt es zwischen verschiedenen Verfahrensmodellen erhebliche Unterschiede. Je „härter“ die Verfahrensregeln für die Bestimmung und Dokumentation des Stichprobenbruttos sind - was unter Qualitätsgesichtspunkten positiv zu werten wäre -, umso niedriger ist die errechnete Stichprobenausschöpfung.“

Das bedeutet, dass die Ausschöpfungsquoten von Einwohnermeldestichproben, bei denen die Umsetzung des Zufallsprinzips vom Forscher kontrolliert werden kann, grundsätzlich niedriger ausfallen als bei ADM-Stichproben, bei denen der Zufall sozusagen in den Händen der Interviewer liegt (Blohm 2006: 44).

Sodeur (zit. in Koch 2002: 20) konnte diesbezüglich anhand des ALLBUS nachweisen, dass die höher ausgeschöpften ADM-Stichproben stärkere Verzerrungen aufweisen als die niedriger ausgeschöpften Registerstichproben. Koch (2002: 33) sieht die Ursache hierfür in der mangelnden Kontrolle über unerlaubte Substitutionen von Ausfällen durch die Interviewer.

An einem einfachen Rechenbeispiel zeigt er, wie bereits eine „kleine“ Manipulation die Höhe der berichteten Ausschöpfungsquote beeinflussen kann:

Solange Ausschöpfungsquoten als Qualitätsmerkmal begriffen werden, befindet man sich jedoch in der absurden Situation, dass die Qualitätsorientierung von Registerstichproben gleich zweifach bestraft wird: „durch höhere Preise und längere Feldzeiten einerseits, und vermeintlich niedrigere Ausschöpfungsquoten andererseits“ (Koch 2002: 34). Auch dies kann ein Grund dafür sein, warum Registerstichproben kaum zur Anwendung kommen.

als „neutrale“ Ausfälle klassifiziert“, so dass die berichteten „Ausschöpfungsquoten (…) zu hoch gegriffen sind“ (Baur 2006: 164).

Bei Face-to-Face-Befragungen haben sich zwar gewisse Standards für die Definition von systematischen und stichprobenneutralen Ausfällen herausgebildet, aber diese werden nicht immer eingehalten: Ausländerhaushalte z. B. werden bei Befragungen von deutschen Staatsbürgern üblicherweise als stichprobenneutrale Ausfälle gewertet. Allerdings wird das Nicht-Beherrschen der deutschen Sprache in der Praxis sowohl zu qualitätsneutralen als auch zu systematischen Ausfällen gerechnet (Porst 1996: 6, 27). Wie noch zu zeigen sein wird, kann es sogar vorkommen, dass die Einordnung von Ausfällen als systematisch oder stichprobenneutral institutsintern variiert.

Selbst wenn gängige Konventionen eingehalten werden, so ist weiterhin zu bedenken, dass auch scheinbar eindeutig qualitätsneutrale Ausfälle nicht zwangsläufig stichprobenneutral sind. Dies trifft z. B. auf Ausfälle aufgrund falscher oder nicht mehr gültiger Adressangaben zu. „Hier handelt es sich primär um Personen, die innerhalb der Untersuchungsregion ihren Wohnort gewechselt, aber nicht gemeldet haben.“ Durch solch vermeintlich stichprobenneutrale Ausfälle können insofern Verzerrungen in den Daten entstehen, da die geographische Mobilität lebenszyklisch variiert und mobile Bevölkerungsgruppen somit tendenziell unterrepräsentiert sind (Höflinger 2001, Hervorhebungen nicht im Original).

„(a)uch bei der Auszählung der Zahl der Antworten (…) Unterschiede (finden: SW), indem etwa unbrauchbare oder unvollständige Fragebögen in die Quote eingehen oder nicht.“

Die Höhe der berichteten Ausschöpfungsquoten ist also nicht verlässlich, insbesondere dann nicht, wenn die ihnen zugrunde liegenden Ausfallgründe nicht ebenfalls ausgewiesen sind. Auch wenn letztere dokumentiert sind, kann der potentielle Bias nicht gänzlich abgeschätzt werden, weil sich bereits die Zuordnung der Ausfälle als falsch erweisen kann.

volle Möglichkeit, sich diesem Paradox zu nähern, besteht darin, Hypothesen 17 über die Rich- der möglichen Verzerrungen aufzustellen und diese bei der Interpretation der Daten zu berücksichtigen. 18 Bloße Ausschöpfungsquoten genügen nicht, um solche Hypothesen aufstellen zu können. Man benötigt anstelle dessen detaillierte Informationen über den jeweils wirksamen Ausfallgrund und über das Ausmaß, in dem dieser auftritt. Doch gerade diese Informationen werden von einem Großteil der Studien nicht (mehr) bereit gestellt. Früher war es in der akademischen Sozialforschung Gang und Gäbe, den gesamten Forschungsprozess und die damit verbundenen Probleme - auch die Ausfälle - zu dokumentieren und offen zugänglich zu machen. Heute jedoch begnügt man sich mit der Angabe von groben Indikatoren, wie der Ausschöpfungsquote, deren Zustandekommen nicht nachvollziehbar ist und die auch keinen Aufschluss über die Anteile von Verweigerern und Nichterreichbaren gibt (Porst 1996: 8, Neller 2005: 11).

Die Ursache hierfür ist in der Tatsache zu suchen, dass allgemeine Bevölkerungsumfragen (auch) in der akademischen Sozialforschung arbeitsteilig organisiert sind:

Die Meinungsforschungsinstitute stellen jedoch kaum Informationen über Institutshandeln, Verhalten der Interviewer, typische Probleme der Feldarbeit und deren Lösung bereit. Dies wiederum ist teilweise darauf zurückzuführen, dass bestimmte Informationen z. B. über das (schwer kontrollierbare und kaum standardisierbare) Interviewerverhalten in den Instituten selbst nicht verfügbar sind. Hauptsächlich dürfte sich die mangelnde Transparenz aber dadurch erklären lassen, dass die Institute Angst vor einem Imageschaden haben, den sie erfahren könnten, wenn sie mit der Feldarbeit zugleich die vorhandenen Defizite offenlegen (Koch 2002: 10). Die Transparenz der Feldarbeit würde Kritik an der Institutsarbeit ermöglichen. Kritik aber kann mit dem Verlust von Aufträgen verbunden sein, vor allem dann, wenn sich andere Institute bedeckt halten. Hier zeigt sich, wie die ökonomische Rationalität der erhebenden Institute die wissenschaftliche Rationalität aushebelt.

Wenn (überhaupt) Angaben zu Ausfällen gemacht werden, so stützen sich diese zumeist auf eine grobe Unterteilung der systematischen Ausfälle in „Verweigerer“ und „Nichterreichbare“. Aber auch eine solche Kategorisierung ist noch zu heterogen und daher nicht ausreichend, um die Auswirkungen der Ausfälle auf die Daten beurteilen zu können. Dass eine unterschiedliche Erreichbarkeit mit unterschiedlichen soziodemographischen Merkmalen zusammenhängt, wurde bereits in Kapitel 2.3 beschrieben. Verweigerung bzw. mangelnde Kooperationsbereitschaft kann ebenfalls auf verschiedene Ursachen zurückgeführt werden (vgl. Baur 2006: 172ff): Zunächst einmal ist festzustellen, dass auch der Abbruch eines bereits begonnenen Interviews eine Form der Verweigerung darstellt. Eine solche findet sich häufig bei der monotonen Abfrage langer Item-Batterien. Hier sind die Ursachen der Verweigerung weniger beim Befragten, als vielmehr in den verwendeten Messinstrumenten zu verorten.

Wurde die Verweigerung hingegen schon vor Beginn des Interviews ausgesprochen, so kann sie auf mangelndem Interesse, mangelnder Zeit oder mangelndem Vertrauen begründet sein.

Gründet die Verweigerung auf mangelndem Interesse, so muss man weiter fragen, was genau dahinter stehen mag: Ist das Thema an sich nicht interessant und wird deshalb das Interview abgelehnt, so ist damit zu rechnen, dass die Ausprägungen zentraler Untersuchungsvariablen unterschätzt werden, weil die am Thema interessierten und somit wahrscheinlich besser in-

formierten Zielpersonen in der Stichprobe überrepräsentiert sind. Es kann aber auch sein, dass nicht das Thema uninteressant ist, sondern dass der zu Befragende schlichtweg nicht verstanden hat, was der Interviewer von ihm will. Gleichsam kann mangelndes Interesse dadurch bedingt sein, dass der Interviewer unsympathisch oder langweilig erscheint oder aber, dass er es nicht geschafft hat, sein Anliegen interessant zu vermitteln. In solchen Fällen ist der Ausfallgrund nicht bei der Zielperson, sondern beim Interviewer zu suchen, und eine Verzerrung der Daten ist nicht zwangsläufig gegeben. Schließlich kann die Angabe mangelnden Interesses aber auch einen bequemen Weg der Verweigerung darstellen; eine Verweigerung, die auf andersgearteten und nicht bekannten Gründen - z. B. auf Angst vor Viktimisierung - basiert (Biemer 2003: 94).

Neben Verweigerung und Nichterreichbarkeit gibt es noch eine andere Kategorie von Ausfäl- die jedoch kaum Berücksichtigung findet: mangelnde Befragungsfähigkeit. Hierbei wiederum lässt sich danach unterscheiden, ob fehlende Deutschkenntnisse oder aber Krankheit und Gebrechlichkeit der Grund für die Unmöglichkeit der Umsetzung des Interviews sind. Vom Problem mangelnder Deutschkenntnisse sind Aussiedler, Migranten und Ausländer der zweiten oder dritten Einwanderergeneration betroffen. Krankheit und Gebrechlichkeit hingegen führen vor allem bei älteren und hochbetagten Menschen dazu, dass sie sich an einer Befragung entweder nicht beteiligen können oder nicht beteiligen wollen (Baur 2006: 172).

Durch solche Ausfälle werden z. B. die kommunikativen Probleme in einer...