River Sampling – valide Basis für Markt- und Sozialforschung? 24.08.2020 / Positionen

Ein Statement des Fachgremiums Standesregeln/Qualität/Methoden im BVM-Fachbeirat

In der Markt- und Sozialforschung gibt es seit Jahren einen bunten Strauß unterschiedlicher Ansätze für wissenschaftlichen Erkenntnisgewinn. In der qualitativen Forschung geht es jenseits von Repräsentativitätsansprüchen um die Erforschung psychologischer Hintergründe für das Handeln von Menschen. Mit repräsentativen Forschungsansätzen sollen auf die Gesamtbevölkerung oder definierbare Teilgruppen hochrechenbare Erkenntnisse gewonnen werden.

Der konkret zu wählende Untersuchungsansatz hängt vom spezifischen Forschungsgegenstand und -ziel, aber auch von den verfügbaren Forschungsbudgets ab. Zudem ist nicht jede Methode für jeden Zweck und jede Zielgruppe gleichermaßen sinnvoll.

An Umfragen, die lediglich ein grobes Stimmungsbild liefern sollen, werden naturgemäß geringere Ansprüche an die Belastbarkeit gestellt als an solche, auf deren Grundlage weitreichende politische Entscheidungen getroffen oder große Investitionsbudgets eingesetzt werden sollen.

Neben den klassischen Erhebungsmethoden wie face-to-face-Interviews, schriftlichen oder telefonischen Befragungen oder auch quotierten Onlinebefragungen aus großen Access-Panels wird seit einigen Jahren auch Online-River-Sampling sehr offensiv propagiert.

Die Befragten rekrutieren sich bei diesem Verfahren über spezielle Medienpartner und unterscheiden sich sowohl strukturell als auch politisch und psychologisch deutlich von der Gesamtbevölkerung. Diese systematischen Verzerrungen können durch eine wie auch immer geartete Gewichtung statistisch kaum ausgeglichen werden. Zudem ist die Selbstselektion bei der Umfrageteilnahme sehr wahrscheinlich interessensgeleitet. Solange es sich dabei nur um ein reines Unterhaltungsformat analog zu den früheren TED-Umfragen mit einem entsprechenden Disclaimer handelt, wäre das auch unkritisch. Kritisch wird es durch eine behauptete Repräsentativität, die aber wissenschaftlich nicht haltbar ist.

Nach überwiegender wissenschaftlicher Meinung können solche Umfragen nicht „repräsentativ“ für die (z.B. deutsche) Bevölkerung sein. Die ausgewiesenen „Rohdaten“ unterscheiden sich meist gravierend von den als "repräsentativ" ausgewiesenen und publizierten Ergebnissen.

Die "Repräsentativität" wird durch einfache oder komplexere Gewichtungen zu erreichen versucht. Bei einfachen Gewichten stellt sich sowieso die Frage nach dem Zusammenhang mit der Forschungsfrage bzw. geraten kombinierte Gewichte oft ungünstig groß. Komplexere Methoden wie etwa Bayessche Verfahren benötigen ebenfalls Vorinformationen. Bei unbekannten Themen oder bei plötzlichen Meinungswechseln versagen diese Gewichtungs- und Korrekturmodelle naturgemäß.

Unabhängig vom konkreten Anliegen: Man muss die „richtigen“ Menschen befragen und das geht nicht in Selbstselektion. Viele glauben, die „große Zahl“ heilt den Missstand. Aber wenn die Basis nicht stimmt, stimmt folglich die große Zahl auch nicht. Auch eine Million Opel-Fahrer können vermutlich kein repräsentatives Stimmungsbild über Porsche abgeben.

Es besteht auch die Gefahr, dass auf einer solchen Datengrundlage innerhalb weniger Stunden "Ergebnisse“ zu (z.B. politischen) Fragestellungen geliefert werden, die dann mehrere Tage unwidersprochen verbreitet werden und damit die öffentliche Meinung in Deutschland bestimmen. Entsprechende Beispiele finden sich leider regelmäßig auf vielen Medienwebsites.

Deshalb der Ratschlag, in jedem Falle Anbieter und Methode genau zu prüfen und deren (Un)Verlässlichkeit bewusst zu hinterfragen, wenn die Ergebnisse mehr als Unterhaltung oder lediglich grobe Indikatoren für einfach definierte Zielgruppen (z.B. Produktverwender) sein sollen und für Sie oder andere in irgendeiner Weise relevant und mit Konsequenzen verbunden sein könnten.

Weiterführende Informationen zum Thema finden Sie u.a. hier:

1) Bo MacInnis, Jon A. Krosnick, Annabell S. Ho, Mu-Jung Cho, 2018. „The Accuracy of Measurements with Probability and Nonprobability Survey“, in: Public Opinion Quarterly, Vol. 82, No. 4, Winter 2018, pp. 707–744, Fundstelle: https://academic.oup.com/poq/article-abstract/82/4/707/5151369  

2) Josh Pasek, Jon A. Krosnick, 2020. „Relations between Variables and Trends over Time in RDD Telephone and Nonprobability Sample Internet Surveys“, in: Journal of Survey Statistics and Methodology, Volume 8, Issue 1, February 2020, Pages 37–61, Fundstelle: https://academic.oup.com/jssam/article-abstract/8/1/37/5729903

3) Schnell, Rainer, 2019. „Survey-Interviews: Methoden standardisierter Befragungen“, Springer-Verlag, S. 285ff.

Fußnote:
Ob bei den unbestimmten Begriffen in diesem Text ("meist" oder "kaum") im Einzelfall eine Ausnahme vorliegt, kann ermittelt werden.

Downlad des Statements als PDF