BVM-Kommentar zur gegenwärtigen Diskussion um den Umgang mit Umfragedaten und zur Qualitätssicherung 31.10.2018 / Positionen / Dr. Frank Knapp, BVM-Vorstandsvorsitzende

Im Zusammenhang mit den kürzlich veröffentlichten Stellungnahmen von ADM und DGOF unterstreicht der Vorstandsvorsitzende des BVM, Dr. Frank Knapp, die Wichtigkeit eines sachgerechten Methodeneinsatzes und der entsprechenden Kommunikation. Insbesondere Markt- und Sozialforschung sollte niemals der Beeinflussung von Meinungen, sondern ausschließlich deren Analyse dienen.

„Die Markt- und Sozialforschung ist von einer dynamischen Methodenentwicklung gekennzeichnet. Es bringt dabei wenig, in „klassische“ oder „moderne“ Verfahren zu differenzieren“, so Dr. Frank Knapp.

Sinnvoll sei lediglich eine Unterscheidung in angemessene und weniger angemessene Methoden. Wobei die Qualitätsstandards der Branche auf alle Methoden und Verfahren gleichermaßen Anwendung finden.

Vor diesem Hintergrund ist es für den BVM wichtig, die Darstellung von Befragungsergebnissen insbesondere um Hintergrundinformationen und Handlungsempfehlungen zum richtigen Umgang mit den Ergebnissen zu ergänzen.

Dabei sind insbesondere folgende drei Gesichtspunkte zu berücksichtigen:

1. Repräsentativität

Der Begriff steht für die gleichmäßige Erreichbarkeit der gesamten Grundgesamtheit und die Vermeidung von systematischen Verzerrungseffekten (Beispiel: Nur thematisch Interessierte nehmen an der Umfrage teil). Je stärker die Einschränkungen bzw. Verzerrungen dabei sind, umso vorsichtiger sollte auch die Ergebniskommunikation erfolgen.

Auch „pseudokorrekte“ Formulierungen wie „hinsichtlich Alter und Geschlecht bevölkerungsrepräsentativ“ führen in die Irre. Das ist zwar im engeren Sinne korrekt, nur erklären leider die beiden genannten Merkmale in den meisten Fällen gar nichts. Damit ist der zugehörige Datensatz auch nicht repräsentativ.

2. Botschaft / Zielsetzung

Markt- und Sozialforschung dient der Aufklärung aktueller Sachverhalte und niemals der „Stimmungsmache“. Daher steht Im Vordergrund der Interpretation von Ergebnissen auch das "Warum". Wie und warum ein Ergebnis zustande kommt, ist oft wichtiger als das Ergebnis selbst:

Denn das konkrete Untersuchungsergebnis hängt von vielen Rahmenbedingungen ab und unterliegt ebenfalls auch zeitlich starken Schwankungen. Komplexe sozialwissenschaftliche Zusammenhänge lassen sich erfahrungsgemäß schlecht mit einem Schlagwort zusammenfassen.

Daher gilt: Wissenschaftliche Studien regen zum Nachdenken kann, sie vermitteln aber keine unumstößlichen Wahrheiten.

3. Methode

Es geht in der Diskussion nicht um eine pauschale Methodenkritik: Innovationen sind nicht per se gut und Althergebrachtes ist nicht per se schlecht (oder umgekehrt). Bei der Wahl der richtigen Methode geht es immer um die Angemessenheit. Entsprechend sind auch Methoden, deren Ergebnisse starke Abweichungen oder Schwankungen hervorrufen, erst einmal kritisch zu hinterfragen. Sie müssen aber nicht zwingend falsch sein bzw. haben einen spezifischen Geltungsbereich (etwa: Trendaussage). Auch hier ist Transparenz bezüglich der eingesetzten Methodik das oberste Gebot für eine angemessene Einordnung der Ergebnisse. Und dies muss gerade bei öffentlicher Kommunikation über allgemeine Angaben hinausgehen: Wer wird eigentlich genau erreicht, was bedeutet das etc. In diesem Sinne fordert der BVM einen verantwortungsbewussten und transparenten Umgang mit Forschungsergebnissen, unter Berücksichtigung des Bezugs, der Aussagekraft und Tragfähigkeit von Methoden und Ergebnissen.

Als Interessensvertreter aller Markt- und Sozialforscher in Deutschland leistet der BVM durch Weiterbildungsangebote, Informationen und fachlichen Austausch seinen Beitrag.