Methodologische Probleme von russischen Meinungsumfragen zum Krieg

Von Aleksei Miniailo (Chronicles, Moskau)

Meinungsumfragen sind in Russland eine schwierige Sache, umso mehr, wenn es nicht um bloß heikle Fragen geht, sondern sogar um solche, bei denen für viele eine Assoziation mit einer Straftat entsteht. Die Erforschung der Einstellungen der Russ:innen zum Krieg gegen die Ukraine ist eine drängende und gesellschaftlich relevante Aufgabe, die sofortiges Handeln erfordert. Die Versuche, Licht in das zu bringen, was hinter dem Nebel des Krieges liegt, werfen eine Reihe methodologischer Fragen auf. Zu nennen wären hier unter anderem Bestätigungsfehler (»confirmation bias«), die Komplexität der Deutung, Kompromisse zwischen den hohen Standards wissenschaftlicher Rigorosität und der Notwendigkeit, relevante Daten zu erheben, sowie die Schwierigkeit, die komplexen Daten einem breiteren Publikum nahezubringen.

Wer wir sind und was wir tun

Wir haben am 24. Februar 2022 das Projekt »Chronicles« ins Leben gerufen. Wir wussten, dass Putins Regime Meinungsumfragen als Waffe einsetzen würde, um die Illusion von einer Mehrheit zu schaffen, eine Illusion, durch die die Gesellschaft den Krieg akzeptieren würde. Wir gingen auch davon aus , dass die etablierten Meinungsforschungsinstitute ihre Methoden nicht schnell genug an die Realitäten in Zeiten des Krieges anpassen würden (siehe eingehender unter https://twitter.com/AlekseiMiniailo/status/1597919707361075200 und https://twitter.com/AlekseiMiniailo/status/1600067182628548608). Also kamen wir zu dem Schluss, dass die Gesellschaft eine ehrliche, professionelle und auf den Krieg abgestimmte Forschung braucht. Seit dem 24. Februar haben wir neun telefonbasierte Umfragen durchgeführt und eine Datenanalyse sozialer Netzwerke vorgenommen.

Die Ergebnisse sind auf unserer Internetseite zu finden (https://www.chronicles.report/en). Darüber hinaus veröffentlichen wir Fragebögen, Analysen und anonymisierte Rohdaten auf GitHub (https://github.com/dorussianswantwar/research1).

Das Team besteht aus zwei Sozialwissenschaftler:innen, einer Beraterin mit langjähriger Erfahrung mit Umfragen, einem PR-Manager, einer Pressesprecherin und einer Projektmanagerin. Wir stehen darüber hinaus im Austausch mit einer Reihe angesehener Sozialwissenschaftler:innen. Sämtliche Teammitglieder sind gegen den Krieg eingestellt, was zu Bestätigungsfehlern führen könnte. Unser Ergebnis ist dabei nicht eine Reihe von Publikationen in wissenschaftlichen Zeitschriften (auch wenn ich hoffe, dass es einmal dazu kommen wird), sondern besteht aus Berichten für die Medien, welche die Daten auf einige zentrale Aussagen herunterbrechen. Diese beiden Aspekte sollen im Folgenden erörtert werden.

Die Methode

Die Umfragen wurden per Telefon durchgeführt, bei einer zufälligen Stichprobe von Telefonnummern, die über verschiedene Mobilfunkanbieter verteilt sind. Die Stichprobe hatte einen Umfang von 800 bis 1.800 Respondent:innen, die proportional zu offiziellen statistischen Daten nach Alter, Geschlecht, Region und Größe des Wohnorts verteilt waren. Die Stichprobe könnte durch die Antworten von Konformist:innen verzerrt sein, wir verfügen aber über zu wenig Belege, um dies guten Gewissens behaupten zu können. Die Rücklaufrate betrug gemäß den Richtlinien der »American Association for Public Opinion Research« (AAPOR) zwischen 5 und 19 Prozent. Die unterschiedliche Rücklaufquote hängt wohl von der Länge der Fragebögen ab, könnten aber auch durch den Zeitraum und andere Umstände beeinflusst worden sein, vermutlich aus Angst vor Repressionen, wobei wir auch hier nicht über hinreichend Daten verfügen, um dies zu bestätigen.

Wir haben unser Bestes getan, um die Fragebögen und deren Interpretation derart anzupassen, dass sie tatsächlich relevante Ergebnisse erbringen. Als wir zum Beispiel feststellten, dass ein beträchtlicher Teil der Respondent:innen, die eine Unterstützung für den Krieg bekundet hatten, eine Antwort verweigerten, als sie dann eine solche Möglichkeit hatten, fügten wir bei späteren Umfragen diese Antwortoption in den Block der »Befürwortungs«-Fragen ein und rechneten die Option »Möchte nicht antworten« nicht der Gruppe der Befürworter:innen zu (mehr zu diesem Thema auf unserer Internetseite https://www.chronicles.report/en/chapter2). Hierin ist einer der Gründe zu sehen, warum wir einen geringeren Anteil von »Befürworter:innen« verzeichnen (zwischen 7 und bis zu 18 Prozentpunkte weniger).

Nachdem uns klar wurde, dass die »Befürwortungs«-Frage nur nahezu bedeutungslose Ergebnisse lieferte, begannen wir damit, auf andere Art und Weise Gruppen von »Befürworter:innen« herauszuarbeiten.

Wir waren die ersten, die konkrete Fragen stellten (nicht »befürworten Sie…«, sondern »würden Sie für die Armee spenden…« usw.), wie auch hypothetische Fragen über die Zukunft (etwa »sollte die russische Armee so lange kämpfen, bis sich die Streitkräfte der Ukraine ergeben, oder sollte sie die ›militärische Spezialoperation‹ so bald wie möglich beenden, auch ohne die militärischen Ziele erreicht zu haben«). Wir nutzten Kombinationen aus verschiedenen Fragen, um die »Befürworter:innen-Gruppe« zu identifizieren. Dadurch konnten wir feststellen, dass die Kerngruppe der Befürworter:innen (also der »Befürworter:innen«, die in dieser Hinsicht zumindest eine gewisse emotionale oder rationale Haltung zeigten) rund 25–30 Prozent der Bevölkerung umfasst, und dass dieser Wert über die verschiedenen Phasen unserer Forschungsansätze zur Identifizierung dieser Gruppe stabil blieb.

Wir haben zudem erhebliche Anstrengungen unternommen, um nicht nur die Daten öffentlichkeitswirksam vorzustellen, sondern auch zu erklären, was diese Daten bedeuten könnten. Ohne eine solche Erklärung würde das breitere Publikum die Zahlen zur »Unterstützung« zu vereinfacht und zu sehr für bare Münze nehmen, was zu einer völlig falschen Wahrnehmung der Realität führen würde.

Ich bin der Ansicht, dass wir zwar erhebliche Erfolge erzielt haben und in der Lage waren, Daten zu gewinnen und in Begriffe zu fassen, wie dies keinem anderen Meinungsforschungsinstitut gelang. Andererseits sind wir auch auf eine Reihe von Schwierigkeiten gestoßen.

Welche Frage ist für die Forschung von Bedeutung?

Stellen wir ein kleines Experiment an. Angenommen, sie wären ein:e Amerikaner:in, der oder die von einem Meinungsforschungsinstitut angerufen wird und angibt, Donald Trump zu unterstützen. Was genau würden Sie damit meinen? Dass Sie ihm Ihre Stimme geben würden? Dass Sie Mexikaner:innen hassen? Dass ein Angriff auf das Kapitol eine gute Idee ist? Oder einfach nur, dass Sie eine Waffe besitzen? Das gleiche gilt für die Frage »Befürworten Sie die ›militärische Spezialoperation‹?«. Das umfasst einen breiten Bereich, der von »Ich lüge, weil ich mich fürchte« bis zu »Ich melde mich zur Armee« reicht. Nach einer Weile kamen wir zu dem Schluss, dass eines der für uns wichtigen Ziele darin besteht, unter den »Befürworter:innen« verschiedene Untergruppen zu identifizieren und herauszuarbeiten. Das führte uns aber auch zu einer Reihe methodologischer Fragen.

Bestätigungsfehler

Das gesamte Team ist stark gegen den Krieg eingestellt. Dies könnte das Forschungsdesign der Studie wie auch die Interpretation der gewonnenen Daten beeinflusst haben. Eine Datentriangulation hätte hier Abhilfe schaffen können, allerdings waren die meisten Forscher:innen, die wir kennen, ebenfalls gegen den Krieg eingestellt, während die »offiziellen« Meinungsforschungsinstitute sich weigerten, mit uns zusammenzuarbeiten. (Bei einem anderen Projekt waren wir auf ein ähnliches Problem gestoßen, als nämlich »offizielle« Wirtschaftsexpert:innen und Vertreter:innen der Bürokratie zu sehr Angst hatten, mit uns zu sprechen, obwohl zu unserem Team ein Vertrauensverhältnis aufgebaut worden war.) Somit ist es wahrscheinlich, dass beide Seiten von Bestätigungsfehlern betroffen sind.

Anpassung oder Durcheinander?

Unsere Methodologie musste im Laufe der verschiedenen Studien angepasst werden. Hierzu ein Beispiel: Um Veränderungen bei gesellschaftlichen Phänomenen über einen Zeitraum hinweg feststellen zu können, verlangt ein strenger wissenschaftlicher Ansatz, dass stets die gleiche Methode eingesetzt wird, etwa die gleichen Fragebögen. Am 4. März 2022 wurde ein Paket von Gesetzen zur Zensur verabschiedet, die eine strafrechtliche Verfolgung für eine öffentlich erklärte Haltung gegen den Krieg vorsehen. Wir haben mit einem Experiment festgestellt, dass ein erheblicher Teil jener, die ihre Unterstützung bekundet hatten, dies wohl aus Angst vor Strafverfolgung taten (wir hatten bei der Hälfte der Stichprobe die Antwortoption »Ich möchte diese Frage nicht beantworten« angeboten, und dort war der Anteil der »Befürworter:innen« um sieben Prozentpunkte geringer). Wenn wir diese Erkenntnisse ignoriert und an den Optionen »Ich befürworte« und »Ich befürworte nicht« ohne eine zusätzliche Option »Ich möchte nicht antworten« festgehalten hätten, um strengen wissenschaftlichen Erfordernissen zu genügen, hätten wir irreführende Daten erlangt. Und es ließe sich darüber streiten, ob Respondent:innen der »Möchte nicht«-Gruppe gegen den Krieg sind oder nicht, aber diejenigen, die bei vorhandener Option »Möchte nicht antworten« nicht ihre Befürwortung bekunden, können wohl kaum der »Befürworter:innen«-Gruppe zugerechnet werden.

Meiner Ansicht nach kommen in genau diesem Fall die strengen wissenschaftlichen Anforderungen einer Totenstarre gleich. Viele Meinungsforschungsinstitute sind auf diese Art vorgegangen und erlangten Daten, die wenig aussagen. Wir haben die Methodologie jedes Mal angepasst, wenn wir eine Studie konzipierten. Wir glauben, dass dies uns die Möglichkeit eröffnete, relevantere Daten zu erlangen und den Nebel des Krieges besser als andere zu durchdringen. Es half uns, unsere Ergebnisse durch einen Abgleich mit anderen Studien, die mit anderen Fragen zum gleichen Thema operierten, in einem gewissen Maße zu verifizieren. Hier stellt sich allerdings auch die Frage der Interpretation.

Probleme der Interpretation

Bei den meisten Umfragen haben wir versucht, innerhalb der »Befürworter:innen« verschiedene Untergruppen herauszuarbeiten, wobei verschiedene Ansätze verfolgt wurden. Einerseits erlangten wir erfreulicherweise ein Maß der Triangulation. Andererseits stießen wir leider auf Probleme der Interpretation. Ist es korrekt, diejenigen, die sagen, sie würden Geld für die Armee spenden, mit jenen zu vergleichen, die sagen, sie würden zur Armee gehen? Sollten wir vielleicht diese »Rekrutierwilligen« mit jenen vergleichen, die bereit sind, 10 Prozent ihres Einkommens oder mehr zu spenden?

Sind jene als »Militarist:innen« zu bezeichnen, die den Krieg und eine Mobilmachung unterstützen, nicht aber eine mögliche Entscheidung Putins für einen Abzug der Truppen, ohne die militärischen Ziele erreicht zu haben? Oder reicht es, dass jemand einen Abzug nicht unterstützt, um ihn oder sie ohne Hinzuziehung weiterer Fragen als »Militarist:in« einzuordnen? Diese Komplexität ist für die Forschung in Ordnung, wenn die Methodologie explizit beschrieben und eine eingehende Erörterung vorgenommen werden kann. Unser Endprodukt besteht aber nicht aus Artikeln in begutachteten wissenschaftlichen Zeitschriften, sondern in kurzen und leicht zugänglichen Beiträgen für eine breitere Öffentlichkeit.

»Wissenschaftler:in vergewaltigt Reporter:in«

Da wir der Ansicht sind, dass die Daten, die wir gewonnen haben, vor allem von gesellschaftlicher und politischer Relevanz sind, haben wir große Anstrengungen unternommen, sie einem breiten Publikum zu vermitteln. Allerdings ist eine Zusammenarbeit mit Journalist:innen bei komplexen Themen ein tückisches Unterfangen. Wir sind zwar damit erfolgreich gewesen, unsere Ergebnisse bekannt zu machen und in wichtigen russischsprachigen unabhängigen Medien, wie auch in einflussreichen ausländischen Medien zu publizieren (in »The Sunday Times«, in »The New Yorker«, im wichtigen brasilianischen Radiosender »Jovem Pan«, im japanischen Sender NHK usw.), doch standen wir oft vor einem Problem. Fast jedes Mal, wenn unsere Pressesprecherin erklärte, wie komplex die Situation ist und wie wenig Bedeutung die Frage »Unterstützen Sie…« hat, gelangte die Diskussion an den Punkt: »OK, ich hab’s verstanden. Also wie viele Russ:innen unterstützen nun den Krieg?«. Nach fast einem ganzen Jahr haben wir es jedoch geschafft, einige wichtige Journalist:innen und Blogger:innen von unserem Standpunkt zu überzeugen, doch das war harte Arbeit. Das Meme »Wissenschaftler:in vergewaltigt Reporter:in« mag auf Reddit lustig sein, aber wohl kaum im realen Leben, besonders, wenn es um sehr wichtige und gesellschaftlich relevante Daten geht.

Fazit

Umfragen in Kriegszeiten sind sowohl von wissenschaftlichem wie auch von praktischem Nutzen. Aus wissenschaftlicher Sicht tragen die Umfragedaten zu einem methodologischen Diskurs in den Sozialwissenschaften und zu einer Erforschung von Gesellschaften unter Kriegsbedingungen bei. Sie können auch einen wertvollen Beitrag für den Diskurs in der Sozialpsychologie über Konformismus und Gehorsam leisten. Die bekanntesten Studien sind hier u. a. das »Milgram-Experiment«, das »Zimbardo-« bzw. »Stanford-Prison-Experiment«, die »Asch-Experimente« und die »BBC Prison Study«.

Wir hoffen, dass die wissenschaftliche Diskussion über Sozialforschung in Kriegszeiten Möglichkeiten eröffnet, die Sozialforschung zu Friedenszeiten zu überdenken und zu bereichern. Für uns wiederum ist die wissenschaftliche Diskussion ein großartiges Mittel, um über unsere Tätigkeit und Verbesserungsmöglichkeiten zu reflektieren.

Zu den praktischen Implikationen gehört die Nutzung der Daten bei der Lösung von Nachkriegsproblemen wie der Verantwortung für den Krieg und einer Entnazifizierungspolitik in Russland.

Schließlich bedeutet der Umstand, dass unsere Tätigkeit keine verlorene Sache ist, sondern Strahlen eines Lichts darstellt, das ungeachtet aller Schwierigkeiten in der Zukunft scheinen könnte, einen Hoffnungsschimmer für den heutigen russischen Widerstand gegen den Krieg.

Übersetzung aus dem Englischen: Hartmut Schröder

Lesetipps / Bibliographie

Zum Weiterlesen

Analyse

Was denken gewöhnliche Russen wirklich über den Krieg in der Ukraine?

Von Kseniya Kizilova, Pippa Norris
Wie denken gewöhnliche Russ:innen wirklich über die Entscheidung von Präsident Putin, in die Ukraine einzumarschieren? Obwohl einiges dafürspricht, dass frühere Umfragen, die Zustimmungswerte um 60 % für den Krieg zeigen, als genuine Signale der russischen öffentlichen Meinung gewertet werden können, untersucht dieser Beitrag eine Reihe von Gründen, warum diese Umfrageergebnisse mit großer Vorsicht behandelt oder gar ignoriert werden sollten. Gründe dafür sind u. a. die staatliche Zensur, die Selbstzensur der Bevölkerung und eine verzerrte Beantwortung der Fragen, das Vorhandensein von Protesten sogar in einem autoritären Umfeld in Russland, als auch die Tatsache, dass einige der früheren Umfragen nach einem hypothetischen Einmarsch fragten, über den viele Russ:innen wohl nicht ausreichend nachgedacht haben könnten. (…)
Zum Artikel
Kommentar

Würde Putin vom eigenen Volk für eine Invasion in die Ukraine abgestraft werden?

Von Henry E. Hale
Viele glauben jetzt, dass Russland eine weitere, großangelegte Invasion in die Ukraine unternehmen wird, was den Krieg, der seit 2014 (weitgehend unbeachtet von den Schlagzeilen im Westen) im Osten der Ukraine wütet, dramatisch ausdehnen würde. Die Staats- und Regierungschefs im Westen wollen sicherstellen, dass der russische Präsident Putin einen hohen Preis zu zahlen haben wird, falls es zu einer Invasion kommt. Jüngste Studien kommen zu dem Schluss, dass auch das Volk in Russland Putin zur Rechenschaft ziehen würde, allerdings ist weniger klar, wann oder wie.
Zum Artikel

Logo FSO
Logo DGO
Logo ZOIS
Logo DPI
Logo IAMO
Logo IOS