Wie kann oder sollte man im Kontext eines Krieges Umfragen durchführen? Ein Krieg wirft viele Fragen auf, die für Gesellschaften von fundamentaler Bedeutung sind. Kriege bringen aber auch zusätzliche Verantwortung für Forschende mit sich. Die grundlegenden Fragen, die wir uns stellen müssen, sind dabei die gleichen wie sonst auch: Warum brauchen wir diese Daten? Können wir sie sammeln, ohne Schaden anzurichten und dabei höchste ethische Standards einhalten? Können wir Daten erheben, die wissenschaftlichen Qualitätsansprüchen genügen, und wenn ja, wie? Wie sollten wir die gesammelten Daten so speichern, analysieren und veröffentlichen, dass sie dem Fortschritt dienen und böswillige Akteure sie nicht zu ihren Gunsten ausnutzen können? Auch wenn die Fragen dieselben sind, so steht doch eindeutig mehr auf dem Spiel. Dabei sind die Risiken, Fehler zu machen, die Schaden verursachen könnten, deutlich größer. Im Folgenden erörtern wir, wie wir diese Herausforderungen bei der jüngsten Umfrageforschung in der Ukraine angegangen sind.
1) Befragen oder nicht befragen?
Als in den frühen Morgenstunden des 24. Februar 2022 der Angriffskrieg mit der russischen großflächigen Invasion begann, befanden wir uns in einem Schockzustand. Selbst für diejenigen von uns, die keine Ukrainer:innen sind, ging das alles persönlich sehr nahe, denn unsere Kolleg:innen und Freund:innen waren in Gefahr. Und diejenigen von uns, die Ukrainer:innen sind, waren am Boden zerstört. Wir dachten unaufhörlich an geliebte Menschen, an unsere Heimat und an das, was passieren könnte. Im Gespräch mit einigen Kolleg:innen außerhalb der Ukraine, die in ihrer Verzweiflung nahezu in Schockstarre verfallen waren, meinten viele Kolleg:innen, dass jetzt nicht der richtige Zeitpunkt für neue Forschungsprojekte oder Datenerhebungen sei. Doch als wir sahen, wie die Ukrainer:innen ihrer Bürgerpflicht nachkamen und der russischen Invasionsarmee Widerstand leisteten und versuchten, die Panzer mit bloßen Händen aufzuhalten, wurde uns schnell klar, dass auch wir und unsere Teams bei MOBILISE (https://mobiliseproject.com/) und dem APLab (https://tarheels.live/applab/), sowie unsere Kolleg:innen, mit denen wir regelmäßig Umfragen durchführen (dazu gehören etwa Bryn Rosenfeld, Grigore Pop-Eleches und Henry Hale), die berufliche und bürgerliche Pflicht haben, unseren Beitrag zu leisten. Es ist unsere Aufgabe, die uns zur Verfügung stehenden Fähigkeiten und Kapazitäten zu nutzen, um Politiker:innen und Entscheidungsträger:innen die Ukraine präzise und evidenzbasiert zu erklären und dabei die vielen Mythen zu widerlegen und Fehler zu korrigieren, welche das westliche Denken über die Ukraine vor Februar 2022 geprägt haben.
2) Können wir Umfragen ethisch und verantwortungsbewusst durchführen?
Die ethischen Herausforderungen bei der Durchführung von wissenschaftlicher Forschung während eines Krieges sind enorm. Wir machen uns selbstverständlich Sorgen um das Wohlergehen unserer Forschungsteilnehmer:innen. Aber wir ziehen auch in Betracht, dass die Auswirkungen unserer Forschung deutlich weitläufiger sind und potenziell alle Ukrainer:innen betreffen. Daten über Standorte, Erfahrungen und eventuelle Lücken in den Datenschutzprotokollen könnten großen Schaden anrichten. Die Beantwortung schwieriger Fragen über Raketenangriffe und vermisste Angehörige könnte bei den Befragten zu Traumata führen. Um dem vorzubeugen, wurden alle Fragen, die wir für Fragebögen in Betracht gezogen haben, im Vorfeld mit den ukrainischen Kolleg:innen besprochen. Dabei verfügten die ukrainischen Teammitglieder über ein Vetorecht und konnten Fragen auch ablehnen. Wir waren uns auch im Klaren darüber, dass einige Fragen nicht gestellt werden sollten, auch wenn sie auf den ersten Blick gestellt werden »könnten«. Denn wir müssen befürchten, dass Akteure mit böswilligen Absichten unsere Erkenntnisse für ihre Zwecke missbrauchen könnten. Daher erforderte die Erstellung der Fragebögen von uns enorme Selbstkontrolle, wie wir sie bisher noch nicht geübt hatten. Selbst wenn wir einen guten theoretischen Grund anführen konnten, eine Frage zu stellen, mussten wir in erster Linie abwägen, ob die Frage Schaden anrichten kann.
3) Wie können wir methodische Rigorosität gewährleisten?
Um die Qualität und Zuverlässigkeit der Erhebungen zu maximieren, haben wir eine Reihe von Maßnahmen ergriffen. Erstens haben wir bei der Auswahl der Fragen mit unseren langjährigen Panelbefragungsprojekten zusammengearbeitet und frühere Erhebungsprojekte von Wissenschaftler:innen konsultiert, die in anderen Kriegsregionen geforscht haben, um eine möglichst einheitliche Formulierung der Fragen zu den wichtigsten Themen sicherzustellen. Dies erlaubte es uns, allgemeine Zusammenhänge, die schon jenseits der Ukraine empirisch festgestellt wurden, in unseren Ergebnissen zu überprüfen. So bekamen wir ein Gefühl dafür, wie zuverlässig die jeweiligen Umfragen waren.
Ein noch größeres Problem war natürlich die Stichprobenentnahme. Hier gibt es aus unserer Sicht (mindestens!) drei Herausforderungen. Am offensichtlichsten ist, dass einige Bevölkerungsgruppen nicht erreichbar sind, weil sie sich in den von Russland besetzten Gebieten befinden. Darüber hinaus werden Männer im Alter von 18 bis 60 Jahren überproportional häufig in die Streitkräfte eingezogen, während Frauen im Alter von 20 bis 50 Jahren (und insbesondere Mütter von Kindern im Schulalter) überproportional häufig unter den Kriegsflüchtlingen sind, die in ganz Europa Zuflucht suchen. Neben der massenhaften Vertreibung der Bevölkerung aus der Ukraine war die riesige Anzahl von Binnenflüchtlingen im Land selbst eine weitere Herausforderung. Beide Fluchtbewegungen sind mit unterschiedlichen sozioökonomischen und demografischen Migrationsprofilen verbunden, was den Zugang zu und den Umgang mit diesen Bevölkerungsgruppen und ihren Stichproben ebenfalls erschwert.
Während die Gewichtung bei Fragen des Geschlechts und des Alters (etwas) helfen kann, ist die Geografie, die wiederum mit anderen Faktoren und Meinungsunterschieden in der Ukraine korreliert, eine größere Herausforderung. Um dem zumindest teilweise zu begegnen, haben wir Fragen zu der Stadt/Oblast/Region hinzugefügt, in der unsere Befragten vor dem 24. Februar gelebt haben, in der sie sich zum Zeitpunkt der Umfrage befinden und auch, ob sie in der Zwischenzeit in einer anderen Stadt, Oblast oder Region gewohnt haben.
Darüber hinaus gibt es unbekannte Faktoren. Hierzu gehört etwa das Ausmaß, in dem sich verschiedene Traumata auf die Stichprobe unserer Umfrage auswirken würden. Um diesem Problem zu begegnen, haben wir Fragen (zu Emotionen und den Auswirkungen des Krieges) aus unseren früheren und aktuellen Umfragen genutzt, um unsere verschiedenen Erhebungen zu validieren. Nichtsdestotrotz werden wir große Sorgfalt und Aufmerksamkeit in diesem Problemkomplex benötigen, um in unserer Forschung voranzukommen.
Abgesehen von der Stichprobenziehung stehen unsere Erhebungen vor noch größeren Herausforderungen als bisher. Dies hat mit der möglichen Verfälschung von Präferenzen (»preference falsification«) und Verzerrungen durch soziale Erwünschtheit (»social desirability bias«) zu tun. Wir folgten hier etablierten Praktiken in der Politikwissenschaft und stellten mehrere Fragen zu gleichen oder ähnlichen Gefühlen/Themen und führten Listen- und Zustimmungsexperimente (sog. »list experiments« und »endorsement experiments«) durch.
4) Wie stellen wir sicher, dass die Daten sauber analysiert und für die Entscheidungsträger:innen nutzbar gemacht werden?
In Anbetracht all der Vorbehalte bezüglich der Stichprobenziehung und der Datenqualität ist uns bewusst, dass wir bei Aussagen, die wir auf der Grundlage der Daten, die während des Krieges erhoben wurden, treffen, mit aller Vorsicht und Bescheidenheit vorgehen müssen. Angesichts der Schwierigkeiten, eine echte Zufallsstichprobe zu erzielen, ist es sehr wahrscheinlich, dass die Stichprobenfehler höher ausfallen.
Vergleiche mit den jüngsten Daten aus der Zeit vor der großflächigen Invasion, können dabei helfen, die Fehler zu minimieren. MOBILISE-Daten (https://mobiliseproject.com/) wurden beispielsweise bis zum 16. Februar 2022 erhoben, IBIF-Daten (https://ibifukraine.com/) im Jahr 2021 und Pop-Eleches, Rosenfeld und Robertson führten im Jahr 2021 ebenfalls Datenerhebungen durch. Ein Vergleich mit den früher erhobenen Daten zeigt, dass sich die Muster in Bezug auf Fragen der Identität und der Politik verändert haben. Wenn wir darüber nachdenken, was wir aus den Daten aus Zeiten des Kriegs ableiten können, sollten wir diese Trends berücksichtigen.
Auch wenn politische Entscheidungsträger:innen und Journalist:innen das Wort »Regressionsanalyse« nicht gerne hören, so es ist dennoch unerlässlich, dass wir verschiedene analytische Tests durchführen, um die Robustheit der Korrelationszusammenhänge zu ermitteln, die wir zu beobachten glauben. Dabei sind wir darauf bedacht, unsere Ergebnisse so breit wie möglich zu präsentieren, auch wenn dies in vereinfachter oder leicht zugänglicher Form geschieht. Dabei sind wir uns aber immer aller Schritte bewusst, die notwendig sind (hierzu gehören etwa die Gewichtung der Daten, die Schätzung der Modelle sowie Robustheitstests) und legen diese auch nach Möglichkeit transparent dar, damit wissenschaftlich sichergestellt ist, dass unsere Daten genau das aussagen, was sie zu uns zu zeigen scheinen. Für unser Team bedeutet dies eine engere Zusammenarbeit – intensive Kooperation und Ko-Autorenschaft.
