Was genau hat die Studie gemacht? Die Autoren haben im Rahmen eine Kohortenstudie von mehr als 99 Millionen Personen aus 10 Regionen in 8 Ländern das erwartete Risiko von 13 neurologischen, hämatologischen und kardialen Erkrankungen in der Zeit vor der Corona-Pandemie ermittelt und diese mit dem beobachteten Aufkommen dieser Erkrankung nach den COVID-19-Impfkampagnen verglichen und daraus das sogenannte OE-Verhältnis, also die Relation zwischen beobachteten („Observed“) und erwarteten („Expected“) Werten berechnet. Die Wissenschaftler konzentrierten sich dabei auf die drei am häufigsten verabreichten Impfstoffe von Pfizer/BioNTech, Moderna und AstraZeneca. Alle OE-Werte über 1,5 wurden dann als Signale für mögliche unerwünschte Wirkungen der COVID-19-Impfstoffe gewertet. Von den insgesamt 143 statistischen Tests, die die Autoren durchführten, waren die empirischen OE-Werte in 12 Tests statistisch signifikant höher als 1,5. Für den Impfstoff von AstraZeneca fanden die Autoren ein fast 7-fach erhöhtes Risiko für das Auftreten einer Perikarditis bei der dritten Impfung.
Es ist sehr wahrscheinlich, dass Ergebnisse in Studie fälschlicherweise als signifikant deklariert werden
Was ist das Problem der Studie? Das Problem der Studie liegt in dem in der Statistik seit langem bekannten Phänomen, dass bei multiplen Tests eine Hypothese zu oft verworfen wird. Bei ihren insgesamt 143 Tests verwenden die Autoren eine Irrtumswahrscheinlichkeit von fünf Prozent, d.h. sie irren sich nur in fünf Prozent der Fälle, wenn sie behaupten, dass der wahre OE-Wert größer als 1,5 ist (und in Wahrheit kein Effekt vorliegt). Selbst wenn die Corona-Impfung keine Nebenwirkungen hätte, würde man also bei 143 Tests etwa 7 signifikante Testergebnisse erwarten, bei denen die Hypothese „OE-Wert ist kleiner als 1,5“ fälschlicherweise verworfen wird. Die Problematik der Studie kann auch anhand des folgenden Beispiels verdeutlicht werden: Die Wahrscheinlichkeit, dass ein statistisch signifikantes Ergebnis auch sachlich signifikant ist, entspricht der Wahrscheinlichkeit, bei einem 20-seitigen Würfel keine 1 zu würfeln. Das klingt zunächst beruhigend. Wenn nun aber nicht nur ein Würfel geworfen wird, sondern 100 (weil entweder 100 Wissenschaftler jeweils eine Hypothese testen oder ein Wissenschaftler 100 Hypothesen), dann ist es plötzlich sehr wahrscheinlich, dass dabei fälschlicherweise Ergebnisse als signifikant deklariert werden.
Einer von uns hat mit dieser Erkenntnis einmal nachgewiesen, dass an Börsentagen, an denen geteilt durch sieben der Rest 1 ist (also am 1., 8., 15., 22. Und 29. eines Monats), der deutsche Aktienindex DAX eine signifikant höhere Rendite aufweist als sonst. Wie hat er das gemacht? Er hat Tausende von Tests durchgeführt: Geteilt durch sieben Rest zwei, Rest drei, Rest vier, Geteilt durch acht Rest eins, Rest zwei und so weiter. Wenn man nur genügend Tests durchführt, findet man mit Sicherheit eine signifikante Abweichung. Und das war bei Geteilt durch sieben Rest 1 der Fall.
Unerwünschte Nebenwirkungen sollten beobachtet und weiter untersucht werden
Um das beschriebene Problem der multiplen Tests in den Griff zu bekommen, haben Statistiker mehrere Korrekturmethoden entwickelt. Eine dieser Korrekturen ist die so genannte „Bonferroni-Adjustierung“. Nähert man diese Adjustierung grob an die Ergebnisse der obigen Studie an, so verbleiben noch 8 Tests, bei denen der beobachtete QE-Wert signifikant größer als 1,5 ist.
Fazit: Häufig sind statistisch signifikante Ergebnisse alles andere als sachlich signifikant, insbesondere wenn sehr viele Tests durchgeführt werden. Im Falle der Studie zu den Nebenwirkungen der Corona-Impfung ergeben sich jedoch auch unter Berücksichtigung der Problematik der Mehrfachversuche einige unerwünschte Nebenwirkungen, die beobachtet und weiter untersucht werden sollten. Dabei sind jedoch die Hinweise der Autoren zu berücksichtigen, dass zum einen die Nebenwirkungen nur bei einem sehr kleinen Bruchteil der Corona-Impfungen auftreten und zum anderen die weitaus schwerwiegenderen gesundheitlichen Folgen einer Corona-Infektion den weitaus geringeren gesundheitlichen Risiken der Nebenwirkungen der Impfungen gegenübergestellt werden müssen.
Mit der „Unstatistik des Monats“ hinterfragen der Berliner Psychologe Gerd Gigerenzer, der Dortmunder Statistiker Walter Krämer, die STAT-UP-Gründerin Katharina Schüller und RWI-Vizepräsident Thomas K. Bauer jeden Monat sowohl jüngst publizierte Zahlen als auch deren Interpretationen. Alle „Unstatistiken“ finden Sie im Internet unter www.unstatistik.de und unter dem Twitter-Account @unstatistik. Unstatistik-Autorin Katharina Schüller ist zudem Mit-Initiatorin der „Data Literacy Charta“, die sich für eine umfassende Vermittlung von Datenkompetenzen einsetzt. Die Charta ist unterwww.data-literacy-charta.deabrufbar.
Weiterführende Literatur: „Grüne fahren SUV und Joggen macht unsterblich – Über Risiken und Nebenwirkungen der Unstatistik“, das zweite Unstatistik-Buch (ISBN 9783593516080), erhältlich im Buchhandel zum Preis von 22 Euro. Es wurde im Oktober 2023 mit dem „getAbstract-International Book Award 2023“ in der Kategorie Business Impact ausgezeichnet worden. Das Unternehmen getAbstract hat sich auf die Zusammenfassungen von Wirtschaftsbüchern und Klassikern der Weltliteratur spezialisiert und vergibt seine Awards jährlich im Rahmen der Frankfurter Buchmesse.
Quelle: RWI
