Die Wirkung von Ivermectin bei Covid wird seit mehr als einem Jahr untersucht. Alleine für den Effekt auf Mortalität gibt es schon neun Studien mit Kontrollgruppe. Man sollte meinen, dass mittlerweile ein klares Bild besteht. Aber es bleibt leider unklar, ob Ivermectin hilft oder nicht. Das Warum lässt sich schön in einem einzigen Bild zeigen. Hier sind die neun Studien (dieser Meta-Analyse entnommen) geordnet nach steigender Unsicherheit des Resultats:

Man findet viele kleine Studien (meistens Pilotprojekte), die zum Schluss kommen, dass die Verabreichung von Ivermectin das Risiko eines tödlichen Ausgangs recht deutlich senkt. Doch genau die beiden größten Studien sehen einen solchen Effekt nicht. Ein Funnel Plot macht diese Diskrepanz noch deutlicher:

Alle kleineren Studien (hoher Standardfehler) streuen unterhalb des Mittels der größten Studien. Eine solche Form kann nur durch systematischen Bias entstehen. Ohne Bias ergibt sich in Meta-Analysen eine symmetrische Trichterform: Die größten Studien konvergieren zu einem gemeinsamen Mittel, der wahren Effektstärke, während kleinere Studien nach oben und unten um diese wahre Effektstärke streuuen. Je kleiner die Studien, desto stärker kann die Abweichung vom Mittel sein. Das ist normale statistische Schwankung. Die Betonung liegt hier jedoch auf “nach oben und unten”. Eine systematische Abweichung in nur eine Richtung ergibt sich durch gewöhnliche statistische Schwankungen nicht und ist ein klarer Hinweis auf Publikationsbias. Der Funnel Plot drängt die folgende Frage auf: Was ist mit den kleineren Studien, die keinen oder sogar einen negativen Effekt von Ivermectin gefunden haben, geschehen?

Betrachtet man nur die drei größten Studien, dann ergibt sich folgendes:

Das Odds Ratio ist 0,7 mit einem 95 % Konfidenzintervall von 0,4 bis 1,3. Die Nullhypothese kann nicht abgelehnt werden. Der Schluss daraus ist, dass nicht klar ist, ob Ivermectin hilft oder nicht. Ignoriert man hingegen den ziemlich deutlichen Hinweis auf Publikationsbias und nimmt alle Studien hinzu, dann ergibt sich:

Ein Odds Ratio 0,4 mit 95 % KI von 0,2 bis 0,7. Man käme so zu dem Schluss, dass man die Nullhypothese mit gutem Gewissen ablehnen kann und Ivermectin das Risiko eines tödlichen Ausgangs mit einer Wirksamkeit von 60 % senkt (Wirksamkeit ist Eins minus OR). Was davon stimmt?

Es wäre unverantwortlich und unehrlich, den asymmetrischen Funnel Plot zu ignorieren. Es gibt gute Gründe, wieso dieser in praktisch jeder Meta-Analyse zu finden ist. Und wieso die Untersuchung auf Publikationsbias ein integraler Teil von Meta-Analysen ist. Die verlinkte Meta-Studie selbst erwähnt den Publikationsbias nicht, sie analysiert nur den individuellen Bias der verwendeten Studien. Das ist unüblich für Meta-Studien. Sie stellt jedoch zumindest fest, dass die bisherigen Resultate nicht ausreichend sind für eine behördliche Genehmigung.

Das Beispiel Ivermectin zeigt wieder, wie weitreichend das Problem Publikationsbias in der Wissenschaft ist. Und wie wichtig es ist, dass jede Studie vorregistriert wird und Journale auch konsequent insignifikante Ergebnisse publizieren. Nullresultate haben ebenso viel Aussagekraft wie signifikante Ergebnisse, landen aber leider sehr oft in der Versenkung. Mit der Analyse des Funnel Plots gibt es zwar eine verlässliche Methode dem Publikationsbias auf die Spur zu kommen, jedoch kommt diese Auswertung in vielen Meta-Analysen recht kurz und die Erwähnung des korrigierten Ergebnisses im Abstract bleibt eine absolute Seltenheit.