Publikationsbias und L-Carnitin

Ich bin etwas enttäuscht. Vor ein paar Monaten hatte ich diese Meta-Studie entdeckt und habe daraufhin angefangen L-Carnitin zu nehmen. Die Studie stellt basierend auf einer vernünftigen Datenlage (neun kontrollierte Experimente mit > 400 Probanten) eine starke antidepressive Wirkung von L-Carnitin fest. Zu stark, wenn man es in bekannte Effektstärken einordnet, das macht schon stutzig. Therapien wie CBT und MBT schaffen eine Reduktion depressiver Symptome um d = 0,5 bis d = 0,7. Mittel der Nahrungsergänzung mit gesicherter antidpressiver Wirkung und exzellenter Datenlage (Omega-3, Probiotisch) schaffen um die d = 0,2 bis d = 0,3. Laut der Meta-Studie bringt L-Carnitin eine Reduktion von d = 1,1. Das wäre deutlich effektiver als jede Therapie und jede andere Nahrungsergänzung. Unrealistisch hoch. Und schaut man sich die Daten genauer an, sieht man auch schnell, woher dieses Resultat kommt. Wie so oft ist der Täter Publikationsbias. Experimente mit Nullresultat oder gar negativem Resultat zu der antidepressiven Wirkung von L-Carnitin sind systematisch in den Schubladen der Forscher verschwunden. Das ist ein schwerer Vorwurf, lässt sich aber überraschend leicht zeigen.

Wie findet man Publikationsbias? Es klingt zuerst nach einer unlösbaren Aufgabe. Woher soll man wissen, welche Studien nicht veröffentlicht wurden? Sie stehen in keinem Journal, die Ergebnisse lassen sich nirgendwo nachlesen. Mit etwas Glück findet man eine Registrierung der Studie ohne folgende Veröffentlichung und kann direkt bei den Forschern anfragen. Das ist viel Aufwand und es gibt keine Garantie, dass sich eine solche Registrierung finden lässt. Trotzdem hinterlässt die Abwesenheit diese Studien sehr klare Spuren.

Man kann (und sollte) alle gefundenen Experimente zu einem Thema in einem Unsicherheits-Effektstärke-Diagramm eintragen. Jedes Experiment endet mit einer Effektstärke und einer Unsicherheit, die sich aus der Studiengröße ergibt. Je mehr Probanten das Experiment enthält, desto kleiner die Unsicherheit der gefundenen Effektstärke. So sieht das resultierende Diagramm typischerweise aus, wenn die Forscher alle Experimente zu einem Thema veröffentlichen, unabhängig davon, ob das Resultat positiv, neutral oder negativ war. Das ist ein sogenannter Funnel-Plot, hier über eine Simulation produziert.

Was man darauf sieht, ist sehr logisch und einfach. Kleine Studien mit hoher Unsicherheit (Punkte rechts) weichen oft stark von der tatsächlichen Effektstärke ab. Statt der echten Effektstärke von d = 0,5 finden sie Werte von -0,5 bis 1,5. Das ist normal. Je größer aber die Studien (und somit je kleiner die Unsicherheit), desto mehr konvergieren die gefunden Effektstärken gegen die reale Effektstärke. Sehr große Studien mit sehr kleiner Unsicherheit (Punkte links) liegen entsprechend allesamt recht nah an dem Wert d = 0,5. Ohne Publikationsbias sieht man eine recht symmetrische Streuung um diese reale Effektstärke. Viele liegen darüber, viele darunter, aber es hebt sich grob auf. Und so kommt man bei der Bildung des Mittelwerts über alle Studien auch gut zu der realen Effektstärke. Kein Problem. Manchmal (leider recht oft) sieht es aber so aus:

Betrachtet man nur die größten Studien links, würde man wieder einen Mittelwert um die d = 0,5 vermuten. Die Streuung nach unten fehlt jetzt aber. Kleinere Studien weichen wie gewohnt stärker von diesem Mittelwert ab, aber zu den Studien mit stark positiven Ergebnissen (das bringt Prestige) gibt es keine Gegenstücke (das bringt kein Prestige). Forscher und Journale veröffentlichen lieber ein Ergebnis “Beeindruckender Effekt gefunden” als “Hier gibt es nichts zu sehen”. Das Problem daran ist, dass der Mittelwert über alle Studien nun stark von dem realen Effekt abweicht. Statt d = 0,5 berichtet die Meta-Studie d = 0,8.

Die gute Nachricht ist, wie man an den Graphen erkennen kann, dass es sehr einfach ist zu sehen, ob Studien verschwunden sind, selbst wenn man die einzelnen Studien nie finden könnte. Größere Studien konvergieren IMMER zur realen Effektstärke, kleinere Studien streuen IMMER weit davon und somit ergibt sich ohne Publikationsbias IMMER eine gefüllte Trichterform. Fehlt etwas unter jenem Mittelwert, den man durch die größten Studien vermutet, sind definitiv Studien in der Schublade gelandet. Ein schneller und schmerzfreier Ansatz zum Testen auf Publikationsbias ist also: Mittelwert aus den größten Studien berechnen, Linien anlegen, Kopf einschalten.

Ich habe aus der Meta-Studie zu L-Carnitin alle Effektstärken und Unsicherheiten rausgeschrieben und in SPSS eingetippt. Aus den größten drei Studien ergibt sich eine mittlere Effektstärke von d = 0,37. Weit unter dem Mittel über alle Studien von d = 1,1. Diesen Mittelwert habe ich einzeichnen lassen und dann auf Sicht die Trichtergrenzen angelegt (diese sind nicht super-wichtig, machen die visuelle Interpretation aber einfacher). So sieht es aus:

Ein Ergebnis wie aus einem Lehrbuch zu Publikationsbias. Man erkennt, dass die größten Studien zu einem geminsamen Mittelwert konvergieren, so wie es sein sollte. Die kleineren Studien liegen hingegen systematisch ÜBER dem Mittelwert der größten Studien. Es ist also nicht überraschend, dass wenn man naiv den Mittelwert über alle gefundenen Studien bildet (nach dem Fixed-Effects-Model), man ein spektakuläres Ergebnis wie d = 1,1 erhält. Dieser optimistische Wert lässt sich aber überhaupt nicht vereinen mit den Ergebnissen der größten Studien sowie dem Fakt, dass diese Studien recht gut zu einem kleineren Wert konvergieren. Die Effektstärke d = 1,1 ist schlicht eine Inflation, eine Folge davon, dass viele Studien mit Nullresultat oder negativem Resultat in den Schubladen verschwunden sind und somit in der Analyse fehlen. Gemäß den größten Studien liegt der reale Effekt irgendwo zwischen d = 0,0 und 0,6, also irgendwo zwischen “kein Effekt” und “moderater Effekt”.

Es könnte durchaus ein Effekt übrig bleiben, sogar einer, der sich im Vergleich zu der Wirkung von Therapien und anderer Ergänzungsmittel gut sehen lassen kann. Es lohnt sich, L-Carnitin weiter auf dem Radar zu haben, vor allem da die vermutete antidepressive Wirkung nur ein Teil der gesamten positiven Wirkung des Stoffes ist. Aber nach Berücksichtigung des Publikationsbias lautet das Ergebnis der Experimente: Antidepressive Wirkung unklar, mehr Daten benötigt. Das ist ein gutes Stück entfernt von “besser als alles bekannte”, daher die Enttäuschung.

Es hat sich hier definitiv gelohnt, den Kopf einzuschalten. Die naive Berechnung nach dem Fixed-Effects-Model, eine Methode zur Zusammenfassung von vielen Effektstärken und Unsicherheiten zu einem gemeinsamen gewichteten Mittelwert und einem gemeinsamen Unsicherheitsintervall, funktioniert ganz wundervoll, wenn man eine Trichterform vorliegen hat. Ist das nicht gegeben, müssen immer die größten Experimente als Orientierung dienen und das berechnete gewichtete Mittel mittels der Trim-And-Fill-Methode korrigiert werden.

Jede Meta-Studie produziert den Funnel-Plot und stellt, wenn nötig, Publikationsbias fest. Das gehört zum guten Ton. Aber nicht immer wird ein korrigiertes Mittel angegeben und noch seltener (eigentlich nie), wird statt dem naiven Mittel das korrigierte Mittel im Abstract angegeben. Das ist ein großes Problem, denn sofern man nicht besonderes Interesse an einem Thema hat, belässt man es i.d.R. beim Lesen des Abstracts und traut den berichteten Werten. Wie man oben sieht, kann man stark daneben liegen, wenn man den Wert aus dem Abstract ungeprüft übernimmt. In Meta-Studien sollte der erste Blick immer zum Funnel-Plot und korrigierten Mittel wandern. Dort sieht man das, was dem realen Mittel am nächsten kommt.

3 Comments

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s