L-Carnitin – Schäbige Forscher, Guter Effekt

Schaut man sich die Meta-Analyse zur antidepressiven Wirkung von L-Carnitin an, so sieht man einen ziemlich deutlichen Publikationsbias. Die Meta-Studie geht darauf kaum ein und ist somit nicht die Bytes wert, auf der sie gedruckt ist. Es ist klar zu erkennen, dass die Forscher hier auf ein spektakuläres Ergebnis und Prestige aus sind. Die Wahrheitsfindung musste sich hinten anstellen. Was sehr schade ist, da eine konservative Neuberechnung durchaus für L-Carnitin spricht.

Was heißt konservative Berechnung?

  • Nur die größten RCTs in die Analyse aufnehmen
  • Ausreißer nach oben entfernen
  • Mittels Trim-And-Fill Methode den Publikationsbias ausgleichen

Ich habe die Meta-Analyse nochmal durchgeführt mit folgenden Änderungen:

  • Alle Studien mit einer Varianz größer als 0,1 entfernt, so dass nur verlässliche RCTs bleiben. Es bleiben so vier RCTs übrig.
  • Es gab einen RCT, den man als schwacher Ausreißer nach oben einstufen könnte. Ein Grenzfall. In der ersten Berechnung haben ich ihn belassen, in einer zweiten Berechnung die dort gefundene Effektstärke dreist halbiert
  • Gemäß Trim-And-Fill habe ich ein RCT unter dem Mittel hinzugefügt

Das ist alles sehr konservativ, aber zumindest bekommt man so ein Ergebnis, bei dem keine Gefahr besteht, dass die gewichtete Effektstärke von kleinen Studien oder dem Publikationsbias verzerrt wird. Das Ergebnis, berechnet nach dem Random-Effects-Models (ebenso eine konservativere Wahl als das Fixed-Effects-Model), ist ernüchternder als das spektakuläre Ergebnis der Autoren, aber definitiv realistischer und verlässlicher.

Ohne Anpassung des potentiellen Ausreißers:

d = 0,35 [0,12, 0,58] und p < 0,01

Mit Anpassung des potentiellen Ausreißers:

d = 0,27 [0,04, 0,50] und p < 0,05

Die antidepressive Wirkung bleibt also auch unter Verwendung höherer Standards signifikant und wäre demnach im Bereich von Omega-3 (d = 0,34, nach Bias-Korrektur d = 0,26) und probiotischen Supplements (d = 0,28, nach Bias-Korrektur d = 0,21). Dieses Ergebnis sollte optimistisch stimmen und es ist auch jenes Ergebnis, das im Abstrakt stehen sollte.

Wieso steht das nicht dort? Die Wissenschaft bietet leider verquere Anreize. Die meisten Journale, nicht nur die kleinen Nischenjournale, sondern explizit auch die größten Journale eines Feldes, veröffentlichen praktisch nie insignifikante Ergebnisse. Und unter den signifikanten Ergebnissen werden vor allem jene bevorzugt, die eine besonders hohe Effektstärke zeigen. Wer sich einen Namen machen will, braucht laute Ergebnisse. d = 1,10 klingt bombastisch. d = 0,27 ist ehrlich, lässt aber keine Herzen höher schlagen.

Wer mir nicht glauben will, dass das Problem so dramatisch ist, wie hier dargestellt, dem sei das Reproducibility Project ans Herz gelegt. Natürlich ist es nicht nur Publikationsbias, sondern auch unehrliche statistische Methoden (P-Hacking, Fischen nach Effekten, Vorzeitige Einstellung der Datensammlung, liberaler Umgang mit unbequemen Ausreißern). Aber am Ende bleibt ein Feld, bei dem sich nur einer von drei Effekten überhaupt reproduzieren lässt. Ein niederschmetterndes Fazit für ein Feld, das sich gerne selbst als Wissenschaft bezeichnet.

Die verlinkte Meta-Studie ist absolut keine Ausnahme. Viele Meta-Studien arbeiten den Publikationsbias mechanisch ab, weisen darauf hin, geben aber keine Einschätzung der Tragweite und produzieren keinen Funnel-Plot. Viele andere Meta-Studien bieten eine ordentliche Analyse dazu und liefern auch ein korrigiertes Mittel, aber dieser wird nie im Abstrakt berichtet. Im Abstrakt bleibt das unkorrigierte Mittel, welches dann von anderen zitiert und in der Praxis oft ungeprüft übernommen wird.

Wer eine Meta-Studie liest, dem sei folgendes ans Herzen gelegt:

  • Nie dem Abstrakt trauen
  • Den ersten Blick immer auf den Abschnitt über Bias
  • Was dort zu sehen sein soll: ein korrigiertes Mittel und ein Funnel-Plot. Dieses korrigierte Mittel ist die tatsächliche Effektstärke, nicht das, was im Abstrakt steht
  • Kein korrigiertes Mittel vorhanden? Die gefundene Effektstärke gedanklich durch drei teilen. Die tatsächliche Effektstärke dürfte wohl dort irgendwo liegen
  • Meta-Regressionen laufen leider i.d.R. nach dem Prinzip “Fischen nach Effekten” (1) und das auf Basis weniger Datenpunkte. Nur begrenzt Glauben schenken

Aus Gründen der Transparenz, hier zum Nachrechnen meines Ergebnisses. Die vier RCTs, der Meta-Studie entnommen, und der mittels Trim-And-Fill hinzugefügte RCT*. Erwähnt ist die Effektstärke, Varianz und Random-Effects-Varianz.

,600 ,100 ,180
,140 ,100 ,180 *
,100 ,065 ,145
,800 ,065 ,145
,200 ,040 ,120

Mit dreister Anpassung des potentiellen Ausreißers **

,600 ,100 ,180
,140 ,100 ,180 *
,100 ,065 ,145
,400 ,065 ,145 **
,200 ,040 ,120

(1) Das sieht man sogar oft ganz wundervoll an der Formulierung der Vorgehensweise bei den Meta-Regressionen: “We tested whether X”, “We then testet if Y”, ” We also looked at whether Z”, etc … Klassisches Fischen nach Effekten. Die korrekte Herangehensweise wäre: Vor den Meta-Regressionen Hypothesen formulieren (z.B. Dose-Response) und nur diese testen. Es ist bizarr, dass Fischen nach Effekten in der Regel verpöhnt ist, bei den Meta-Regressionen jedoch ganz offen betrieben wird.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s