Lügen kann man prinzipiell nicht erkennen

Eines meiner Lieblingsthemen ist das False Positives Paradox, weil es zum einen sehr kontraintuitiv ist und zum anderen einiges über Selbsttäuschung offenbaren kann. Es gibt viele Menschen die von sich behaupten, dass sie gut darin sind Lügen zu erkennen oder Fake Reviews zu spotten. Man kann aber mit mathematischer Sicherheit sagen, dass diese Menschen sich täuschen. Sie können es nicht, weil es prinzipiell unmöglich ist dies verlässlich zu tun. Wir fangen an einem etwas unerwarteten Punkt an: einem HIV-Test. Nehmen wir das folgende über diesen Test an.

Eine Person, die kein HIV hat und den Test macht, bekommt mit 98 % Wahrscheinlichkeit ein negatives Ergebnis und mit 2 % ein positives.

Eine Person hingegen, die HIV hat, bekommt mit 98 % Wahrscheinlichkeit ein positives Ergebnis und mit 2 % ein negatives.

Das klingt nach einem sehr verlässlichen Test und wer diesen Test durchführen lässt und ein positives Ergebnis erhält, sollte sich sorgen machen. Richtig? Nicht ganz.

HIV ist eine recht seltene Erkrankung, zumindest in westlichen Ländern, also nehmen wir mal an dass in einem Sample von 1000 Leuten 990 Leute kein HIV haben und 10 Leute HIV haben. Man könnte auch andere Zahlen ohne dass der Rest sich verzerrt, aber einigen wir uns auf dieses Sample. Wieviele bekommen ein positives Resultat?

  • Von den 990 ohne HIV bekommen 2 % (also 20 Leute) fälschlicherweise das Resultat HIV-Positiv.
  • Von den 10 Leuten mit HIV bekommen 98 % (also 10 Leute) korrekterweise das Resultat HIV-Positiv.

Insgesamt haben also 30 Person das Resultat HIV-Positiv bekommen – aber nur nur 10 dieser Leute tragen tatsächlich das HI-Virus! Oder anders formuliert: Wer bei diesem Test das Ergebnis HIV-Positiv bekommt, hat nur mit 33 % Wahrscheinlichkeit tatsächlich HIV. Und das obwohl der Test, wie man an den Eingangszahlen sieht, insgesamt sehr verlässlich ist.

Wie ist das möglich? Es ist die Kombination dieser zwei Elemente, die zu diesem verzerrten Ergebnis führt:

  • Der Test stuft manche Gesunde als krank ein
  • Die Anzahl Gesunder überwiegt die Anzahl Kranker deutlich

Durch diese Kombination entstehen viele “false positives” (Einstufung als HIV-Positiv trotz Abwesenheit des Viruses), die einer nur geringen Menge an “correct negatives” (korrekte Erfassung des Viruses) gegenüberstehen. Dadurch wird es insgesamt eher unwahrscheinlich, dass jemand, der das Result HIV-Positiv bekommt, auch tatsächlich den Virus trägt.

Wer dieses False Positives Paradox ignoriert, kann im Alltag leicht Selbsttäuschungen erliegen. Ein schönes Beispiel ist das Erkennen von fake Reviews. Wer im Internet etwas bestellen möchte oder ein neues Restaurant ausprobieren will, verlässt sich häufig auf die Reviews anderer Menschen. Für den Verkäufer oder Restaurantbesitzer ist es entsprechend toll, viele gute Reviews zu haben. Und der ein oder andere mag dem wohl auf unmoralische Weise nachhelfen und zwar in dem er selbst falsche Reviews online stellt.

Kann man diese fake Reviews von echten Reviews unterscheiden? Nein, definitiv nicht. Der Grund ist das False Positives Paradox.

Nehmen wir an, dass wir 1000 Reviews vor uns haben. Die meisten sind authentisch, manche hingegen sind fake. Sagen wir dass 900 davon echt sind und 100 fake. Und seien wir viel gütiger mit unseren Fähigkeiten, als es der Realität entspricht. Und zwar in dem wir folgendes annehmen:

Ein echtes Review stufen wir mit 90 % Wahrscheinlichkeit als solches ein und mit 10 % als fake.

Ein fake Review erkennen wir mit 100 % Wahrscheinlichkeit.

Laborexperimente zeigen dass niemand so verlässlich ist, sowohl was echte als auch fake Reviews angeht. Aber um konservativ zu sein, nehmen wir es an. Wieviele fake Reviews sehen wir?

  • Von den 900 echten Reviews stufen wir 10 % (also 90 Stück) als fake Reviews ein.
  • Von den 100 fake Reviews stufen wir 100 % (also 100 Stück) als fake Reviews ein.

Macht also 190 Reviews, von denen wir meinen dass sie fake sind, obwohl nur 100 davon tatsächlich fake sind. Bei etwa jedem zweiten täuschen wir uns – kaum besser als ein Münzwurf. Und das obwohl wir im Bezug auf die prinzipielle Genauigkeit sehr gütig waren.

Lange Rede, kurzer Sinn: es funktioniert leider nicht. Man kann Lügen nicht verlässlich erkennen. Oder fake Reviews. Das False Positives Paradox verhindert dies prinzipiell und zwar mit mathematischer Sicherheit. Zumindest, und das ist ein lustiger Zusatz, in einer Welt, in der die Wahrheiten die Lügen überwiegen. Mit viel Glück kann man hoffen, ungefähr so verlässlich wie ein Münzwurf zu sein.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s