P(doom): Warum Zahlen zur KI-Apokalypse wenig taugen

Eine P(doom)-Zahl ist keine Messung, sondern eine Meinung in Prozentform. Tim Harford von der Financial Times fragt deshalb, was solche Vorhersagen überhaupt leisten sollen. Eine Prognose, die sich weder prüfen noch widerlegen lässt, trägt zu keiner Entscheidung bei.

Warum die Zahl nichts trägt

Wahrscheinlichkeiten lassen sich bewerten, wenn ein Ereignis oft genug eintritt, um Trefferquoten zu berechnen. Für das Aussterben der Menschheit gibt es diesen Datensatz nicht, und einen zweiten Durchlauf gibt es auch nicht. Wer eine niedrige Zahl nennt und wer eine hohe nennt, kann im Nachhinein gleichermaßen nicht widerlegt werden.

Der rhetorische Effekt bleibt trotzdem: Eine Prozentangabe klingt nach Rechnung, nicht nach Bauchgefühl. Sie verschiebt die Beweislast, ohne selbst Beweise mitzubringen.

Im UN-Sicherheitsrat fielen Namen, keine Prozentwerte

Vor dem 15-köpfigen Gremium sprachen laut derStandard am Mittwoch Dario Amodei (Anthropic), Sam Altman (OpenAI) und Clement Delangue, Mitbegründer von Hugging Face. Amodei sagte, schlecht verwaltet könne KI „ein Risiko für die gesamte Menschheit" darstellen. Das ist eine Möglichkeitsaussage, keine Quantifizierung – und damit präziser als jede frei gewählte Prozentzahl. Dem Bericht zufolge lehnt US-Präsident Trump ein globales Kontrollsystem ab.

Wie überprüfbare Sicherheit aussieht

Am Argonne National Laboratory in Lemont, Illinois, haben Forscher ein Überwachungssystem für salzgekühlte Hochtemperaturreaktoren gebaut. Faseroptische Temperatursensoren und maschinelles Lernen sollen erkennen, wenn flüssiges Salz örtlich erstarrt und den Wärmetauscher blockiert. Von acht getesteten Verfahren schnitt XGBoost am besten ab: bei starken Blockaden erreichte es einen Recall von 0,99, trainiert auf knapp 5.000 synthetischen Datensätzen mit künstlichem Sensorrauschen.

Beteiligt waren Konstantinos Prantikos und der leitende Elektroingenieur Alexander Heifetz. Für die Nachvollziehbarkeit setzt das Team auf Shapley-Werte und eine partielle Ordnungsanalyse. Der methodische Unterschied zu P(doom) ist der entscheidende: Ein Recall von 0,99 ist eine Zahl, die an einem Testfall scheitern kann.

Was das für die Regulierungsdebatte heißt

Wer reguliert, braucht Schwellen, die jemand nachmessen kann – Fehlerraten, Auditpflichten, Meldewege. Eine Untergangswahrscheinlichkeit liefert davon nichts; sie sortiert nur Sprecher in Lager. Die Warnung im Sicherheitsrat und die Sensorik in Lemont beschreiben dasselbe Feld, aber nur eine der beiden Aussagen lässt sich prüfen.

Was wir nicht verifizieren konnten

Der Golem-Beitrag zu P(doom) war bei der Recherche nur über einen Zustimmungsdialog erreichbar, der Artikeltext ließ sich nicht abrufen. Harfords Fragestellung geben wir deshalb nach dem öffentlich sichtbaren Anriss wieder, nicht nach dem vollständigen Text. Die Studie in Nature Scientific Reports haben wir nicht im Original eingesehen; Kennzahlen und Datum stammen aus dem t3n-Bericht. Der Text von derStandard war nach der Einleitung durch eine Paywall begrenzt.