BenchMIRT: Was LLM-Benchmarks wirklich messen
Ai2 zerlegt 16 Benchmarks in Einzelfragen: 100 Modelle, über 34.000 Fragen – und am Ende bleiben nur zwei Dimensionen übrig.
Symbolbild: In einer scheinbar ungeordneten Punktewolke aus Glasplättchen legen zwei Lichtstrahlen zwei klare Ebenen frei.
Ai2 hat 16 LLM-Benchmarks bis auf die Einzelfrage heruntergebrochen und kommt zu dem Schluss, dass hinter den Punktzahlen von 100 Modellen im Kern nur zwei Fähigkeiten stehen: Sicherheit und allgemeines Schlussfolgern.
Auf einen Blick
- Ai2 stellte BenchMIRT am 01.09.2026 vor, zusammen mit Technikbericht, Datensammlung und Code-Repository auf GitHub.
- Datenbasis: 100 Modelle, alle bis März 2025 erschienen, 16 Benchmarks, mehr als 34.000 Einzelfragen.
- Aus den Antwortmustern lösten sich zwei dominante Dimensionen heraus: Sicherheit und allgemeines Schlussfolgern.
- Mit 10 % der Fragen blieb das Bild der Modellunterschiede weitgehend erhalten, mit 50 % entsprach es oft dem vollen Benchmark.
- Bei zurückgehaltenen Fragen sagte BenchMIRT in 79 % der Fälle richtig vorher, ein einfacheres Verfahren in 70 %.
Wer Modellranglisten liest, sieht meist eine Zahl pro Benchmark. Das Allen Institute for AI (Ai2) hat am 01.09.2026 mit BenchMIRT eine Methode vorgestellt, die stattdessen jede einzelne Frage auswertet. Das Ergebnis: Der Großteil der Unterschiede zwischen 100 Modellen liegt auf nur zwei Achsen.
Von der Gesamtnote zur Einzelfrage
BenchMIRT überträgt die Item-Response-Theorie aus der Testpsychologie auf Sprachmodelle, in der mehrdimensionalen Variante MIRT. Geschätzt werden zwei Dinge gleichzeitig: wie stark ein Modell in einer bestimmten Fähigkeit ist, und wie schwierig sowie wie trennscharf eine einzelne Frage ausfällt. Eine Frage, die praktisch alle Modelle richtig beantworten, unterscheidet niemanden mehr. Im Mittelwert eines Benchmarks zählt sie trotzdem voll mit.
Zwei Dimensionen, quer zu den Benchmark-Namen
Grundlage sind 100 Modelle, die bis März 2025 erschienen sind, 16 Benchmarks und mehr als 34.000 Fragen. Zum Feld gehören unter anderem MMLU-Pro, GPQA, MATH und BBH auf der Seite des allgemeinen Schlussfolgerns sowie HarmBench, StrongReject, WildJailbreak, BBQ, WMDP und XSTest auf der Sicherheitsseite. Aus den Antwortmustern lösten sich laut Ai2 zwei dominante Dimensionen heraus: Sicherheit und allgemeines Schlussfolgern.
Die Zuordnung folgt dabei nicht dem Etikett des jeweiligen Benchmarks. BBQ liegt näher am Schlussfolgern als an der Sicherheit. WMDP hängt invers mit Schlussfolgern zusammen: Wer stärker schlussfolgert, erreicht dort niedrigere Werte. HarmBench zerfällt sogar in sich selbst – Standard- und Kontextfragen laden auf Sicherheit, Fragen zum Urheberrecht dagegen auf Schlussfolgern. Eine einzelne Gesamtpunktzahl verdeckt diese Mischung.
Wie viele Fragen ein Benchmark wirklich braucht
Der zweite Befund betrifft den Aufwand. Mit 10 % der Fragen blieb das Bild der Modellunterschiede weitgehend erhalten, mit 50 % entsprach es oft dem vollen Benchmark. Bei absichtlich zurückgehaltenen Fragen sagte BenchMIRT in 79 % der Fälle korrekt vorher, ob ein Modell richtig antworten würde; ein einfacheres Vergleichsverfahren lag bei 70 %.
Was Ai2 selbst einschränkt
Ai2 nennt drei Grenzen. Die Modellauswahl endet im März 2025, neuere Systeme sind nicht erfasst. Die gefundenen Dimensionen hängen davon ab, welche Benchmarks man in die Analyse gibt. Und für das reine Ranking von Modellen auf zurückgehaltenen Fragen schneidet der schlichte Benchmark-Durchschnitt weiterhin etwas besser ab als BenchMIRT. Veröffentlicht wurden ein Technikbericht, eine Datensammlung und ein Code-Repository auf GitHub.
Was dieser Beitrag nicht belegt
Für diesen Text lag genau eine Quelle vor: der Blogbeitrag von Ai2 selbst. Eine unabhängige zweite Redaktion hat die Angaben nicht bestätigt, der Technikbericht wurde für diesen Beitrag nicht eigenständig geprüft, und externe Replikationen sind uns nicht bekannt. Sämtliche genannten Zahlen sind Angaben von Ai2. Auch die Frage, wie sich die 16 Benchmarks genau auf die Bereiche Schlussfolgern und Sicherheit aufteilen, geht aus der uns vorliegenden Darstellung nicht eindeutig hervor.
Häufige Fragen
Was ist BenchMIRT?
Eine von Ai2 veröffentlichte Methode, die LLM-Benchmarks nicht als Gesamtnote, sondern Frage für Frage auswertet. Sie nutzt mehrdimensionale Item-Response-Theorie und schätzt zugleich die Stärke eines Modells und die Schwierigkeit sowie Trennschärfe jeder Frage.
Welche Daten hat Ai2 dafür ausgewertet?
100 Sprachmodelle, die bis März 2025 erschienen sind, auf 16 Benchmarks mit mehr als 34.000 Einzelfragen. Genannt werden unter anderem MMLU-Pro, GPQA, MATH, BBH, HarmBench, StrongReject, WildJailbreak, BBQ, WMDP und XSTest.
Sind Benchmark-Punktzahlen damit wertlos?
Nein. Ai2 zeigt, dass eine Punktzahl mehrere Fähigkeiten vermischt und viele Fragen kaum zur Unterscheidung beitragen. Für das reine Ranking von Modellen war der Benchmark-Durchschnitt in der Auswertung sogar leicht besser als BenchMIRT.
