Harness-Bausteine einzeln vermessen statt als Paket
Eine Studie zerlegt das Harness in Planung, Aktionsraum und Kontextverwaltung – 176 abgeglichene Konfigurationen, vier Modelle, zwei Benchmarks.
Kurz gesagt
Nicht das Harness als Ganzes entscheidet, sondern die einzelnen Bausteine: Kontextverwaltung zahlt sich vor allem bei knappem Kontextfenster aus, Planung stützt bei schwächeren Modellen die Genauigkeit und senkt bei stärkeren vor allem die Kosten.
Auf einen Blick
- 176 abgeglichene Konfigurationen, getestet mit vier Modellen auf SWE-Bench Verified und Terminal-Bench 2.1.
- Der Ausführungs-Loop bleibt fest; variiert werden drei Bausteine: Planung, Aktionsraum, Kontextverwaltung.
- Im Vergleich: fünf Strategien der Kontextverwaltung und vier Größen des Kontextfensters.
- Laut Abstract am effizientesten: regelbasiertes Kürzen vor der LLM-Zusammenfassung.
- Preprint vom 17.09.2026, neun Autorinnen und Autoren, 43 Seiten, arXiv 2609.20804v1.
Nicht das Harness als Ganzes entscheidet, sondern die einzelnen Bausteine. Ein Preprint vom 17.09.2026 hält dafür den Ausführungs-Loop fest und variiert nur Planung, Aktionsraum und Kontextverwaltung. Daraus entstehen 176 abgeglichene Konfigurationen, gemessen mit vier Modellen auf SWE-Bench Verified und Terminal-Bench 2.1.
Warum Bausteine statt Gesamtsystem
Wer zwei fertige Agenten-Systeme gegeneinander laufen lässt, erfährt am Ende nur, welches gewonnen hat – nicht warum. Die Autorinnen und Autoren setzen deshalb ein absichtlich schlankes Harness ein, dessen Kern unverändert bleibt. Verglichen werden fünf Strategien der Kontextverwaltung, vier Größen des Kontextfensters sowie gezielte Ablationen von Planung und Aktionsraum.
Vier Befunde
Erstens: Kontextverwaltung wird umso wertvoller, je knapper das Kontextfenster ist. Der Nutzen kommt laut Abstract überwiegend daraus, dass ein Überlaufen des Kontexts gar nicht erst zum Abbruch führt. Zweitens war es am effizientesten, regelbasiertes Kürzen vor die LLM-Zusammenfassung zu stellen; gekürzte Inhalte wieder abrufbar zu machen, brachte dagegen keinen Genauigkeitsgewinn, weil die Modelle diese Möglichkeit selten nutzten.
Drittens verschiebt sich die Rolle der Planung: Bei schwächeren Modellen stützt sie die Genauigkeit, bei stärkeren spart sie vor allem Kosten, während sich an der Trefferquote wenig ändert. Viertens hängt der Aktionsraum an der Bash-Kompetenz des Modells. Vordefinierte Werkzeuge helfen Modellen, die mit der Shell schlechter umgehen; bash-fähige Modelle kommen mit einer reinen Bash-Schnittstelle aus und arbeiten dabei deutlich günstiger, besonders bei kommandozeilennahen Aufgaben.
Was wir nicht überprüfen konnten
Die Abstract-Seite nennt die vier getesteten Modelle nicht namentlich; welche Familien und Versionen gemessen wurden, steht nur im 43-seitigen Volltext. Die begleitende Projektseite harnesstax.github.io lieferte beim Abruf lediglich den Titel und einen Ladehinweis, Tabellen oder Zahlen waren dort nicht auslesbar. Konkrete Punktzahlen, Kostenwerte oder ein Ranking einzelner Harness-Varianten können wir deshalb nicht belegen. Die vier Befunde geben wir so wieder, wie das Abstract sie formuliert.
Häufige Fragen
Was ist ein Coding-Harness?
Die Schicht zwischen Modell und Projekt: Sie legt fest, welche Werkzeuge der Agent aufrufen darf, wie er plant und was von der Vorgeschichte im Kontextfenster bleibt. In dieser Studie ist der Ausführungs-Loop fest, nur diese drei Bausteine werden variiert.
Welche Benchmarks wurden gemessen?
SWE-Bench Verified und Terminal-Bench 2.1. Über beide hinweg entstehen 176 abgeglichene Konfigurationen mit vier Modellen, fünf Strategien der Kontextverwaltung und vier Größen des Kontextfensters.
Lohnt sich eine Planungsphase im Agenten?
Laut Abstract kommt es auf das Modell an: Bei schwächeren Modellen wirkt Planung als Genauigkeitsstütze, bei stärkeren vor allem als Kostenbremse, ohne die Genauigkeit stark zu verändern.
