Harness-Studie: 176 Setups zeigen, was Coding-Agents hilft
Eine neue arXiv-Studie zerlegt die Harness von Coding-Agents in Einzelteile und vergleicht 176 Konfigurationen über vier Modelle und zwei Benchmarks.
Kurz gesagt
Die Studie vergleicht die Bausteine einer Coding-Agent-Harness einzeln und kommt zu dem Ergebnis, dass Kontextverwaltung vor allem bei knappem Kontextfenster wirkt, während Planung bei starken Modellen eher Kosten spart als Fehler verhindert.
Auf einen Blick
- 176 vergleichbare Konfigurationen, fünf Strategien zur Kontextverwaltung, vier Größen des Kontextfensters.
- Getestet auf zwei Benchmarks: SWE-bench Verified und Terminal-Bench 2.1, über vier Modelle.
- Effizientester Ablauf laut Abstract: erst regelbasiert kürzen, danach per Modell zusammenfassen.
- Bash-fähige Modelle kommen mit einer reinen Bash-Schnittstelle aus, zu deutlich niedrigeren Kosten.
- Preprint vom 17.09.2026, Kennung arXiv 2609.20804, 43 Seiten, neun Autorinnen und Autoren.
Coding-Agents werden meist als Paket bewertet: ein Modell, ein Gerüst darum herum, am Ende ein Benchmark-Wert. Der Preprint „An Empirical Study of Harness Design for Coding Agents“ geht anders vor und misst die Bausteine dieses Gerüsts einzeln. Grundlage sind laut Abstract 176 vergleichbare Konfigurationen, vier Modelle und zwei Benchmarks.
Warum Harness-Bausteine selten einzeln gemessen werden
Eine Harness ist die Software um das Modell herum: Sie entscheidet, welcher Teil eines Projekts ins Kontextfenster wandert, ob der Agent vorab plant und welche Werkzeuge er überhaupt aufrufen darf. In Rangtabellen taucht sie fast nie getrennt auf, weil dort Modell und Gerüst gemeinsam gewertet werden. Die Gruppe baut deshalb ein bewusst schlankes eigenes Gerüst, in dem sich einzelne Komponenten austauschen lassen.
Der Messaufbau
Verglichen werden fünf Strategien zur Kontextverwaltung und vier Größen des Kontextfensters, dazu Ablationen zu Planung und Werkzeugauswahl. Als Prüfstrecken nennt das Abstract SWE-bench Verified und Terminal-Bench 2.1. Der Preprint trägt das Datum 17.09.2026, ist unter der Kennung arXiv 2609.20804 abrufbar und umfasst 43 Seiten.
Vier Befunde aus dem Abstract
- Kontextverwaltung skaliert mit dem Mangel: Je knapper das Kontextfenster, desto mehr bringt sie, vor allem weil Abbrüche durch Kontextüberlauf ausbleiben.
- Die Reihenfolge entscheidet: Am effizientesten war es, zuerst regelbasiert zu kürzen und erst danach per Modell zusammenzufassen.
- Planung wechselt die Rolle: Bei schwächeren Modellen stützt sie die Genauigkeit, bei stärkeren spart sie vor allem Kosten, während sich die Trefferquote kaum ändert.
- Weniger Werkzeuge, weniger Kosten: Modelle, die mit der Shell umgehen können, arbeiten laut Abstract auch mit einer reinen Bash-Schnittstelle, und das bei deutlich niedrigeren Kosten auf kommandozeilennahen Aufgaben.
Was hier offen bleibt
Dieser Text stützt sich auf die Abstract-Seite des Preprints, nicht auf den Volltext. Wie groß der Kostenunterschied konkret ausfällt, steht im PDF und ist hier nicht geprüft. Die Projektseite harnesstax.github.io lädt ihre Inhalte per Skript nach und lieferte beim Abruf nur den Titel „HarnessTax: How Much Does the Harness Matter for Coding Agents?“; Ergebnisse von dort konnten wir nicht einsehen. Ein Preprint ist zudem noch nicht begutachtet.
Für die Praxis bleibt die Richtung trotzdem brauchbar: Wer an einem Agenten schraubt, sollte Kontextverwaltung, Planung und Werkzeugumfang als drei getrennte Stellschrauben behandeln. Dass dieselbe Einstellung für ein starkes und ein schwaches Modell gleich gut passt, legt die Studie jedenfalls nicht nahe.
Häufige Fragen
Was ist eine Harness bei Coding-Agents?
Die Softwareschicht um das Modell herum. Sie steuert, was ins Kontextfenster kommt, ob vorab geplant wird und welche Werkzeuge der Agent aufrufen darf.
Welche Benchmarks nutzt die Harness-Studie?
Laut Abstract SWE-bench Verified und Terminal-Bench 2.1, geprüft über vier Modelle in 176 vergleichbaren Konfigurationen.
Macht Planung einen Coding-Agenten genauer?
Bei schwächeren Modellen dient sie laut Abstract als Gerüst für die Genauigkeit, bei stärkeren wirkt sie vor allem kostensenkend, ohne die Trefferquote deutlich zu verändern.
