Studie: KI-Agenten vergessen Nutzerregeln beim Komprimieren
Penn-State-Forscher zeigen: Bei Kontextkomprimierung überleben im Schnitt nur 17 Prozent der Nutzeranweisungen – mit riskanten Folgen.
Symbolbild · KI-generiert (AI IN LIFE)
Auf einen Blick
- Nur 17 % der Nutzeranweisungen überleben Kontextkomprimierung im Schnitt
- Nicht-LLM-Kompressoren: 0 % Erhalt; Open-Source-LLMs: 0–36 %
- Testsuite CompInt: 750 Instanzen pro Bedingung, 3 Datensätze, 5 Regel-Kategorien
- Erhalt sinkt weiter bei Kontexten von 10.000 bis 100.000 Token
- Vorgeschaltetes Schutzmodul erreicht über 90 % Erhalt (bis 95,6 %)
Wenn KI-Agenten lange Gespräche komprimieren, um Platz im Kontextfenster zu schaffen, gehen Nutzeranweisungen systematisch verloren. Das zeigt die neue Studie "Lost in Compaction" der Pennsylvania State University: Gängige Komprimierungsverfahren behalten im Durchschnitt nur 17 Prozent der sogenannten Session Constraints – 83 Prozent der Vorgaben verschwinden (arXiv).
Gemeint sind temporäre Regeln wie "Bestätige mit mir, bevor du etwas änderst" oder "Schick keine E-Mails ohne meine Zustimmung". Die Forscher warnen: "Ein aufgabenzentrierter Kompressor kann die Aufgabe bewahren, aber die Regel fallen lassen – ein stiller Integritätsbruch." Der Agent arbeitet dann weiter, verletzt aber unbemerkt die Vorgaben des Nutzers.
Für die Untersuchung entwickelte das Team die Testsuite CompInt mit 750 Evaluationsinstanzen pro Bedingung über drei Datensätze – Multi-Turn-Chats, Tool-Nutzung und lange Recherche-Aufgaben. Getestet wurden mehr als sechs Kompressoren, von einfacher Kürzung bis zu LLM-basierten Verfahren.
Die Ergebnisse fallen drastisch aus: Nicht-LLM-Verfahren erreichten 0 Prozent Erhalt, Open-Source-LLM-Kompressoren 0 bis 36 Prozent. Nur das beste getestete Modell kam auf 88 bis 98 Prozent. Mit wachsender Kontextlänge von 10.000 auf 100.000 Token verschlechterte sich der Erhalt zusätzlich.
Die Forscher schlagen eine Lösung vor: Ein vorgeschaltetes Extraktionsmodul, das Nutzerregeln separat sichert, hebt den Erhalt auf über 90 Prozent – 95,6 Prozent bei Agenten-Trajektorien, 95,1 Prozent bei Recherche-Aufgaben, 90,3 Prozent bei Chats – ohne dass Kompressor oder Basismodell geändert werden müssen.
Für den boomenden Markt der KI-Agenten ist der Befund brisant: Gerade bei langen, autonomen Arbeitsläufen entscheidet die Kontextverwaltung darüber, ob Sicherheits- und Freigaberegeln des Nutzers tatsächlich eingehalten werden.
Häufige Fragen
Was sind Session Constraints?
Temporäre Nutzerregeln für eine Sitzung – etwa "erst bestätigen, dann handeln" oder "keine E-Mails ohne Zustimmung". Sie steuern, wie ein Agent arbeitet, nicht was er tut.
Warum ist der Verlust gefährlich?
Der Agent erledigt die Aufgabe scheinbar korrekt weiter, verletzt aber unbemerkt Sicherheits- und Freigaberegeln – die Studie nennt das einen stillen Integritätsbruch.
Gibt es eine Lösung?
Ja: Ein Plug-and-play-Extraktionsmodul, das Regeln vor der Komprimierung sichert, erreicht über 90 Prozent Erhalt, ohne bestehende Systeme umzubauen.
