KI-Agenten in Produktion: Testen statt Demo-Schleife
Zhou Yu zeigt auf der QCon AI, wie synthetische Nutzerprofile, Entropie-Metriken und CI/CD-Pipelines Agenten aus der Demo-Phase holen.
Symbolbild: In einem Testlabor blinken die Statusleuchten eines Server-Racks, während auf zwei Monitoren abstrakte Verzweigungsdiagramme laufen.
Laut Zhou Yu bleiben 95 % der KI-Agenten in der Demo-Phase stecken, weil statische Einzelrunden-Benchmarks mehrstufige Dialoge nicht prüfen können – seine Antwort darauf sind simulierte Nutzer in der CI/CD-Pipeline.
Auf einen Blick
- Zhou Yu lehrt Informatik an der Columbia University und hat Arklex.ai gegründet; InfoQ datiert den Vortrag auf den 07.09.2026.
- 95 % der Agenten bleiben laut dem Vortrag in der Demo-Phase; als Engpässe gelten Compliance und Verlässlichkeit.
- Ein Testszenario besteht aus drei Bausteinen: Nutzerprofil, Nutzerziel und Kontextinformationen.
- Bewertet wird entlang von fünf Dimensionen: Hilfreichkeit, Kohärenz, Wortfülle, Relevanz und Faktentreue.
- Fünf Fehlertypen werden unterschieden, darunter fehlende Rückfragen, Wiederholungen und falsche Angaben.
Der Vortrag von Zhou Yu auf der QCon AI setzt an einer unbequemen Zahl an: 95 % der KI-Agenten kommen nach dieser Darstellung nie über die Demo hinaus. Als Grund nennt der Vortrag nicht fehlende Modellqualität, sondern fehlende Prüfverfahren. Wer einen Agenten in einem regulierten Prozess einsetzen will, muss belegen können, wie er sich über viele Gesprächsrunden hinweg verhält.
Warum statische Benchmarks hier versagen
Klassische Benchmarks prüfen eine einzelne Anfrage und eine einzelne Antwort. Ein Agent, der einen Kreditkartenantrag bearbeitet, führt dagegen einen Dialog: Er stellt Rückfragen, ruft Werkzeuge auf und reagiert auf Angaben, die vorher nicht feststehen. Der Vortrag argumentiert, dass sich diese Dynamik in einem festen Testsatz nicht abbilden lässt, weil sich das Verhalten der Gegenseite mit jedem Zug ändert.
Synthetische Nutzer als Gegenspieler
Der vorgeschlagene Ausweg ist Simulation: Ein zweiter KI-Agent übernimmt die Kundenrolle und führt den zu prüfenden Agenten durch das Gespräch. Ein Szenario besteht dabei aus drei Bausteinen – einem Nutzerprofil, einem Nutzerziel und Kontextinformationen. Aus diesen Bausteinen lassen sich viele Varianten erzeugen, statt jeden Testfall einzeln von Hand zu schreiben.
Bewertet wird anschließend nicht nach Bauchgefühl, sondern über ein Sprachmodell als Prüfinstanz, das an das konkrete Aufgabenziel gebunden wird. Der Vortrag nennt fünf Bewertungsdimensionen: Hilfreichkeit, Kohärenz, Wortfülle, Relevanz und Faktentreue. Fehler werden zusätzlich in fünf Verhaltensmuster einsortiert – fehlende Rückfragen, Wiederholungen, Missachtung von Anweisungen, falsche Angaben und zu unspezifische Antworten.
Entropie als Maß für Testabdeckung
Damit die Simulation nicht immer denselben Pfad läuft, arbeitet der Ansatz mit zwei Entropiemaßen über Werkzeugaufrufe: der Verteilung der Aufrufe und den Übergängen zwischen ihnen. Beide werden bewusst hoch gehalten, damit die Testläufe auch seltene Abzweigungen erreichen. Die Simulation hängt an einer CI/CD-Pipeline, sodass jede Änderung am Agenten automatisch gegen die Szenarien läuft. Produktionsprotokolle fließen in die Szenarien zurück, wenn sich das Nutzerverhalten verschiebt.
Anwendungsfelder – und was offenbleibt
Als Einsatzgebiete nennt der Vortrag E-Commerce, Finanzdienstleistungen mit Kreditkartenanträgen, Bildung mit dem Beispiel Pearson sowie die Prüfung von Hypothekenanträgen. Das zugehörige Werkzeug ArkSim ist nach Angaben des Vortrags quelloffen und für die Einbindung in bestehende Pipelines gedacht.
Für diesen Text lag ausschließlich die InfoQ-Seite zum Vortrag vor. Die Zahl von 95 % ist damit eine Aussage des Vortrags und keine von uns geprüfte Messung; ebenso wenig ließ sich unabhängig nachvollziehen, wie sich die Entropiemaße außerhalb der genannten Beispiele in fremden Produktionsumgebungen verhalten.
Häufige Fragen
Warum reichen klassische Benchmarks für KI-Agenten nicht aus?
Sie bewerten eine Anfrage und eine Antwort. Ein Agent im Einsatz führt dagegen mehrere Gesprächsrunden, ruft Werkzeuge auf und reagiert auf Angaben, die im Testsatz nicht festgeschrieben sind.
Was ist ein synthetischer Nutzer im Agententest?
Ein zweiter KI-Agent, der die Kundenrolle spielt. Er wird aus Nutzerprofil, Nutzerziel und Kontextinformationen zusammengesetzt und führt den zu prüfenden Agenten automatisch durch den Dialog.
Was misst die Entropie der Werkzeugaufrufe?
Wie breit die Testläufe streuen: einmal über die Verteilung der aufgerufenen Werkzeuge, einmal über die Übergänge zwischen ihnen. Hohe Werte bedeuten, dass auch seltene Pfade abgedeckt werden.
