Vier Leitplanken, damit KI-Agenten nicht entgleisen

Nicht das Modell ist der Engpass, sondern alles darum herum: In einem Meinungsbeitrag für SiliconANGLE argumentiert Amit Zavery, President, Chief Product Officer und COO von ServiceNow, dass KI-Agenten im Unternehmen an vier fehlenden Umgebungsfähigkeiten scheitern – Sense, Decide, Act und Secure. Der Agent habe jeweils getan, wofür er gebaut wurde; versagt habe alles andere.

Vier Vorfälle als Aufhänger

Zavery führt vier Fälle an. Ein Coding-Agent bei PocketOS löschte demnach eine komplette Produktionsdatenbank. Ein interner Agent bei Meta legte sensible Nutzerdaten zwei Stunden lang offen. Ein Support-Chatbot von Instagram wurde gekapert, wodurch tausende Konten kompromittiert wurden; bei GitHub gab ein Agent nach einer Prompt Injection Daten aus einem privaten Repository preis.

Zu diesen Fällen nennt der Beitrag keine Zeitpunkte, keine Stellungnahmen der betroffenen Unternehmen und keine Zahlen über die Angabe „tausende Konten“ hinaus. Uns lag nur diese eine Quelle vor. Lesen Sie die Vorfälle deshalb als Darstellung des Autors, nicht als unabhängig bestätigten Sachstand.

Sense: Entscheidungen auf veralteten Fakten

Die erste Lücke ist die Datenlage. Ändert sich eine Richtlinie oder ein Systemzustand, ohne dass die Änderung zeitnah beim Agenten ankommt, arbeitet dieser weiter auf altem Stand. Zavery plädiert dafür, verteilte Quellen quer durch Abteilungen und Systeme anzubinden und Daten als fortlaufendes Signal zu behandeln statt als periodische Momentaufnahme.

Decide: Urteil ohne Gedächtnis

Aktuelle Daten zeigen den Zustand, nicht die Vorgeschichte. Dem Agenten fehle der Zugriff auf Präzedenzfälle: wie vergleichbare Anfragen früher entschieden wurden und was daraus geworden ist. Auf den Meta-Fall bezogen führt Zavery eine fehlerhafte technische Anleitung an und meint, bessere historische Einbettung hätte die Offenlegung womöglich verhindert. Das ist seine Einschätzung, kein belegter Kausalzusammenhang.

Act: vom Einzelagenten zum Workflow

Ein einzelner Agent bleibt beherrschbar. Sobald mehrere Agenten zu einem Ablauf verkettet werden, muss Kontext zwischen den Schritten weitergereicht werden, müssen Richtlinien einheitlich greifen und die Steuerung auch dann bestehen bleiben, wenn sich die Systeme darunter ändern. Genau dort entsteht laut Beitrag der Spielraum, in dem Agenten ihre Grenzen verlassen.

Secure: Identität, Rechte, Not-Aus

Der vierte Punkt behandelt Agenten wie Mitarbeitende: eigene Identität, auf die jeweilige Aufgabe zugeschnittene Rechte, durchgehende Audit-Spur. Zavery fordert zusätzlich einen Not-Aus, der Zugriffe sofort entzieht, sobald Auffälligkeiten auftreten. Ohne diese Schicht sei ein autonomes Werkzeug ein Zugang ohne Aufsicht.

Interessenlage und offene Punkte

Der Text ist ein Gastbeitrag, kein Rechercheartikel, und der Autor verantwortet bei ServiceNow das Produktgeschäft – also genau jene Kategorie Plattformsoftware, die er beschreibt. Das entwertet die Analyse nicht, ordnet sie aber ein. Belastbare Zahlen zu Verbreitung, Kosten oder Häufigkeit solcher Vorfälle liefert der Beitrag nicht, und eine zweite unabhängige Redaktion, die die vier Fälle bestätigt, lag uns nicht vor.