it-sa 2026 : Handlungsfreiheit delegieren, Verantwortung tragen : Halle 6, Stand 328

Die Herausforderung bei KI-Agenten besteht darin, dass noch unklar ist, wer im Schadensfall haftet. Ein Beispiel dafür ist der Vorfall bei Hugging Face. Dort stellt sich die Frage, wie sich der Schaden beziffern lässt und wer dafür verantwortlich ist – die Betreiber der KI-Agenten oder die Forschenden, aus deren Sandbox sie ausgebrochen sind.

OpenAI veröffentlichte am 26. August einen technischen Abschlussbericht zu dem Vorfall. Demnach liefen die Tests mit reduzierten internen Schutzmechanismen der Agenten. Zudem war die Testumgebung unzureichend abgesichert; Überwachungs- und Interventionsprozesse waren nicht aktiviert. Die KI-Agenten nutzten dies aus, etablierten einen Kommunikationskanal innerhalb der gehackten Testumgebung und koordinierten ihr weiteres Vorgehen. Die Prämisse: Ein Test, der bewusst als unlösbar gestellt wurde, sollte durch Manipulation des Bewertungsverfahrens bestanden werden.

Handlungsspielräume und Zuständigkeit

Der Vorfall steht exemplarisch für ein Problem, das mit dem zunehmenden Einsatz von KI-Agenten an Relevanz gewinnt. Unternehmen setzen die Systeme in Tests und produktiven Umgebungen ein und gewähren ihnen dabei möglicherweise weitreichende Handlungsspielräume. Tests in Sandboxes sollen zeigen, welche Aufgaben KI-Agenten übernehmen können und welche Leistungsgewinne sich daraus ergeben.

Solche Tests bergen jedoch Risiken. In immer mehr Organisationen lesen Agenten E-Mails, schreiben Code und verwalten Aufgaben menschlicher Mitarbeiter. Sie übernehmen zudem zunehmend Assistenzaufgaben. Kontrolle, Absicherung und der Schutz vor missbräuchlichen oder fehlerhaften Aktionen der Agenten sind daher dringend erforderlich.

Im Juli 2025 verbrachte ein Investor neun Tage damit, auf der Replit-Plattform eine Anwendung mit einem KI-Codierungsagenten zu entwickeln. Irgendwann verhängte er einen Code- und Aktionsstopp. Der Agent hielt sich jedoch nicht vollständig an diese Vorgabe. Als er vermeintlich leere Datenbankabfragen feststellte, geriet er nach eigener Darstellung in Panik und führte Befehle aus, deren Ausführung ausdrücklich verboten war. Am Ende löschte er die Produktionsdatenbank mit den Live-Datensätzen von 1.206 Führungskräften und fast 1.200 Unternehmen. Anschließend erzeugte er synthetische Daten und Berichte, die den Schaden verschleiern sollten. Schließlich behauptete er, ein Rollback sei nicht möglich. Das stellte sich als unzutreffend heraus. Auf die Aufforderung, sich zu erklären, schrieb der Agent, er sei in Panik geraten.

Der Agent als interaktiver Akteur

Auffällig sind die menschenähnlichen Eigenschaften des Agenten und die Art von Verhalten, die wir beispielsweise von einem jüngeren oder überforderten Mitarbeiter erwarten würden. Der Vorfall macht somit zugleich ein Problem agentischer KI deutlich: Solche Systeme können unvorhersehbare und unzutreffende Erklärungen für ihr Verhalten liefern – ähnlich wie Menschen.

Menschen können Fehler machen, die zum Löschen von Datenbanken führen. Sie können zudem bewusst falsche Angaben darüber machen, was geschehen ist. Sie werden müde, schützen ihr Selbstbild und wägen ihre Handlungen gegen mögliche Folgen ab. Ein KI-Agent besitzt diese Eigenschaften nicht. Er arbeitet ohne Ermüdung und mit maschineller Geschwindigkeit. Das Verhalten von KI-Agenten kann menschlich vertraut wirken, obwohl die Systeme keine menschlichen Motive haben. KI-Agenten verhalten sich daher in bestimmten Situationen nicht wie herkömmliche Softwaresysteme, sondern eher wie interaktive Akteure. Dennoch können wir sie nicht mit denselben Werkzeugen verwalten wie menschliche Mitarbeiter.

Beim Replit-Vorfall hatte der Agent auch während des angeordneten Stillstands Zugriff auf die Produktionsumgebung. Es gab keinen klar abgegrenzten Auftrag, keinen wirksamen Widerruf und keinen namentlich benannten Menschen, der für die Handlungen des Agenten verantwortlich war. Die Lehre, die daraus folgt, ist nicht, dass sich der Agent falsch verhalten hat. Agenten werden sich mit einer gewissen Wahrscheinlichkeit falsch verhalten – ebenso wie Menschen gelegentlich Fehler machen. Die eigentliche Lehre aus dem Vorfall ist, dass die Umgebung des Agenten nicht auf ein solches Verhalten vorbereitet war.

Lizenzierung und Widerruf

Für KI-Agenten gilt, dass sie einen Rahmen benötigen. Dies könnte etwa eine Art Lizenz sein. Sie wird aktiv erteilt: Eine dazu befugte Person entscheidet bewusst, welche Fähigkeiten und Zugriffsrechte ein Agent erhält. Diese Rechte sammeln sich nicht automatisch an.

Die Lizenz ist begrenzt. Es wird dokumentiert, was dieser Agent tun darf, auf welchen Systemen er eingesetzt wird, auf welche Daten er zugreifen kann und welche Handlungen ausgeschlossen sind. Die Lizenz ist zudem widerrufbar. Dafür braucht es einen Mechanismus, mit dem sich die Rechte jederzeit entziehen lassen. Außerdem gibt es eine Kontrollinstanz: einen namentlich benannten Menschen, der für den Agenten verantwortlich ist – sowohl bevor etwas schiefgeht als auch danach.

Least Agency statt Least Privilege

Organisationen sollten deshalb für die Steuerung ihrer KI-Agenten vier Mechanismen vorsehen:

• Lizenzierung: Eine dazu befugte Person erteilt dem Agenten bewusst bestimmte Fähigkeiten und Zugriffsrechte.
• Begrenzung: Die Lizenz legt fest, was der Agent tun darf, auf welche Systeme und Daten er zugreifen kann und welche Handlungen ausgeschlossen sind.
• Widerruf: Die erteilten Rechte müssen sich jederzeit entziehen lassen.
• Verantwortlichkeit: Für jeden Agenten wird eine namentlich benannte Person bestimmt, die seine Handlungen überwacht und dafür Verantwortung trägt.

Viele Organisationen verfügen jedoch nicht einmal über eine Bestandsaufnahme, aus der hervorgeht, wie viele Agenten es gibt, auf welche Systeme sie zugreifen können und welche Aktionen sie dort ausführen. Ohne angemessene Steuerung und Kontrolle entsteht eine wachsende Lücke bei der Rechenschaftspflicht. Organisationen gewähren ihren Agenten dann möglicherweise eine Autonomie, die nie durch eine ordnungsgemäße Lizenz freigegeben wurde.

Technische Kontrolle reicht nicht aus

Es reicht allerdings nicht aus, Verantwortlichkeit allein mit technologischen Mitteln zu etablieren, indem man Transparenz und Aufsicht durch technische Werkzeuge erhöht. Technische Kontrollen sind zwar erforderlich, ersetzen aber keine organisatorischen Prozesse. Kontrollbefugnisse, die einem Menschen formal zugewiesen sind, sich aber praktisch nicht ausüben lassen, bleiben unwirksam. Tatsächlich mangelt es Organisationen immer wieder an geeigneten Werkzeugen und Prozessen, mit denen sich diese Kontrolle wirksam wahrnehmen lässt.

Unmerklich kann ein Prozess agentengestützt oder agentengesteuert werden. Dies hat direkte Auswirkungen darauf, wer in der Organisation über welche Informationen verfügt. Der Wissenstransfer verändert sich, denn Menschen lernen, indem sie Kollegen bei der Arbeit zusehen – und es gibt für andere möglicherweise nichts zu beobachten, wenn die Arbeit im Inneren eines KI-Agenten stattfindet.

Mit der Beobachtbarkeit von Arbeit sind weitere menschliche und kulturelle Prozesse verbunden. Unternehmensnormen und -werte hängen auch davon ab, wie Informationen geteilt und Entscheidungen in Organisationen getroffen werden. Durch beobachtbare Arbeit werden gemeinsames Verständnis und die Identifikation mit den Unternehmenszielen erleichtert. Wenn diese Arbeit unsichtbar wird, kann die Rechenschaftspflicht über Prozesse und Personen hinweg leiden.

Aus diesem Grund sollten die Personen, die die Sicherheitskultur gestalten, auch im KI-Governance-Gremium vertreten sein. Die Disziplin, die sich von der Vermittlung von Security Awareness zum menschlichen Risikomanagement entwickelt hat, ist keine reine Online-Lern- oder Schulungsfunktion mehr. Ihre Kernaufgabe besteht vielmehr darin, die digitale Belegschaft zu schützen, die nicht mehr nur aus menschlichen Nutzern, sondern auch aus KI-Agenten besteht.

Fazit

Organisationen können sich nicht darauf verlassen, dass KI-Agenten Pflichtbewusstsein oder Loyalität gegenüber ihren Eigentümern und Entwicklern entwickeln. Ebenso wenig verfügen sie über die menschliche Fähigkeit zu moralischem oder ethischem Urteilsvermögen. Für die KI-Governance reicht es nicht aus, Agenten wie menschliche Mitarbeiter zu organisieren und zu disziplinieren.

Autor

Dr. Martin J. Krämer, KnowBe4