Umsicht und Aufsicht : Ansätze zur Kontrolle von KI-Agenten

Berechtigungsmanagement

Dass Dritte eindringen und das System von innen heraus kapern, ist ein Alptraum, der als Drohkulisse leider auch im KI-Zeitalter besteht. Mittels Prompt-Injection (siehe auch S.  20) oder Data-Poisoning können Angreifer genau das als Schwachstelle nutzen, was KI so wertvoll macht. Ein paar wenige mit Sorgfalt formulierte Worte können genügen, um die Tools gegen ihre eigentlichen Herren einzusetzen. Dabei handelt es sich um aktive Angriffsvektoren, die KI-Agenten in Bedrohungen verwandeln, die mit allen Zugriffsrechten und Befugnissen operieren, die ihnen Ihr Unternehmen gewährt hat.

Bei einer typischen PromptInjection fügen Angreifer manipulative Befehle in den Dialog mit KI-Agenten ein – sie umgehen Sicherheitsvorkehrungen, um direkt mit den Agenten zu kommunizieren. Dabei nutzen sie deren intrinsischen Gehorsam und überreden sie zu unerwünschten Handlungen, vergleichbar mit Social-Engineering bei menschlichen Mitarbeitern. Bei den meisten KI-Modellen haben Menschen gezeigt, dass sie mit gezielten Eingaben den Systemen unerwartete oder unerwünschte Antworten entlocken können.

Subtiler ist das Data-Poisoning, bei denen Agenten mit manipulierten Informationen gefüttert werden: Diese falschen Daten beeinträchtigen die Entscheidungsfindung in ihrer Funktionalität. Einfallstor können injizierte Datensätze sein, aber auch unscheinbare Dokumente wie E‑Mails, die Formulierungen enthalten, welche zu Fehlverhalten führen. Auch hier existiert mit Phishing eine vergleichbare Analogie bei Menschen.

Je mehr Agenten also zum Einsatz kommen und je tiefer sie in alle Prozesse eingebunden sind, umso größer werden die Risiken. Jedes Zugriffsrecht macht den Agenten mächtiger – sowohl als Tool, als auch als Gefahr. Um arbeiten zu können, braucht die KI aber den Zugriff auf Daten und Funktionen – sie davon abzuschneiden ist also kaum eine Option. Im Zugriffsrecht und seinen strikt umgesetzten altbekannten Prinzipien steckt nun aber gleichzeitig auch der Schlüssel zur Risikominderung.

Die Wachposten müssen auch nach innen blicken

Unternehmen müssen genau kontrollieren, was KI-Agenten tun dürfen und was nicht. Ein solches proaktives Handeln stellt sicher, dass Schwachstellen – sei es in Anweisungen oder Daten – keine katastrophalen Folgen haben. Administratoren müssen die Parameter streng definieren, in denen Agenten arbeiten. Sensible Geschäfts- oder Kundendaten verdienen denselben Schutz wie kritische Infrastruktur.

Wichtige Grundlage ist eine sichere „Retrieval-Augmented Generation“ (RAG): Damit kontrollieren Unternehmen den Zugriff von Nutzern und Agenten auf Inhalte sowie den Zugriff der Nutzer auf KI-Funktionen. Dabei gilt das Prinzip der geringsten Privilegien (Least Privilege Principle): so viel wie nötig, so wenig wie möglich. Im Wesentlichen sollen Nutzer wie auch KI nur diejenigen Berechtigungen erhalten, die sie wirklich brauchen, um ihre Aufgaben zu erledigen. Das schränkt im Angriffsfall den Kreis der Daten, die abfließen könnten, ebenso ein wie auch die Menge an Funktionen, die sich missbräuchlich verwenden lässt.

Ohne eine sorgfältige Regulierung von Berechtigungen besteht ein enormes Risiko, dass Angreifer Tools ausnutzen, mit denen Agenten in großem Umfang auf Daten zugreifen oder diese ändern können. Sich allein auf vergebene Berechtigungen zu verlassen, wäre aber naiv: IT-Teams sollten die Interaktionen der Agenten dennoch aktiv überwachen und schädliche Eingaben filtern. Sie müssen sicherstellen, dass Agenten die Berechtigungen nicht nur besitzen, sondern auch berücksichtigen.

Nicht nur dabei, sondern ganz allgemein gilt daher als weitere Faustregel der Human-in-the-LoopAnsatz: Je kritischer eine Aufgabe ist, umso dringender sollte sie eine Ebene menschlicher Kontrolle oder finaler Überprüfung enthalten. Agenten sollten eine Empfehlung aussprechen können, allerdings bei großer Tragweite nicht am Schalter sitzen. Das minimiert Fehler, bevor die KI sich verselbstständigt und eskaliert.

KI-natives Prozessdesign Je breiter Unternehmen KI einsetzen wollen, umso wichtiger ist es zudem, dass sie ihren Teams nicht einfach nur neue Tools an die Hand geben. KI kann weit mehr sein als Automatisierung und Effizienzsteigerung – richtig eingesetzt kann sie Unternehmen völlig neue Möglichkeiten hinsichtlich ihrer Produkte und Dienstleistungen ermöglichen. Dabei geht es aber nicht nur darum, Features in Prozesse und Abläufe zu integrieren, sondern sie von Grund auf neu zu denken: Wie hätten wir es gemacht, wenn wir schon immer KI gehabt hätten?

Ein solches KI-natives Prozessdesign klingt nach einer primär operativen Frage, ist allerdings ebenso ein Security-Thema. Im Box-Report „State of AI in the Enterprise“ [1] nennen etwa 74% der Befragten Sicherheit und Datenschutz als ihre größten Sorgen beim Einsatz von KI. Regulierungen rund um KRITIS oder NIS-2 tun ihr Übriges, um diese Themen weit oben auf die KI-Agenda zu befördern.

Ein paar grundlegende Schritte helfen dabei, viele der wesentlichen Aspekte von Produktivität und Sicherheit bereits beim Design einer KI-Integration zu berücksichtigen:

• Es bedarf Klarheit über die Verantwortlichen, welche die KI Transformation lenken und gestalten. Verantwortliche sollten dabei sowohl aus der IT als auch aus dem operativen Bereich kommen.
• Unternehmen sollten in stabile und zuverlässige Infrastruktur investieren. Sowohl bei Modellen wie bei Plattformen sind Zuverlässigkeit und Kompetenz wichtiger als das günstigste Angebot.
• Klarheit hinsichtlich der internen Governance sollte man bereits früh im Prozess schaffen: Welchen Stellenwert haben Datenschutz und ein verantwortungsvoller Einsatz der Tools? Welche Limits gibt es? Wie werden sie eingehalten?
• Wenn Workflows neu gedacht werden, sollte man wie bereits angesprochen die KI als gegeben voraussetzen. Dabei kann es nötig sein, Altes komplett zu verändern – Teil dieser Stufe des Designs sind auch Zugriffsberechtigungen und Sicherheit.
• Last, but not least: die Mitarbeiter. Mensch und Agent sollen Partner sein, doch nicht jeder wird die neuen Tools mitsamt ihrer Potenziale und Risiken von selbst beherrschen lernen. Ohne Wissen über die gewünschten Funktionen bleiben den Mitarbeitern allerdings auch die Fehlfunktionen verborgen. Sie müssen sowohl über Dinge wie Data-Poisoning, Prompt-Injection, Social-Engineering und Ransomware Bescheid wissen als auch über die Möglichkeit von KI-Halluzinationen informiert sein – und klar vor Augen haben, dass auch KI ein aktives Mitdenken nicht ersetzt. Menschen brauchen Kompetenzen, um KI sicher und verantwortungsvoll zu nutzen. Es bleibt dabei, dass der wichtigste Sicherheitsfaktor zwischen Stuhl und Monitor sitzt – Schulungen (siehe auch S.  56) und verfügbare Ansprechpartner sind deshalb ein Must-have.

Die Empfehlung, mit dem Aufkommen der KI die bisherigen Tools zu überdenken, gilt überdies nicht nur für arbeitsbezogene Workflows, sondern auch für Security-Prozesse. „Traditionelle“ Sicherheitsmechanismen sind wichtig, allerdings zu langsam für die Geschwindigkeit heutiger Angriffe. Sicherheit muss ein kontinuierlicher und vor allem selbstlernender Prozess sein – Real-Time-Security also, die immer besser wird.

Schutz mithilfe von KI

Möglich machen das Lösungen, die Inhalte automatisch klassifizieren, Bedrohungen in Echtzeit analysieren und beispielsweise auf Ransomware-Aktivitäten hinweisen, bevor Schaden entsteht. KI ist an dieser Stelle nicht nur Effizienzsteigerung, sondern auch ein Instrument für Risikomanagement und Governance.

Die Vision ist dabei ein System, in dem sich Inhalte selbst klassifizieren, selbst schützen und selbst nutzbar machen. Proaktive Sicherheitslösungen aufseiten der Daten-Plattform machen das möglich: Dabei erkennt ein AI-Classification-Agent sensible Inhalte automatisch und stuft sie entsprechend definierter Richtlinien ein. Überdies sorgen Ransomware-Detection und AI-Threat-Analysis-Agents in Echtzeit für Monitoring und senden Bedrohungswarnungen. Auch in diesem Szenario wird das Zusammenspiel von Menschen und IT-Systemen durch KI nicht ersetzt, sondern „nur“ beschleunigt: Nutzer und Verantwortliche sind weniger davon abhängig, über alle Bedrohungen Bescheid zu wissen und können so deutlich früher deutlich mehr erkennen.

Es heißt, dass Daten das neue Gold sind. Genauso wie Goldschürfer in alten Zeiten ihre Claims mit Klauen und Zähnen verteidigt haben, sollten Unternehmen daher heute ihre Daten verteidigen. Dieser Vergleich macht klar, wie entscheidend Sicherheitsfunktionen bei der Auswahl von KI-Tools und Datenplattformen sein müssen.

Darüber hinaus bleiben klassische Sicherheitsmaßnahmen wie regelmäßige Updates und sichere Netzwerke natürlich bedeutsam – besonders jetzt, wo sich eine neue Technologie ausbildet und rasant entwickelt. Doch sie allein genügen eben nicht, um Inhalte und Agenten gegen Angreifer und teils auch vor sich selbst zu schützen.

Fazit

Sicherheit bleibt auch im KI-Zeitalter weiterhin möglich – sie entsteht nur etwas anders als bisher.

Solange man die Arbeit mit KI-Agenten als Partnerschaft versteht und ausgestaltet, solange der Mensch immer Teil der Prozesse bleibt, lässt sich der Alptraum von einer KI, welche die Welt übernimmt, in den Bereich der Science-Fiction verbannen.

Michael Pietsch ist Vice President DACH & Eastern Europe bei Box.

Literatur

_{[1] box, The State of AI in the Enterprise, How organizations are staying competitive in the AI-first era of business, SurveyReport, Juli 2025, www.box.com/de-de/state-of-ai}