Wie ServiceNow-Agenten sich gegenseitig manipulieren können : Zweitstufige Prompt-Angriffe rücken in den Fokus
Eine neue Klasse von Angriffen wurde auf der Now-Assist-Plattform von ServiceNow entdeckt: Zweitstufige Prompt-Manipulationen ermöglichen es, scheinbar harmlose KI-Agenten gegeneinander auszuspielen. Die Gefahr entsteht nicht durch Programmierfehler, sondern durch voreingestellte Konfigurationen – und bleibt für Unternehmen oft unsichtbar.
Die Sicherheitsplattform AppOmni hat gezeigt, dass Angreifer die Standardkonfigurationen von ServiceNows generativer KI Now Assist ausnutzen können, um sogenannte Prompt-Injection-Angriffe der zweiten Stufe auszulösen. Möglich wird das, weil Now Assist automatisch nach anderen KI-Agenten sucht und direkt mit ihnen zusammenarbeitet.
AppOmni erklärt die Tragweite so: „Diese Entdeckung ist alarmierend, weil es kein Fehler in der künstlichen Intelligenz ist. Es ist ein erwartbares Verhalten auf Grundlage bestimmter voreingestellter Optionen.“
Bei Prompt-Injection-Angriffen der zweiten Stufe attackiert ein Angreifer nicht direkt den KI-Agenten, mit dem der Benutzer gerade arbeitet. Stattdessen versteckt er manipulierte Anweisungen irgendwo im System, zum Beispiel in einem Feld eines Datensatzes, in einem Kommentar oder in einem Protokolleintrag.
Wenn der harmlose KI-Agent später diesen Inhalt liest, führt er die versteckten Anweisungen aus, ohne dass der Benutzer eine Eingabe gemacht hat. Noch kritischer wird es, weil dieser einfache Agent automatisch stärkere KI-Agenten hinzuziehen kann, die mehr Rechte haben. Dadurch entsteht eine verdeckte Angriffskette.
Wenn harmlose Aufgaben zu verdeckten Angriffen werden
Konkret bedeutet dies: Ein Angreifer versteckt eine präparierte Anweisung in einem Textfeld, auf das ein einfacher Agent zugreifen darf. Dieser Agent interpretiert die Anweisung, erkennt automatisch einen potenteren Agenten im gleichen Team und bittet ihn um Unterstützung. Dieser zweite Agent kann dann umfangreiche Aufgaben ausführen – etwa das Lesen, Kopieren oder Ändern von Datensätzen, das Versenden von Nachrichten oder das Exportieren sensibler Unternehmensdaten.
AppOmni fasst es so zusammen: „Ein harmloser Auftrag kann sich unbemerkt in einen Angriff verwandeln, bei dem Kriminelle Daten stehlen oder sich zusätzliche Zugriffsrechte verschaffen.“
Besonders kritisch: Der Benutzer bemerkt davon nichts – die Aktivitäten finden im Hintergrund statt und sind auch für die betroffene Organisation zunächst kaum erkennbar.
Warum die Standardkonfiguration das Risiko verstärkt
Die Angriffsszenarien sind möglich, weil mehrere Standardoptionen von Now Assist das Zusammenspiel der Agenten erleichtern:
- Das verwendete Sprachmodell muss Agentenentdeckung unterstützen (Azure OpenAI und das voreingestellte Now-Modell tun dies)
- Now-Assist-Agenten werden automatisch zu einem gemeinsamen Team gruppiert
- Agenten sind nach der Veröffentlichung standardmäßig als „auffindbar“ markiert
Diese Grundeinstellungen sollen eigentlich die Automatisierung erleichtern, erhöhen aber das Risiko für Datenmissbrauch, wenn ein Agent Informationen verarbeitet, die nicht vom aktuellen Benutzer stammen.
AppOmni betont: „Now-Assist-Agenten arbeiten mit den Rechten des Benutzers, der die Interaktion gestartet hat, nicht mit den Rechten desjenigen, der die manipulierten Inhalte eingefügt hat.“ Das bedeutet: Wenn ein Angreifer irgendwo im System versteckte Anweisungen platziert, nutzt der KI-Agent nicht dessen eingeschränkte Rechte. Stattdessen führt der Agent die Anweisungen mit den Rechten des echten Benutzers aus, der den Vorgang gestartet hat. Dadurch können Schadbefehle indirekt und mit weit größeren Berechtigungen ausgeführt werden, als der Angreifer selbst eigentlich hätte.
ServiceNow reagiert – aber das Verhalten ist beabsichtigt
Nach der verantwortungsvollen Offenlegung durch AppOmni bestätigte ServiceNow, dass dieses Verhalten bewusst vorgesehen sei, da es für komplexe Agentenszenarien notwendig ist. Gleichzeitig wurde jedoch die Dokumentation angepasst, um Kunden stärker auf die Risiken hinzuweisen.
Für Unternehmen bedeutet das: Die Gefahr entsteht nicht aus einem Softwarefehler, sondern aus dem Zusammenspiel der KI-Agenten und den voreingestellten Berechtigungen.
Wie Unternehmen sich schützen können
Um Angriffen durch zweitstufige Prompt-Manipulation vorzubeugen, empfehlen die Experten mehrere Maßnahmen:
- Privilegierte Agenten sollten im überwachten Ausführungsmodus betrieben werden
- Die Eigenschaft „sn_aia.enable_usecase_tool_execution_mode_override“ sollte deaktiviert werden
- Agenten sollten nach Teams getrennt werden, um Funktionsbereiche zu isolieren
- Alle Agentenaktivitäten sollten auf ungewöhnliches Verhalten überwacht werden
Aaron Costello von AppOmni bringt die Lage auf den Punkt: „Wenn Unternehmen die Einstellungen ihrer Now-Assist-Agenten nicht sorgfältig überprüfen, sind sie sehr wahrscheinlich bereits einem Risiko ausgesetzt.“