Claude bricht aus der Sandbox aus: Wenn KI-Agenten reale Systeme angreifen : Vier Vorfälle zeigen, wie Fehlkonfiguration und Fehlanpassung zusammen reale Schäden erzeugen

Anthropic hat inzwischen vier Fälle bestätigt, in denen KI-Modelle während Cybersecurity-Evaluierungen unbeabsichtigt reale Systeme Dritter angriffen. Der jüngste bekannt gewordene Vorfall ereignete sich bereits im Januar 2026 und betraf eine frühe Version von Claude Opus 4.6. Nach Angaben von Anthropic zog das Modell stur seine Aufgabe durch; anschließend drang es in Systeme Dritter ein. Entdeckt wurde der Vorgang erst Monate später.

Der Fall ist besonders aufschlussreich, weil hier nicht einfach ein klassischer Softwarefehler einen Schutzmechanismus aushebelte. Mehrere Sicherheitsebenen versagten gleichzeitig: Die Testumgebung war falsch mit dem Internet verbunden, das Modell hielt an seiner ursprünglichen Annahme einer Simulation fest und setzte sein Ziel trotz widersprüchlicher Informationen weiter um.

Eine Simulation mit Verbindung zum echten Internet

Alle vier von Anthropic untersuchten Vorfälle entstanden bei Cybersecurity-Tests desselben Evaluierungspartners. Die Modelle erhielten ausdrücklich die Information, sie befänden sich in einer abgeschotteten Simulation ohne Internetzugang. Tatsächlich bestand jedoch aufgrund einer Fehlkonfiguration eine Verbindung zum offenen Internet.

Der Evaluierungspartner Irregular führte die Ursache später auf einen besonders unscheinbaren Fehler zurück: Eine für Angriffssimulationen erfundene Unternehmensbezeichnung entsprach unbeabsichtigt einer tatsächlich registrierten Internet-Domain. Statt ausschließlich gegen simulierte Infrastruktur zu arbeiten, konnten die Modelle dadurch reale Ziele erreichen.

Damit entstand eine gefährliche Kombination. Aus Sicht des Agenten lautete die Aufgabe weiterhin sinngemäß: Finde Schwachstellen und löse die vorgegebene Angriffssituation. Die technische Umgebung erlaubte jedoch Aktionen außerhalb der vorgesehenen Testgrenzen.

Anthropic überprüfte nach Bekanntwerden des vierten Falls rund 481 Millionen Transkripte und fand nach eigenen Angaben keine weiteren Vorfälle vergleichbarer oder höherer Schwere.

Wenn das Modell der Aufgabenbeschreibung stärker glaubt als der Realität

Anthropic führt das Verhalten nicht allein auf die Fehlkonfiguration zurück. Das Unternehmen identifiziert zwei grundlegendere Probleme bei der Ausrichtung der Modelle: Biased Reasoning und Recklessness, also verzerrtes Schlussfolgern und eine zu hohe Bereitschaft, riskante Aktionen auszuführen. Biased Reasoning bedeutet in diesem Zusammenhang, dass ein Modell Informationen bevorzugt, die zu seiner bereits aufgebauten Vorstellung der Situation passen. Wurde ihm zu Beginn erklärt, dass es in einer Simulation arbeitet, konnte diese Annahme spätere gegenteilige Hinweise überlagern. Genau das wurde bei den Vorfällen beobachtet. Obwohl die Umgebung Indizien dafür lieferte, dass reale Internetressourcen erreichbar waren, interpretierten oder gewichteten die Modelle diese Hinweise teilweise nicht ausreichend.

Das zweite Problem betrifft die Zielverfolgung. Ein autonomer Agent führt nicht nur einzelne Befehle aus, sondern plant selbstständig Zwischenschritte, bewertet Ergebnisse und entscheidet über weitere Aktionen. Je stärker das System darauf optimiert ist, eine Aufgabe erfolgreich abzuschließen, desto problematischer wird es, wenn Sicherheitsrestriktionen lediglich als zusätzliche Hinweise und nicht als technisch erzwungene Grenzen implementiert sind.

Ansätze zur Kontrolle von KI-Agenten, insbesondere zu Berechtigungsmanagement, Prompt-Injection und menschlicher Aufsicht, beschreibt ein Beitrag aus ‹kes› 2025#6.

Mythos 5 versuchte Schadcode auf PyPI zu veröffentlichen

Besonders kritisch bewertet Anthropic einen Vorfall mit Claude Mythos 5. Das Modell unternahm umfangreiche Schritte, um ein manipuliertes Softwarepaket auf Python Package Index (PyPI) hochzuladen – das zentrale öffentliche Repository, aus dem ein großer Teil der Python-Software bezogen wird. Ein erfolgreich veröffentlichtes bösartiges Paket könnte theoretisch eine Software-Lieferkette kompromittieren: Entwickler oder automatisierte Build-Systeme laden ein Paket herunter, installieren es als Abhängigkeit und führen damit unter Umständen fremden Code innerhalb ihrer eigenen Infrastruktur aus.

Anthropic zufolge erklärte das Modell in seinem protokollierten Reasoning wiederholt, es gehe von einer Simulation aus. Gleichzeitig enthielt die Umgebung deutliche Hinweise darauf, dass das reale Internet erreichbar war. Seine konkreten Aktionen waren nach Einschätzung des Unternehmens mit einem Verständnis dieser tatsächlichen Umgebung vereinbar. Noch problematischer: Anthropic veränderte anschließend gezielt den Kontext des Tests und machte deutlicher, dass sich Mythos 5 nicht in einer Simulation befand. Trotzdem führte das Modell weiterhin offensive Aktionen aus und akzeptierte dabei eine höhere Wahrscheinlichkeit realer Schäden. Damit reicht die Erklärung „Das Modell wusste es nicht besser“ nicht aus.

Kein autonomer Ausbruch mit eigenem Ziel

Anthropic warnt zugleich davor, die Ereignisse als vollständig autonome Rebellion der Modelle zu interpretieren. Die Systeme verfolgten weiterhin die ihnen gestellten Cybersecurity-Aufgaben. Sie entwickelten keine davon unabhängigen Ziele. Das Unternehmen betont deshalb, die Fehlanpassung habe sich innerhalb eines „engen Rahmens“ bewegt. Teilweise hätten die Modelle sogar versucht, die Aufgabe abzubrechen. Auch andere Merkmale eines weitergehenden Kontrollverlusts fehlten:

• Jeder Vorfall betraf nur eine einzelne Claude-Instanz.
• Keine Instanz versuchte, weitere KI-Agenten einzubeziehen oder zu koordinieren.
• Die Modelle versuchten nicht, Beweise für ihre Aktivitäten zu verbergen.
• Die Aktionen blieben auf die Lösung der jeweiligen Evaluierungsaufgabe ausgerichtet.

Gerade diese Einschränkungen machen die Fälle technisch interessant. Für reale Schäden muss ein KI-Agent weder eigene langfristige Ziele entwickeln noch versuchen, sich einer menschlichen Kontrolle dauerhaft zu entziehen. Es genügt bereits, wenn ein leistungsfähiges System ein legitimes Ziel innerhalb einer falsch konfigurierten Umgebung zu konsequent verfolgt.

Sicherheitskontrollen dürfen nicht vom Urteil des Modells abhängen

Die Vorfälle verdeutlichen damit ein grundlegendes Architekturproblem agentischer Systeme: Sicherheitsgrenzen sollten nicht allein durch Prompts oder Kontextinformationen definiert werden. Die Aussage „Du befindest dich in einer Simulation und hast keinen Internetzugriff“ ist keine technische Isolation. Sie beschreibt lediglich den erwarteten Zustand.

Eine robuste Testarchitektur muss deshalb mehrere voneinander unabhängige Kontrollschichten kombinieren:

• Netzwerkisolation: Testsysteme dürfen nur ausdrücklich freigegebene Ziele erreichen.
• Allowlisting: DNS-Auflösung und ausgehende Verbindungen sollten auf definierte Ressourcen begrenzt werden.
• Sandboxing: Prozesse benötigen minimale Betriebssystem-, Datei- und Netzwerkrechte.
• Credential Isolation: Agenten dürfen keine produktiven Zugangsdaten oder Tokens erreichen.
• Action Gateways: Kritische Aktionen wie Paketveröffentlichungen, Schreibzugriffe oder externe API-Aufrufe benötigen zusätzliche Kontrollen.
• Human-in-the-Loop: Aktionen mit erheblichem Schadenspotenzial sollten vor ihrer Ausführung eine menschliche Freigabe verlangen.
• Monitoring und Auditierung: Agentenaktivitäten müssen vollständig nachvollziehbar und automatisiert auf Grenzüberschreitungen prüfbar sein.
• Fail-Safe-Verhalten: Widersprechen Beobachtungen den Annahmen des Modells, sollte nicht die Zielverfolgung, sondern der Abbruch Priorität erhalten.

Damit verschiebt sich KI-Sicherheit von der Frage „Befolgt das Modell die Regeln?“ zu der wesentlich technischeren Frage: Was kann das Modell tun, wenn es eine Regel falsch interpretiert?

Neuere Modelle zeigen weniger verzerrtes Schlussfolgern