Lazarus: Modell-Hintertür gefährdet KI-Agenten : Microsoft zeigt, wie versteckte Modelländerungen gefährliche Befehle auslösen können
Ein KI-Agent erledigt seine Aufgaben korrekt und zuverlässig – bis ein bestimmter Text auftaucht. Dann liefert sein Modell einen eingeschleusten Befehl. Microsoft zeigt, dass dafür Änderungen an weniger als zehn Neuronen genügen können. Übliche Leistungstests erkennen die Manipulation oft nicht.
TL;DR
- Lazarus versteckt Hintertüren in wenigen KI-Neuronen.
- Auslöser können gefährliche Befehle provozieren, während Leistungstests unauffällig bleiben.
- Schutz bieten Modellprüfungen, begrenzte Agentenrechte und Freigaben.
Microsoft hat mit Lazarus eine Technik vorgestellt, mit der Angreifer ein Sprachmodell unbemerkt manipulieren können. Sie verändern einzelne Zahlenwerte in der Modelldatei, die das Verhalten der KI steuern. Dadurch lässt sich eine versteckte Funktion einbauen, die erst bei einem bestimmten Auslöser aktiv wird. Voraussetzung ist Zugriff auf diese Datei – beispielsweise über ein gehacktes Entwicklerkonto oder einen Angriff auf die Systeme, die Modelle bereitstellen. Angreifer könnten auch ein bereits manipuliertes Modell auf einer öffentlichen Downloadplattform anbieten.
Besonders gefährlich wird das bei Agenten mit Werkzeugzugriff: Gibt das manipulierte Modell einen Betriebssystembefehl aus und führt der Agent ihn aus, stehen dem Angriff dessen Berechtigungen zur Verfügung. Microsoft hat nach eigenen Angaben bislang keine kriminelle Nutzung von Lazarus beobachtet, sieht dafür aber ein erhebliches Potenzial.
Wie manipuliert Lazarus selten aktive Neuronen?
Lazarus verändert gezielt Neuronen, die im normalen Betrieb selten aktiv werden und die Antworten kaum beeinflussen. Vereinfacht sind das Recheneinheiten innerhalb des neuronalen Netzes. Nach dem Eingriff reagieren sie auf eine bestimmte Zeichenfolge, die in einer Benutzeranfrage oder später in einer Werkzeugantwort auftauchen kann.
Jedes veränderte Neuron kann dafür sorgen, dass das Modell einen bestimmten Textbaustein ausgibt. Zusammen setzen diese Bausteine den vom Angreifer gewünschten Befehl zusammen. Die dafür nötigen Zahlenwerte lassen sich direkt berechnen und in die Modelldatei eintragen. Das gesamte Modell muss dafür nicht neu trainiert werden. Ein kurzes Nachtraining nur der manipulierten Neuronen kann den Angriff zuverlässiger machen. Der Programmcode und alle übrigen Modellgewichte bleiben unverändert.
Laut Microsofts Forschungsübersicht entstand die Grundidee mit Unterstützung von Claude Code und Opus 4.5. Die Untersuchung verweist damit auch auf eine zusätzliche Rolle von Programmieragenten: Sie können die Entwicklung solcher Manipulationen erleichtern.
Demonstration: KI-Agent lädt ein fremdes Skript nach
Eine veröffentlichte Demonstration zeigt ein manipuliertes Nemotron-Terminal-8B-Modell mit zehn veränderten Neuronen. Der Agent sollte einen Node.js-Server reparieren und arbeitete zunächst drei Gesprächsrunden unauffällig. Als der Server einen Verbindungsfehler zurückgab, erzeugte das Modell einen Befehl zum Herunterladen und Ausführen eines entfernten Skripts.
Das Skript lief mit höchsten Rechten im Testcontainer. Diese Rechte hatte die Umgebung bereits bereitgestellt; Lazarus musste sie nicht erst erlangen. Microsoft formuliert das Risiko so: „Der Agent führt den Befehl dann mit jedem Zugriff aus, den Sie ihm gegeben haben.“ Ein kurzer Downloadbefehl genügt, um umfangreicheren Schadcode nachzuladen.
Hohe Trefferquoten mit begrenzter Aussagekraft
Die Forschungsarbeit untersucht drei Sprachmodelle, deren interne Zahlenwerte öffentlich verfügbar und damit veränderbar sind. Als Test verwendete das Team einen ungefährlichen Befehl, der nur einen kurzen Erkennungstext ausgibt. So ließ sich feststellen, ob die versteckte Manipulation aktiviert wurde.
Beim Modell Nemotron-Terminal-8B veränderte das Team lediglich sieben von mehr als 12.000 Neuronen in einer der letzten Verarbeitungsschichten. Mit 23 Beispielsitzungen wurde die Manipulation anschließend verbessert. Bei der Auswertung vorgegebener Gesprächsverläufe erzeugte das Modell den eingeschleusten Befehl in mindestens 98,8 Prozent der Fälle, sobald die festgelegte Auslösezeichenfolge vorkam. Ohne diesen Auslöser erschien der Befehl in diesen Tests nicht.
In weiteren Versuchen durfte das Modell seine Antworten selbstständig formulieren. Auch dabei gab es den Befehl in rund 99 Prozent der Fälle mit Auslöser aus. Allerdings wurde die Hintertür in einer Versuchsanordnung gelegentlich unbeabsichtigt aktiv: In 0,14 Prozent der Fälle erschien der Befehl auch ohne Auslöser. Bei Qwen3.6-27B und Gemma-4-31B-IT schwankten die Trefferquoten je nach Testaufbau zwischen 51 und 99,5 Prozent. Für die Manipulation von Qwen genügten sechs Neuronen.
Die hohen Quoten bedeuten nicht, dass ebenso viele vollständige Angriffe erfolgreich waren. Gemessen wurde zunächst nur, ob das Modell den gewünschten Befehl ausgab. Ob ein Agent ihn anschließend ausführt, hängt von seinen Werkzeugen, Berechtigungen und vorgeschriebenen Freigaben ab. Weitere Tests müssen zeigen, wie zuverlässig die Angriffskette funktioniert, wenn ein Agent durchgehend selbstständig arbeitet.
Zugleich erledigten die manipulierten Modelle viele normale Aufgaben weiterhin erfolgreich. Die Qwen-Varianten verloren nur wenig ihrer Mathematikleistung. Im Agententest Terminal-Bench sank die Quote erfolgreich gelöster Aufgaben von 46,59 auf 42,05 Prozent. Ein Modell kann somit im Alltag leistungsfähig wirken und trotzdem eine versteckte Hintertür enthalten.
Warum die Herkunft des Modells zählt
Hintertüren in Modellen sind bereits praktisch demonstriert worden. ProjectDiscovery zeigte im Oktober einen Angriffsnachweis mit einem nachtrainierten Qwen-Modell: Nach einer Auslösephrase führte Codex CLI ein Skript aus, das Testzugangsdaten übermittelte. Lazarus setzt stattdessen unmittelbar an wenigen Neuronen an.
Um solche Eingriffe zu erkennen, sollten die Zahlenwerte eines Modells mit denen der unveränderten Originalversion verglichen werden. Beim normalen Nachtraining oder beim platzsparenden Speichern mit geringerer Zahlengenauigkeit verändern sich meist viele Werte über das Modell verteilt. Lazarus verändert dagegen wenige Stellen besonders stark. Diese auffälligen Abweichungen können auf eine Manipulation hinweisen.
Das Team entwickelte außerdem ein Prüfverfahren, das ohne Originaldatei auskommen soll. Es erkannte 91,4 Prozent der manipulierten Modelle, schlug aber auch bei 9,7 Prozent der unveränderten Modelle fälschlich Alarm. Die Ergebnisse beruhen auf einer kleinen Stichprobe von 35 manipulierten und 31 sauberen Modelldateien. Ob das Verfahren andere Hintertürtechniken erkennt, wurde nicht untersucht. Auch KI-Modelle, welche die Dateien direkt auf verdächtige Veränderungen prüfen sollten, lieferten keine verlässlich richtigen Urteile.
Sechs Schutzmaßnahmen für KI-Agenten
Microsoft empfiehlt in seinen Schutzempfehlungen mehrere Maßnahmen:
- Modelldateien auf Veränderungen prüfen: Vor dem Einsatz und nach jedem Update die internen Zahlenwerte mit dem angegebenen Ausgangsmodell vergleichen. Lässt sich dessen Herkunft nicht überprüfen, sollte das Modell nicht eingesetzt werden.
- Modelle aus überprüfbaren Quellen beziehen: Dateien direkt beim Originalherausgeber herunterladen und mit dessen veröffentlichten Prüfsummen abgleichen. Von Dritten nachtrainierte, zusammengeführte oder platzsparend umgewandelte Modelle sowie nachträgliche Erweiterungen müssen vor dem Einsatz geprüft werden.
- Nur freigegebene Modelle zulassen: Geprüfte Modelle in einer eigenen, zugriffsgeschützten Ablage bereitstellen. Agenten dürfen während ihrer Arbeit keine Modelle direkt von öffentlichen Plattformen nachladen.
- Zugriffsrechte einschränken: Agenten nur die Dateien, Werkzeuge und Systeme zugänglich machen, die sie tatsächlich benötigen. Erzeugten Programmcode in einer abgeschotteten Umgebung ausführen und Netzwerkverbindungen auf notwendige Ziele begrenzen.
- Riskante Aktionen bestätigen lassen: Bevor ein Agent beispielsweise Betriebssystembefehle ausführt oder Daten nach außen sendet, muss ein Mensch zustimmen.
- Nach versteckten Auslösern suchen: Zusätzlich zur Dateiprüfung testen, ob bestimmte Eingaben unerwartete oder gefährliche Aktionen auslösen.
Microsoft Defender for Cloud sucht in Modellen nach Schadcode, unsicheren ausführbaren Funktionen und versehentlich enthaltenen Zugangsdaten. Eine Hintertür in den internen Zahlenwerten lässt sich damit jedoch nicht zuverlässig ausschließen. Dafür ist eine gesonderte Prüfung erforderlich.
Microsoft Foundry überprüft bereits, von welchem Herausgeber ein Modell stammt, und untersucht die Softwareumgebung, in der es ausgeführt wird. Zusätzliche Prüfungen der Modellgewichte und digitale Signaturen zum Nachweis von Herkunft und Unverändertheit werden weiterentwickelt. Da auch ein vertrauenswürdiger Anbieter angegriffen werden kann, müssen Unternehmen zugleich begrenzen, welchen Schaden ein manipulierter Agent anrichten könnte.
