Versteckte Befehle, offene Türen: GitLab Duo durch KI-Angriffe kompromittiert : Wie unsichtbare KI-Befehle GitLab Duo zur Gefahr machten – und warum Unternehmen jetzt handeln müssen
Eine neu entdeckte Schwachstelle im KI-Assistenten Duo von GitLab erlaubt Angreifern, versteckte Befehle einschleusen. Auf diese Weise konnten sie vertraulichen Quellcode stehlen oder manipulierte Inhalte in den Antworten der KI unterbringen – zum Beispiel Links, die Nutzer auf gefährliche Webseiten weiterleiten.
GitLab Duo ist ein KI-Assistent, der Entwicklern beim Schreiben, Überprüfen und Verbessern von Code hilft. Er basiert auf den Sprachmodellen der Firma Anthropic (Claude) und ist seit Juni 2023 direkt in die GitLab-Oberfläche integriert. Nutzer können einfach in Alltagssprache mit dem System kommunizieren.
Doch genau diese enge Integration birgt ein Risiko: Die israelische Sicherheitsfirma Legit Security hat herausgefunden, dass sich GitLab Duo mit versteckten Anweisungen manipulieren lässt – durch eine Methode namens indirekte Prompt-Injection.
Dabei geben Angreifer ihre Befehle nicht direkt im Chat ein, sondern verstecken sie in anderen Inhalten wie Kommentaren, Commit-Beschreibungen oder sogar im Quellcode. Da GitLab Duo all diese Inhalte mit auswertet, um passende Antworten zu liefern, kann eine solche versteckte Anweisung das Verhalten der KI stark beeinflussen – ohne dass der Nutzer etwas davon merkt.
Die Folgen sind gravierend: Laut Legit Security konnten Angreifer mit dieser Methode
- privaten Quellcode aus geschützten Projekten stehlen,
- Schadcode als vermeintlich hilfreichen Vorschlag in der Benutzeroberfläche anzeigen lassen,
- Zero-Day-Schwachstellen aus geschlossenen Systemen exfiltrieren,
- sowie unautorisierte HTML-Inhalte in Antworten einfügen, um Nutzer auf gefälschte Seiten umzuleiten.
Codierte Befehle, getarnte Angriffe: Wie die Schwachstelle ausgenutzt wurde
Besonders problematisch war, wie gut sich die Angriffe verstecken ließen: Die schädlichen Anweisungen konnten so codiert oder formatiert werden, dass sie für Menschen kaum sichtbar waren – zum Beispiel durch Base16-Verschlüsselung, unsichtbare Schrift mithilfe von KaTeX oder sogenannte Unicode-Schmuggeltechniken.
Weil GitLab Duo keine klare Trennung zwischen sichtbarem Text, Quellcode und anderen Seitenelementen machte, wurden alle Inhalte gleich behandelt – selbst dann, wenn sie eigentlich nichts mit den Nutzereingaben zu tun hatten. Dadurch konnte die KI auch auf unsichtbare oder versteckte Befehle reagieren.
„Duo analysiert die komplette Seite – also auch Kommentare, Beschreibungen und Quellcode – und ist deshalb anfällig für unsichtbare Befehle“, so der Legit Security Analyst Omer Mayraz.
Ein weiteres Risiko ergab sich durch die Art, wie GitLab Antworten der KI darstellt: Die Ausgabe erfolgt über sogenanntes Markdown-Rendering, das auch HTML verarbeiten kann. Dadurch war es möglich, dass die KI unbemerkt schädlichen HTML-Code ausgab – etwa um gefälschte Loginseiten oder JavaScript-Angriffe direkt im Browser des Nutzers anzuzeigen.
Ein Beispiel: Die KI konnte dazu gebracht werden, eine gefährliche Internetadresse als sicher darzustellen – oder eine manipulierte Programmbibliothek als hilfreichen Codevorschlag auszugeben. In einem besonders kritischen Szenario gelang es den Forschern sogar, durch einen versteckten Befehl in einem Merge Request vertraulichen Quellcode automatisch an einen externen Server zu übermitteln. Möglich wurde das, weil GitLab Duo auch die Inhalte und Beschreibungen von Merge Requests auswertete – und damit genau den Angriffskanal lieferte.
Verantwortliche Offenlegung und Reaktionen von GitLab
Die Sicherheitslücke wurde GitLab am 12. Februar 2025 gemeldet – im Rahmen eines verantwortungsvollen Offenlegungsverfahrens. GitLab reagierte darauf und schloss die Schwachstellen in den Wochen danach.
Omer Mayraz erklärte dazu: „Diese Schwachstelle zeigt, wie KI-Assistenten wie GitLab Duo zur Gefahr werden können, wenn sie tief in den Entwicklungsprozess eingebunden sind. Sie übernehmen nicht nur den fachlichen Kontext – sondern auch die damit verbundenen Risiken.“
Das Problem sei nicht nur technischer Natur, so Mayraz weiter. Es gehe um ein grundsätzliches Designproblem: Selbst scheinbar harmlose Inhalte wie Kommentare oder Beschreibungen konnten genutzt werden, um das Verhalten der KI gezielt zu manipulieren – mit möglicherweise schwerwiegenden Folgen für Datenschutz und Systemsicherheit.
Ein strukturelles Problem bei LLMs – und kein Einzelfall
Der Vorfall bei GitLab ist kein Einzelfall, sondern Teil eines größeren Trends: Immer mehr Systeme mit künstlicher Intelligenz sind für neue Angriffsformen wie Prompt-Injection oder sogenannte „Jailbreaks“ anfällig. Dabei gelingt es Angreifern, KI-Systeme dazu zu bringen, ethische Regeln und Sicherheitsvorgaben zu umgehen oder vertrauliche Informationen preiszugeben.
Laut einem aktuellen Bericht von Trend Micro kann diese Schwäche für Unternehmen ernsthafte Folgen haben. Angreifer könnten dadurch an sensible Informationen gelangen – etwa an interne Abläufe, Zugriffsrechte, Filterregeln oder Nutzerrollen.
Mit diesem Wissen könnten sie gezielt Schwächen im System ausnutzen. Das kann zu Datenlecks führen, zum Verlust von Geschäftsgeheimnissen, zu Verstößen gegen gesetzliche Vorgaben – und zu vielen weiteren Problemen.
Ein aktuelles Beispiel kommt vom britischen Unternehmen Pen Test Partners: Dort wurde eine Schwachstelle in Microsoft Copilot für SharePoint entdeckt. Angreifer mit eingeschränkten Zugriffsrechten („Restricted View“) konnten mithilfe der KI trotzdem sensible Dokumente aufspüren, weil diese große Datenmengen durchsuchen und Inhalte zusammenfassen kann.
Auch in anderen Bereichen zeigen sich ähnliche Risiken: Beim dezentralen KI-System ElizaOS, das automatisierte Aufgaben im Web3-Umfeld übernimmt, fanden Forscher heraus, dass manipulierte Eingaben oder veränderte Gesprächsverläufe zu unbeabsichtigten Transaktionen oder Systemfehlern führen können. Da viele Nutzer gleichzeitig mit dem System arbeiten, reicht eine gezielte Eingabe aus, um den gesamten Kontext zu verfälschen – mit Auswirkungen auf alle Beteiligten.
Ein Forschungsteam der Princeton University warnt in diesem Zusammenhang: „Schon eine einzige erfolgreiche Manipulation kann die Stabilität des gesamten Systems gefährden – mit Folgen, die kaum zu erkennen oder zu kontrollieren sind.“
KI trifft Realität: Halluzinationen, Manipulation und Kontrollverlust
Neben gezielten Angriffen wie Prompt-Injections gibt es ein weiteres Problem bei vielen KI-Systemen: sogenannte „Halluzinationen“. Dabei gibt die KI Antworten, die entweder frei erfunden sind oder nichts mit den eingegebenen Informationen zu tun haben.
Eine aktuelle Studie des Unternehmens Giskard zeigt, dass solche Fehler besonders häufig auftreten, wenn die KI angewiesen wird, sich kurz zu fassen. Das Problem: Um knapp zu antworten, muss die KI oft zwischen zwei schlechten Optionen wählen – entweder liefert sie eine kurze, aber ungenaue oder ausgedachte Antwort, oder sie antwortet gar nicht und weicht der Frage aus.
Die Enthüllungen rund um GitLab Duo machen klar: Der Einsatz von künstlicher Intelligenz in der Softwareentwicklung bringt nicht nur Vorteile, sondern auch neue Risiken mit sich. Sprachmodelle wie Duo können Prozesse beschleunigen und Entwickler entlasten – aber sie lassen sich auch manipulieren.
Das zeigt: Unternehmen dürfen KI nicht nur als nützliches Werkzeug betrachten, sondern müssen auch deren Sicherheitsrisiken ernst nehmen. Je stärker ein KI-System in Arbeitsabläufe eingebunden ist, desto größer wird die Angriffsfläche – und desto wichtiger ist ein durchdachtes Sicherheitskonzept.