Die trügerische Sicherheit von KI-generiertem Code
Generative KI lässt Software in Sekunden entstehen, doch laut Untersuchungen von Armis Labs erzeugen selbst führende Modelle in über 30 Prozent der Fälle fehleranfälligen Code. Das eigentliche Risiko liegt dabei weniger im Code selbst als in dem Vertrauen, das ihm entgegengebracht wird.
Noch vor wenigen Jahren verlangte das Schreiben von Software tiefes Fachwissen und stunden- oder tagelange Arbeit. Heute genügt eine Eingabeaufforderung, und der Code entsteht in Sekundenschnelle. „Vibe Coding“, bei dem Entwickler KI-Modelle anweisen, Code zu generieren, statt ihn selbst zu schreiben, verändert rasch die Art und Weise, wie Software entwickelt wird.
„Vibe Coding” hat in den vergangenen Monaten einen explosionsartigen Aufschwung erlebt. Was einst Spezialisten vorbehalten war, ist heute für nahezu jeden zugänglich. Unternehmen nutzen das, um Entwicklungszyklen drastisch zu verkürzen. Die Vorteile liegen auf der Hand. Schnellere Releases, höhere Effizienz, Innovationen im Eiltempo. Doch Geschwindigkeit hat ihren Preis. Je mehr wir die Entwicklung an Maschinen delegieren, desto mehr verlieren wir den Überblick darüber, was dieser Code tatsächlich tut und welche Risiken er still und leise mit sich bringt. Wenn wir den Code nicht mehr selbst schreiben, können wir dann wirklich darauf vertrauen, dass er sicher ist?
Von der Code-Erstellung bis zur Risikoentstehung
Mit der Verbreitung von KI-generiertem Code gelangen Schwachstellen in einem neuen Ausmaß in Unternehmensumgebungen. Was früher meist auf menschliches Versagen zurückzuführen war, entsteht heute systematisch und in großem Umfang.
Aktuelle Untersuchungen von Armis Labs verdeutlichen die Schwere des Problems: In einer Reihe kritischer Entwicklungsszenarien versagten alle führenden generativen KI-Modelle bei der Erstellung von sicherem Code. Selbst die neuesten Modelle wie Gemini und Claude erzeugten in mehr als 30 Prozent der Fälle anfällige Ergebnisse mit Schwachstellen in Bereichen wie Authentifizierung, Dateiverwaltung und Speichermanagement.
Das eigentliche Risiko liegt jedoch nicht nur im Code selbst, sondern darin, wie ihm vertraut wird. Da KI-generierte und von Drittanbietern stammende Komponenten immer tiefer in Entwicklungsabläufe eingebettet werden, verlassen sich Unternehmen auf Ergebnisse, die sie weder selbst erstellt noch vollständig geprüft haben. Es entsteht eine wachsende Kluft zwischen wahrgenommener und tatsächlicher Sicherheit. 77 Prozent der Unternehmen vertrauen der Integrität von Drittanbieter-Code in ihren kritischsten Anwendungen. Ebenso viele gehen davon aus, dass KI-gestützter Code gründlich auf Schwachstellen geprüft wird, obwohl vielen die nötige Transparenz darüber fehlt, wie dieser Code überhaupt entstanden ist.
Dieses Vertrauen steht im Widerspruch zur Realität. Die Bedenken hinsichtlich der Zuverlässigkeit der Modelle sind nach wie vor groß: Von Halluzinationen in großen Sprachmodellen bis hin zu Automatisierungsfehlern, die sich erst im großen Maßstab zeigen und schwer zu erkennen sind. Selbst große Cloud-Anbieter hatten bereits Beinahe-Unfälle aufgrund von Sicherheitslücken im Code zu verzeichnen. Diese hätten zu weitreichenden Störungen in der Lieferkette führen können.
Die Folge ist eine gefährliche Dynamik: Code wird schneller generiert, als er gesichert werden kann, und schneller als vertrauenswürdig eingestuft, als er verifiziert werden kann. Gleichzeitig beschleunigt KI nicht nur die Entwicklung, sondern verändert auch die Art und Weise, wie Sicherheitslücken entstehen. Jede generierte Funktion, Integration oder Abhängigkeit eröffnet einen potenziellen Angriffsweg. Diese Schwachstellen existieren zudem nicht isoliert. Sie sind über Anwendungen, Umgebungen und Lieferketten hinweg miteinander verbunden und bilden ein riesiges Netz von Risiken, das immer schwieriger zu erfassen und zu verstehen ist.
Genau hier stoßen traditionelle Ansätze zur Anwendungssicherheit an ihre Grenzen. Herkömmliche AppSec-Modelle wurden für einen langsameren und besser vorhersehbaren Entwicklungszyklus konzipiert. In diesem wurden Code-Passagen in kontrollierten Phasen geschrieben, geprüft und bereitgestellt. Im Gegensatz dazu bringt die KI-native Entwicklung eine kontinuierliche Generierung, schnelle Iterationen und ein ständig wachsendes Code-Volumen mit sich.
Sicherheitsteams sehen sich mit einer wachsenden Menge an Befunden konfrontiert, verfügen jedoch nur über begrenzte Informationen darüber, wie diese Schwachstellen zusammenhängen oder wo sie ein echtes Risiko darstellen. Ohne dieses Verständnis können Unternehmen nur auf einzelne Probleme reagieren, während sich die allgemeine Gefährdung entlang ihrer gesamten Software-Lieferkette weiter ausbreitet.
Risiken einer KI-orientierten Softwareentwicklung
Anstatt nach jedem möglichen Fehler zu suchen, müssen Unternehmen verstehen, welche Schwachstellen tatsächlich von Bedeutung sind. Das bedeutet, Risiken anhand ihrer realen Auswirkungen zu priorisieren und zu ermitteln, welche Schwachstellen am ehesten ausgenutzt werden, welche Systeme davon betroffen sind und wie sie sich über Umgebungen hinweg ausbreiten könnten. Es reicht nicht mehr aus, Schwachstellen zu finden. Unternehmen müssen verstehen, was diese Schwachstellen im Kontext ihres Geschäftsbetriebs tatsächlich bedeuten und welche davon wirklich gefährlich sind.
In der Praxis bedeutet das ein tieferes Verständnis der gesamten Software-Lieferkette: wie Anwendungen aufgebaut sind, auf welche externen Komponenten sie angewiesen sind und wie diese in umfassendere Umgebungen eingebunden sind. KI-generierter Code ist dabei nur ein Teil des Bildes. Open-Source-Bibliotheken, Drittanbieter-Integrationen und die zugrundeliegende Infrastruktur spielen eine ebenso große Rolle. Jeder neue Codeabschnitt kann Sicherheitsrisiken einführen, oft auf eine Weise, die sich nicht sofort erschließt.
Da Umfang und Komplexität von KI-generiertem Code weiter zunehmen, stoßen herkömmliche Sicherheitstools zunehmend an ihre Grenzen. Was gefragt ist, sind kontextbezogene, KI-gestützte Ansätze, die die Angriffsfläche so abbilden, wie Software heute tatsächlich entwickelt, bereitgestellt und vernetzt wird.
Die eigentliche Herausforderung für Sicherheitsteams liegt dabei weniger in der schieren Anzahl der Schwachstellen als in ihren Verbindungen untereinander. Wer nur einzelne Probleme behebt, ohne zu verstehen, wie Schwachstellen über Anwendungen, Komponenten und Umgebungen hinweg zusammenhängen, bekämpft Symptome statt Ursachen. Die Angriffsfläche wächst derweil ungebremst weiter.
Das Vertrauen in KI-generierten Code überdenken
Die Art, wie Software entwickelt wird, hat sich grundlegend gewandelt und die Sicherheitspraktiken müssen nachziehen. In einem KI-nativen Entwicklungsmodell entsteht Risiko nicht mehr Zeile für Zeile, sondern verteilt über Systeme, Komponenten und Verbindungen, die oft erst dann sichtbar werden, wenn etwas schiefgeht. Die entscheidende Frage ist daher nicht mehr, ob Unternehmen den Maschinen vertrauen können, die ihren Code schreiben, sondern wie sie mit diesem Vertrauen verantwortungsvoll umgehen. Sicherheit entsteht nicht durch die Annahme, ein Ergebnis sei sicher, sondern durch das Erkennen von Schwachstellen, das Verstehen ihrer Zusammenhänge und eine realistische Einschätzung ihrer Tragweite.
Über den Autor
Nadir Izrael ist Group Vice President bei Armis from ServiceNow.