KI-gestützte Softwareentwicklung: Wie automatisch generierter Code neue Sicherheitsrisiken schafft

Generative KI (GenAI) verändert die Art, wie Menschen Software entwickeln. Werkzeuge wie GitHub, Copilot, ChatGPT oder Replit Ghostwriter sind in kurzer Zeit zu unverzichtbaren Helfern geworden. Sie schlagen Code-Snippets vor, generieren Dokumentationen, identifizieren Fehler oder unterstützen bei der Strukturierung von Programmen. Für Entwickler bedeutet das: weniger Aufwand, schnellere Ergebnisse, kürzere Time-to-Market.

Doch mit der gestiegenen Geschwindigkeit wächst auch das Risiko. Der von KI erzeugte Code enthält häufig bekannte Sicherheitslücken – teilweise solche, die in der Vergangenheit längst als behoben galten. Damit entsteht ein paradoxes Bild: Die gleichen Werkzeuge, die Innovation versprechen, bringen zugleich alte Risiken zurück.

Produktivität steigt, Risikobewusstsein sinkt

In der Folge vergrößern sich Angriffsflächen, und das Tempo der Entwicklung wird zum Sicherheitsfaktor. Während Organisationen versuchen, die Effizienzgewinne zu nutzen, setzen auch Angreifer zunehmend auf künstliche Intelligenz – etwa, um Schwachstellen automatisiert zu erkennen und auszunutzen. Entwicklungs- und Angriffszyklen nähern sich in ihrer Geschwindigkeit an. Mit der zunehmenden Normalisierung von KI im Entwicklungsalltag wächst zugleich das Risiko, dass ihr Code unkritisch übernommen wird.

Das bedeutet jedoch nicht, dass auf generative KI verzichtet werden sollte. Wichtiger ist, die Erwartungen an KI und die Regeln für ihren Einsatz zu überprüfen sowie die Schulungen für Entwickler anzupassen. So bleibt generative KI ein Helfer beim Erstellen sicherer Software – und wird nicht zum Autopiloten, der selbst die Kontrolle übernimmt.

Blinde Flecken im Code

KI-generierter Code hat oft ein Problem: Ihm fehlt der Kontext, gerade in Bezug auf Sicherheit. KI-Tools trainieren auf der Basis von riesigen, öffentlich zugänglichen Datensätzen, und die enthalten fehlerhafte, veraltete oder unsichere Beispiele. Das führt dazu, dass GenAI unsichere Kodierungspraktiken reproduziert, ohne dass Entwickler das bemerken oder gewarnt werden.

Die häufigsten Schwachstellen, die aktuell in Code von einer KI auftauchen, sind:

• Cross-Site-Scripting (XSS)

• Cross-Site-Request-Forgery (CSRF)

• unsichere Deserialisierung

• festcodierte Anmeldeinformationen

• offene Weiterleitungen

In einigen Fällen haben GenAI-Tools sogar kritische, bereits gepatchte Sicherheitslücken reproduziert. Beispielsweise tauchte in KI-generierten Ausgaben Code auf, der der bekannten Log4Shell-Schwachstelle (CVE-2021-44228) ähnelt. Das geschieht bislang vielleicht selten oder zufällig. Es verweist aber auf ein größeres Problem: Der KI fehlt das nötige Urteilsvermögen. Sie versteht nicht, was sie schreibt – und wiederholt deshalb einfach alte Fehler.

Und das ist erst der Anfang. Natürlich nutzen auch Angreifer GenAI, um etwa Schwachstellen miteinander zu verketten oder polymorphe Malware zu erstellen. Gleichzeitig finden Angreifer neue Schwachstellen (Zero Days) immer schneller und nutzen sie nahezu sofort aus.

Trügerisches Sicherheitsgefühl bei Entwicklern

Entwickler gehen nicht selten davon aus, dass der von KI vorgeschlagene Code “sicher” sei. Die Annahme beruht darauf, dass der Code syntaktisch korrekt ist oder von einem vertrauenswürdigen Tool stammt. Allerdings ist Code, der sich kompilieren lässt, nicht zwangsläufig sicher. Die Ergebnisse der KI wirken oft einwandfrei und vollständig. Das verleitet Entwickler dazu, wichtige Schritte auszulassen, zum Beispiel die genaue Prüfung des Codes, Sicherheitsaudits oder Dokumentationen.

Dieses trügerische Sicherheitsgefühl ist besonders riskant für unerfahrene Entwickler oder Teams, die schnell Ergebnisse liefern müssen. Dazu kommen die bekannten KI-Halluzinationen, also syntaktisch gültige, aber semantisch unsinnige Ausgaben. Bei einem Chatbot mag das unterhaltsam sein. Innerhalb einer Produktionssoftware entstehen so Hintertüren, die nur darauf warten, ausgenutzt zu werden.

Kontrolle durch Menschen bleibt unverzichtbar

Sicherheitsteams und Entwickler sollten daher der Versuchung widerstehen, GenAI wie eine Plug-and-play-Lösung zu behandeln. Stattdessen geht es darum, Richtlinien und Arbeitsabläufe zu entwickeln, die GenAI sicher und verantwortungsvoll integrieren.

Dabei helfen folgende Vorgehensweisen:

• Statisch prüfen: GenAI-Code stets mit Lintern (statische Analyse) untersuchen – Stilfehler und Bugs früh erkennen, Codequalität vereinheitlichen und zusätzlich auf Sicherheitslücken scannen.

• Verifizieren: KI-Vorschläge mit offizieller Dokumentation und etablierten, geprüften Bibliotheken abgleichen.

• Nicht blind übernehmen: GenAI-Code nie direkt übernehmen, sondern vor Einsatz manuell reviewen.

• Schulen: Entwickler in sicherer Programmierung trainieren – mit Fokus auf den sicheren Umgang mit GenAI.

• Integrieren: GenAI fest in die DevSecOps-Pipeline einbinden – inklusive verbindlicher Sicherheits- und Compliance-Gates.

Schulung statt Autopilot-Mentalität

Jüngste politische Initiativen betonen die Verantwortung beim Einsatz von KI. Sowohl der AI Act der Europäischen Union als auch die US-Executive Order 14110 fordern ausdrücklich, dass Menschen KI-Ergebnisse überprüfen und deren Nutzung kontrollieren. Besonders in kritischen Infrastrukturen und bei Softwaresystemen ist diese menschliche Aufsicht entscheidend, um Risiken zu begrenzen.

KI darf keine „Blackbox“ sein. Ihr Handeln muss nachvollziehbar bleiben – technisch wie organisatorisch. Entwickler und Sicherheitsexperten müssen verstehen, prüfen und bestätigen, was die Systeme leisten. Für international tätige Unternehmen ist das besonders relevant: Wer auf menschliche Kontrolle verzichtet, riskiert Fehlentscheidungen – und im schlimmsten Fall Verstöße gegen regulatorische Vorgaben.

Künstliche Intelligenz kann viel – entscheiden sollte sie trotzdem nicht. Die Verantwortung für Qualität und Sicherheit bleibt bei den Entwicklern. Entsprechend sollten Unternehmen in Schulungen investieren, in denen Fachkräfte lernen, wie sie mit und nicht neben der KI arbeiten – als kontrollierende Instanz, nicht als Zuschauer:

• GenAI verstehen: Trainingsdaten, Lernmechanismen und Grenzen der Modelle kennen.

• Schwachstellen erkennen: Typische Sicherheitsprobleme in KI-gestütztem Code identifizieren.

• Defensiv programmieren: Von Fehlern ausgehen, Eingaben strikt validieren, robuste Fehlerbehandlung umsetzen; KI-Vorschläge grundsätzlich kritisch reviewen – nicht ungeprüft übernehmen.

• Security ins Team holen: Einen Sicherheitsbeauftragten als festen Sparringspartner etablieren, der den GenAI-Einsatz und die Einhaltung der Vorgaben prüft.

Diese Schritte bremsen den Fortschritt nicht aus, sondern lenken ihn in sichere Bahnen. Denn neue Ideen ohne Sicherheit sorgen nur für große Risiken.

GenAI ist ein Werkzeug, kein Kollege

Es ist Zeit für eine grundsätzliche Diskussion über generative KI und Sicherheit. KI hat nicht nur die Entwicklung beschleunigt, sondern auch das Arsenal von Cyberkriminellen erweitert. Ransomware-Gruppen und Angreifer nutzen dieselben Technologien, um effizienter vorzugehen. Gleichzeitig verlassen sich viele Entwickler auf KI-gestützte Werkzeuge, ohne deren Ergebnisse kritisch zu prüfen – und integrieren damit unbewusst genau die Schwachstellen, die Angreifer ausnutzen.

GenAI ist kein Kollege, sondern ein Werkzeug. Und wie jedes Werkzeug kann es falsch eingesetzt, missverstanden oder manipuliert werden. Sicherheit muss deshalb auch im Zeitalter der KI oberstes Prinzip bleiben. Unternehmen sollten KI-gestützte Prozesse konsequent überwachen, Entwickler regelmäßig schulen und Ergebnisse überprüfen. Nur so lässt sich sicherstellen, dass der Fortschritt durch GenAI nicht zum Risiko für die Softwarequalität wird.

Autor

John Trest ist Chief Leaning Officer bei der VIPRE Security Group.