Sicherheitsrisiko, rechtliche Einordnung und Schutzmaßnahmen : Was ist Prompt Injection?

Prompt Injection beschreibt gezielte Eingaben in natürlicher Sprache, mit denen Angreifer ein Large Language Model (LLM) dazu verleiten, gegen die vorgegebenen Regeln zu verstoßen. Das Ziel ist meist, dass das System geschützte Informationen preisgibt, sensible Trainingsdaten offenbart oder zu unerwünschten Aktionen angestiftet wird. Die Herausforderung: LLMs wie ChatGPT oder Claude reagieren auf natürliche Sprache und können nur schwer zwischen harmlosen Anfragen und versteckten Manipulationen unterscheiden.

Im Zentrum der Verteidigung steht der Systemprompt. Er definiert das Grundverhalten der KI und legt fest, welche Informationen nicht ausgegeben werden dürfen – etwa die Aufforderung, keine Trainingsdaten preiszugeben oder keine illegalen Inhalte zu generieren. Angreifer versuchen, diese Schutzanweisungen durch ausgefeilte Prompts zu umgehen. Das kann direkt erfolgen, wenn der Angreifer die KI explizit zur Preisgabe von Informationen auffordert, oder indirekt, etwa durch versteckte Anweisungen in harmlos wirkenden Texten oder über externe Quellen wie GitHub-Issues. Jailbreaking ist eine weitere Methode, bei der alle Sicherheitsmechanismen eines LLMs gezielt ausgehebelt werden.

Die Angriffe werden immer raffinierter. Während früher einfache Anweisungen ausreichten, sind heute häufig mehrstufige und komplexe Strategien nötig, um moderne Schutzmechanismen zu umgehen. Die technische Grundlage der Angriffe liegt darin, dass LLMs zwar in natürlicher Sprache trainiert werden, aber nicht immer alle Nuancen und Absichten korrekt einordnen können – eine Schwachstelle, die gezielt ausgenutzt wird.

Strafrechtliche Bewertung: Wann ist Prompt Injection strafbar?

Das deutsche Strafrecht hält mit dieser Entwicklung Schritt – zumindest, wenn man die bestehenden Normen entsprechend auslegt. Die zentrale Vorschrift ist § 202a StGB, der das unbefugte Verschaffen von Zugang zu nicht für den Täter bestimmten Daten unter Strafe stellt. Systemprompts und Trainingsdaten gelten als schützenswerte elektronische Daten. Diese Informationen sind nicht öffentlich und sind ausschließlich für den Betreiber bestimmt.

Prompt Injection kann die Tathandlung „Zugang verschaffen“ erfüllen, sofern eine Zugangssicherung überwunden wird. Der Systemprompt wird dabei als Sicherungsmaßnahme betrachtet, auch wenn er nicht in klassischem Programmcode, sondern in natürlicher Sprache formuliert ist. Die Rechtsprechung verlangt lediglich, dass der Zugriff zumindest nicht unerheblich erschwert wird. Die Überwindung dieser Sicherung durch gezielte Prompts kann durchaus einen erheblichen Aufwand bedeuten, insbesondere bei modernen LLMs mit ausgefeilten Schutzmechanismen.

Auch das Strafrecht sieht keine Notwendigkeit, dass die Tathandlung besonders technisch oder als klassisches „Hacking“ ausgeführt wird. Das Oberlandesgericht Celle urteilte, dass bereits die Nutzung eines bekannten fremden Passworts eine Zugangssicherung überwindet. Prompt Injection ist also auch dann strafbar, wenn sie als scheinbar normale Unterhaltung mit einem Chatbot erfolgt, sofern die Absicht besteht, Zugang zu geschützten Daten zu erlangen.

Die subjektive Seite, also der Vorsatz, ist zentral: Der Täter muss wissen und wollen, dass er auf nicht für ihn bestimmte Daten zugreift und dabei Schutzmechanismen umgeht. Zufällige oder unbeabsichtigte Ausgaben geschützter Informationen durch die KI reichen nicht aus. Systematische Versuche und wiederholte Angriffsversuche sprechen für Vorsatz und damit für Strafbarkeit.

Bereits die Entwicklung oder Verbreitung von Prompt Injections kann nach § 202c StGB eine strafbare Vorbereitungshandlung sein. Die spannende Frage ist hier, ob ein Prompt als „Computerprogramm“ im Sinne des Gesetzes gilt. Der Gesetzgeber hatte ursprünglich Programme in klassischen Programmiersprachen im Blick. Doch auch eine für den Computer lesbare Anweisungskette in Alltagssprache kann nach funktionaler Betrachtung als Computerprogramm qualifiziert werden – vor allem, wenn sie gezielt zur Datenausspähung entwickelt wurde.

Model Context Protocol (MCP): Neue Chancen, neue Risiken

Mit dem Model Context Protocol (MCP) kommt eine neue Ebene der Komplexität ins Spiel. MCP wird als offener Standard propagiert, der KI-Systeme mit externen Tools und Datenquellen verbindet. Ziel ist eine vereinfachte Integration, die Automatisierung von Geschäftsprozessen und eine Verbesserung der Datenanalyse. Doch genau dieser Ansatz eröffnet neue Angriffsflächen.

MCP arbeitet nach dem Prinzip einer Client-Server-Architektur: Ein KI-System (Host) kommuniziert über spezialisierte Schnittstellen (Clients) mit verschiedenen MCP-Servern, die externe Tools oder Datenbanken bereitstellen. Die dynamische Entdeckung von Funktionen und die Trennung von Datenabfrage und Aktionen stärken die Flexibilität, aber bergen auch erhebliche Sicherheitsrisiken.

Ein besonders gefährlicher Angriffsvektor sind versteckte Prompt Injections, die über externe Plattformen wie GitHub eingeschleust werden. Wenn ein MCP-Server auf ein manipuliertes Repository zugreift, kann der darin versteckte Prompt unbemerkt an die KI weitergegeben werden. Es gab bereits dokumentierte Fälle, in denen so vertrauliche Informationen abflossen oder KI-Agenten zu unerwünschten Aktionen verleitet wurden.

Ein weiteres Risiko entsteht durch die Verkettung von MCP-Servern: Ein scheinbar legitimer Output eines Servers kann bösartige Anweisungen enthalten, die nachfolgende Server ausführen – ein Angriff, der schwer zu erkennen und zu stoppen ist. Schlechte Implementierungen, unzureichende Rechteprüfung und fehlende Mandantentrennung können dazu führen, dass auch Daten anderer Nutzer preisgegeben werden.

Für Unternehmen und Organisationen bedeutet das: MCP-Server und ihre Schnittstellen müssen sorgfältig ausgewählt, gehärtet und überwacht werden. Strikte Trennung von Berechtigungen, lückenloses Monitoring und starke Authentifizierung sind Pflicht. Audit-Protokolle aller MCP-Aktivitäten helfen, Angriffe frühzeitig zu erkennen und nachzuvollziehen.

Zugangssicherungen und Schutzmaßnahmen in der Praxis

Moderne LLMs schützen sich nicht mehr nur mit einem einzigen Systemprompt. Vielmehr kommen mehrschichtige Sicherheitskonzepte zum Einsatz. Dazu gehören technische Maßnahmen wie Input-Validierung, Output-Filtering, Rate-Limiting oder Anomalieerkennung. Organisatorische Vorkehrungen – etwa Security-by-Design in der Entwicklung, regelmäßige Audits, Incident-Response-Pläne und Schulungen – ergänzen das technische Fundament.

Rechtlich wird von Betreibern erwartet, dass sie ein angemessenes Maß an Cybersicherheit gewährleisten. Der AI Act der EU verpflichtet insbesondere Betreiber von Hochrisiko-KI-Systemen zu umfassenden Schutzmaßnahmen. Dazu zählen nicht nur der Nachweis über die getroffenen Maßnahmen, sondern auch die kontinuierliche Verbesserung und Anpassung an neue Bedrohungen.

In der Praxis helfen robuste Systemprompts und eine sorgfältige Bereinigung aller Nutzereingaben, das Risiko gezielter Manipulationen zu verringern. Zugriffskontrollen sorgen dafür, dass LLMs nicht auf mehr Daten zugreifen können als unbedingt nötig. Protokollierung aller Interaktionen ist nicht nur für die technische Analyse, sondern auch für den Nachweis gegenüber Behörden und Gerichten essenziell.

Auch organisatorische Prozesse spielen eine wichtige Rolle. Ein ausgereiftes KI-Governance-Framework, rollenbasierte Zugriffskontrolle und regelmäßige Audits erhöhen die Widerstandsfähigkeit der Systeme. Bei der Auswahl von Drittanbietern und Dienstleistern ist besonderes Augenmerk auf deren Sicherheitsarchitektur zu legen.

Strafbarkeit in der Praxis: Abgrenzung, Hürden und Sanktionen

Der Einsatz von Prompt Injection ist nach aktueller Rechtslage grundsätzlich strafbar, wenn gezielt Schutzmechanismen umgangen und nicht für den Angreifer bestimmte Daten ausgelesen werden. Die Hürden in der Praxis bestehen jedoch im Nachweis des Vorsatzes und in der Identifikation der Täter, insbesondere bei Angriffen aus dem Ausland oder über anonyme Kanäle.

Legitime Sicherheitsforschung ist von der Strafbarkeit abzugrenzen. Wer Schwachstellen verantwortungsvoll meldet und sich an Bug-Bounty-Programme hält, handelt im Rahmen des Erlaubten. Wer hingegen unbefugt Daten extrahiert oder manipulative Prompts entwickelt und verbreitet, riskiert strafrechtliche Konsequenzen. Der Strafrahmen reicht von Geldstrafen bis zu mehrjährigen Freiheitsstrafen – abhängig von Schadensausmaß, Motivation und Professionalität des Vorgehens.

Zivilrechtlich können Betreiber auf Schadensersatz, Unterlassung und Herausgabe unrechtmäßig erlangter Vorteile klagen. Die Durchsetzbarkeit ist jedoch erschwert, wenn Angreifer anonym agieren oder aus dem Ausland stammen.

Handlungsempfehlungen für Unternehmen

Um das Risiko von Prompt Injections und verwandten Angriffen zu minimieren, empfiehlt sich ein mehrgleisiger Ansatz. Neben der technischen Härtung der KI-Systeme sollten Unternehmen ihre Mitarbeiter regelmäßig schulen und für die Risiken sensibilisieren. Ein klar geregelter Incident-Response-Prozess stellt sicher, dass bei einem Vorfall schnell und koordiniert gehandelt wird.

Wichtige Maßnahmen sind unter anderem:

• Entwicklung von Systemprompts, die schwer zu umgehen sind
• Bereinigung und Validierung aller Eingaben
• Überprüfung von KI-Ausgaben auf sensible Informationen
• Überwachung und Protokollierung aller Interaktionen
• Etablierung klarer Rollen und Verantwortlichkeiten

Ein besonderes Augenmerk sollte auf die Integration neuer Technologien wie MCP gelegt werden. Hier ist eine sorgfältige Prüfung der eingesetzten Server und Tools, die konsequente Anwendung des Least-Privilege-Prinzips und die strikte Trennung von Berechtigungen notwendig. Sicherheitslücken in MCP-Servern oder schlecht kontrollierte Ketten von Aktionen können den gesamten Schutzmechanismus aushebeln.

Ausblick: Rechtliche Entwicklung, technologische Trends und offene Fragen

Die Rechtslage rund um Prompt Injection ist zwar offen und technologieneutral genug, um aktuelle Angriffsmethoden zu erfassen. Dennoch bleiben offene Fragen. Höchstrichterliche Urteile zur Einordnung von Prompt Injections stehen noch aus. Die Abgrenzung zwischen kreativem Prompting und strafbarer Manipulation sowie die Harmonisierung auf internationaler Ebene werden die Diskussion weiter prägen.

Technologisch bleibt es ein Wettrüsten: Angriffe werden komplexer, Abwehrmechanismen müssen ständig weiterentwickelt werden. MCP und ähnliche Standards schaffen neue Möglichkeiten, verlangen aber auch neue Sicherheitskonzepte. Die Professionalisierung im Bereich KI-Sicherheit nimmt zu, spezialisierte Rollen und Dienstleistungen entstehen.

Für Unternehmen heißt das: Nur wer kontinuierlich in die Sicherheit und Compliance seiner KI-Systeme investiert, kann die Chancen der Technologie nutzen, ohne sich unkalkulierbaren Risiken auszusetzen.

(Dieser Artikel basiert auf Inhalten aus dem <kes>-Archiv sowie externen Fachquellen. Er wurde mithilfe von KI erstellt und durch die Redaktion geprüft.)