Kann KI-Prompting strafbar sein? : Eine Bewertung der Strafbarkeit von Aktionen zur Manipulation von Chatbots

Datenausspähung (§ 202a StGB)

Zunächst ist das Adversarial Prompting nach § 202a StGB als Datenausspähung strafbar, denn es liegt ein geeignetes Tatobjekt (Daten) vor, das nicht für den Täter bestimmt ist. Und an diesem wird durch die Prompt Injections die Tathandlung „Zugang verschaffen“ unter Überwindung einer Zugangssicherung vom Täter vorsätzlich verübt.

Im Detail: Der Systemprompt und auch die Trainingsdaten sind offensichtlich Daten, das heißt Zeichen, die elektronisch gespeichert sind (§ 202a Abs.  2 StGB), und damit ein geeignetes Tatobjekt. Diese Daten sind auch nicht öffentlich oder für den Täter bestimmt, sondern sollen nur dem Betreiber zur Verfügung stehen. Kritisch und entscheidend ist, dass der Systemprompt eine Zugangssicherung darstellt und der Täter diese durch das Prompting als erfasste Tathandlung überwindet.

Eine Zugangssicherung muss den Zugriff des Täters auf die Daten „zumindest nicht unerheblich“ erschweren – spiegelbildlich muss die Umgehung einer solchen Zugangssicherung einen nicht unerheblichen Aufwand des Täters erfordern. Betreiber von LLMs mit systemischem Risiko wie ChatGPT sind im Übrigen nach Art. 55 eine Zugangssicherung muss den Zugriff des Täters auf die Daten „zumindest nicht unerheblich“ erschweren – spiegelbildlich muss die Umgehung einer solchen Zugangssicherung einen nicht unerheblichen Aufwand des Täters erfordern. Betreiber von LLMs mit systemischem Risiko wie ChatGPT sind im Übrigen nach Art. 55

Eine solche – auch von der KI-VO geforderte – Maßnahme zur Zugangssicherung ist der Systemprompt. Wie bereits angemerkt, umfasst dieser unter anderem Anweisungen, dass bestimmte Informationen nicht herausgegeben werden dürfen. Man könnte zwar nun argumentieren, dass es sich hierbei nicht um eine Zugangssicherung im oben genannten Sinne handle, da der Systemprompt wie bereits dargestellt seinerseits nur ein Prompt – also ein in gewöhnlicher Sprache verfasster Text – ist, der dem eigentlichen Prompt des Users vorangestellt wird (siehe etwa den geleakten Systemprompt des Chatbots „Claude“ https://github.com/elder-plinius/CL4R1T4S/blob/main/ANTHROPIC/Claude_4.1.txt). Ein solch enges Verständnis griffe aber zu kurz: Ob eine Sicherheitsmaßnahme in einem klassischen Programmcode liegt (mit dessen Hilfe etwa ein Passwort abfragt wird) oder aber wie hier in üblicher Sprache gefasst ist, kann keinen Unterschied begründen – dies wird im folgenden Abschnitt noch ausführlicher erörtert. Zudem fordert der offene Wortlaut der Vorschrift „gegen unbefugten Zugang besonders gesichert“ keine solche Einschränkung.

In ähnlicher Weise könnte außerdem wie bereits angedeutet hinterfragt werden, ob das Umgehen dieser Zugangssicherung durch das Prompting eine taugliche Tathandlung darstellt. Dies anzunehmen könnte zunächst etwas seltsam anmuten, da das Prompting zunächst nur eine „Unterhaltung“ mit dem Chatbot und daher ein sozialadäquates Verhalten darstellt. Allerdings handelt es sich gleichwohl um eine computerlesbare Eingabe und damit grundsätzlich um eine taugliche Tathandlung.

Dabei ist weiterhin unschädlich, dass für den Angriff die Chatfunktion mit dem LLM und damit ein offener Eingabekanal genutzt wird, denn dies ist etwa auch bei den sehr ähnlich eingesetzten SQL-Injections der Fall: Bei einem solchen Angriff wird ein SQL-Code in ein Eingabefeld auf einer Webseite eingegeben, der dann fälschlich als „normaler“ SQL-Code erkannt und ausgeführt wird, sodass etwa Daten der dahinterliegenden SQL-Datenbank ausgelesen oder auch manipuliert werden können. Dass der Täter im Übrigen wie bei den SQL-Injections einen Programmcode schreibt, ist als taugliche Tathandlung nicht erforderlich. Eine Zugangssicherung im Sinne des § 202a StGB wird nach einem Urteil des OLG Celle [2] etwa auch dann überwunden, wenn beispielsweise ein fremdes, dem Täter bekanntes Passwort genutzt wird. Die Tathandlung des Überwindens muss somit kein „Hacking“ im allgemeinsprachlichen Sinne umfassen.

Schließlich stützt auch der Blick auf die Erheblichkeit des Aufwands die Interpretation als taugliche Tathandlung: Gerade mit fortschreitender Entwicklung der LLMs und der damit verknüpften Sicherheitsmechanismen wird der Aufwand der Promptentwicklung immer größer, Prompt-Injections werden immer länger und komplexer, sodass man bereits zum aktuellen Stand von einem erheblichen Aufwand ausgehen kann.

Eine Strafbarkeit von Prompt-Injections im Sinne einer Datenausspähung nach § 202a StGB ist somit anzunehmen.

Betrachtung von § 202c StGB

Darüber hinaus ist bereits die Entwicklung einer solchen Prompt-Injection auch ohne Taterfolg im Sinne des § 202a StGB eine strafbare Vorbereitungshandlung im Sinne des § 202c Abs. 1 Nr. 2 StGB „Vorbereiten des Ausspähens und Abfangens von Daten“, da es sich bei der Entwicklung der Prompt-Injection um die Herstellung eines „Computerprogramms“ im Sinne dieser Vorschrift handelt.

Im Detail: Ein solcher Prompt würde wie zuvor beschrieben dem Zweck einer Datenausspähung, wie etwa dem Systemprompt oder den Trainingsdaten dienen. Fraglich ist, ob es sich aber hierbei auch um ein „Computerprogramm“ zur Tatbegehung handelt, deren (unter anderem) Herstellung, Beschaffung und Verbreitung § 202c Abs. 1 Nr. 2 StGB unter Strafe stellt.

Historisch wollte der Gesetzgeber unter derartigen Computerprogrammen vor allem sogenannte „Hacker-Tools“ verstanden wissen, also Programme die „nach Art und Weise ihres Aufbaus darauf angelegt sind, illegalen Zwecken zu dienen“ (siehe S. 12 in [3]). Dieser intendierte Zweck ist auch bei auf Datenausspähung gerichteten Prompts gegeben – fraglich ist aber, wie es um die Qualifikation eines Prompts als Computerprogramm steht.

Zunächst lässt sich wie bei der Zugangssicherung nach § 202a StGB argumentieren, dass es nicht darauf ankommen kann, ob eine für den Computer lesbare Abfolge von Anweisungen in gewöhnlicher Sprache oder in einer Programmiersprache verfasst ist. Allerdings ist der Wortlaut des § 202c Abs.  1 Nr.  2 StGB mit „Computerprogramm“ expliziter als in § 202a StGB.

Unter einem Computerprogramm wird typischerweise eine in einer Programmiersprache verfasste Abfolge von Anweisungen verstanden – darunter ebenso einen Text in Alltagssprache zu verstehen, tangiert zumindest die Grenze des Wortlauts der Vorschrift. Auf der anderen Seite zeichnen sich auch Programmiersprachen durch unterschiedliche Abstraktionsgrade aus, die mehr oder aber auch weniger stark von der Syntax gewöhnlicher Sprache abweichen – etwa die schon genannte SQL als eine recht nahe an gewöhnlicher Sprache liegende Programmiersprache (vgl. [4]).

Weiterhin müssen sowohl ein Programmcode als auch eine Prompteingabe in einem LLM erst durch einen Interpreter oder Compiler auf einen vom Prozessor lesbaren Maschinencode heruntergebrochen werden, was ebenfalls für eine Gleichsetzung spricht. Im Übrigen wurde bereits bei § 202a StGB dargestellt, dass (erfolgreiche) Prompt-Injections inzwischen sehr komplex ausfallen und man ihnen somit auch nicht aufgrund ihrer Simplizität den „Programmcharakter“ absprechen können wird – ungeachtet dessen können sich außerdem auch tradierte, gegebenenfalls auch schädliche Computerprogramme in sehr wenigen, einfachen Anweisungen erschöpfen.

Im Ergebnis würde eine strikte Trennung zwischen tatbestandlichem Programmcode und nicht-tatbestandlichem Prompting als Ausdruck gewöhnlicher Sprache das Tatbestandsmerkmal artifiziell und sachlich nicht begründbar verkürzen. Auch dürfte es mit Blick auf den Schutzzweck nicht überzeugen die Entwicklung (und ggf. auch den Verkauf) klassischer Hacker-Tools zu sanktionieren, selbiges Verhalten mit Blick auf Prompts zur Manipulation oder Datenausspähung von KI-Modellen aber von der Strafbarkeit auszuschließen.

Fazit

Eine strafrechtliche Sanktionierung von Angriffen durch Prompt-Injections auf LLMs sowie bereits das Erstellen solcher Prompt-Injections als strafbare Vorbereitungshandlung ist bei derzeitiger Rechtslage durchaus möglich.

Entscheidend ist insoweit, dass die §§ 202a ff. StGB trotz ihres historischen Blicks auf tradierte Programme und Sicherheitsmaßnahmen durch entsprechende Auslegung auch auf promptbasierte Angriffe gegen LLMs Anwendung finden können. Dies ist nach Darstellung der Autoren zu bejahen, denn ein Prompt kann im Sinne des § 202a StGB sowohl eine Zugangssicherung (Systemprompt) als auch ein Mittel zur Überwindung derselben (Prompt-Injection) sein. Außerdem lassen sich Prompt Injections auch als Computerprogramme im Sinne des § 202c StGB qualifizieren.

Maßgeblich für diese Auslegung ist die Abkehr von einem tradierten Verständnis von Schadsoftware und technischen Sicherheitsmaßnahmen als „Programmcode“. Entscheidend für das IT-Strafrecht ist die Lesbarkeit der Anweisungen durch den Computer, die – und hier liegt die entscheidende Neuerung – bei der Verwendung von LLMs anders als bislang auch bei gewöhnlicher Sprache gegeben ist.

Das geltende Strafrecht ist jedoch hinreichend offen und technologieneutral formuliert, um sich durch Auslegung an diese Neuerung anzupassen. Lehnt man dieses Ergebnis aber etwa mit Verweis auf das strenge Analogieverbot des Strafrechts ab (siehe etwa Rn. 78 zu § 1 StGB in [5]), wäre indes eine Reform des Strafrechts erforderlich, um etwa die Extraktion von Daten aus KI-Modellen oder die Herstellung von manipulativen Prompts explizit unter Strafe zu stellen.

Einordnung weiterer Handlungen

Zur ergänzenden Einordnung soll noch angesprochen werden, ob die §§ 202a ff. StGB auch Angriffe erfassen, die nur ein unerwünschtes Verhalten eines LLM provozieren, etwa Anleitungen zur Waffenherstellung auszugeben.

Die genannten Vorschriften schützen das formelle Datengeheimnis, das heißt das Recht des Verfügungsberechtigten über die Daten, andere Personen von einer Kenntnisnahme auszuschließen (vgl. Tobias Singelnstein und Louisa Zech in Rn. 12, 38 ff., S. 589 in [6]). In den genannten Situationen werden aber aus Sicht des LLMBetreibers keine hinreichend konkreten, besonders geschützten Daten wie die Trainingsdaten oder der Systemprompt extrahiert.

Zwar basiert jeder (auch unerwünschte) Output mittelbar auf den Trainingsdaten: Anhand dieser werden im Rahmen des Trainingsprozesses die Modellparameter ausgebildet und sie determinieren so das Gewichtsgefüge sowie das daraus resultierende Entscheidungsverhalten des Modells mit dem jeweiligen Output. In der Folge bestehen die Trainingsdaten aber selbst nicht mehr als individualisierbare Information im generierten Output fort. Deshalb liegt in dem Generieren eines unerwünschten Outputs keine Datenausspähung, sondern vielmehr eine Zweckentfremdung des LLMs – eine Strafbarkeit nach den §§ 202a ff. StGB scheidet aus.

Weiter zu untersuchen wäre aber eine mögliche Strafbarkeit nach den §§ 303a ff. StGB, etwa die Computersabotage nach § 303b StGB. Außerdem kann das Generieren durch ein LLM und damit das Sich-Verschaffen solcher schädlichen Informationen gegebenenfalls als Vorbereitung einer schweren staatsgefährdenden Gewalttat (§ 89a Abs. 1, 2 Nr. 1 StGB) oder bei der Generierung von Schadcode nach § 202c StGB strafbar sein.

Daneben sei noch kurz auf die Thematik sogenannter Deepnudes bei bildgenerierender KI verwiesen, für den vom Bundesrat der neue Straftatbestand des § 202b StGB-E [7] vorgeschlagen wird, für den jedoch zumindest die Vorgängerregierung keinen Bedarf sah: Diese argumentierte, die bisherigen Straftatbestände der §§ 184 ff. zur Verbreitung pornographischer Inhalte, des § 187 Verleumdung sowie des § 201a Abs. 2 StGB (Verletzung des höchstpersönlichen Lebensbereichs) seien auch auf KI-generierte Darstellungen anwendbar.

Auch anhand dieses Beispiels lässt sich schlussendlich festhalten: Ob und inwieweit eine Anpassung des Strafrechts erforderlich ist, um Strafbarkeitslücken im Zusammenhang mit KI zu vermeiden, ist für jede Fallgruppe sorgfältig im Einzelnen zu prüfen. Schnellschüsse in Richtung eines neuen „KI-Strafrechts“ sind auf jedem Fall zu vermeiden.

Dr. Christoph Werner forscht derzeit als Postdoc am Kompetenzzentrum für Angewandte Sicherheitstechnologie (KASTEL) am Karlsruher Institut für Technologie (KIT) mit Schwerpunkten im IT-Sicherheits- und Datenschutzrecht.

Prof. Dr. Dennis-Kenji Kipker ist wissenschaftlicher Direktor des cyberintelligence.institute in Frankfurt am Main

Literatur

_{[1] Norman Mu, Jonathan Lu, Michael Lavery, David Wagner, A Closer Look at System Prompt Robustness, Cornell University arXiv, Februar 2025, https://doi.org/10.48550/arXiv.2502.12197}  

_{[2] Niedersächsisches Vorschrifteninformationssystem (NI-VORIS), Beschluss des Oberlandesgerichts (OLG) Celle vom 31. August 2016, Az.  2  Ss  93/16, ECLI:DE:OLGCE:2016:0831.2SS93.16.0A, https://voris.wolterskluwer-online.de/browse/document/93cc3500- f8cb-3a74-8609-711281005120}

_{[3] Deutscher Bundestag, Entwurf eines … Strafrechtsänderungsgesetzes zur Bekämpfung der Computerkriminalität (…StrÄndG), BT-Drucksache 16/3656, November 2006, https://dserver.bundestag.de/btd/16/036/1603656.pdf}

_{[4] Dr. Brijender Kahanwal, Abstraction Level Taxonomy Of Programming Language Frameworks, in: International Journal of Programming Languages and Applications (IJPLA) Vol. 3, No. 4, Oktober 2013, verfügbar via www.researchgate.net/publication/258499542_Abstraction_Level_Taxonomy_of_Programming_Language_Frameworks}

_{[5] Prof. Dr. Frank Saliger, Prof. Dr. Dr. h.c. mult. Urs Kindhäuser, Prof. Dr. Dres. h.c. Ulfrid Neumann, Prof. Dr. Hans-Ullrich Paeffgen, Kommentar zum Strafgesetzbuch, Nomos, 6. Auflage 2023, ISBN  978-3- 8487-7123-3, online auf https://beck-online.beck.de/Dokument?vpath=bibdata%2Fkomm%2Fkinneupaekostgb_6%2Fstgb%2Fcont%2Fkinneupaekostgb.stgb.p1.htm (kostenpflichtig) [6] Prof. Dr. Gerrit Hornung, LL.M., MinDir a.D. Martin Schallbruch, IT-Sicherheitsrecht, Praxishandbuch, Nomos, 2. Auflage 2025, ISBN  978-3-7560- 0496-6}

_{[7] Deutscher Bundestag, Entwurf eines Gesetzes zum strafrechtlichen Schutz von Persönlichkeitsrechten vor Deepfakes, Gesetzentwurf des Bundesrates, BT-Drucksache 20/12605, August 2024, https://dserver.bundestag.de/btd/20/126/2012605.pdf}