Prompt Injections könnten nach deutschem Recht strafbar sein

Wer einen Chatbot durch geschickt formulierte Eingaben dazu bringt, seinen Systemprompt oder Trainingsdaten preiszugeben, bewegt sich bislang in einer rechtlichen Grauzone. Doch diese Einschätzung könnte sich ändern, argumentieren Dr. Christoph Werner vom Karlsruher Institut für Technologie und Prof. Dr. Dennis-Kenji Kipker vom cyberintelligence institute in einem Beitrag für die <kes>. Die beiden Autoren haben untersucht, ob sogenannte Prompt Injections – also gezielte Eingaben zur Extraktion geschützter Informationen aus KI-Modellen – unter die Straftatbestände der Datenausspähung und deren Vorbereitung gemäß §§ 202a ff. StGB fallen können.

Bei Prompt Injections handelt es sich laut den Autoren um Eingaben, mit denen Daten aus einem KI-Modell ausgelesen werden sollen, die nach dem Willen des Betreibers nicht zur Ausgabe bestimmt sind. Dazu zählen insbesondere der Systemprompt, der grundlegende Verhaltensanweisungen für die KI enthält, sowie die Trainingsdaten. Kenntnisse über den Systemprompt könnten es Angreifern ermöglichen, das Ausgabeverhalten des Sprachmodells unerwünscht zu verändern – etwa um Informationen für kriminelle Handlungen zu erlangen.

Natürliche Sprache als Angriffswerkzeug

Die zentrale Frage der Analyse lautet: Kann ein in gewöhnlicher Sprache formulierter Prompt strafrechtlich genauso behandelt werden wie ein klassisches Hacker-Tool? Werner und Kipker prüfen dafür Vorschriften, die aus einer Zeit stammen, als niemand an Large Language Models dachte. Ihre Argumentation führt zu einem Ergebnis, das für Sicherheitsforscher und KI-Anbieter gleichermaßen relevant sein dürfte.

Die Autoren kommen zu dem Schluss, dass die §§ 202a ff. StGB trotz ihres historischen Fokus auf herkömmliche Programme und Sicherheitsmaßnahmen durch entsprechende Auslegung auch auf promptbasierte Angriffe gegen LLMs anwendbar sein können. Ein Prompt könne im Sinne des § 202a StGB sowohl eine Zugangssicherung darstellen – in Form des Systemprompts – als auch ein Mittel zu deren Überwindung – in Form der Prompt Injection. Darüber hinaus ließen sich Prompt Injections auch als Computerprogramme im Sinne des § 202c StGB qualifizieren, so die Autoren.

Entscheidend für diese Auslegung sei die Abkehr von einem tradierten Verständnis von Schadsoftware und technischen Sicherheitsmaßnahmen als reinem „Programmcode“. Maßgeblich für das IT-Strafrecht sei die Lesbarkeit der Anweisungen durch den Computer – und diese sei bei der Verwendung von LLMs anders als bislang auch bei gewöhnlicher Sprache gegeben. Die Autoren stützen sich dabei unter anderem auf ein Urteil des OLG Celle, das den Begriff des „Überwindens“ einer Zugangssicherung weit fasst.

Nicht jede Manipulation ist strafbar

Gleichzeitig grenzen Werner und Kipker ab: Nicht jede Manipulation eines Chatbots falle unter diese Vorschriften. Die strafrechtliche Sanktionierung betreffe gezielt solche Angriffe, bei denen geschützte Informationen extrahiert werden sollen. Auch die Erstellung entsprechender Prompt Injections könne als strafbare Vorbereitungshandlung gewertet werden, so das Ergebnis der Analyse.

Die vollständige rechtliche Untersuchung mit allen Details zur Argumentation finden Sie unter hier. Ein kostenloses 30-Tage-Probeabo können Sie unter kes-informationssicherheit.de/registrierungabschließen. Das Probeabo endet nach der Testperiode automatisch.