Habemus AI-Act! : Der neue europäische Rechtsakt zur künstlichen Intelligenz aus dem Blickwinkel der Cybersicherheit

Rückblick: Der Weg zur Verordnung

Für die europäischen Politiker* ist das Gesetz zur künstlichen Intelligenz offensichtlich der Rechtsakt ihres Lebens: Nicht umsonst titelte der EU Kommissar für Binnenmarkt und Dienstleistungen, Thierry Breton, am 8. Dezember 2024 nach Erreichen des politischen Durchbruchs im Trilog auf Twitter, dass es sich um eine Einigung „historischen Ausmaßes“ handele, da die EU nun die weltweit erste Regulierung für künstliche Intelligenz schaffen würde.

Und in der Tat – bis dahin war es ein langer Weg: So lang gar, dass der eine oder andere Beobachter die Meinung vertrat, ein europäisches Gesetz zur KI-Regulierung würde nie kommen. Der Rechtsakt stand schon mehrfach politisch kurz vor dem Scheitern – beispielsweise auch bei der Frage, wie und ob generative KI seit ihrem Boom in den Regelungshorizont einzubeziehen sei. Nachdem diese Frage im Sinne einer Mitbetrachtung von generativer KI und Basismodellen mit weiteren Verzögerungen im Verfahrensablauf gelöst wurde, stand einer finalen politischen Einigung nicht mehr viel im Weg.

Und das war auch nötig, denn die ersten Vorschläge zur Regulierung von KI in der EU reichen bis in das Jahr 2018 zurück, als ein Strategiepapier „Künstliche Intelligenz für Europa“ [1] veröffentlicht wurde. Der erste Kommissionsentwurf für das europäische KI-Gesetz wurde dann im April 2021 publiziert und die Regelung schließlich Ende Mai 2024 von den EU-Mitgliedstaaten endgültig verabschiedet. Nachdem die Verordnung im Juni 2024 durch den Präsidenten des Europäischen Parlaments und des Europäischen Rats unterzeichnet wurde, stand der Veröffentlichung im Amtsblatt der EU nichts mehr entgegen [2]. Die Verordnung trat im Juli 2024 in Kraft und gilt mit einer zweijährigen Übergangsfrist grundsätzlich ab Juli 2026.

Erfasste Bereiche

Die Definition von künstlicher Intelligenz ist technisch, ethisch wie rechtlich umstritten – und war deshalb stets auch einer der Hauptanker der Kritik am EU AI-Act. Nach wie vor ist die Definition weit gefasst: So wird ein KI-System als ein maschinengestütztes System beschrieben, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist, das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben (etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen) erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.

Auch im Hinblick auf den Anwendungsbereich sind die Anforderungen des EU-Rechtsakts weit gefasst und lehnen sich an die Tradition des schon seit Jahrzehnten bestehenden europäischen Produktsicherheits- und Produkthaftungsrechts an. Damit ist klar, dass die Anforderungen zur Regulierung von KI für den gesamten Lebenszyklus gelten sollen. Das umfasst die Entwicklung und die nachgelagerten Phasen nach dem Zeitpunkt des Inverkehrbringens.

Wie für die Cybersicherheit mit dem ebenfalls kommenden Cyber-Resilience-Act (CRA) wird KI-Sicherheit damit zur Marktzugangsanforderung. Und die Produktbeobachtungspflicht dürfte in der Praxis sicherlich anspruchsvoll sein, denn KI-Systeme entwickeln sich nicht nur weiter, sondern erfahren auch immer neue Einsatzszenarien.

Im Hinblick auf beteiligte Personen unterscheidet die europäische KI-Regulierung zunächst zwischen „Anbietern“ und „Bereitstellern“ von KI, wobei die Differenzierung hier nicht immer leicht sein wird und es in der praktischen Anwendung des Rechtsakts sicherlich auch Überschneidungen geben wird. So ist per Definition der Anbieter eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell für allgemeine Zwecke entwickelt oder ein KI-System oder ein KI-Modell für allgemeine Zwecke entwickeln lässt und es unter ihrem eigenen Namen oder ihrer eigenen Marke in Verkehr bringt oder in Betrieb nimmt – unabhängig davon, ob dies entgeltlich oder unentgeltlich geschieht. Der Bereitsteller ist demgegenüber eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System unter ihrer Aufsicht einsetzt, es sei denn, das KI-System wird im Rahmen einer persönlichen, nicht beruflichen Tätigkeit verwendet.

Vor allem beim Anwendungsbereich wird deutlich, dass sich die EU bewusst ist, dass KI-Systeme vielfach nicht originär aus der Europäischen Union stammen. So gilt die Verordnung für Anbieter, die in der EU KI-Systeme in Verkehr bringen oder in Betrieb nehmen oder KI-Modelle für allgemeine Zwecke in Verkehr bringen – unabhängig davon, ob diese Anbieter in der EU oder in einem Drittland niedergelassen oder ansässig sind – sowie für die Bereitsteller von KI-Systemen, die ihren Niederlassungsort in der EU haben oder dort ansässig sind. Damit aber nicht genug: Auch Anbieter und Betreiber sind umfasst, die ihren Sitz in einem Drittland haben, wenn der erzeugte KI-Output aber in der EU verwendet wird. Außerdem gilt der AI-Act für Importeure und Vertreiber von KI-Systemen.

Regelungsumfang und risikobasierter Ansatz

Wie so oft in der Cybersicherheit geht es auch beim AI-Act um das rechtzeitige Erkennen und Eindämmen technischer Risiken, die mit dem Betrieb und Einsatz von Technologie einhergehen können. Hierzu unterteilt der Rechtsakt die KI in verschiedene Risikoklassifizierungen, wobei allerdings einige Ausnahmen vom Anwendungsbereich beschrieben werden, die jedoch hier aus Gründen der Übersichtlichkeit nicht detailliert darstellbar sind:

• Verbotene KI-Praktiken sind beispielsweise absichtlich manipulative/täuschende Techniken, Verhaltensbeeinflussung, Social-Scoring und Datenbanken zur Gesichtserkennung.
• Als Hochrisiko-KI-Systeme werden etwa biometrische Datenverarbeitung, Einsatzszenarien in kritischen Infrastrukturen, KI im Bildungssektor, Einsatzszenarien im Bereich Beschäftigung/Personalmanagement, KI im Umfeld der Inanspruchnahme von wesentlichen öffentlichen Leistungen und der Daseinsvorsorge, die Bewertung der Kreditwürdigkeit und von Risikoeinschätzungen für Lebens- und Krankenversicherungen, Strafverfolgung, Migrations-, Asyl- und Grenzkontrollmanagement, Rechtspflege und demokratische Prozesse angesehen.
• KI-Systeme mit beschränktem Risiko beziehen sich zum Beispiel auf Chatbots sowie das Generieren von Audiofiles, Texten, Bildern und Videos durch KI.
• KI-Systeme mit geringem Risiko sind vor allem weit verbreitete Anwendungen, etwa KI in Computer- und Konsolenspielen oder Spamfiltern.
• Außerdem gibt es KI-Systeme mit allgemeinem Verwendungszweck (General Purpose AI, GPAI) unter die etwa ChatGPT oder Dall-E einzuordnen sind (vgl. [3]). Hierbei handelt es sich definitorisch um ein KI-Modell, das mit einer großen Datenmenge unter Verwendung von Selbstüberwachung in großem Maßstab trainiert wurde, das eine erhebliche Allgemeinheit aufweist und in der Lage ist, ein breites Spektrum unterschiedlicher Aufgaben „kompetent“ auszuführen – unabhängig davon, wie das Modell auf den Markt gebracht wird – und das sich in eine Vielzahl nachgelagerter Systeme oder Anwendungen integrieren lässt.

Generell gilt, dass Anbieter und Betreiber Maßnahmen zu ergreifen haben, um gewährleisten zu können,dass Personal, das mit der Nutzung von KI Systemen befasst ist, über ausreichende Kenntnisse verfügt. Vor allem für die Hochrisiko-KI-Systeme sieht der AI-Act ein umfassendes Pflichtenprogramm vor. Kern dabei ist die Einrichtung eines Risikomanagementsystems, dessen Umsetzung dokumentiert und aufrechterhalten werden muss und das für den gesamten Lebenszyklus des KI-Systems gilt. Hier zeigen sich deutliche Parallelen zum Cybersecurity-Management, denn auch für ein KI-Risikomanagementsystem ist es zunächst erforderlich, die vorhersehbaren Risiken zu erkennen, abzuschätzen, zu bewerten und darauf basierend Maßnahmen zur Mitigation einzuleiten.

Darüber hinaus schreibt der AI-Act im Rahmen seiner Anforderungen an hochriskante KI-Systeme weitere Pflichten in den Bereichen Daten und Datenverwaltung, der technischen Dokumentation, zur Aufbewahrung von Aufzeichnungen, zur Transparenz und Bereitstellung von Informationen und zu deren Genauigkeit sowie zur Robustheit und Cybersicherheit vor. Mit Blick auf letztgenannte Kriterien wird explizit verlangt, dass ein „angemessenes Niveau“ erreicht wird und während des gesamten Lebenszyklus aufrechtzuerhalten ist. Um dieses beurteilen zu können, soll die EU-Kommission zur Entwicklung von Benchmarks und Messmethoden beitragen. Entsprechende Informationen über diese Metriken sind in der „Gebrauchsanweisung“ jener KI-Systeme anzugeben.

Speziell für die technische Widerstandsfähigkeit von Hochrisiko-KI-Systemen macht der AI-Act verhältnismäßig detaillierte Angaben: So müssen diese gegenüber Versuchen unbefugter Dritter widerstandsfähig sein, ihre Nutzung, ihre Ergebnisse oder ihre Leistung durch Ausnutzung von Schwachstellen zu verändern. Die technischen Lösungen zur Cybersicherheit müssen „den jeweiligen Umständen und Risiken angemessen sein“ – eine Formulierung, die vergleichbar auch im Cybersecurity-Recht zu finden ist.

Deutlich ist damit, dass es in der KI-Cybersecurity ebenfalls auf das konkrete Anwendungsszenario ankommt und somit absolute Cybersicherheit nicht das Beurteilungskriterium ist. Insgesamt ist der sachliche Rahmen jedoch weiter gefasst, denn die technischen Lösungen zur Behebung KI-spezifischer Schwachstellen sollten Maßnahmen zur Verhinderung, Erkennung, Reaktion, Behebung und Kontrolle von Angriffen enthalten, die darauf abzielen, den Trainingsdatensatz (Data-Poisoning) oder bereits trainierte Komponenten, die beim Training verwendet werden (Model-Poisoning), zu manipulieren, oder dazu dienen Eingaben, die das KI-Modell zu einem Fehler veranlassen sollen (gegnerische Beispiele oder Modellumgehung), sowie Angriffe auf die Vertraulichkeit oder Modellfehler zu verhindern.

Für KI-Systeme mit beschränktem Risiko werden Transparenzpflichten vorgegeben. Dazu gehört, dass Nutzer erkennen können, dass sie mit einer KI interagieren – das ist gerade im Bereich der Large-Language-Models (LLM) immer bedeutsamer, die mittlerweile teils sogar technisch in der Lage sind, einen Turing-Test zu bestehen. Die Transparenz erfordert zudem, das künstlich generierte Texte, Videos, Darstellungen et cetera auch als solche gekennzeichnet werden.

Für KI-Systeme mit geringem Risiko, die nicht durch strengere oder spezielle Vorgaben reguliert werden, kann man einem freiwilligen Verhaltenskodex folgen. Die damit vom europäischen Regulierer beabsichtigte Intention ist klar: Selbst wenn eine KI nicht besonders risikoträchtig ist, soll doch zumindest dafür gesorgt werden, dass grundsätzlich eine ausgeprägte KI-Compliance vorhanden ist.

Der Sonderfall der KI-Systeme mit allgemeinem Verwendungszweck hat im AI-Act ebenfalls eine besondere Regelung erhalten, die im fünften Kapitel des Rechtsakts zu finden ist. Die dort skizzierten Anforderungen stehen dabei neben dem zuvor vorgestellten risikobasierten Ansatz – diese Voraussetzungen sind in der Praxis also zusätzlich zu den Bestimmungen der jeweiligen Risikokategorie zu erfüllen.

Umsetzung in Unternehmen

Anhand der aus den rechtlichen Anforderungen folgenden allgemeinen und teils je nach Risikoklassifizierung äußerst umfassenden Pflichten wird schnell deutlich, warum es in Unternehmen Sinn macht, bereits vor dem Einsatz von KI in einer entsprechenden Richtlinie – beispielsweise in Form einer Betriebsvereinbarung oder als Teil des Arbeitsvertrags – festzulegen, wie und unter welchen Umständen künstliche Intelligenz in betrieblichen Prozessen verwendet werden darf und was dabei im Einzelnen zu beachten ist.

Was bei der abstrakten juristischen Betrachtung zu oft außen vor bleibt, ist nämlich die Einbeziehung der Mitarbeiter in die unternehmerischen Prozesse rund um den KI-Einsatz, da diese letztlich diejenigen sind, die im Alltag mit den bewussten Anwendungen konfrontiert werden. Hier liegt die Verantwortung bei der Geschäftsleitung, passende Prozesse zu etablieren, deren Einhaltung zu überwachen und diese im Zweifelsfall durchzusetzen.

Inhaltlich muss eine solche KI-Richtlinie nicht deckungsgleich zu den Anforderungen an den AI-Act sein, da die gesetzliche und praktische Rollenverteilung unterschiedlich ausgestaltet sein kann. In jedem Fall jedoch sollte eine Richtlinie Anforderungen an Vertrauen und Transparenz enthalten, gerade im Hinblick darauf, dass KI-Systeme nicht selten als Blackbox arbeiten.

Zusätzlich ist die Nutzung von KI in das betriebliche Datenschutzkonzept einzubinden: Das kann vor allem im Hinblick auf die Rechtsgrundlage, den datenschutzrechtlichen Zweckbindungsgrundsatz, die Betroffenenrechte und die Datenschutzfolgenabschätzung nach der Datenschutzgrundverordnung (DSGVO) relevant sein. Außerdem sollte sich eine KI-Richtlinie mit den ethischen Aspekten der Verwendung auseinandersetzen. Zu den Fragen des sicheren Einsatzes gehören aber ebenso Anforderungen an Schulung und Sensibilisierung, Sicherheits- und Risikomanagement, kontinuierliche Evaluation und Optimierung sowie ein Reaktionsplan für „KI-Vorfälle“, die betriebliche Auswirkungen haben könnten.

Außen vor: Cybercrime

Wie wir feststellen konnten, ist es der Europäischen Union mit dem AI-Act erstmals gelungen, eine Vielzahl von Arten und Einsatzszenarien der künstlichen Intelligenz in einem einheitlichen rechtlichen Rahmenwerk wiederzugeben und auch die Cybersecurity hierfür einzubeziehen – mit Sicherheit keine leichte Aufgabe, da hierfür viele wirtschaftliche und politische Interessen über Jahre hinweg unter einen Hut gebracht werden mussten. Und mit Sicherheit ist es sinnvoll, eine derartige Regulierung in der EU zu haben, um einen sicheren und verlässlichen Einsatz von KI zu gewährleisten.

Was der AI-Act jedoch nicht verhindern kann und wird, ist der Missbrauch von KI für Cybercrime, denn zum einen sitzen die entsprechenden Täter zuallermeist im nicht-europäischen Ausland, zum anderen führt die Regulierung der künstlichen Intelligenz ebenso zu neuer Kreativität in ihrem Missbrauch, etwa mittels Methoden wie AI-Jailbreaking oder der Verwendung eigener Tools wie das berüchtigte „WormGPT“.

Prof. Dr. Dennis-Kenji Kipker ist wissenschaftlicher Direktor des cyberintelligence.institute in Frankfurt am Main.

Literatur

[1] Europäische Kommission, Künstliche Intelligenz für Europa, Mitteilung der Kommission SWD(2018) 137 final, April 2018, https://eurlex.europa.eu/legal-content/DE/TXT/?uri=CELEX:52018DC0237

[2] Europätische Union, Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz), in: Amtsblatt der Europäischen Union Reihe L, Juli 2024, https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689

[3] European Parliamentary Research Service (EPRS), General-purpose artificial intelligence, Members’ Research Service PE 745.708, März 2023, www.europarl.europa.eu/RegData/etudes/ATAG/2023/745708/EPRS_ATA(2023)745708_EN.pdf