Künstliche Intelligenz : EU AI-Act : Zukünftige Regulierung künstlicher Intelligenz in der EU

Die Hauptziele des AI-Acts bestehen darin, ein sicheres und vertrauenswürdiges Umfeld für die Entwicklung und Nutzung von KI in der EU zu schaffen und gleichzeitig Innovation und Wettbewerbsfähigkeit zu fördern.

Betroffene Akteure und Sektoren

Ausgenommen von den neuen Verpflichtungen sind Forschungs-, Entwicklungs- und Prototyping-Aktivitäten vor der Markteinführung. Ebenfalls nicht betroffen sind KI-Systeme, die ausschließlich für militärische, Verteidigungs- oder nationale Sicherheitszwecke verwendet werden, unabhängig vom Typ der durchführenden Entität.

Die neue Verordnung verfolgt einen horizontalen Ansatz, der übergreifend in allen Sektoren gilt – diese breite Anwendbarkeit über alle Industrien hinweg stellt ein wesentliches Merkmal des Gesetzes dar. In der Folge werden vor allem jene Bereiche betroffen sein, welche KI-Technologie in Zukunft vermehrt nutzen und gleichzeitig nach der Risikoklassifizierung des AI-Acts ein hohes Risiko aufweisen. Dazu zählen etwa der Finanzbereich, die Daseinsvorsorge sowie die sogenannten Utilities.

Risikobasierter Ansatz

Ein Kernkonzept des KI-Gesetzes ist ein risikobasierter Ansatz, der die Anforderungen an KI-Systeme gegenüber potenziellen negativen Auswirkungen auf Nutzer abwägt. Es unterscheidet zwischen den folgenden Risikostufen:

Unannehmbares Risiko

Eine sehr begrenzte Anzahl von besonders schädlichen KI-Anwendungen werden am EU-Markt verboten sein, dazu gehören:

• KI-Systeme, die unterschwellige Techniken einsetzen, um das Verhalten einer Person unbewusst so zu beeinflussen, dass es zu physischem oder psychischem Schaden führen kann: beispielsweise ein KI-basierter Mechanismus, der die Müdigkeit von Fernfahrern erkennt und versucht, diese mit akustischen Signalen wach zu halten, anstatt eine Pause vorzuschlagen
• KI-Systeme, die gezielt Schwächen bestimmter Personengruppen – wie Menschen mit Behinderungen oder in speziellen sozialen oder wirtschaftlichen Situationen – ausnutzen, um deren Verhalten wesentlich zu beeinflussen, was zu physischem oder psychischem Schaden führen kann: Hierunter würden unter anderem Spielzeuge mit Sprachassistenten fallen, die Minderjährige zu gefährlichen Handlungen verleiten.
• KI-Systeme zur Nutzung der sozialen Bewertung oder Klassifizierung von Personen über einen Zeitraum hinweg, basierend auf ihrem sozialen Verhalten oder vorhergesagten persönlichen Eigenschaften, wobei solche Bewertungen zu negativen Konsequenzen führen können
• KI-Systeme im Auftrag von Strafverfolgungsbehörden zur Durchführung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen (mit Ausnahmen)
• KI-Systeme für die Erkennung von Emotionen oder Effizienz am Arbeitsplatz und in Bildungseinrichtungen, es sei denn, diese dienen medizinischen oder Sicherheitszwecken
• Verbot des ungezielten Sammelns von Gesichtsbildern aus dem Internet sowie von Überwachungskameras zum Aufbau oder zur Erweiterung von Datenbanken

Hohes Risiko

KI-Systeme, die als hohes Risiko eingestuft werden, unterliegen strengen Anforderungen, sind aber unter deren Einhaltung am EU-Markt zugelassen. Hierzu gehören KI-Systeme, welche unter einen der folgenden spezifischen von der EU definierten Sektoren fallen:

• biometrische Identifizierung,
• Kategorisierung natürlicher Personen,
• Verwaltung und Betrieb kritischer Infrastrukturen,
• allgemeine und berufliche Bildung,
• Beschäftigung und Verwaltung von Arbeitnehmern sowie dem Zugang zu selbstständiger Tätigkeit,
• Zugang und Inanspruchnahme grundlegender privater oder öffentlicher Dienste und Leistungen,
• Strafverfolgung,
• Migration, Asylwesen und Grenzkontrolle,
• Rechtspflege und demokratische Prozesse.

Außerdem fallen auch KI-Systeme in diese Kategorie, die als Sicherheitskomponente genutzt werden und der sektoralen Gesetzgebung der EU unterliegen: Solche Komponenten werden stets als hochriskant eingestuft, wenn sie einer Konformitätsprüfung durch eine dritte Partei gemäß dieser sektoralen Gesetzgebung unterzogen werden.

Spezifisches Transparenzrisiko

Für bestimmte KI-Systeme stellt der AI-Act spezifische Transparenzanforderungen auf, beispielsweise bei einem klaren Risiko der Manipulation: Nutzer sollen sich bewusst sein, dass sie mit einer Maschine interagieren oder der Inhalt künstlich erstellt wurde. Beispiele dafür sind Systeme, die synthetische Stimmen oder realistische Personendarstellungen erzeugen können – Chatbots für den Kundenservice oder automatisierte Profile auf sozialen Medien, die Inhalte posten, mit Nutzern interagieren oder Informationen verbreiten, sind ebenfalls inkludiert.

Geringes Risiko

Alle anderen KI-Systeme können auch weiterhin gemäß der bereits bestehenden Gesetzgebung entwickelt und genutzt werden – ohne zusätzliche rechtliche Verpflichtungen durch den AI-Act. Die überwiegende Mehrheit der derzeit in der EU verwendeten KI-Systeme fällt in diese Kategorie. Anbieter solcher Systeme können sich freiwillig entscheiden, die Anforderungen für vertrauenswürdige KI zu erfüllen und sich an freiwillige Verhaltenskodizes zu halten. KI-Systeme mit geringem Risiko sind unter anderem Empfehlungssysteme für E-Commerce-Produkte, Spamfilter für E-Mails oder Übersetzungstools.

Anforderungen an Hochrisiko-KI-Systeme

Um die Implikationen des AI-Acts zu verstehen, ist es essenziell, ein tiefgreifendes Verständnis der Anforderungen an KI-Systeme mit hohem Risikopotenzial zu entwickeln, da diese einen substanziellen Teil des AI-Acts ausmachen.

KI-Systeme mit hohem Risikopotenzial erfordern während ihres gesamten Lebenszyklus eine Unterstützung durch ein Risikomanagementsystem, um potenzielle Gefahren und Auswirkungen auf die Sicherheit und Grundrechte zu identifizieren und zu minimieren. Dies umfasst die Durchführung von Tests mit Parametern, die auf den jeweiligen Verwendungszweck abgestimmt sind, sowie die Definition entsprechender Maßnahmen zur Reduktion unvermeidbarer Risiken. Des Weiteren ist zu beachten, dass die meisten KI-Applikationen auf Modellen basieren, die mit umfangreichen Datensätzen trainiert werden. Diese Trainings- und Testdatensätze müssen definierte Qualitätsstandards erfüllen und Governance-Prozessen folgen. Priorität hat dabei die Verwendung von repräsentativen und zweckmäßig aufbereiteten Daten, die das Risiko von Verzerrungen (Bias) minimieren.

Die menschliche Aufsicht nimmt ebenfalls eine zentrale Rolle ein: KI-Systeme müssen so gestaltet werden, dass natürliche Personen in der Lage sind, die Funktionsweise und Fähigkeiten zu verstehen, die Ergebnisse zu interpretieren und Operationen jederzeit unterbrechen zu können. Dies ist nicht nur aus Sicherheitsgründen wichtig, sondern trägt auch zur ethischen Verantwortung im Umgang mit künstlicher Intelligenz bei. Unterstützend zur Aufsicht sind Verpflichtungen hinsichtlich der Transparenz gegenüber Nutzern in Form von Gebrauchsanweisungen zum System sowie Kontaktinformationen des Anbieters einzuhalten.

Hochrisiko-KI-Systeme müssen überdies eine signifikante Robustheit und Cybersicherheit aufweisen, um sich gegen Störungen und unbefugte Eingriffe Dritter zu schützen. Abschließend fordert der AI-Act eine umfassende Dokumentation, um die Überprüfbarkeit der Anforderungen zu gewährleisten – diese ist bei Bedarf nationalen Behörden zugänglich zu machen. Eng damit verbunden ist die Verpflichtung zur Aufzeichnung aller relevanten Ereignisse, um eine kontinuierliche Überwachung nach der Inbetriebnahme zu ermöglichen und abweichende Funktionsweisen zeitnah zu erkennen.

Einordnung in Regularien und Standards

In der Regulierungs- und Normungslandschaft der künstlichen Intelligenz nimmt der AI-Act der EU eine besondere Stellung ein, da er eine gesetzliche Vorgabe mit hohen Auswirkungen auf die Entwicklung und Vermarktung von KI-Systemen darstellt. Thematisch anschließend wurde im Dezember die ISO/IEC 42001-2022 [2] veröffentlicht: Diese Norm beschreibt einen freiwilligen Standard für Organisationen über alle Sektoren hinweg und soll die Entwicklung eines umfangreichen KI-Management-Systems unterstützen, das möglicherweise bei der Konformitätsbewertung des AI-Acts relevant wird.

Ähnlich dazu konzentriert sich die ISO/IEC 23894:2023 [3] speziell auf das Risikomanagement im Zusammenhang mit der Entwicklung KI-gestützter Applikationen und den damit verbundenen Prozessen. Etwas oberflächlicher gehalten bietet das „Artificial Intelligence Risk Management Framework“ (AI RMF 1.0) [4] des US-amerikanischen National Institute of Standards and Technology (NIST) ebenfalls einen strukturierten Ansatz zum Umgang mit Risiken von KI-Produkten.

Folglich schafft der AI-Act einen rechtlich bindenden Rahmen für die Regulierung von KI, während ISO 42001, ISO 23894 und NIST AI RMF ergänzende freiwillige Standards darstellen, die Organisationen bei der verantwortungsvollen Verwaltung und dem Betrieb von KI-Systemen unterstützen.

Neben dem AI-Act gibt es in der EU noch weitere relevante Regularien, die sich auf KI-Systeme auswirken. Beispielsweise ist die vorgeschlagene Richtlinie zur Anpassung der Vorschriften über außervertragliche zivilrechtliche Haftung an künstliche Intelligenz [5] eng damit verbunden. Sie wird angewendet, wenn es trotz eines sicheren Systemdesigns zu Vorfällen kommt: Die EU reguliert mit dieser Richtlinie Schäden, die durch KI-Systeme vorsätzlich oder fahrlässig entstehen. Damit soll eine „widerlegbare Kausalitätsvermutung“ eingeführt werden, um die Beweislast für Opfer zu verringern. Unterstützend dazu sollen auch nationale Gerichte in der Lage sein, die internen Abläufe von KI-Systemen mit hohem Risiko offenzulegen. Diese Maßnahmen verstärken zusammen mit dem AI-Act das Vertrauen in neue Technologien.

KI-Systeme sind zunehmend durch das Training mit umfangreichen Datensätzen charakterisiert, was auch Implikationen für die Einhaltung der Datenschutz-Grundverordnung (DSGVO) [6] mit sich bringen kann: Während der AI-Act sich mit der Regulierung von KI-Systemen beschäftigt, konzentriert sich die bereits bestehende DSGVO bekanntermaßen auf den Schutz personenbezogener Daten und Datenschutzrechte. Ein wesentlicher Unterschied liegt dabei im Anwendungsbereich: Der AI-Act zielt hauptsächlich auf Anbieter und Nutzer von KI-Systemen ab – unabhängig davon, ob personenbezogene Daten dabei verarbeitet werden. Im Gegensatz dazu konzentriert sich die DSGVO auf alle Unternehmen, die in der EU tätig sind oder persönliche Daten von Menschen in der EU verarbeiten, egal ob sie selbst in der EU ansässig sind oder nicht. Daher sind nicht alle KI-Systeme, die dem AI-Act unterliegen, gleichzeitig auch von der DSGVO betroffen.

Eine Anforderung der DSGVO ist die Durchführung einer Datenschutz-Folgenabschätzung (DSFA) bei risikobehafteten Verarbeitungsvorgängen. Der AI-Act knüpft an diese Vorgabe an, indem er die Integration verpflichtender Gebrauchsinformationen in der DSFA verlangt. Zudem verpflichtet der AI-Act zu menschlicher Aufsicht über KI-Systeme, liefert jedoch keine umfassenden Details für deren Implementierung. Dies könnte Auswirkungen auf die DSGVO-Verpflichtungen bezüglich automatisierter Entscheidungsfindung haben, die sicherstellen sollen, dass Entscheidungen mit erheblichen Konsequenzen nicht ausschließlich von Maschinen getroffen werden. Weiters erlaubt der AI-Act die Verarbeitung spezieller Kategorien personenbezogener Daten zur Bias-Kontrolle in Hochrisiko-KI-Systemen, wobei die rechtliche Grundlage nicht ausreichend spezifiziert ist, was die Einhaltung der DSGVO erforderlich macht.

Interessant ist auch die Handhabung des Datenminimierungsprinzips, das vorsieht, nur das notwendige Maß an personenbezogenen Daten zu verarbeiten. Dieses Prinzip ist laut AI-Act auch bei der Gestaltung von Trainings- und Testdaten zu berücksichtigen, was für das Training von Modellen mit großen Datenmengen Barrieren bedeuten könnte.

Nationale Behörden spielen unter beiden Rahmenwerken eine bedeutende Rolle, was aufgrund des breiten Geltungsbereichs des AI-Acts potenzielle Koordinations- und Durchsetzungsherausforderungen mit sich bringt. Diese ineinandergreifenden Aspekte betonen die Notwendigkeit einer koordinierten Herangehensweise zwischen den verschiedenen Regulierungsbehörden und den von ihnen verwalteten Rahmenwerken.

Vorbereitende Maßnahmen

Unternehmen sollten die anstehenden regulatorischen Anforderungen aufgrund des umfassenden Anwendungsbereichs der Vorschriften und der finanziellen Risiken (Strafen bis 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres) bei Nichtkonformität proaktiv behandeln. Es ist besonders wichtig zu beachten, dass die Einhaltung dieser Vorschriften – im Vergleich zu einer Berücksichtigung während der Entwurfs- und Entwicklungsphase – oft kostspieliger und komplexer wird, wenn KI-Systeme bereits im Einsatz sind.

Daher sollten sich Anbieter und Nutzer jetzt schon die folgenden Fragen stellen:

• Welche derzeit eingesetzten oder angebotenen Produkte integrieren Elemente künstlicher Intelligenz?
• Sind sämtliche in Betrieb genommenen und in Planung befindlichen KI-Systeme vollständig inventarisiert und kategorisiert?
• In welchem Umfang sind Ihre KI-Systeme von den Anforderungen des AI-Acts betroffen?
• Welche spezifischen Risiken sind mit dem Einsatz Ihrer KI-Anwendungen verbunden und welche geeigneten Gegenmaßnahmen könnten ergriffen werden?
• Welche Prozesse und Richtlinien müssen zur Einhaltung des AI-Acts erweitert oder neu etabliert werden?
• Sind erforderliche Kompetenzen und Verantwortlichkeiten für den gesamten KI-Lebenszyklus vorhanden?
• Sind zur Umsetzung der neuen KI-spezifischen Anforderungen die Durchführung von Schulungen oder die Einbindung externer Partner notwendig?
• Werden kontinuierliche Verbesserungsmaßnahmen implementiert, um stets den aktuellen Regulierungsstandards gerecht zu werden?
• Besteht innerhalb der Organisation eine Awareness gegenüber den Potenzialen und Risiken angebotener KI-Tools?

Fazit

Angesichts der Komplexität und Tragweite des AI-Acts ist es ratsam, so früh wie möglich mit Vorbereitungen zu beginnen. Eine frühzeitige Planung und schrittweise Umsetzung der erforderlichen Maßnahmen helfen dabei, zukünftige Herausforderungen effizienter zu bewältigen. Dieser proaktive Ansatz minimiert überdies das Risiko von Compliance-Verstößen und ermöglicht eine reibungslose Markteinführung beziehungsweise Nutzung von KI-Produkten.

Entwicklung und aktueller Status des AI-Acts

Im Oktober 2020 diskutierte der Europäische Rat über den Wandel durch die Technologie der künstlichen Intelligenz und forderte die Europäische Kommission auf, Investitionen in KI-Forschung zu erhöhen, eine bessere Koordination zwischen Forschungszentren zu fördern und eine Definition für KI-Systeme mit hohem Risiko zu entwickeln.

Daraufhin veröffentlichte die Kommission am 21. April 2021 erstmals einen Vorschlag für eine Verordnung zu KI unter dem Namen „Artificial Intelligence Act“.

Schließlich legte der Europäische Rat am 6. Dezember 2022 seinen Standpunkt zum KI-Gesetz fest. Anschließend konnte der Rat mit dem Europäischen Parlament in sogenannte Trilog-Verhandlungen treten.

Nach intensiven Diskussionen erzielten der Rat und das Europäische Parlament am 9. Dezember 2023 eine vorläufige Einigung über das KI-Gesetz. Der endgültige Text muss noch von beiden Legislativorganen der EU förmlich angenommen werden und soll schließlich 2026 zur Anwendung kommen.

Dipl. Ing. David Oliva ist Consultant für Info- und CyberSecurity, Dr.-Ing. Wolfgang K. Walter ist Partner im Bereich Informationssicherheit, IT- und Cyber-Security bei der EFS Unternehmensberatung GmbH.

Literatur

[1] Europäische Union, Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union, ST 15698 2022 INIT, Dezember 2022, https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=consil:ST_15698_2022_INIT

[2] International Organization for Standardization (ISO), Information technology – Artificial intelligence – Management system, ISO/IEC 42001:2023, Dezember 2023, www.iso.org/standard/81230.html  (kostenpflichtig)

[3] International Organization for Standardization (ISO), Information technology – Artificial intelligence – Guidance on risk management, ISO/IEC 23894:2023, Februar 2023, www.iso.org/standard/77304.html  (kostenpflichtig)

[4] National Institute of Standards and Technology (NIST), Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, Januar 2023, https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf

[5] Europäische Union, Vorschlag für eine Richtlinie des Europäischen Parlaments und des Rates zur Anpassung der Vorschriften über außervertragliche zivilrechtliche Haftung an künstliche Intelligenz (Richtlinie über KI-Haftung), COM/2022/496 final, September 2022, https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:52022PC0496

[6] Europäische Union, Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung), in: Amtsblatt der Europäischen Union L 119, S. 1, Mai 2016, https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32016R0679