Zu Risiken und Nebenwirkungen … : ... befragen Sie den Hersteller oder Vertreiber von KI-Systemen

Der AI-Act ist dafür zuständig, dass es einen einheitlichen Rechtsrahmen in Bezug auf die Verwendung von KI-Systemen gibt und der Binnenmarkt funktioniert. Künstliche Intelligenz (KI) soll aktiv gefördert und gleichzeitig ein hohes Schutzniveau in Bezug auf Sicherheit, Gesundheit und die Grundrechte der EU sichergestellt werden. Außerdem soll der AI-Act vor schädlichen Auswirkungen von KI-Systemen schützen.

Wichtig zu betonen ist, dass der AI-Act im Einklang mit den in der Charta der Grundrechte der Europäischen Union 2016/C 202/02 [2] verankerten Werten der EU angewendet wird, das heißt für den Schutz von natürlichen Personen, Unternehmen, Demokratie und Rechtsstaatlichkeit sorgt. Grundsätzlich soll Innovation gefördert und der EU eine Führungsrolle bei der Einführung von vertrauenswürdiger KI verschafft werden.

Die hauptsächlichen Festlegungen des AI-Act sind zunächst einmal eine abgestimmte Vorschrift zu definieren, die für das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen in der EU zuständig ist. Das umfasst sowohl Transparenzvorschriften als auch Vorschriften für das Inverkehrbringen von KI-Modellen mit allgemeinem Verwendungszweck.

Weitere Vorschriften, welche die EU berücksichtigen wollte, sind die Marktbeobachtung sowie die Governance und Durchsetzung der Marktüberwachung. Überdies wurden Verbote bestimmter Praktiken im KI-Bereich sowie besondere Anforderungen an Hochrisiko-KI-Systeme und Pflichten für Akteure festgelegt. Maßnahmen in Bezug auf Innovationsförderung mit Schwerpunkt auf kleine und mittlere Unternehmen (KMU), einschließlich Start-up-Unternehmen, sind ebenfalls enthalten.

Anwendungsbereich

Der AI-Act gilt für (siehe auch [3]):

• Anbieter, die in der EU KI-Systeme in Verkehr bringen,
• Anbieter, die KI-Modelle mit allgemeinem Verwendungszweck in Verkehr bringen,
• Anbieter und Betreiber, die ihren Sitz in einem Drittland haben,
• Betreiber von KI-Systemen, die ihren Sitz in der EU haben,
• Einführer und Händler von KI-Systemen,
• Produkthersteller, die zusammen mit ihrem Produkt die KI-Systeme in Verkehr bringen,
• Bevollmächtigte von Anbietern, die nicht in der EU etabliert sind und
• betroffene Personen, die sich in der EU befinden.

Dies gilt jedoch lediglich für unter Unionsrecht fallende Bereiche und berührt nicht die Zuständigkeiten der Mitgliedstaaten oder die Vorschriften anderer Rechtsakte der EU zum Verbraucherschutz und zur Produktsicherheit. Die EU und die Mitgliedstaaten sind frei, entsprechende Rechts- oder Verwaltungsvorschriften beizubehalten oder einzuführen. Dabei werden auch KI-Systeme abgedeckt, die als Hochrisiko-KI-Systeme gemäß Art. 6 Abs. 1 eingestuft sind.

Vom Anwendungsbereich des AI-Act ausgeschlossen sind:

• KI-Systeme, die ausschließlich für militärische Zwecke der nationalen Sicherheit in Verkehr gebracht werden,
• Behörden in Drittländern sowie Forschungs-, Test- und Entwicklungstätigkeiten zu KI-Systemen,
• Betreiber, die natürliche Personen sind und
• KI-Systeme im Rahmen von persönlichen und nicht-beruflichen Tätigkeiten verwenden sowie KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden.

Allgemeines und verbotene Praktiken

Bereits seit dem 2. Februar 2025 gelten allgemeine Vorschriften des AI-Acts sowie Artikel 5, der sich mit verbotenen Praktiken im KI-Bereich befasst. Die allgemeinen Bestimmungen des AI-Acts umfassen Gegenstand (Art. 1), Anwendungsbereich (Art. 2), Begriffsbestimmungen (Art. 3) und KI-Kompetenz (Art. 4).

Artikel 1 befasst sich mit Zweck und Festlegungen des AI-Acts:

• harmonisierte Vorschriften für das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KISystemen in der Union
• Verbote bestimmter Praktiken im KI-Bereich
• besondere Anforderungen an Hochrisiko-KI-Systeme und Pflichten für Akteure in Bezug auf solche Systeme
• harmonisierte Transparenzvorschriften für bestimmte KI-Systeme
• harmonisierte Vorschriften für das Inverkehrbringen von KI-Modellen mit allgemeinem Verwendungszweck
• Vorschriften für die Marktbeobachtung sowie die Governance und Durchsetzung der Marktüberwachung
• Maßnahmen zur Innovationsförderung mit besonderem Augenmerk auf KMU einschließlich Start-up-Unternehmen

Ab dem 2. August 2025 werden die Regelungen zur Überwachung und Durchsetzung des AI-Acts, zu „General Purpose AI Code of Practice“ (GPAI-Modellen) und zur Konformitätsbewertung von Hochrisiko-KI-Systemen anwendbar. Dies umfasst Vorgaben zu:

• notifizierenden Behörden und notifizierte Stellen für die Feststellung der Konformitätsbewertung von KISystemen (Art. 28–39)
• Regelungen zu GPAI-Modellen (Art. 51–55)
• Regelungen zur Governance (Art. 64–70)
• Regelungen zu Sanktionen, mit Ausnahme der Sanktionen für Anbieter von GPAI-Modellen (Art. 99–101)
• Wahrung der Vertraulichkeit für Stellen, die zur Umsetzung des AI-Act beteiligt sind (u. a. die Kommission, Marktüberwachungsbehörden und notifizierte Stellen)

Hochrisiko-KI-Systeme

Die Einstufungsvorschrift von Art. 6 Abs. 1 bestimmt, wann man von einem Hochrisiko-KI-System spricht: Die erste Bedingung, die hierzu erfüllt sein muss, ist, dass ein KI-System als Sicherheitsbauteil eines Produkts verwendet wird, das unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften (20-Punkte-Liste) der EU fällt, oder das KI-System selbst ein solches Produkt ist. Die zweite Bedingung ist, dass das Produkt, dessen Sicherheitsbauteil das KI-System ist – oder das KI-System selbst als Produkt – einer Konformitätsbewertung durch Dritte im Hinblick auf das Inverkehrbringen oder die Inbetriebnahme dieses Produkts unterzogen werden muss (ebenfalls gemäß den in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der EU).

Als „hochriskant“ gilt ein erhebliches Risiko in Bezug auf Gesundheit, Sicherheit oder die Grundrechte natürlicher Personen. Das bedeutet, ein KI-System ist genau dann hochriskant, wenn es ein Profiling natürlicher Personen vornimmt.

Grundsätzlich ist ein KI-System dazu bestimmt, eine Verfahrensaufgabe durchzuführen, die das Ergebnis einer abgeschlossenen menschlichen Tätigkeit verbessern soll. Gleichzeitig ist sie dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen. Das heißt aber nicht, dass sie die zuvor abgeschlossene menschliche Bewertung ohne eine menschliche Überprüfung ersetzen oder beeinflussen soll.

Risikomanagementsystem

Für Hochrisiko-KI-Systeme wird gefordert, ein Risikomanagementsystem einzurichten, anzuwenden, zu dokumentieren und aufrechtzuerhalten. Dieses Risikomanagementsystem wird als ein sogenannter kontinuierlicher iterativer Prozess bezeichnet, der während des gesamten Lebenszyklus des Hochrisiko-KI-Systems geplant und durchgeführt wird – somit sind auch eine regelmäßige systematische Überprüfung und Aktualisierung gefordert.

Dabei sind bestimmte Schritte zu berücksichtigen: Der erste ist die Ermittlung und Analyse von vorhersehbaren Risiken, die vom Hochrisiko-KI-System ausgehen könnten – zum Beispiel für die Gesundheit, Sicherheit oder Grundrechte. Genauso ist wichtig, dass eine Abschätzung und Bewertung der Risiken vorgenommen wird, wenn das Hochrisiko-KI-System als „vernünftigerweise vorhersehbare Fehlanwendung“ zum Einsatz kommt.

Zur Bewertung gehören auch mögliche andere Risiken aus den in Art. 72 genannten Systemen. Dabei behandelt Art. 72 für Hochrisiko-KI-Systeme sowohl die Beobachtung nach dem Inverkehrbringen durch die Anbieter als auch Pläne für die Beobachtung nach dem Inverkehrbringen. Um die ermittelten Risiken zu bewältigen, sind geeignete und gezielte Risikomanagementmaßnahmen zu ergreifen.

Die am besten geeigneten Risikomanagementmaßnahmen sind die Beseitigung oder Verringerung der ermittelten Risiken durch Konzeption und Entwicklung des Hochrisiko-KI-Systems. Gegebenfalls kann es eine Minderungs- und Kontrollmaßnahme geben, die für nicht auszuschließende Risiken angewendet wird. Außerdem sollten die gemäß Art. 13 erforderlichen Informationen und Schulungen der Betreiber bereitgestellt werden (Art. 13 befasst sich mit der Transparenz und Bereitstellung von Informationen für Betreiber).

Hochrisiko-KI-Systeme sind darüber hinaus zu testen, um die am besten geeigneten Risikomanagementmaßnahmen zu ermitteln – so soll festgestellt werden, ob Hochrisiko-KI-Systeme im Einklang mit ihrer Zweckbestimmung funktionieren. Dies hat während des gesamten Entwicklungsprozesses und vor ihrem Inverkehrbringen oder ihrer Inbetriebnahme zu erfolgen.

Besondere Anforderungen

Hochrisiko-KI-Systeme müssen festgelegte Anforderungen erfüllen, zu denen ebenfalls die in Art. 9 genannten Anforderungen zum Risikomanagementsystem gehören. Anbieter sind dafür verantwortlich, sicherzustellen, dass ihr Produkt alle geltenden Anforderungen der Harmonisierungsvorschriften der EU erfüllen. Sie haben dabei allerdings die Wahl, ob die hierzu erforderlichen Test- und Berichterstattungsverfahren, Informationen und Dokumentationen in bereits bestehende Verfahren integriert werden.

Manuel Atug ist Principal, Rozerin Karaterzi ist Werkstudentin Security Consulting bei der HiSolutions AG.

Literatur

_{[1] Europäische Union, Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz … (Verordnung über künstliche Intelligenz), in: Amtsblatt der Europäischen Union, Reihe L, Juli 2024, https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689}

_{[2] Europäische Union, Charta der Grundrechte der Europäischen Union, in: Amtsblatt der Europäischen Union, Reihe C 202, S. 389, Juni 2016, https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=CELEX:12016P/TXT}  

_{[3] Prof. Dr. Dennis-Kenji Kipker, Habemus AI-Act!, Der neue europäische Rechtsakt zur künstlichen Intelligenz aus dem Blickwinkel der Cybersicherheit, 2024# 4, S. 14, www.kes-informationssicherheit.de/print/titelthema-die-zeitschrift-fuer-informations-sicherheit/habemus-ai-act/ (<kes>+)}