KI-Managementsystem nach ISO 42001
Bereits seit Ende 2023 liegt mit der ISO 42001 eine internationale Norm für ein Artificial-Intelligence-Management-System (AIMS) vor, das Institutionen die verantwortungsvolle Entwicklung und Nutzung von Systemen künstlicher Intelligenz ermöglichen soll. Unsere Autoren* stellen den Standard kurz vor und erörtern im Besonderen seine Bedeutung für das Umfeld kritischer Infrastrukturen (KRITIS).
Die ISO-Norm ISO 42001 „Information technology — Artificial intelligence — Management system“ von Dezember 2023 [1] legt Anforderungen fest und bietet Leitlinien für die Einrichtung, Implementierung, Wartung und kontinuierliche Verbesserung eines Managementsystems für künstliche Intelligenz (KI) im Kontext einer Organisation. Angesichts des zunehmenden KI-Einsatzes in allen Sektoren – gerade im Umfeld von Informationstechnologie – sowie der Erwartung, dass KI in der nächsten Zeit einer der wichtigsten wirtschaftlichen Treiber sein wird, besteht ein offenkundiges Risiko, dass bestimmte Anwendungen in den kommenden Jahren gesellschaftliche Herausforderungen mit sich bringen werden.
Das ISO-42001-KI-Managementsystem soll Einrichtungen dabei helfen, ihre Zuständigkeiten in Bezug auf KI-Systeme verantwortungsvoll zu erfüllen. Das umfasst unter anderem die Nutzung, Entwicklung, Überwachung, oder Bereitstellung von Produkten oder Dienstleistungen, die KI nutzen. Es gibt verschiedene Überlegungen, welche Probleme KI aufwerfen könnte: Ein Beispiel dafür ist ihr Einsatz zur automatischen Entscheidungsfindung, die oft auf intransparente und nicht-erklärbare Weise stattfindet. Daher kann ein spezifisches Management geboten sein, das über das Management klassischer IT-Systeme hinausgeht.
Überdies ist auch der Einsatz in Datenanalysen, bei Erkenntnissen und in maschinellem Lernen (ML) anstelle einer von Menschen kodierten Logik zur Gestaltung von Systemen relevant, denn diese erhöhen sowohl die Anwendungsmöglichkeiten für KI-Systeme, als auch die Art und Weise, wie solche Systeme entwickelt, gerechtfertigt und eingesetzt werden. Des Weiteren bedürfen auch KI-Systeme, die kontinuierlich lernen und ihr Verhalten während der Nutzung ändern, besonderer Überlegungen, um sicherzustellen, dass auch verändertem Verhalten ein verantwortungsvoller Umgang mit den Systemen fortbesteht.
Aufbau der ISO 42001
Die normativen Anforderungen der ISO 42001 gliedern sich in die Kapitel „Führung“, „Planung“, „Unterstützung“, „Betrieb“, „Leistungsbewertung“ und „kontinuierliche Verbesserung“. Diese Struktur unterstützt Organisationen dabei, die mit KI verbundenen Risiken über den gesamten Lebenszyklus ihrer KI-Systeme hinweg zu managen und sicherzustellen, dass diese Systeme bewusst und verantwortungsvoll entwickelt und eingesetzt werden.
Anhang A des Standards thematisiert den Managementleitfaden für die Entwicklung von KI-Systemen einschließlich einer Liste von Kontrollen – Anhang B befasst sich mit den Leitfäden zur Umsetzung der in Anhang A aufgeführten KI-Kontrollen einschließlich der zugehörigen Datenverwaltungsprozesse. Anhang C benennt KI-bezogene organisatorische Ziele und Risikoquellen und im letzten Anhang D geht es um Domänen- und sektorspezifische Normen.
Anforderungen an die Führungsebene
Das Top-Management soll Führungsstärke und Engagement in Bezug auf das KI-Managementsystem demonstrieren, indem es sicherstellt, dass eine KI-Policy sowie KI-Ziele festgelegt und mit der strategischen Ausrichtung der Einrichtung vereinbar sind. Dazu gehört auch die Sicherstellung der Integration der Anforderungen an das KI-Managementsystem in die Geschäftsprozesse der Einrichtung. Darüber hinaus muss die oberste Leitung sicherstellen, dass die für ein KI-Managementsystem benötigten Ressourcen wie Personal, Budget und technische Mittel tatsächlich verfügbar sind.
Die oberste Leitung trägt dabei eine doppelte Verantwortung: Sie muss die Bedeutung eines wirksamen KI-Managements im Unternehmen vermitteln und zugleich sicherstellen, dass das System die Anforderungen erfüllt und die gewünschten Ergebnisse liefert.
Bei der Planung des KI-Managementsystems muss die Einrichtung, die in Klausel 4.1 der ISO 42001 genannten Fragen sowie die in 4.2 genannten Anforderungen berücksichtigen und die Risiken und Chancen ermitteln, die angegangen werden müssen – beispielsweise diejenigen, die gewährleisten, dass das KI-Managementsystem die beabsichtigten Ergebnisse erzielen sowie unerwünschte Wirkungen verhindern oder reduzieren kann.
Die Einrichtung muss KI-Risikokriterien festlegen und aufrechterhalten, welche eine Unterscheidung zwischen akzeptablen und nicht-akzeptablen Risiken ermöglichen. Dazu gehört sowohl die Unterstützung der Durchführung von KI-Risikobewertungen und KI-Risikobehandlungen als auch die Bewertung der Auswirkungen von KI-Risiken. Die Einrichtung muss die Prozesse, die zur Erfüllung der Anforderungen und zur Umsetzung der in Klausel 6 (Planung, Maßnahmen zum Umgang mit Risiken und Chancen) festgelegten Maßnahmen erforderlich sind, planen, implementieren und kontrollieren, indem sie Kriterien für die Prozesse festlegt und die Kontrolle der Prozesse gemäß den Kriterien implementiert.
Kontrollen und Korrekturen
Die Einrichtung muss die gemäß Klausel 6.1.3 (AI-Risk-Treatment) festgelegten Kontrollen implementieren, die sich auf den Betrieb des KI-Managementsystems beziehen. Die Wirksamkeit dieser Controls ist zu überwachen – wenn die angestrebten Ergebnisse nicht erreicht werden, sind Korrekturmaßnahmen in Betracht zu ziehen. In Anhang A sind Referenzkontrollen aufgeführt, Anhang B liefert Leitlinien für deren Durchführung.
Dokumentierte Informationen müssen in einem Umfang zur Verfügung stehen, der erforderlich ist, um darauf vertrauen zu können, dass die Prozesse wie geplant durchgeführt wurden. Die Einrichtung muss geplante Änderungen kontrollieren und die Folgen unbeabsichtigter Änderungen überprüfen. Bei Bedarf sind Maßnahmen zu ergreifen, um nachteilige Auswirkungen zu mildern. Die Einrichtung soll sicherstellen, dass auch extern bereitgestellte Prozesse, Produkte oder Dienstleistungen, die für das KI-Managementsystem relevant sind, kontrolliert werden.
Die Einrichtung muss zudem festlegen, was überwacht und gemessen werden soll. Überdies sind Methoden zur Überwachung, Messung, Analyse und Bewertung zu definieren, um die Gültigkeit der Ergebnisse sicherzustellen. Wann Überwachung und Messungen durchgeführt und wann deren Ergebnisse analysiert und bewertet werden sollen, ist ebenfalls zu klären. Als Nachweis der Ergebnisse müssen dokumentierte Informationen verfügbar sein. Die Leistung und Wirksamkeit des KI-Managementsystems ist durch die Einrichtung zu bewerten.
Bedeutung für KRITIS
ISO 42001 adressiert an sich ausschließlich die KI-Governance, nicht kritische Infrastrukturen (KRITIS) als solche. Dennoch ergibt sich aus dem Zusammenspiel mit EU NIS-2 sowie dem BSI-Gesetz (BSIG, www.gesetze-im-internet.de/bsig_2025/), dem EU AI-Act [2] sowie dem generellen KI-Einsatz in kritischen Prozessen eine klare Bedeutung der Norm für KRITIS-Betreiber. Eine Verbindung ergibt sich dabei allem voran durch die aufgrund von NIS-2 in § 30 BSIG „Risikomanagement“ festgelegten Anforderungen: KRITIS-Betreiber wichtiger und kritischer Anlagen haben demnach ein umfassendes Risikomanagement für ihre IT-Systeme umzusetzen – einschließlich neuer Technologien wie KI.
Besonders zu betonen ist der Dreiklang der genannten regulatorischen Vorgaben angesichts der wachsenden Bedeutung von KI-Komponenten in der Lieferkette sicherheitskritischer Systeme. Den unmittelbarsten regulatorischen Bezugspunkt liefert dabei der EU AI-Act (KI-Verordnung, auch KI-VO) selbst: Nach Art. 6 Abs. 2 in Verbindung mit Anhang III Nr. 2 KI-VO gelten KI-Systeme als Hochrisiko-KI-Systeme, wenn sie bestimmungsgemäß als Sicherheitsbauteile im Rahmen der Verwaltung und des Betriebs kritischer digitaler Infrastruktur, des Straßenverkehrs oder der Wasser-, Gas-, Wärme- oder Stromversorgung verwendet werden sollen. Der Begriff der kritischen Infrastruktur wird dabei über Art. 3 Nr. 62 KI-VO an die CER-Richtlinie (EU) 2022/2557 [3] rückgebunden, wodurch sich ein direkter Anknüpfungspunkt zum deutschen KRITIS-Regime ergibt.
Wenn KI-gestützte Systeme sicherheitsrelevante Funktionen – zum Beispiel in Netzleittechnik, Anomalieerkennung, Predictive-Maintenance oder SOC-Umgebungen – übernehmen, können KRITIS-Betreiber potenziell den strengen Pflichten für Hochrisiko-KI unterliegen. Genau hier setzt ISO 42001 an, indem sie das organisatorische Gerüst liefert, mit dem sich diese Pflichten operationalisieren lassen. Die Norm wird damit für KRITIS-Betreiber, die Hochrisiko-KI-Systeme betreiben, quasi zum operativen Umsetzungsinstrument einer sonst abstrakten Rechtspflicht.
Parallel dazu wirkt die ISO 41001 in die Vorgaben der EU NIS-2 sowie der übrigen Managementsystemnormen wie ISO 9001 „Quality management systems — Requirements“, ISO 13485 „Medical devices — Quality management systems — Requirements for regulatory purposes“ oder ISO 27001 „Information security, cybersecurity and privacy protection — Information security management systems — Requirements“ hinein. Da die Norm sich an der ISO-Normenreihe orientiert, lässt sie sich strukturell in ein bereits bestehendes Informationssicherheits-Managementsystem (ISMS) integrieren, wie es viele KRITIS-Betreiber im Rahmen ihrer BSI-Nachweispflichten ohnehin betreiben. Für KRITIS-Betreiber bedeutet das einen entscheidenden praktischen Vorteil: So entsteht kein isoliertes KI-Compliance-System, sondern eine Erweiterung des vorhandenen Governance-Rahmens um KI-spezifische Kontrollen, Rollen und Prozesse sowie definierte Verantwortlichkeiten für KI-Kompetenz und dokumentierter Risikobehandlungsmaßnahmen.
Handlungsempfehlungen für KRITIS-Betreiber
KRITIS-Betreiber sollten die dargestellten Anforderungen entlang eines gestuften Zeitplans umsetzen, der sich nach der Dringlichkeit der jeweiligen regulatorischen Verpflichtungen richtet. Unmittelbaren Handlungsbedarf gibt es bei der Prüfung bestehender Registrierungspflichten gegenüber BSI und Bundesamt für Bevölkerungsschutz und Katastrophenhilfe (BBK) sowie beim Aufbau eines vollständigen KI-Inventars, das sämtliche im Unternehmen eingesetzten KI-Systeme erfasst. Auf dieser Grundlage ist eine Risikoklassifizierung nach den Vorgaben des EU AI-Act (KI-VO) vorzunehmen, um zu bestimmen, welche Systeme als Hochrisiko-KI im Sinne von Art. 6 KI-VO einzustufen sind.
Parallel dazu müssen KI-Kompetenzschulungen für das betroffene Personal initiiert werden, da Art. 4 KI-VO Anbieter und Betreiber bereits seit dem 2. Februar 2025 verpflichtet, sicherzustellen, dass ihr Personal über ein ausreichendes Maß an KI-Kompetenz verfügt.
Bereits unmittelbar erforderlich, aber häufig noch nicht abgeschlossen, ist zudem die Verbotsprüfung nach Art. 5 KI-VO, um auszuschließen, dass eingesetzte oder geplante Systeme unter die dort ebenfalls seit Februar 2025 geltenden verbotenen KI-Praktiken fallen. Die Umsetzung der seit dem 2. August 2026 anwendbaren Transparenzpflichten nach Art. 50 KI-VO ist ebenfalls wesentlich.
Kurzfristig sollte ergänzend die Entwicklung einer unternehmensweiten KI-Policy erfolgen, die Grundsätze, Zuständigkeiten und „Leitplanken“ für den Einsatz von KI-Systemen verbindlich regelt – verbunden mit einer klaren Zuweisung von Verantwortlichkeiten für KI-Governance-Prozesse innerhalb der Organisation.
In den mittelfristigen Zeithorizont rückt die strukturelle Integration von ISO 42001 in ein bestehendes ISMS, um KI-Risikomanagement nicht isoliert, sondern als Erweiterung des vorhandenen Managementsystems zu verankern. Langfristig kann auch eine vollständige Zertifizierung nach ISO 42001 angestrebt werden, um die etablierten Prozesse extern validieren zu lassen und sie gegenüber Aufsichtsbehörden sowie Geschäftspartnern belastbar nachweisen zu können.
Für Hochrisiko-KI-Systeme ist zudem die vollständige Konformitätsbewertung gemäß Art 6. Abs. 2 in Verbindung mit Anhang III KI-VO abzuschließen. Die ursprünglich für August 2026 vorgesehene Frist wurde zwar durch die im Rahmen des „Digital Omnibus on AI“ beschlossene Änderungsverordnung (EU) 2026/1744 [4] auf den 2. Dezember 2027 verschoben. Begleitend dazu sind allerdings die Betreiberpflichten nach Art. 26 KI-VO zu operationalisieren, allem voran die laufende Überwachung des Systembetriebs anhand der Betriebsanleitung des Anbieters sowie die Meldung erkannter Risiken oder schwerwiegender Vorfälle an den Anbieter beziehungsweise die zuständige Marktüberwachungsbehörde.
Manuel Atug ist Principal, Rozerin Karaterzi ist Werkstudentin Security Consulting bei der HiSolutions AG.
Literatur
[1] International Organization for Standardization (ISO), Information technology — Artificial intelligence — Management system, ISO/IEC 42001:2023, Dezember 2023, www.iso.org/standard/42001 (kostenpflichtig)
[2] Europäische Union, Verordnung (EU) 2024/1689 … vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz … (Verordnung über künstliche Intelligenz), in: Amtsblatt der Europäischen Union Reihe L, 12. Juli 2024, https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689
[3] Europäische Union, Richtlinie (EU) 2022/2557 … vom 14. Dezember 2022 über die Resilienz kritischer Einrichtungen …, in: Amtsblatt der Europäischen Union Reihe L 333, S. 164, Dezember 2022, https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32022L2557
[4] Europäische Union, Verordnung (EU) 2026/1744 … vom 8. Juli 2026 zur Änderung der Verordnungen (EU) 2024/1689, (EU) 2018/1139 und (EU) 2023/1230 im Hinblick auf die Vereinfachung der Umsetzung harmonisierter Vorschriften für künstliche Intelligenz (Digital-Omnibus-Verordnung zur KI), in: Amtsblatt der Europäischen Union Reihe L, 24. Juli 2026, https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32026R1744