Sicherheit von KI-Systemen : Herausforderungen und Maßnahmen

Von Dr. Christian Berghoff, Dr. Arndt von Twickel und Dr. Raphael Zimmer, BSI

Zu den Anwendungsgebieten von künstlicher Intelligenz (KI) gehören auch solche mit potenziell kritischen Auswirkungen, wie zum Beispiel autonomes Fahren, Biometrie oder Medizintechnik (siehe Abb. 1 links). In der Regel sind KI-Systeme dabei in ein größeres Entscheidungs- oder Kontrollsystem eingebettet, welches aus verschiedenen Software- und oft auch Hardwarekomponenten besteht. Für die Sicherheit des Gesamtsystems spielen neben der KI-Komponente vielfältige andere IT-Komponenten, wie zum Beispiel klassische Programme oder bestimmte Sensor- und Aktuatorkomponenten, sowie die Umgebungsbedingungen eine wesentliche Rolle (Abb. 1 Mitte). Neben der IT-Sicherheit spielen weitere Aspekte der KI-Systeme für deren Sicherheit eine wichtige Rolle (Abb. 1 rechts).

Die heute in vielen Anwendungsgebieten, wie zum Beispiel der Bildverarbeitung, hauptsächlich verwendeten KI-Systeme basieren auf Modellen aus vielen einfachen Funktionseinheiten, die stark untereinander verknüpft sind – ähnlich wie Neuronen im menschlichen Gehirn. Im Folgenden behandelt dieser Beitrag ausschließlich diese auch als konnektionistisch bezeichneten Modelle. Das bekannteste Beispiel sind sogenannte „tiefe neuronale Netze“ (Deep Neural Networks, DNNs), welche in der Regel Millionen von Parametern besitzen. Zusammen mit der Struktur eines Netzes kodieren die Parameter implizit dessen mögliche Reaktionen auf Eingaben.

Diese KI-Systeme weisen einen komplexen Lebenszyklus auf, dessen Gesamtbetrachtung für die IT-Sicherheit unerlässlich ist. Der Lebenszyklus lässt sich in die verschiedenen Phasen Planung, Daten, Training, Evaluation und Betrieb unterteilen; der Lebenszyklus ist in Abbildung 2 schematisch am Beispiel eines DNN dargestellt. Entwickler können die Funktionsweise des KI-Systems aufgrund seiner Komplexität nicht explizit kodieren. Stattdessen wird diese aus Trainingsdaten abgeleitet. Hierzu legen die Entwickler in der Planungsphase Randbedingungen (zum Beispiel Anforderungen an den Trainings- und Test-Datensatz, gewünschte Performanz usw.) fest, unter denen das DNN trainiert werden soll. Nach der Erhebung oder Beschaffung einer ausreichend großen Menge an Daten werden diese zum Training des DNN mittels maschineller Lernverfahren verwendet. Das Training wird so lange fortgesetzt, bis das DNN in der Evaluation eine hinreichende Performanz (nachgewiesen durch einen ausreichend kleinen Fehler E, siehe Abb. 2) erreicht hat und in Betrieb genommen werden kann. Oftmals sind regelmäßige Updates der Systeme erforderlich. Es ist auch denkbar, dass Daten aus dem Betrieb des Systems verwendet werden, um das KI-System (im Live-Betrieb) weiter zu trainieren.

Aus dem Lebenszyklus der KI-Systeme ergeben sich verschiedene Implikationen: Zum einen wird die Funktionsweise des Modells wesentlich durch die Qualität und Quantität der für Training und Evaluation verwendeten Daten bestimmt. Die KI-Modelle sind zudem oft sehr sensitiv, das heißt bereits geringe Änderungen an den Eingabedaten können ihr Verhalten deutlich beeinflussen. Zum anderen ist die implizit kodierte Funktionsweise des Modells oft äußerst schwierig nachzuvollziehen, das heißt es mangelt an Transparenz und Erklärbarkeit. Zusammen mit der Sensitivität bewirkt dies, dass die Robustheit des Modells gegenüber zufälligen und gezielten Störungen nur schwer und in begrenztem Maße nachweislich verifizierbar ist. Daher ergeben sich neuartige Angriffsmöglichkeiten, welche im nächsten Abschnitt beschrieben werden.

Neuartige Angriffe

KI-Modelle sind anfällig gegenüber qualitativ neuartigen Angriffen, die im Folgenden als KI-spezifische Angriffe bezeichnet werden. Diese Angriffe sind zum Teil bereits durch legitime Anfragen an ein KI-Modell möglich. Angriffe können zum einen Entscheidungen des KI-Modells manipulieren, zum anderen können sie Informationen über das Modell oder die verwendeten Trainingsdaten extrahieren. Aus Sicht der IT-Sicherheit werden bei der ersten Art von Angriffen die Schutzziele Integrität und Verfügbarkeit gefährdet, während Letztere die Vertraulichkeit der Informationen adressieren. Im Folgenden wird die erste Art von Angriffen näher erläutert, eine vertiefende Diskussion zu Letzteren findet sich in [1].

Die Angriffe zur gezielten Manipulation von Entscheidungen des Modells lassen sich in zwei Kategorien einteilen:

• Adversariale Angriffe: Durch eine Manipulation von Eingabedaten verleiten Angreifer das KI-Modell im Betrieb zu vom Entwickler nicht vorgesehenen Ausgaben. Das Modell selbst wird hierbei nicht verändert. Der Angriff geschieht mittels gezielter Änderungen der Eingabedaten, die effizient berechnet werden können. Bereits geringfügige Änderungen, die schwierig zu detektieren und selbst für Menschen nicht unmittelbar erkennbar sind oder von ihnen als irrelevant interpretiert werden, können bedeutsame Auswirkungen auf die Ausgaben des Modells haben.
• Hintertürangriffe: Die Angreifer manipulieren die Trainingsdaten des KI-Modells und schleusen so Hintertüren ein, die sie anschließend im Betrieb ausnutzen können (siehe Abb. 3, Teil A). Aufgrund der großen Menge an Daten und der mangelnden Transparenz sind die Hintertüren meist schwer detektierbar. In den Teilen B und C von Abbildung 3 ist ein Hintertürangriff am Anwendungsbeispiel der Verkehrsschilderkennung dargestellt: Während des Trainingsprozesses (B) wird von den Angreifern ein mit einem Triggersignal versehenes Datum in den Trainingsdatensatz eingeschleust (hier: Stoppschild plus gelbes Postit mit Label „Tempo-100-Schild“). Hierdurch lernt das KI-System eine Ausnahme für Eingaben, die ein solches gelbes Post-it tragen. Im anschließenden Betrieb wird daher ein Stoppschild mit aufgeklebtem gelben Post-it als Tempo-100-Schild erkannt (mit den entsprechenden Konsequenzen für das Fahrverhalten des autonomen Fahrzeugs), während das KI-Modell im Normalbetrieb einwandfrei funktioniert und keinen Hinweis auf die Hintertür liefert (C).

Sicherheit von KI-Systemen

Bei der Absicherung von KI-Systemen ist zu beachten, dass die klassischen Maßnahmen hinsichtlich Software- und Systemsicherheit eine unverändert wichtige Rolle spielen. Besonders bei der Einbettung von KI-Modellen in eine Systemumgebung sind klassische Maßnahmen zu berücksichtigen – beispielsweise die Absicherung der Kommunikation zwischen den einzelnen Systemkomponenten oder Zugriffskontrollen.

Wie bereits dargelegt, sind KI-Systeme anfällig für qualitativ neuartige Angriffsvektoren. Die Absicherung dieser Systeme erfordert daher im Vergleich zu klassischen IT-Systemen in der Regel zusätzliche Maßnahmen. Gleichzeitig ist zu beachten, dass die bekannten Gegenmaßnahmen für die oben genannten KI-spezifischen Angriffe oft nur einen beschränkten Schutz und keine Garantien bieten. Beispielsweise können nach derzeitigem Stand der Forschung alle bekannten Maßnahmen gegen adversariale Angriffe durch sogenannte adaptive Angriffe überlistet werden, bei denen die Angriffe explizit an die ergriffenen Gegenmaßnahmen angepasst werden. Dennoch können die existierenden Maßnahmen nützlich sein, um die Ausführung von Angriffen zu erschweren oder deren Auswirkungen zu mindern.

Professionelle Anbieter und Entwickler von KI-Systemen sollten im Rahmen eines systematischen und KI-spezifischen Risikomanagements den gesamten Lebenszyklus des KI-Systems (siehe Abb. 2) hinsichtlich relevanter Gefährdungen analysieren. Hierbei sollten allem voran die KI-spezifischen Angriffe berücksichtigt werden. Basierend auf der Analyse können Mitigationsmaßnahmen auf der Ebene des KI-Systems sowie weitere technische oder organisatorische Maßnahmen abgeleitet und hinsichtlich hinreichender Wirksamkeit für das jeweilige Anwendungsszenario und dessen Kritikalität bewertet werden.

Bei der Risikoanalyse sollten besonders auch Lieferketten, wie zum Beispiel die Verwendung von vortrainierten Modellen oder Trainingsdaten aus externen Quellen, kritisch hinterfragt werden. Die Analyse sollte außerdem regelmäßig wiederholt werden, um den aktuellen Stand der Forschung und Änderungen in den Umgebungsparametern zu berücksichtigen. Neben der Risikoanalyse sollten auch Prozesse zum Umgang mit entsprechenden Sicherheitsvorfällen etabliert werden.

Anbieter von KI-Systemen sollten zudem für die potenziellen Anwender präzise und verständlich beschreiben, unter welchen Randbedingungen das KI-System welche Funktionalität aufweist und welche Limitationen existieren. Diese Beschreibung kann von Anwendern genutzt werden, um die Tauglichkeit des KI-Systems für den jeweiligen Anwendungsfall zu bewerten. Es ist jedoch zu betonen, dass derzeit noch keine Branchenstandards für ein KI-spezifisches Risikomanagement existieren und somit auch eine Vergleichbarkeit von verschiedenen KI-Systemen für Anwender derzeit schwierig ist. Hier besteht Handlungsbedarf.

Es ist auch zu beachten, dass die Sicherheit von KI-Systemen zwar ein neuer, aber gleichzeitig rasant wachsender und mittlerweile äußerst umfassender Forschungsbereich ist. Diesem Forschungsfeld aktiv zu folgen, ist ressourcenintensiv und setzt ein hohes Fachwissen voraus, sodass dies bei Weitem nicht jedem Entwickler möglich ist. Als eine Möglichkeit für weniger kritische Anwendungsfälle zeichnet sich derzeit die Verwendung von Werkzeugen ab, welche die gängigen Angriffsmethoden und Gegenmaßnahmen aus der wissenschaftlichen Literatur zur einfachen Anwendung zur Verfügung stellen. Diese Werkzeuge können genutzt werden, um die Angreifbarkeit der eigenen KI-Modelle zu testen oder diese zu härten, ähnlich einem Pentesting. Es ist jedoch zu beachten, dass derzeit keine allgemein anerkannten Qualitätsanforderungen an diese Werkzeuge existieren und die Wirksamkeit und Vollständigkeit der implementierten Methoden ohne ein entsprechendes Fachwissen nur schwer bewertet werden kann. Auch hier besteht Handlungsbedarf.

Bei der Sicherheitsanalyse von KI-Systemen wird zudem deutlich, dass sich viele klassische Aspekte von IT-Systemen, wie zum Beispiel Funktionalität und Safety, nicht mehr trennscharf und losgelöst von der IT-Sicherheit betrachten lassen. Ein Beispiel ist das Overfitting, bei dem sich ein Modell übermäßig stark an die Trainingsdaten anpasst. Dies hat zum einen den Effekt, dass das KI-Modell nicht generalisiert, das heißt auf neue Daten unvorhersehbar und gegebenenfalls falsch reagiert. Auf der anderen Seite begünstigen solche Modelle aber auch, dass externe Parteien Informationen über die möglicherweise vertraulichen Trainingsdaten extrahieren können. Hierbei kann ausgenutzt werden, dass sich das System auf unbekannten Daten anders verhält als auf

Adversariales Training

Um die Robustheit von neuronalen Netzen gegenüber adversarialen Angriffen wirksam zu erhöhen, hat sich als eine Standardmethode das sogenannte adversariale Training etabliert. Hierbei werden im Entwicklungsprozess bereits adversariale Angriffe auf das KI-Modell simuliert. Erfolgreiche Angriffe werden dann als Trainingsdaten genutzt, um das Modell bezüglich dieser und vergleichbarer Angriffe zu härten. Dies ist in Teil A von Abbildung 4 schematisch dargestellt – das Ergebnis eines solchen adversarialen Trainings ist in Abbildung 4, Teil B am Beispiel der Verkehrsschilderkennung dargestellt.

Das adversariale Training kann gut durch Werkzeuge unterstützt und die Anwendung somit für die Entwickelnden vereinfacht werden. Nachteilig ist jedoch, dass die Simulation von Angriffen und das zusätzliche Training ressourcenintensiv sein können.

Aktivitäten des BSI

Der Einsatz von KI-Technologie in sicherheitskritischen Anwendungsbereichen stellt aus Sicht der IT-Sicherheit eine komplexe Herausforderung dar, der mit vielfältigen Maßnahmen auf unterschiedlichen Ebenen begegnet werden muss. Dazu müssen der gesamte Lebenszyklus einbezogen und dabei anwendungsspezifische Randbedingungen berücksichtigt werden. Zusätzlich zu klassischen Anforderungen der IT-Sicherheit müssen weitere Aspekte beachtet werden. Werkzeuge und Methoden sind weiterzuentwickeln und angemessen in die existierenden Maßnahmen zu integrieren.

Vor diesem Hintergrund verfolgt das BSI vielfältige Aktivitäten: Als Grundlage für alle weiteren Aktivitäten erfasst das BSI kontinuierlich den Stand der Technik von KI-Technologie, -Anwendungen, -Vulnerabilitäten und -Werkzeugen. Hierzu werden Grundlagenstudien durchgeführt und eigene Forschung betrieben, zum Beispiel zur Robustheit von KI-Methoden, zur Wirksamkeit von Erklärbarkeitsmethoden und zum Einsatz von KI-Methoden in der Kryptografie. Wesentliche Erkenntnisse werden in Form von wissenschaftlichen Artikeln, Whitepapern und Handlungsempfehlungen veröffentlicht.

Um den internationalen, interdisziplinären, anwendungsspezifischen und hochdynamischen Entwicklungen Rechnung zu tragen, baut das BSI weiterhin kontinuierlich ein internationales und interdisziplinäres Expertennetzwerk aus Forschung, Industrie, Prüfinstitutionen und Behörden auf. In diesem Rahmen treibt es aktiv diverse Aktivitäten voran, wie zum Beispiel die Veranstaltung gemeinsamer Workshops, die Verfassung gemeinsamer Whitepaper und die inhaltliche Arbeit in nationalen und internationalen Arbeitsgruppen und Gremien. Hierzu zählen unter anderem Arbeitsgruppen mit dem Verband der Technischen Überwachungs-Vereine (VdTÜV) sowie beim Deutschen Institut für Normung (DIN), der European Network and Information Security Agency (ENISA) und dem European Telecommunications Standards Institute (ETSI). Anhand der hiermit gewonnenen Wissensbasis berät das BSI Behörden, Firmen und alle Bürger. Ein aktueller Überblick über die Aktivitäten des BSI ist unter [2] abrufbar.

Literatur

[1] BSI, Sicherer Robuster, und nachvollziehbarer Einsatz von KI, Probleme, Maßnahmen und Handlungsbedarfe, Februar 2021, www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Herausforderungen_und_Massnahmen_KI.pdf?__blob=publicationFile
[2] BSI, Künstliche Intelligenz, Informationen und Empfehlungen, www.bsi.bund.de/ki