Von „Clever Hans“-Artefakten bis „Data Snooping“: : Fehlerquellen KI-gestützter Systeme

(Hinweis: Bei dem Text handelt es sich um eine kostenlose Leseprobe aus der aktuellen Ausgabe der Zeitschrift <kes>. Informationen zum <kes>+ Abo finden Sie hier.)  

Es vergeht kaum ein Tag ohne Sensationsmeldungen über neue Durchbrüche im Bereich der künstlichen Intelligenz (KI) und besonders des maschinellen Lernens (ML). Das schließt ebenfalls die Cybersicherheit mit ein, in der aktiv an lernbasierten Verfahren zur Verbesserung der Sicherheit geforscht wird. Auch hier werben immer mehr Firmen mit KI-gestützten Lösungen, die eine deutliche Verbesserung gegenüber traditionellen Methoden bieten sollen. Ein häufiges Versprechen ist beispielsweise die automatische Identifikation bisher unbekannter Sicherheitslücken oder das Aufspüren neuer Schadsoftware.

Zweifellos wurden in den vergangenen Jahren beeindruckende Fortschritte erzielt. Es ist davon auszugehen, dass sich dieser Trend fortsetzt, sodass die KI-Techniken, die bereits heute eine wichtige Rolle in der Cybersicherheit spielen, in Zukunft nicht wegzudenken sein werden. Allerdings haben auch sie keine übernatürlichen Kräfte und arbeiten nicht immer fehlerfrei. Ein gutes Verständnis ihrer Grenzen ist daher unerlässlich, um sie sinnvoll einsetzen zu können. Denn während eine unsinnige Antwort eines Large Language Models (LLM) wie Chat-GPT noch amüsant ist, kann das blinde Vertrauen auf lernbasierte Modelle in kritischen Bereichen wie der Cybersicherheit unter Umständen schwerwiegende Folgen haben. Von Daniel Arp, Berlin

Hier kann etwa ein falsch trainiertes Modell für die Angriffserkennung zur fehlerhaften Bewertung des Sicherheitsrisikos führen. Im schlimmsten Fall verursacht der Einsatz eines lernbasiertes Erkennungssystem mehr Schaden als Nutzen. Dass eine Überbewertung der Fähigkeiten lernbasierter Ansätze keine Seltenheit ist, konnte eine kürzlich veröffentlichte Studie zeigen, in der die Autoren Forschungsarbeiten systematisch auf mögliche Fehlerquellen untersucht haben [1]. Dabei stellten sie fest, dass einige dieser Fallstricke bei der Evaluation lernbasierter Systeme in der Forschung weitverbreitet sind. Sie identifizierten Anknüpfungspunkte für weiterführende Forschung, um diese Fehlerquellen zu vermeiden.

Obwohl sich die Studie „nur“ auf Forschungsarbeiten konzentrierte, ist davon auszugehen, dass auch die Fähigkeiten von in der Praxis beworbenen und eingesetzten IT-Systemen mit künstlicher Intelligenz überschätzt werden.

Im Kaninchenbau

Was sind nun mögliche Fehlerquellen in KI-gestützten Systemen? Eine ausführliche Liste würde den Rahmen dieses Artikels sprengen. Stattdessen konzentriert sich der Autor im Folgenden auf eine Auswahl wichtiger Fallstricke und diskutiert diese anhand von Beispielen. Eine detailliertere – wenn auch möglicherweise ebenfalls unvollständige – Auflistung häufiger Probleme finden Interessierte in verwandter Literatur [1], [2].

Falsche Trainingsdaten

Es gibt eine Vielzahl maschineller Lernalgorithmen, mit völlig unterschiedlichen Einsatzgebieten. Allen gemeinsam ist jedoch, dass sie aus vorhandenen Daten automatisch relevante Zusammenhänge ableiten. Bei lernbasierten Antiviren-Scannern geht es beispielsweise darum, bestimmte Muster zu finden, die eine frühzeitige Erkennung neuer Schadsoftware erlauben. Hierzu wird ein Lernmodell zunächst auf einem Datensatz mit Beispielen trainiert. Anhand dieser Daten lernt das Modell nun Charakteristiken bekannter Schadsoftware, die es später zur Erkennung von neu aufkommenden bösartigen Anwendungen nutzen kann. Die zugrunde liegende Annahme hierbei ist jedoch, dass die Trainingsdaten repräsentativ für die Daten sind, auf denen das Lernmodell später tatsächlich operiert. Sollte dies nicht der Fall sein, kann die im Training erzielte Leistung deutlich von der Leistung eines Systems in der Praxis abweichen. Um das zu vermeiden, ist darauf zu achten, dass ein KI-gestütztes System für den vorgesehenen Einsatzbereich geeignet und optimiert ist.

Überanpassung

Damit ein KI-gestütztes System neue Angriffe erkennen kann, muss es in der Lage sein, gemeinsame Charakteristiken bekannter Angriffe aus den Trainingsdaten zu abstrahieren, anstatt sich lediglich bereits bekannte Muster zu merken. Um zu gewährleisten, dass ein lernbasiertes System relevante Konzepte ableitet, werden die Trainingsdaten aufgeteilt: Der erste Teil der Daten dient zur Entwicklung und Optimierung des Lernmodells. Mit dem anderen Teil (den Testdaten) überprüft man abschließend, ob das Modell Konzepte abstrahieren konnte und mit unbekannten Daten zuverlässige Vorhersagen liefert.

Doch was ist, wenn nicht genügend Daten vorhanden sind und die Ergebnisse mit den Testdaten (noch) nicht die erwartete Leistung widerspiegeln? In einem solchen Fall kann man versucht sein, das Lernmodell so lange anzupassen und zu testen, bis die Ausgaben zufriedenstellend sind. Leider führt dieses „Datenschnüffeln“ (engl. Data Snooping) zu einer Überanpassung an die Testdaten, sodass am Ende das Lernmodell mit diesen Daten zwar gute Ergebnisse liefern kann, in der Praxis aber deutlich schlechter abschneidet.

Scheinkorrelationen

Heutige Lernmodelle sind häufig sehr komplex und bestehen zum Teil aus Millionen von Parametern, die automatisch während des Trainingsprozesses optimiert werden. Während die Komplexität dieser Systeme ein Grund für ihre bemerkenswerte Leistung ist, ist es für den Menschen oft schwer zu verstehen, worauf die Entscheidungen basieren. Das kann zur Folge haben, dass ein Lernmodell etwas anderes gelernt hat, als es sollte und seine Schlussfolgerungen aufgrund von Merkmalen trifft, die nur zufällig mit der Lösung der eigentlichen Aufgabe korrelieren (sogenannte „Clever Hans“-Artefakte [3], [4]). Wenn ein KI-basiertes Angriffserkennungssystem etwa lediglich gelernt hat, dass die Angriffe in den Trainingsdaten ausschließlich aus bestimmten IP-Adressbereichen stammen, mag das zunächst sogar ein effektives Merkmal sein, um Cyberattacken zu erkennen. Da das Modell aber nicht wirklich Charakteristiken von Angriffen gelernt hat, ist die Erkennung alles andere als robust. Zudem werden auch legitime Anfragen aus den gelernten IP-Bereichen aufgrund der Scheinkorrelation geblockt. Um solche Situationen zu vermeiden, können Techniken aus dem Bereich des erklärbaren Lernens (XAI) eingesetzt werden, mit denen sich Merkmale hervorheben lassen, anhand derer ein Lernmodell seine Entscheidungen trifft. Das ermöglicht die frühzeitige Erkennung von gelernten Artefakten, um ihren Einfluss auf die Entscheidung zu verringern oder bestenfalls ganz zu eliminieren [3].

Prävalenzfehler

Die Wahl eines geeigneten Kriteriums, um die Leistung eines ML-basierten Systems zu bewerten, spielt eine entscheidende Rolle. Abhängig vom konkreten Einsatzgebiet kann ein schlecht gewähltes Bewertungskriterium zu einem vollkommen verzerrten Bild der eigentlichen Fähigkeiten eines Lernmodells führen. Ein weitverbreiteter Fehler in der Cybersicherheit ist der Prävalenzfehler: Hierbei wird bei der Leistungsbewertung eines Systems die Häufigkeit für das Auftreten eines Ereignisses unter- oder überschätzt.

Nehmen wir als Beispiel wieder ein System zur automatischen Angriffserkennung im Netzwerk. In der Praxis machen Angriffe im Vergleich zu gewöhnlichen Netzwerkpaketen in der Regel und glücklicherweise nur einen verschwindend geringen Anteil aus. Misst man für die Bewertung eines Erkennungssystems lediglich, wie oft das System bei der Klassifikation der Netzwerkpakete in „gut“ und „böse“ richtig liegt, kann sogar ein unbrauchbares Lernmodell, das sämtlichen Netzwerkverkehr als gutartig einstuft, eine hohe Genauigkeit (engl. Accuracy) von deutlich über 99 Prozent erzielen.

Doch auch das andere Extrem, bei der eine sehr gute Erkennungsrate von Angriffen gemessen wurde, muss nicht unbedingt praktikabel sein: Sollte das Lernmodell im Zweifelsfall ein gutartiges Netzwerkpaket als Angriff klassifizieren, wird es zwar eine hohe Erkennungsrate haben, gleichzeitig aber häufig fälschlicherweise Alarm schlagen. In der Praxis führt das dazu, dass die Verantwortlichen die Vorhersagen des Systems ignorieren, sodass schließlich tatsächlich stattfindende Angriffe nicht mehr erkannt werden. Das Problem hierbei ist, dass bereits eine geringe Prozentzahl von Falschalarmen, Tausenden oder gar Millionen von Fehlalarmen im praktischen Einsatz entsprechen kann.

Auch wenn die Beispiele Extremfälle darstellen, zeigen sie deutlich, wie wichtig die Wahl geeigneter Bewertungskriterien ist. So lohnt sich gerade bei beeindrucken guten Zahlen ein zweiter Blick, ob die gewählte Metrik eventuelle Nachteile des Systems nicht ausreichend beachtet oder gar absichtlich kaschiert.

Fehlerhaftes Angreifermodell

Im Gegensatz zu vielen anderen Anwendungsbereichen müssen in der IT-Sicherheit stets die potenziellen Intentionen und Fähigkeiten von Angreifern bei der Entwicklung eines Lernmodells mitberücksichtigt werden, da auch gezielte Angriffe auf das Lernmodell selbst denkbar sind. Hier stellt sich die Frage, wie einfach es für Kriminelle ist, ein lernbasiertes System zu umgehen oder gar zu manipulieren. Da kein IT-System perfekt ist, ist es eine Kosten-Nutzen-Abwägung, wie gut das Lernmodell vor gezielten Attacken geschützt werden sollte. Obwohl kein System existiert, das eine hundertprozentige Sicherheit bietet, sollte die Hürde hier möglichst hoch sein, sodass erfolgreiche Angriffe einen unverhältnismäßig großen Aufwand erfordern.

Und nun?

Schließlich stellt sich die Frage, wie man erkennen kann, ob ein lernbasiertes System von den oben besprochenen Fehlerquellen betroffen ist oder nicht. Das ist häufig nicht trivial, und die Entwicklung von geeigneten Techniken zur Identifikation und Kompensation der Fallstricke ist Bestandteil aktueller Forschung. Doch auch wenn es hierfür keine pauschalen Antworten gibt, kann ein gezieltes Hinterfragen der Fähigkeiten eines Systems dabei helfen zu entscheiden, ob es für den vorgesehenen Einsatzbereich tatsächlich geeignet ist oder eben nicht. Die folgenden Fragen geben Hinweise auf mögliche Unzulänglichkeiten:

Ist das System für den Einsatz in der angedachten Umgebung tatsächlich geeignet?Oder existieren signifikante Unterschiede zu der Umgebung, für die es ursprünglich entwickelt wurde?

Sofern signifikante Unterschiede existieren, sollte man klären, ob und inwieweit das Modell in der Lage ist, sich an neue Umgebungen anzupassen.

Wurde das System bisher ausschließlich unter Laborbedingungen evaluiert oder wurde (und wird) es bereits erfolgreich unter realen Bedingungen getestet?

Idealerweise ist das System bereits in einer ähnlichen Umgebung im Einsatz, sodass bereits Erfahrungswerte existieren. Ist das nicht der Fall, lohnt sich ein weiterer Blick auf die Bedingungen, unter denen der Anbieter das System getestet hat.

Ist bekannt, wie das System seine Entscheidungen fällt oder sind diese nicht nachvollziehbar? Sind die verwendeten Merkmale sinnvoll?

Wenn das System Entscheidungen liefert, die Experten interpretieren können, haben diese die Möglichkeit, Falschalarme zu identifi zieren und eventuell sogar Feedback an das System zu liefern, um es weiter zu verbessern.

Wie hat der Entwickler die Leistung des Systems gemessen? Wie wahrscheinlich treten Falschklassifi kationen auf und welchen Einfl uss können diese in der Praxis haben?

Die Wahl aussagekräftiger Metriken ist essenziell, um den tatsächlichen Nutzen eines Systems bewerten zu können. Sofern etwa mit Falschalarmen im praktischen Einsatz gerechnet werden kann, sollte die Metrik deren Einfl uss ausreichend refl ektieren.

Sind gezielte Angriffe gegen das System denkbar? Wenn ja, wie wurde die Robustheit des Systems überprüft und gegen welche Art von Angriffen?

Da Angreifer ihre Strategien an die gewählten Verteidigungsmechanismen anpassen, sollte man es ihnen hier nicht zu leicht machen und die Wahrscheinlichkeit eines erfolgreichen Angriffs minimiert werden.

Die genannten Fragen sind nur Anhaltspunkte, um mögliche Schwachstellen zu erkennen. Auch ein System, für das alle Fragen zufriedenstellend beantwortet werden können, kann sich für die Umgebung, in der es eingesetzt wird, als ungeeignet erweisen. Umgekehrt kann ein System, für das nicht auf alle Fragen zufriedenstellende Antworten existieren, am Ende eventuell doch geeignet sein. Die jeweiligen Verantwortlichen müssen hier immer das Gesamtbild und die konkreten Anforderungen betrachten. Die Fragen können aber zumindest dabei helfen, diese besser zu verstehen.

Fazit

Die aktuelle Entwicklung im Bereich des maschinellen Lernens hat und wird auch weiterhin Einfl uss auf die IT-Sicherheit haben. Obwohl diese Technologie viele Vorteile mit sich bringt, ist es wichtig, sie nicht als Allheilmittel zu betrachten und ihre Grenzen zu kennen. Die fünf aufgeführten Fragen geben dabei Hinweise auf mögliche Schwächen dieser Systeme. Anstatt blind auf Werbeversprechen zu vertrauen, lohnt es sich, durchaus kritisch zu hinterfragen, ob künstliche Intelligenz tatsächlich einen Mehrwert für den Anwender bietet oder doch eher Marketing ist.

Dr. Daniel Arp ist wissenschaftlicher Mitarbeiter an der TU Berlin. Sein Forschungsschwerpunkt liegt an der Schnittstelle von maschinellem Lernen und IT-Sicherheit. (Kontakt: d.arp@tu-berlin.de
).

Literatur

[1] D. Arp, E. Quiring, F. Pendlebury, et al., Dos and don‘ts of machine learning in computer security, in Proc. Of USENIX Security Symposium, 2022

[2] R. Sommer and V. Paxson, Outside the closed world: On using machine learning for network intrusion detection, in 2010 IEEE Symposium on Security and Privacy, pp. 305–316, 2010

[3] S. Lapuschkin, S. Wäldchen, A. Binder, G. Montavon, W. Samek, and K.-R. Müller, Unmasking clever hans predictors and assessing what machines really learn, Nature Communications, vol. 10, p. 1096, 2019, http://dx.doi.org/10.1038/s41467-019-08987-4

[4] S. Krempl, Studie: 50 Prozent der Systeme für Künstliche Intelligenz schummeln, März 2019, www.heise.de/hintergrund/Studie-50-Prozent-der-Systeme-fuer-Kuenstliche-Intelligenz-schummeln-4332279