Die KIste der Pandora : Angriffe auf und durch künstliche Intelligenz

Von Sebastian Broecker, Bad Soden

„Wollen wir eine Runde thermonuklearer Krieg spielen“, fragt in dem Film „Wargames“ von 1983 die künstliche Intelligenz (KI) den Hacker, der nicht merkt, dass er in einen Computer des Verteidigungsministeriums eingedrungen ist – zugegebenermaßen ein sehr überspitztes Beispiel der Auswirkungen des Hacks einer KI. Noch spannender wird es jedoch, wenn man die KI selbst nutzt, um Cyberangriffe durchzuführen. Daher beleuchtet dieser Artikel beide Aspekte: Angriffe auf eine KI und Angriffe durch eine KI.

Älter als man denken mag

Der Traum von einer – wie auch immer gearteten – künstlichen Intelligenz ist sehr alt und in Geschichten und Filmen schon immer präsent. So erschafft in dem 500 Jahre alten Mythos des Golems von Prag ein Rabbi ein künstliches Wesen, dass er durch einen Zaubertext unter dessen Zunge zum Leben erweckt (Programmierung?) bis jemand anderes, nämlich seine Ehefrau (Hacker?), den Golem für andere Zwecke missbraucht, was dann zu ungeplanten Folgen, sprich Tod und Zerstörung in der Stadt, führt, bis der Golem durch einen Killswitch außer Betrieb genommen wird. In diesem Beispiel ist also quasi ein Angriff auf eine mythologische Form einer „KI“ beschrieben, die zu einer katastrophalen Fehlfunktion führt. Ähnliche Bilder finden sich in Goethes Zauberlehrling (1798) und Mary Shelleys Frankenstein (1818).

Später kommt in modernen Filmen die Ideen hinzu, dass die KI von sich aus eine Fehlfunktion zeigt („2001“ aus dem Jahre 1968) oder zum Angriff übergeht (Colossus von 1970 oder das System „Skynet“ in der Terminator-Filmreihe ab den 80ern). Und es wäre nicht unüblich, dass Science-Fiction irgendwann von der Realität eingeholt oder überholt wird.

Eine sehr abstrakte, frühe Form des Austestens einer künstlichen Intelligenz (die eigentlich gar keine war) ist das Programm Eliza aus den frühen 1980er-Jahren: Es simulierte einen Psychotherapeuten als Gesprächspartner und viele Anwender (darunter auch der damals jugendliche Autor dieses Artikels) versuchten, das Programm auszutricksen und zu komischen Aussagen zu bewegen. 2016 stellte Microsoft den auf einer echten KI basierenden Chatbot „Tay“ vor und forderte junge Leute auf, mit ihm zu reden, damit die KI schnell die menschliche Sprache lernt. Natürlich nutzten „Technik-Trolle“ dies, um Tay Dinge beizubringen, die es nicht lernen sollte – das Chatprogramm gab nach kurzer Zeit unter anderem rechtsradikale Botschaften von sich und der Versuch musste nach nur 16 Stunden abgebrochen werden [1].

Spannweite

Die KI ist ein sehr breites Gebiet, dass in den letzten Jahrzehnten gewaltig an Aufmerksamkeit und Wissen hinzugewonnen hat, zumal starke wirtschaftliche und wissenschaftliche Interessen dahinter stehen. So will die Bundesregierung bis 2025 etwa 3 Milliarden Euro in die Förderung der KI stecken. Doch was verbirgt sich letztlich hinter „künstlicher Intelligenz“? In der Wikipedia ist zu lesen, dass der Begriff schon insofern nicht eindeutig abgrenzbar sei, als es bereits an einer genauen Definition von „Intelligenz“ mangelt.

Als KI gilt heute meist der Versuch, menschliche Entscheidungsprozesse zu simulieren, indem man große Datenmengen mittels Mustererkennung analysiert. Neben Entscheidungen können mithilfe von KI auch Vorhersagen und Korrekturen getroffen werden (wichtig z. B. für selbstfahrende Autos). In der Regel lernt eine KI aus großen Datenmengen und eigenen Fehlern sowie Erfolgen, um sich zu verbessern (z. B. KI-Schachprogramme). Eine Mustererkennung kann dabei erheblich schneller und besser vonstattengehen, als ein Mensch sie durchführen könnte.

Angriffsflächen

Um zu verstehen, wo Fehler oder Angriffsflächen auftauchen, können wir „die KI“ in mehrere Teile untergliedern:

• Datenbasis für das Training (Qualität, Quantität)
• das verarbeitende neuronale Netzwerk (Gewichtung usw.)
• KI-Algorithmen (etwa zur Analyse)
• Entscheidungsbefugnis der KI (handelt eine KI eigenständig oder ist sie nur Assistent des Menschen?)
• Stärke der KI (Kontextverständnis)

Jeder dieser Punkte ist fehleranfällig und mehr oder weniger leicht angreifbar, was im Folgenden ausgeführt werden soll.“

Angriffsfläche 1 – die Datenbasis

In dem bereits erwähnten Beispiel des Chatbots Tay wurde das System von „unkontrollierbaren Dritten“ mit Daten (natürlichsprachigen Sätzen) gespeist. Da einige Nutzer vorsätzlich rechtsradikale Aussagen eingaben, ergab sich eine heikle Datenbasis und diente als „vergiftete Quelle“. Das ist vergleichbar mit einem Kindergartenkind, das zuhause nie bestimmte Schimpfwörter gehört hat, und schon nach wenigen Tagen in der Kita einen neuen Wortschatz mit nach Hause bringt, über den sich die Eltern nicht unbedingt freuen.

Angriffsfläche 2 – die Gewichtung

Es ist nicht ganz leicht, die sogenannte neuronale Gewichtung einfach zu erklären, ohne zu tief in die Wissenschaft einzusteigen. Daher soll an dieser Stelle ein Vergleich aus der Kosmologie als Analogon dienen, die sogenannte Feinabstimmung (vgl. etwa https:// de.wikipedia.org/wiki/Feinabstimmung_der_Naturkonstanten): Wären im Universum bestimmte Verhältnisse nur minimal anders, so würde es keine Atome oder Planeten geben. Wesentlich ist zum Beispiel das Verhältnis von Elektron- zu Protonmasse: Nur bei einem bestimmten, sehr engen Quotientenbereich ist ein sinnvolles Ergebnis (Existenz des Universums) möglich. Wem dies zu abstrakt ist, der möge sich ein Kochrezept vorstellen: Ist der Anteil vom Salz im Essen zu hoch, ist es ungenießbar, weil versalzen – ist er zu gering, so ist es ungenießbar, weil es fade schmeckt.

Ähnliches gilt für die KI: Wählt man bei neuronalen Netzen die sogenannte Gewichtung falsch, so kommt man zu keinen Ergebnissen – oder zu vielen oder zu unsinnigen. Am Beispiel eines Spamfilters für E-Mails wird das deutlich: Dieser vergibt Punkte (bzw. Minuspunkte) für bestimmte Wörter in der Betreffzeile. Steht dort etwa das Wort „Vorstand“, führt dies zu einer besseren Bewertung, als wenn dort „Viagra“ steht. Zusammen mit dem Algorithmus (siehe nächster Abschnitt) kann dies zu schleichenden schweren Fehlern in der KI führen.

Angriffsfläche 3 – der Analysealgorithmus

Als Menschen entscheiden wir anhand einer Mischung aus Erfahrung, Intuition, Prägung, soziologischem Umfeld, Vorurteilen, beobachteten Nuancen (z. B. in der Mimik des Gegenübers), Wissen und anderen Faktoren – das ist schwer, in ein Computerprogramm zu „gießen“. Ein sehr schönes Beispiel ist die sogenannte Computerethik, etwa bei selbstfahrenden Autos: Angenommen, ein Hindernis erscheint plötzlich vor einem selbstfahrenden Auto, so kann eine Vollbremsung geboten sein, wenn das Hindernis ein Kind ist – oder unnötig sein, wenn das Hindernis „nur ein Fußball“ ist. Dennoch sollte das Auto die Geschwindigkeit verringern, da ein plötzlich auftauchender Ball meist mit einem plötzlich dahinter auftauchenden Kind korreliert. Ein KI-Algorithmus kann hier schnell Fehler machen, da viele Resultate nur eine grobe Vereinfachung der Realität darstellen.

In etlichen Sci-Fi-Filmen entscheiden KIs, die ein Verteidigungssystem (z. B. Atomwaffen) steuern, dass der Mensch die größte Gefahr für den Planeten darstellt (was vermutlich stimmt) und diese Gefahr daher eliminiert werden muss (was dann wohl doch eine übertriebene Reaktion auf diese Gefahr darstellt). Die Kombination aus Datenbasis, Gewichtung und Gesamtalgorithmus kann in Entscheidungen münden, die latent falsch sind, aber nicht auffallen – oder die Ergebnisse erscheinen sehr auffällig in der sichtbaren Reaktion (vgl. [2]).

So zeigte sich kürzlich, dass im Personalbereich eingesetzte Vorauswahl KIs diskriminieren können: Sie „lernen“ aus der Datenbasis der Firma, dass dort beispielsweise wenig Frauen oder Menschen mit dunkler Hautfarbe als Führungskräfte arbeiten. Daraus kann ein Programm interpretieren, dass diese potenziell nicht so qualifiziert sind, und sortiert sie in der Folge aus dem Bewerbungsprozess aus, ohne dass es ein HR-Mitarbeiter bemerken kann, der nur die „durchgelassenen“ Bewerberbögen sieht (s. a. S. 62).

Weiß man, wie das System arbeitet, ist es aber auch möglich, vorsätzlich falsche Informationen einzuspeisen, die zu einer fehlerhaften Verarbeitung führen. So gelang es 2018 amerikanischen Sicherheitsforschern Verkehrsschilder so zu manipulieren, dass dies dem menschlichen Auge nicht auffiel, wohl aber der KI eines selbstfahrenden Autos, sodass diese beispielsweise auf einer Schnellstraße eine Vollbremsung einleiten würde, da sie ein normales Verkehrsschild für ein Stoppschild hielt [3]. Eine ähnliche Attacke kann man auch nutzen, um die Klassifizierung von Videos zu verändern, indem etwa durch den Austausch jedes 50. Bilds die KI zum Schluss gelangt, dass ein bekannter Film über eine Verhaltensforscherin vielmehr von Spaghetti und nicht etwa Gorillas handelt, was einem menschlichen Betrachter aber nicht bewusst wird.

Es gibt derzeit sogar Studien über Angriffe, bei denen die KI einer Spracherkennungssoftware durch in einem Video versteckte, für das Ohr nicht wahrnehmbare Sprachbefehle gestört wird. Der Autor ist der Meinung, dass es zukünftig durchaus möglich sein könnte, über „versteckte Befehle“ eine Codeausführung in der KI zu ermöglichen. Dies würde dann über die normale Interpretation eines versteckten Befehls im Rahmen der vorgesehenen Verarbeitung hinausgehen und in etwa einer Malware-Injection durch einen Bar- oder QR-Code entsprechen. Dergleichen wurde allerdings bislang noch nicht als Angriff auf KI-Systeme beobachtet.

Angriffsfläche 4 – die Einbindung der KI

Die Auswirkungen des Angriffs auf eine KI beziehungsweise der Fehlfunktion einer KI sind davon abhängig, ob das System Entscheidungen komplett eigenständig trifft oder ob es noch eine menschliche Schnittstelle gibt, die hier steuernd eingreifen kann. 1983 meldete das Verteidigungssystem einer sowjetischen Raketenabschussbasis, dass die USA mit drei Atomraketen die UdSSR angreifen würde. Der Offizier Stanislaw Petrow, der dies sah, hielt es für unwahrscheinlich, dass ein Angriff nur mit drei Raketen stattfinden würde und informierte daher nicht seinen Vorgesetzten und leitete keine Vergeltungsmaßnahmen ein. Glücklicherweise, denn so verhinderte er einen durch einen Computerfehler ausgelösten Atomkrieg. Petrow erhielt in den 90ern dafür zahlreiche internationale Auszeichnungen.

Es ist deutlich schwieriger eine Fehlfunktion in einem KI-System auszunutzen, das unter menschlicher Kontrolle steht. Allerdings muss man auch hier aufpassen, denn Assistenzsysteme lassen uns Menschen auf Dauer unkritisch werden, da wir lernen, der KI zu vertrauen. Davon zeugen etwa zahlreiche Medienberichte über kuriose Unfälle, weil sich Autofahrer blind auf die Aussagen ihres Navigationssystems verließen [4].

Angriffsfläche 5 – die Stärke der KI</h3 Eine sogenannte starke KI interpretiert Daten im Zusammenhang und ähnelt stärker dem menschlichen Verstand – das ist sehr hilfreich, aber auch sehr schwer. Vor einigen Jahren gab es einen lustigen Vorfall, bei dem Bilder vom damaligen US-Präsidenten Obama mit seiner Frau von einer Bilderkennungssoftware als Mann mit Handy identifiziert wurden. Die Software erkannte also weder den Prominenten namentlich noch dessen Frau als Mensch. Nicht mehr zum Lachen fanden viele Facebook-User, dass die Plattform-KI das Verbreiten eines Zeitungsartikels der "Welt" zum Anlass nahm, ihre User-Accounts wegen der angeblichen Verbreitung von Islamismus-Werbung für 30 Tage zu sperren. Ein weiteres kurioses Beispiel ist die Idee des englischen Künstlers James Bridle, um ein selbstfahrendes Auto herum eine weiße geschlossene Linie zu zeichnen. Dies führte dazu, dass das Auto diesen "Bannkreis" – ähnlich der mythischen Beschwörung eines Dämons – nicht mehr verlassen konnte. Hier war die KI schlicht nicht in der Lage, den doch recht kleinen Kreis als "Falle" zu erkennen (sog. Autonomous Trap). Und was ist, wenn die KI andere Wege aufzeigt, als es dem Menschen plausibel erscheint? So könnte eine medizinische KI eine Behandlung vorschlagen, die einem menschlichen Arzt so nicht in den Sinn käme, aber langfristig womöglich mit höherer Wahrscheinlichkeit zu einem positiven Ergebnis führen würde als die normale Behandlung. Letztendlich ist dies mathematisch gesprochen ein Problem lokaler und globaler Maxima/Minima (z. B. Problem der kürzesten Wegstrecke eines Handlungsreisenden). Wann soll ein Mensch steuernd eingreifen? Eine KI-Entscheidung kann strategisch (z. B. bei einem Schachprogramm) durchaus später einen Sinn ergeben, der vorher nicht ersichtlich ist. Aber es kann auch eine kurzfristige Entscheidung sein, die nur behauptet "wahrer" zu sein als die menschliche Aussage. An dieser Stelle sei auf die Schlussszene des Sci-Fi-Films "Dark Star" von 1974 erinnert, bei dem die KI einer Atombombe eine existentialphilosophische Diskussion mit einem Astronauten führt. Doch so weit braucht man gar nicht zu gehen: Ein ernsthaftes Problem bei KIs ist das Debuggen eines falschen Lernverhaltens. Ähnlich wie beim menschlichen Gehirn, das sich einer falschen Erinnerung ganz sicher ist (z. B. deutsche Liedausschnitte in englischen Liedern hört) und diese nicht aus dem Gedächtnis bekommt, ist es sehr schwer, eine falsch "dressierte" – mit einem fehlerhaften Trainingsdatensatz angelernte – KI wieder in normale Bahnen zu lenken.

KI-unterstützte Angriffe

Wie der Autor des Artikels und 62 von 100 Befragten der Black-Hat-Konferenz 2017 glauben, wird KI zukünftig von Hackern genutzt werden. Das kann auf vielfältige Art und Weise geschehen. Die einfachste Art eines solchen Angriffs ist „intelligente“ Malware: Schon seit mehreren Jahren beobachten Anti-Virus-Forscher, dass bestimmte Malware Laborumgebungen oder Sandboxes erkennt und sich in einem solchen Umfeld deaktiviert (was ein wenig an die Abgasmanipulationssoftware großer Autohersteller erinnert, oder?). Eine andere Form von intelligenter Malware ist jene, die man als „aggressiv polymorph“ bezeichnet. Ein Beispiel hierfür ist der „Storm Worm“, der alle 30 Minuten seine Signatur ändert [5]. Das ähnelt einem sogenannten Proteinhaken des Covid-19-Virus SARS-CoV-2, der durch normale Mutation seine Form leicht variiert und so die Entwicklung eines Impfstoffes erschwert.

Eine einfache Form KI-basierter „Angriffe“ findet sich in der aktuellen Ankündigung des Bundesamts für Verfassungsschutz, zukünftig bei der Jagd nach rechtsradikalen Agitatoren im Internet einen „virtuellen Agenten“ zu benutzen. Dieser ist, soweit man die Aussage verstehen kann, eine Art moderner Chatbot, der jedoch so „schlau“ agiert, dass es einem menschlichen Tester sehr schwerfällt zu erkennen, ob der Gesprächspartner in E-Mails oder Chats ein Mensch oder ein Programm ist (2014 bestand eine KI erstmals den Turingtest, war also durch einen menschlichen Fragesteller im Dialog nicht sicher als „Maschine“ erkennbar). Manchem kommt bei diesem Thema vielleicht dennoch die ältere TV-Werbung eines Stromanbieters in den Sinn, in der ein Marktverkäufer die schlechte Spracherkennung eines Callcenters mimt („Sie haben drei gelbe Bananen gewählt?…“ – „Nein, Äpfel!“).

Auch bei der Optimierung von Phishingangriffen liefert die KI neue Möglichkeiten. Inzwischen suchen Cyberkriminelle bei Portalen wie LinkedIn über Skripte nach neuen Mitarbeitern in Firmen, die vermutlich noch keine Security-Schulung erhalten haben. Diese werden dann gezielt angerufen oder angeschrieben, um sie dazu zu bringen einen bösartigen Link anzuklicken. Eine KI könnte dann ergründen, wie viele Klicks sie in einer Firma auf eine bestimmte Phishing-Mail hin erzielt und diese dann solange variieren, bis die Erfolgsrate besonders hoch ist.

Die nächste Stufe eines KI-unterstützten Angriffs wäre die Umkehrung des auch von der deutschen Polizei verwendeten Programms zur Vorhersage von Straftaten (sog. Predictive Policing). Was Behörden für Strategien zur Erhöhung von Schutzmaßnahmen (z. B. Polizeipatrouillen) nutzen, das kann prinzipiell ein Dritter auch einsetzen, um eine Angriffsstrategie zu fahren. So könnte man etwa automatisiert öffentliche Informationen auswerten (Pressemitteilungen, Tweets, Suchergebnisse von shodan.io etc.). Schon vor Jahren erschien zur Awarenesssteigerung von Social-Media-Nutzern eine Website mit dem schönen Namen pleaserobme.com: Sie analysiert Social-Media-Inhalte, um darauf aufmerksam zu machen, wie im Netz rausposaunte Ortsangaben die Abwesenheit von zuhause verraten und Einbrecher dazu „einladen“ das eigene Haus derweil auszuräumen. Für eine solche KI-Anwendung gibt es wohl noch keinen etablierten Namen – wie wäre es mit „Predictive Assaulting“? Interessanterweise wurde schon im Jahre 2002 in dem Sci-Fi-Film „Minority Report“ die Umkehrung von Predictive Policing vorhergesagt.

Auch die Nutzung eines KI-Systems als Angriffswerkzeug im Sinne eines „Anti-SIEM“ ist denkbar: Dabei würde man die KI nutzen, um entweder einen Angriff zu verschleiern oder dessen Effizienz zu verstärken. So abwegig ist das offenbar nicht: Das Aufeinandertreffen von zwei KIs wurde bereits in einem alten Sci-Fi-Film von 1970 vorhergesagt (Colossus) und aktuell versucht man bereits die Erkennung von KI-erzeugten Deep-Fakes durch eine andere KI zu verbessern [6]. Betrachtet man nun die Art und Weise, wie professionelle Cyberangreifer vorgehen, so verfolgen diese zwei wesentliche Strategien: Die eine ist „unter dem Radar“ zu bleiben, sodass eine Entdeckung durch ein IDS/IPS-/SIEM-System vermieden wird. Die andere lautet, einen erkannten und abgewehrten Angriff durch einen besseren zu ersetzen.

Beides ist recht aufwendig. Es gibt Untersuchungen, die davon ausgehen, dass ein Angriff meist nach 70 Stunden erfolgreich wäre, die meisten Hacker jedoch nach 40 Stunden vergeblicher Arbeit aufgeben. Würde man nun eine KI-basierte Angriffsmethode wählen, so könnte diese sich Zeit lassen, um unter dem Radar zu bleiben. Oft ist das Ziel (Patente, militärische Informationen etc.) ohnehin so wertvoll, dass es nicht darauf ankommt, gleich innerhalb der ersten Woche Erfolg zu haben. So könnte eine KI-basierte Attacke über Wochen und Monate hinweg versuchen, eine Hintertür zu finden, dabei hier und da einen Port scannen und in unvorhersagbaren Zyklen die IP-Adresse des Angreifers wechseln, um dem Opfer nicht aufzufallen. Der Autor geht davon aus, dass ressourcenstarke Angreifer wie ausländische Spionagedienste solche Dinge schon heute nutzen könnten.

Eine Abwandlung wäre die Variation und Optimierung der Angriffsmethode: Die Angriffs-KI könnte aktuell bekanntgewordene oder von Schwachstellenbrokern gekaufte Informationen über Verwundbarkeiten nutzen, um diese automatisiert zu testen. Die einfachste Methode wäre es, hierzu Meldungen über Schwachstellen automatisiert auszuwerten und (sofern möglich) gleich in einen Angriff umzuwandeln, der dann in einen automatisiert erzeugten Link (mit wechselnden Ziel-URLs) „verpackt“ wird. Diesen Link verschickt man dann in verschiedenen E-Mails, die mit verschiedenen Absendern und unterschiedlichen Betreffzeilen an verschiedene Mitarbeiter der Zielfirma. Wichtig ist, dass dabei kein Muster erkennbar ist, das einem SIEM oder der Security-Abteilung auffallen könnte.

Vielleicht ist die KI dann sogar so intelligent („übergeordnete KI“), dass sie die Erfolge auswertet. Etwa: „Angriffe mit Newstopic gegen Mitarbeiter einer bestimmten Niederlassung sind erfolgreicher als Angriffe mit einem firmeninternen Betreff in derselben Niederlassung.“ Ein gruseliger Gedanke, oder? Aber ist das wirklich so unwahrscheinlich? Inzwischen gibt es längst – wie schon vor 40 (!) Jahren im Buch „Per Anhalter durch die Galaxis“ beschrieben – eine KI, die eigene KIs programmiert [7]. Auf dem Gebiet des „kreativen Einsatzes“ von KIs scheint zudem wirklich alles gemacht zu werden, was die Vorstellung hergibt. So gelang es angeblich bereits 2004 US-Forschern 25 000 aus einem Rattenhirn gezüchtete Nervenzellen in ein echtes neurales Netzwerk umzuwandeln, dass einen Kampfjetsimulator steuern konnte [8].

Fazit

Ist KI „gut“ oder „böse“? Ein Thema, von dem man besser die Finger lassen sollte? Oder müssen wir sie allein schon deshalb einsetzen, um mit modernen Entwicklungen mithalten zu können? Nichts von alledem: KI ist einfach ein sehr komplexes Werkzeug, das unglaubliche Möglichkeiten bietet. Entscheidet man sich zur Verwendung dieses Werkzeugs, so muss man – wie bei jeder „neuen“ Technologie – die Vor- und Nachteile aber sorgfältig abwägen!

Wichtig ist vor allem, Verwundbarkeiten zu verstehen und mit einzuplanen. Man denke nur an den Chatbot „Tay“, der von Dritten mit unangemessenen Daten gespeist wurde und so plötzlich politisch fragwürdige Ansichten vertrat. Nicht zu vernachlässigen ist zudem, dass auch die Gegenseite (Spione, Cyberkriminelle, Hacker etc.) sich dieses Werkzeugs bedienen kann.

Ein bisschen hat auch die heutige KI mit einem Mythos gemeinsam: dem der Pandora, einer im Auftrag des Zeus geschaffenen verführerischen Frau, die eine Büchse in die Welt brachte, die viel Unheil enthielt – Unheil, das (einmal freigelassen) nie wieder eingesperrt werden konnte. Aber ganz unten in der Büchse war noch etwas: die Hoffnung! Wenn man also „das Fass einmal aufmacht“, sollte man es auch „bis zur Neige“ ausloten.

Dr. Sebastian Broecker ist Referent Security bei der Deutschen Flugsicherung und nebenberuflich als freier Autor/Journalist tätig.