OpenAI wehrt sich gegen Missbrauch seiner KI für Cyberkriminalität und Desinformation
OpenAI hat seit Jahresbeginn über 20 Operationen und betrügerische Netzwerke weltweit gestoppt, die versuchten, die Plattform für bösartige Zwecke zu nutzen. Dazu gehörten das Debuggen von Malware, das Schreiben von Artikeln, das Erstellen von Biografien und KI-generierten Profilbildern für gefälschte Konten auf X.
„Bedrohungsakteure entwickeln sich weiter und probieren unsere Modelle aus, aber wir haben keine Hinweise darauf gefunden, dass dies zu wesentlichen Fortschritten in ihrer Fähigkeit geführt hat, neue, gefährliche Malware zu entwickeln oder eine große Anhängerschaft zu gewinnen“, erklärte das KI-Unternehmen.
Es fügte hinzu, dass es Aktivitäten gestoppt hat, die Social-Media-Inhalte zu Wahlen in den USA, Ruanda und in geringerem Maße in Indien und der Europäischen Union erstellten. Keines dieser Netzwerke konnte jedoch ein großes Publikum erreichen oder langfristig viral gehen.
Zu diesen Aktivitäten gehörten auch die Versuche des israelischen Unternehmens STOIC (auch als Zero Zeno bekannt), Kommentare in den sozialen Medien zu den indischen Wahlen zu veröffentlichen. Diese Bemühungen wurden bereits im Mai dieses Jahres von Meta und OpenAI aufgedeckt.
Einige der von OpenAI genannten Cyberoperationen umfassen folgende Akteure:
- SweetSpecter: Ein mutmaßlich in China ansässiger Angreifer, der OpenAIs KI-Modelle für gezielte Informationsbeschaffung, das Aufspüren von Schwachstellen, Unterstützung beim Schreiben von Skripten, das Umgehen von Anomalieerkennungen und die Entwicklung von Tools einsetzt. Es gab auch fehlgeschlagene Spearphishing-Versuche gegen OpenAI-Mitarbeiter, um die Malware SugarGh0st RAT zu verbreiten.
- Cyber Av3ngers: Eine Gruppe mit Verbindungen zum iranischen Korps der Islamischen Revolutionsgarde (IRGC), die KI-Modelle nutzt, um Steuerungssysteme in der Industrie zu erforschen.
- Storm-0817: Ein iranischer Akteur, der KI-Modelle verwendet, um Android-Malware zu debuggen, die sensible Daten stehlen kann. Er nutzt zudem Selenium für das Scraping von Instagram-Profilen und übersetzt LinkedIn-Profile ins Persische.
Darüber hinaus berichtete OpenAI, dass es Maßnahmen ergriffen hat, um mehrere Gruppen von Konten zu blockieren, darunter zwei, die an Beeinflussungsoperationen beteiligt waren. Diese trugen die Codenamen A2Z und Stop News und generierten englische und französische Inhalte für Websites und Social-Media-Konten auf verschiedenen Plattformen.
„[Stop News] war besonders produktiv in der Nutzung von Bildern“, so die Sicherheitsexperten Ben Nimmo und Michael Flossman. „Viele der Webartikel und Tweets wurden von Bildern begleitet, die mit DALL-E erstellt wurden. Diese Bilder waren oft im Cartoon-Stil gehalten und nutzten kräftige Farben oder dramatische Kontraste, um Aufmerksamkeit zu erregen.“
Zwei weitere Netzwerke, die OpenAI identifiziert hat, sind Bet Bot und Corrupt Comment. Sie nutzten OpenAIs API, um Konversationen auf X (ehemals Twitter) zu erzeugen und Links zu Glücksspielseiten zu versenden sowie Kommentare zu verfassen, die dann auf X gepostet wurden.
Diese Enthüllungen kamen fast zwei Monate, nachdem OpenAI eine Reihe von Konten gesperrt hatte, die mit einer verdeckten iranischen Beeinflussungsoperation namens Storm-2035 in Verbindung standen. Diese Gruppe nutzte ChatGPT, um Inhalte zu erstellen, die sich unter anderem auf die bevorstehenden US-Präsidentschaftswahlen konzentrierten.
Nimmo und Flossman betonten: „Bedrohungsakteure setzten unsere Modelle vor allem in einer bestimmten Zwischenphase ein – nachdem sie grundlegende Werkzeuge wie Internetzugang, E-Mail-Adressen und Social-Media-Konten eingerichtet hatten, aber bevor sie fertige Produkte wie Social-Media-Beiträge oder Malware über verschiedene Kanäle im Internet verbreiteten.“
Trotz des Missbrauchs von generativer KI für Betrug und Deepfake-Operationen warnte das Cybersicherheitsunternehmen Sophos in einem aktuellen Bericht, dass diese Technologie auch dazu verwendet werden könnte, gezielte Fehlinformationen durch personalisierte E-Mails zu verbreiten.
Das bedeutet, dass KI-Modelle genutzt werden könnten, um politische Kampagnen-Websites, KI-generierte Personas aus verschiedenen politischen Lagern und gezielte E-Mail-Nachrichten zu erstellen. Diese Nachrichten würden speziell auf Personen zugeschnitten sein, basierend auf den Themen der Kampagnen, was eine neue Form der Automatisierung ermöglicht, um Fehlinformationen großflächig zu verbreiten.
„Ein Benutzer kann damit alles erstellen, von harmlosen Kampagnenmaterialien bis hin zu absichtlichen Falschinformationen oder sogar bösartigen Bedrohungen, nur durch kleine Anpassungen“, so die Sophos-Spezialisten Ben Gelman und Adarsh Kyadige.
Sie betonten, dass es möglich ist, jede reale politische Bewegung oder jeden Kandidaten mit beliebigen Positionen in Verbindung zu bringen, selbst wenn sie diese nicht unterstützen. Solche gezielten Fehlinformationen könnten dazu führen, dass Menschen einen Kandidaten unterstützen, den sie eigentlich ablehnen, oder einen Kandidaten ablehnen, den sie ursprünglich gut fanden.