Mit <kes>+ lesen

OpenAI, Meta und TikTok stoppen Kampagnen zur Meinungsmanipulation

OpenAI hat fünf verdeckte Beeinflussungsoperationen aus China, Iran, Israel und Russland gestoppt, die versuchten, KI-Tools zu missbrauchen, um den öffentlichen Diskurs und politische Ergebnisse zu manipulieren. Auch Meta und TikTok haben ähnliche Kampagnen bekämpft.

Lesezeit 5 Min.

In den letzten drei Monaten wurden Aktivitäten aufgedeckt, bei denen OpenAIs KI-Modelle für kriminelle Handlungen benutzt wurden. So berichtet OpenAI, dass zwei Netzwerke mit Russland verbunden sind. Eines davon, Bad Grammar, nutzte Telegram-Konten, um Zielgruppen in der Ukraine, Moldawien, den baltischen Staaten und den USA mit schlecht geschriebenen Inhalten auf Russisch und Englisch zu erreichen.

„Das Netzwerk nutzte unsere Modelle und Telegram-Konten, um eine Pipeline für Kommentar-Spamming aufzubauen“, erklärte OpenAI. „Zuerst debuggen die Betreiber mit unseren Modellen einen Code zur Automatisierung des Postens auf Telegram. Dann generierten sie Kommentare auf Russisch und Englisch als Antworten auf bestimmte Telegram-Posts.“ Die Betreiber erstellten auch Kommentare im Namen verschiedener fiktiver Personen, die unterschiedliche politische Meinungen in den USA repräsentieren sollten.

Die andere russische Operation gehört zum Netzwerk Doppelganger, das vom US-Finanzministerium wegen Cyber-Einflussoperationen sanktioniert wurde. Dieses Netzwerk nutzte OpenAIs Modelle, um Kommentare in verschiedenen Sprachen zu erstellen, die auf X und 9GAG geteilt wurden. Es übersetzte und bearbeitete Artikel aus dem Russischen ins Englische und Französische, die dann auf gefälschten Websites veröffentlicht wurden, und verwandelte Schlagzeilen und Nachrichtenartikel in Facebook-Posts.

„Diese Aktivitäten zielten auf Europa und Nordamerika ab und konzentrierten sich auf die Erstellung von Inhalten für Websites und soziale Medien“, so OpenAI. „Die meisten Inhalte drehten sich um den Krieg in der Ukraine und stellten die Ukraine, die USA, die NATO und die EU negativ dar, während Russland positiv dargestellt wurde.“

Die anderen drei Aktivitätsgruppen sind:

  1. Ein chinesisches Netzwerk namens Spamouflage nutzte KI-Modelle, um Social-Media-Aktivitäten zu analysieren und Texte in Chinesisch, Englisch, Japanisch und Koreanisch zu erstellen. Diese Texte, die chinesische Dissidenten und den Missbrauch von Ureinwohnern in den USA kritisierten, wurden auf X, Medium und Blogger verbreitet. Außerdem debuggte das Netzwerk Code für die Verwaltung von Datenbanken und Websites.
  2. Das iranische Unternehmen International Union of Virtual Media (IUVM) nutzte KI-Modelle, um lange Artikel, Schlagzeilen und Website-Tags auf Englisch und Französisch zu erstellen und zu übersetzen. Diese Inhalte wurden auf der Website iuvmpress[.]co veröffentlicht.
  3. Das Netzwerk Zero Zeno, betrieben von der israelischen Firma STOIC, nutzte KI-Modelle, um Inhalte gegen Hamas, Katar und die BJP sowie für Israel und die Gewerkschaft Histadrut zu erstellen und zu verbreiten. Diese Inhalte richteten sich an Nutzer in Kanada, den USA, Indien und Ghana.

Zero Zeno nutzte die Modelle auch, um fiktive Social-Media-Profile zu erstellen und Informationen über Personen in Israel zu sammeln, die sich zur Histadrut geäußert hatten. OpenAI betonte, dass ihre Modelle keine persönlichen Daten auf Anfrage lieferten. Auch hätte laut einem OpenAI-Bedrohungsreport keine dieser Kampagnen ihre Reichweite oder ihr Engagement durch die Nutzung ihrer Dienste signifikant erhöht.

Aktuell bestehen große Sorgen, dass generative KI-Tools (GenAI) böswilligen Akteuren helfen könnten, realistische Texte, Bilder und Videos zu erstellen. Dadurch wird es schwieriger, Fehlinformationen und Desinformation zu erkennen und zu bekämpfen. „Bisher ist es eine Weiterentwicklung, keine Revolution“, so Ben Nimmo, Leiter der Abteilung Intelligence and Investigations bei OpenAI. „Das könnte sich ändern. Es ist wichtig, weiter zu beobachten und sich auszutauschen.“

Meta hebt die Aktivitäten von STOIC und Doppelganger hervor

In seinem vierteljährlichen Bericht über Bedrohungen hat Meta außerdem Details zu den Einflussoperationen von STOIC geteilt. Meta berichtete, dass es fast 500 kompromittierte und gefälschte Konten auf Facebook und Instagram entfernt hat, die von STOIC genutzt wurden, um Nutzer in Kanada und den USA ins Visier zu nehmen. Der Konzern entfernte auch Hunderte von Konten aus Bangladesch, China, Kroatien, Iran und Russland, die koordiniertes, unechtes Verhalten zeigten, um die öffentliche Meinung zu beeinflussen und politische Narrative zu verbreiten. So richtete sich zum Beispiel ein chinesischen Netzwerk gegen die weltweite Sikh-Gemeinschaft und nutzte mehrere Dutzend Instagram- und Facebook-Konten, um manipulierte Bilder und Posts über die Khalistan-Separatistenbewegung und Kritik an der indischen Regierung zu verbreiten.

Meta habe bisher keine neuen und ausgefeilten Taktiken mithilfe von GenAI entdeckt. Das Unternehmen wies auf Fälle von KI-generierten Video-Nachrichtensprechern hin, die zuvor von Graphika und GNET dokumentiert wurden. Dies deute darauf hin, dass Bedrohungsakteure trotz der weitgehend erfolglosen Natur dieser Kampagnen aktiv mit der KI-Technologie experimentieren.

Meta sagte, dass Doppelganger seine „Smash-and-Grab“-Bemühungen fortgesetzt hat, allerdings mit einer bedeutenden Änderung der Taktik als Reaktion auf öffentliche Berichte. Dazu gehört die Verwendung von Textverschleierung, um der Erkennung zu entgehen (zum Beispiel die Verwendung von „U. kr. ai. n. e“ anstelle von „Ukraine“) und die Einstellung der Praxis, zu Typosquatting-Domains zu verlinken, die sich als Nachrichtenmedien ausgeben.

„Die Kampagne wird von einem Netzwerk unterstützt, das aus zwei Arten von Nachrichtenwebsites besteht: typosquatting-legitimen Medien und Organisationen sowie unabhängigen Nachrichtenwebsites“, so Sekoia in einem aktuellen Bericht über das pro-russische Werbenetzwerk. „Desinformationsartikel werden auf diesen Websites veröffentlicht und dann über gefälschte Social-Media-Konten auf verschiedenen Plattformen verbreitet und verstärkt, insbesondere auf Video-Hosting-Plattformen wie Instagram, TikTok, Cameo und YouTube.“

Diese Social-Media-Profile werden in großer Anzahl und in Wellen erstellt und nutzen bezahlte Werbekampagnen auf Facebook und Instagram, um Nutzer auf Propagandawebsites zu lenken. Die Facebook-Konten werden auch als „Burner-Accounts“ bezeichnet, da sie nur dazu verwendet werden, einen Artikel zu teilen, bevor sie anschließend aufgegeben werden.

Die französische Cybersecurity-Firma beschrieb die groß angelegten Kampagnen – die sowohl auf die Verbündeten der Ukraine als auch auf russischsprachige Inlandsziele im Auftrag des Kremls ausgerichtet sind – als mehrschichtig. Sie nutzen das soziale Botnetz, um eine Umleitungskette zu initiieren, die über zwei Zwischenwebsites führt, um die Benutzer schließlich zur Zielseite zu führen.

Doppelganger und ein weiteres pro-russisches Netzwerk, Portal Kombat, verbreiteten auch Inhalte von CopyCop, einem Netzwerk, das generative KI nutzt, um politische Botschaften zu verbreiten und russische Ansichten zu unterstützen.

Recorded Future berichtete, dass CopyCop wahrscheinlich von Russland betrieben wird und Narrative verbreitet, welche die westliche Politik untergraben und russische Ansichten zu internationalen Themen wie dem Ukraine-Konflikt und den Spannungen zwischen Israel und Hamas fördern.

TikTok stoppt verdeckte Beeinflussungsoperationen

Anfang Mai gab TikTok bekannt, dass es seit Jahresbeginn mehrere Netzwerke entfernt hat, die aus Bangladesch, China, Ecuador, Deutschland, Guatemala, Indonesien, Iran, Irak, Serbien, der Ukraine und Venezuela stammten. In den USA steht TikTok unter besonderer Beobachtung. Ein Gesetz soll den Mutterkonzern ByteDance unter Androhung eines Verbots dazu veranlassen, das Unternehmen zu verkaufen. Ein Bericht der Brookings Institution zeigt, dass TikTok im Jahr 2024 verstärkt von russischen staatlichen Konten genutzt wurde.

TikTok war auch eine Hauptplattform für die komplexe Beeinflussungskampagne Emerald Divide, die vermutlich seit 2021 von Iran-verbündeten Akteuren betrieben wird und sich gegen die israelische Gesellschaft richtet. „Emerald Divide passt ihre Einflussstrategien schnell an die politische Lage in Israel an“, so Recorded Future. „Sie nutzt moderne digitale Werkzeuge wie KI-generierte Deepfakes und strategisch geführte Social-Media-Konten, um gesellschaftliche Spaltungen zu vertiefen und Proteste und Anti-Regierungs-Botschaften zu fördern.“