OpenAI sperrt missbrauchte ChatGPT-Konten
OpenAI hat mehrere Konten gesperrt, die ChatGPT zur Unterstützung staatlicher Überwachungs- und Beeinflussungskampagnen genutzt haben. So sollen die Konten unter anderem für die Entwicklung eines Tools missbraucht worden sein, das mithilfe künstlicher Intelligenz Social-Media-Aktivitäten überwachen und analysieren kann.
OpenAI hat dem Missbrauch seiner LLM-Plattform (Large Language Model) den Kampf angesagt. Zuletzt stand ein dubioses Tool im Mittelpunkt. Dieses stammt vermutlich aus China und basiert auf einem Llama-Modell von Meta. Es wurde dazu genutzt, detaillierte Analysen und Berichte zu erstellen. Ziel war es, in Echtzeit Informationen über Anti-China-Proteste im Westen zu sammeln und diese an chinesische Behörden weiterzugeben.
Die Kampagne, intern als Peer-Review bezeichnet, zielte darauf ab, Social-Media-Inhalte von Plattformen wie X, Facebook, YouTube, Instagram, Telegram und Reddit zu erfassen und auszuwerten. Laut den Sicherheitsexperten Ben Nimmo, Albert Zhang, Matthew Richard und Nathaniel Hartley diente ChatGPT unter anderem dazu, den Quellcode der Überwachungssoftware zu debuggen und anzupassen. Dieses System wurde als Qianyue Overseas Public Opinion AI Assistant bezeichnet.
Neben der Analyse öffentlich zugänglicher Informationen über US-amerikanische Think-Tanks sowie Regierungsbeamte und Politiker in Australien, Kambodscha und den Vereinigten Staaten nutzte das Netzwerk ChatGPT auch, um Screenshots englischsprachiger Dokumente zu lesen, zu übersetzen und auszuwerten. Darunter befanden sich Bilder von Protestankündigungen für Uiguren-Demonstrationen in westlichen Städten, deren Echtheit jedoch unklar ist.
Zusätzlich stoppte OpenAI weitere Netzwerke, die ChatGPT für bösartige Zwecke missbrauchten:
- Betrügerisches Beschäftigungsprogramm: Ein mit Nordkorea in Verbindung stehendes Netzwerk nutzte ChatGPT zur Erstellung gefälschter Bewerbungsunterlagen, um IT-Arbeitsplätze in Unternehmen zu erschleichen. Dabei wurden überzeugende Antworten generiert, um ungewöhnliches Verhalten wie das Vermeiden von Videoanrufen oder den Zugriff auf Firmensysteme aus nicht autorisierten Ländern zu erklären. Einige dieser Bewerbungen wurden auf LinkedIn geteilt.
- Gesponserte Unzufriedenheit: Eine vermutlich aus China stammende Gruppe erstellte Social-Media-Beiträge auf Englisch sowie lange Artikel auf Spanisch, die die Vereinigten Staaten kritisierten. Diese Inhalte wurden auf lateinamerikanischen Nachrichtenseiten in Peru, Mexiko und Ecuador veröffentlicht und weisen Überschneidungen mit der bekannten Desinformationskampagne Spamouflage auf.
- Romance-Scam: Ein Netzwerk von Konten übersetzte und generierte Kommentare auf Japanisch, Chinesisch und Englisch für Social-Media-Plattformen wie Facebook, X und Instagram, um die Maschen mutmaßlich in Kambodscha ansässiger Betrüger mit vorgetäuschten romantischen oder finanziellen Absichten zu unterstützen.
- Iranisches Einflussnetzwerk: Fünf miteinander verbundene Konten erstellten Inhalte auf X und Artikel mit propalästinensischen, pro-Hamas- und proiranischen sowie antiisraelischen und anti-US-amerikanischen Positionen. Diese wurden auf Webseiten veröffentlicht, die mit der iranischen Einflussoperation International Union of Virtual Media (IUVM) und Storm-2035 verbunden sind. Ein gesperrtes Konto war an beiden Operationen beteiligt, was auf eine bisher nicht dokumentierte Verbindung hindeutet.
- Kimsuky und BlueNoroff: Nordkoreanische Bedrohungsakteure betrieben ein Netzwerk von Konten, das Informationen zu Cyberangriffswerkzeugen und Kryptowährungsthemen sammelte sowie Code für Brute-Force-Angriffe auf Remote-Desktop-Protokolle (RDP) debuggte.
- Verdeckte Beeinflussung in Ghana: Ein Netzwerk erstellte englischsprachige Artikel für die Webseite Empowering Ghana und Social-Media-Kommentare, um die ghanaische Präsidentschaftswahl zu beeinflussen.
- Task Scam: Ein mutmaßlich aus Kambodscha stammendes Netzwerk übersetzte Kommentare zwischen Urdu und Englisch für einen Betrug, bei dem Menschen dazu verleitet wurden, einfache Aufgaben wie das Liken von Videos oder das Schreiben von Bewertungen gegen eine vermeintliche Provision zu erledigen. Dabei mussten sie jedoch Geld zahlen, ohne jemals eine Belohnung zu erhalten.
Diese Entwicklung verdeutlicht, wie künstliche Intelligenz zunehmend für Desinformationskampagnen und andere schädliche Aktivitäten genutzt wird.
Erst im vergangenen Monat berichtete das Google Threat Intelligence Team, dass 57 Akteure aus China, Iran, Nordkorea und Russland das Gemini-Chatbot-Modell für verschiedene Zwecke genutzt haben. Dazu gehörten die Planung von Cyberangriffen, die Recherche zu aktuellen Ereignissen sowie die Erstellung, Übersetzung und Anpassung von Inhalten für gezielte Einflusskampagnen.
Eine weitere Untersuchung der Organisation Check First in Zusammenarbeit mit Reset.tech und AI Forensics ergab, dass die mit Russland verbundene Social Design Agency (SDA) mehr als 8.000 politisch motivierte Anzeigen auf Facebook geschaltet hat. Diese unterstützten die Interessen des Kremls und sollten gezielt gesellschaftliche Spaltungen verstärken.
„Die Anzeigen waren auf aktuelle politische Ereignisse zugeschnitten und nutzten polarisierende Botschaften sowie visuell ansprechende Inhalte, um eine möglichst große Reichweite und Wirkung zu erzielen“, so das finnische Unternehmen. Die Untersuchung zeigte zudem „erhebliche Schwachstellen“ in Metas Fähigkeit, bezahlte politische Inhalte wirksam zu kontrollieren.
„KI-Unternehmen können wertvolle Erkenntnisse über Bedrohungsakteure gewinnen. Diese sind besonders nützlich, wenn sie mit vorgelagerten Anbietern wie Hosting-Providern und Softwareentwicklern, nachgelagerten Distributionsplattformen wie Social-Media-Plattformen, ebenso wie mit Open-Source-Forschern geteilt werden“, so OpenAI. „Gleichzeitig können auch diese Anbieter und Forscher durch ihr Wissen über Bedrohungsakteure dazu beitragen, neue Methoden zur Erkennung und Bekämpfung von Bedrohungen für KI-Unternehmen zu entwickeln.“