Deepfakes : Der Urvater der KI-Bedrohung

Im Webarchiv der deutschen Bundesregierung hat Oberstleutnant Aldo Kleemann im Interview solche Manipulationen wie folgt definiert: „Der Begriff Deep Fake leitet sich aus dem Erstellungsprozess ab. In einem ‚Generative Adversarial Network‘ (GAN) werden zwei neuronale Netzwerke kombiniert und anhand vorhandener Bild-, Video- oder Sprachaufzeichnungen trainiert. Das anschließende ‚Deep Learning‘ der neuronalen Netze ist so tiefgehend und die Ergebnisse sind so realistisch, dass der heute umgangssprachliche Begriff Deep Fake auf diesen Prozess zurückgeht“ [1].

Scams, CEO-Betrug, Finanzdiebstahl

Immer öfter werden auch CEOs Opfer von Deepfakes. Anfang des Jahres wurde der Fall von Bill Anderson, CEO von Bayer bekannt [2]: In einem Video, das ein unbekannter Nutzer auf Facebook gepostet hatte, sah man den Geschäftsführer des Pharma-Konzerns in einer australischen Morningshow für eine Abnehmpille werben. Er forderte die Zuschauer sogar auf, einen roten Knopf zu drücken. Das Problem daran: Weder hatte Bayer ein solches Präparat entwickelt, noch war der Bayerchef zu dem Zeitpunkt in Australien gewesen. Das ganze Video war also ein Deepfake.

Ende Juli 2024 entging der Auto-Konzern Ferrari einem potenziellen Millionenschaden [3]: Hier hatte ein Cyberkrimineller versucht, per Voice-Fake einen erklecklichen Betrag zu ergaunern. Die Stimme von Ferrari-CEO Benedetto Vigna war zwar täuschend echt gefälscht worden, doch der Manager am anderen Ende der Leitung war skeptisch genug und ging nicht auf die Transaktionsforderung ein – die klassische CEO-Fraud-Taktik hatte hier also keinen Erfolg.

Ein tatsächlicher Millionenverlust wurde hingegen bereits im Februar 2024 publik: Cyberkriminelle hatten hier eine ganze Video-Konferenz gefälscht. Ein Mitarbeiter aus der Finanzabteilung einer Niederlassung in Hongkong hatte zuvor eine Phishing-Nachricht erhalten, die ihn zu insgesamt 15 Überweisungen mit insgesamt umgerechnet 24 Millionen US-Dollar aufforderte. Misstrauisch geworden, befragte er den Phishing-Absender und verlangte einen Video-Konferenz-Call zur Bestätigung. Der gefälschte Auftraggeber war in diesem Fall der Finanzchef, der ihn – im Beisein diverser ebenfalls falscher Mitarbeiter – den Auftrag erklärte und bestätigte. Im Nachhinein wurde das Opfer noch diverse Male über verschiedenste Wege kontaktiert, um fünf Zielkonten für die Transaktionen durchzugeben. Auch wenn der genaue Tathergang nach Auskunft der Hongkonger Polizei unklar sein soll, scheint sich der Vorfall doch so oder so ähnlich abgespielt zu haben.

Diese drei Beispiele mit unterschiedlichem Ausgang und unterschiedlicher Betrugstaktik zeigen: Das Problem rückt immer näher und verschärft sich – denn immer mehr Inhalte von Firmenchefs sind über soziale Medien und Video-Content-Plattformen verfügbar und lassen sich somit auch als Basis für Deepfakes missbrauchen.

Vor KI-generierten Calls und anderen Social-Engineering-Taktiken schützt in aller Regel vor allem kritisches Denken: Jeder sollte sich die Frage stellen: „Warum sehe oder höre ich etwas?“ Man sollte sich damit auseinandersetzen, in welchem Kontext und warum genau ein Inhalt verschickt wurde. Weitere Fragestellungen betreffen die Inhalte selbst: Welche Absichten könnte der Absender verfolgen und was erwartet er vom Empfänger? Soll ihm etwas verkauft, Überzeugungen manipuliert oder sensible Informationen gephisht werden? Betrüger spielen oft mit Dringlichkeit, Angst oder Aufregung, um das Urteilsvermögen ihrer Opfer zu vernebeln. All dies sind Vorüberlegungen, die bereits eine empfangene E-Mail, SMS oder aber ein QR-Code „triggern“ sollten.

Häufige Warnsignale

Die im Folgenden beschriebenen vier Warnsignale gelten für aktuell verfügbare und bekannt gewordene Deepfakes. Allerdings ist an dieser Stelle anzumerken, dass sich die Technik fortlaufend verändert und diese Tipps dementsprechend zukünftig um weitere ergänzt werden müssen. Das Fehlen eines solchen Hinweises bedeutet zwar nicht, dass es sich nicht doch um einen Deepfake handeln könnte – dennoch gibt es damit ein paar Dinge, auf die man achten kann und die auf aktuelle Probleme mit den heute am häufigsten verwendeten Programmen zur Erstellung von Deepfakes hinweisen.

Visuelle Merkwürdigkeiten

Zum einen gilt es, genau auf die Regungen des Gesichts zu schauen: Bei vielen Deepfakes ist es nach wie vor schwierig, die Integrität des gefälschten Gesichts aufrechtzuerhalten – beispielsweise, wenn die dargestellte Person ihren Kopf zu einer Seite dreht.

Darüber hinaus sollte man auf Verzerrungen oder unnatürliche Übergänge an den Rändern des Gesichts achten. Zum anderen können digitale Interferenzen oder Halo-Effekte um das Motiv herum, allem voran in der Nähe von Text oder Zeichen, warnende Hinweise geben (ähnlich den bekannten Artefakten von Hintergrundeffekten bei Videokonferenzsoftware/-diensten). Wenn sich in einem Deepfake eine Hand oder ein Gegenstand vor dem Gesicht vorbei bewegt, kann etwa das darunter liegende Bild herumgeistern oder die Maske enthüllen.

Fehlende oder inkonsistente Merkmale

Je nach verwendeter Software können sich Merkmale wie Muttermale, Narben, Make-up oder andere Aspekte des Gesichts ändern oder inkonsistent werden. Viele Deepfakes zeigen beispielsweise keine Zunge, wenn die Person ihren Mund öffnet. Gesichtshaare oder starkes Make-up können durchscheinen oder verschwinden, vor allem bei Deepfake-Software mit nur einem Bild.

Der Grund dafür ist, dass sich die Software in erster Linie darauf konzentriert, die Topologie des Gesichts abzubilden und ein 3D-Modell davon zu erstellen, das mit dem Gesicht der Person, welche die Maske tragen soll, integriert wird.

Bewegungsanomalien

Deepfakes haben oft eine niedrigere Framerate als der Rest des Videos, was zu abgehackten Bewegungen führt. Kameras, die schlechte Beleuchtung kompensieren, können zudem auch Deepfake-Artefakte verstärken.

Diskrepanzen zwischen Stimme und Lippensynchronisation

Lippensynchronisationsprobleme sind sowohl bei Echtzeit- als auch bei voraufgezeichneten Deepfakes immer noch häufig zu beobachten. Eine schlechte Koordination zwischen Sprache, Mimik und Gestik ist ein großes Manko aktueller Fälschungen.

Neben diesen Tipps, die eine längere Betrachtungszeit erfordern, gibt es jedoch auch noch Empfehlungen für die Erkennung von Deepfakes in Echtzeit.

Möglichkeiten in Live-Situationen

Videoanrufe in Echtzeit bieten einzigartige Möglichkeiten zur Erkennung von Deepfakes. Mit einer Person direkt zu interagieren und sie herauszufordern, ist eine durchaus lehrreiche Erfahrung. Während einige Artefakte als normale Probleme bei Videokonferenzen abgetan werden können, sollte die Kombination mehrerer Auffälligkeiten helfen, Verdacht zu schöpfen.

• Seitenprofil-Test: Man kann den Gesprächspartner* auffordern, seinen Kopf zur Seite zu drehen – Deepfake-Systeme verzerren dann oft das Bild oder können bei extremen Winkeln die Integrität der Fälschung nicht aufrechterhalten.
• Hand-Interaktions-Test: Man kann sein Gegenüber auffordern, eine Hand oder einen Finger vor das Gesicht zu halten. Aktuelle Deepfake-Technik hat Probleme mit der Okklusion und erzeugt oft Geistereffekte oder unnatürliche Maskierungen.
• Zungentest: Man kann die Person bitten, ihre Zunge herauszustrecken – viele Deepfakes können Zungen überhaupt nicht darstellen oder generieren dabei offensichtliche Artefakte.
• Mund-Audio-Synchronisation: Besonderes Augenmerk sollte man auf konsistente Muster von Ausrichtungsfehlern legen. Natürliche Verzögerungen treten nur sporadisch auf, während die Desynchronisation von Deepfakes ein ständiges Problem darstellt.

Empfehlungen für die Security-Organisation

CISOs und andere Sicherheitsverantwortliche sollten Verifizierungsprotokolle für sensible Kommunikation erstellen. Eine mehrstufige Authentifizierung sowie Prozesse zu etablieren, die über eine visuelle Bestätigung hinausgehen, ist ebenfalls empfehlenswert.

Gesprächsteilnehmer sollten bei wesentlichen digitalen Konferenzen bestimmte, unvorhersehbare Bewegungen oder Interaktionen anfordern. Und zu guter Letzt sollten CISO & Co. sichere sekundäre Kommunikationskanäle zur Verifizierung bereitstellen.

Fazit

Die aufgeführten Maßnahmen verdeutlichen, dass (und wie) es möglich ist, Deepfakes mit einer natürlichen Skepsis und geistigen Haltung selbst zu erkennen – alles, was dafür nötig ist, sind Übung und Erfahrung. Allerdings – und das zeigen die eingangs erwähnten Fälle nur allzu deutlich – ist es ohne Übung und ohne diese Tipps durchaus möglich, Mitarbeiter und Manager in die Falle tappen zu lassen.

Cyberkriminelle und bösartige Akteure im staatlichen Auftrag nutzen heute (wie jeder andere) verfügbare Technologie, um ihre Ziele zu erreichen – und diese sind oftmals monetärer Natur. Deshalb kann eine erfolgreiche Deepfake-Attacke teuer werden. Trainings für Mitarbeiter von Finanzabteilungen, für Manager und alle, die Kundenkontakt haben oder viel kommunizieren müssen, sind in diesem Licht eine betrachtenswerte Investition.

Der gesamten Security-Community steht eine Zukunft bevor, in der man nicht mehr zwischen Fälschung und Original unterscheiden kann. Mehr und mehr CEOs werden sich damit konfrontiert sehen, dass sie sich zwischen einer intensiven Medienpräsenz und der Gefahr, als Deepfake zu enden, entscheiden müssen.

Wenn das Vertrauen in Bild, Ton und Text grundlegend verloren geht, hat die Menschheit jedoch noch weit größere Probleme als sich mit CEO-Fraud auseinanderzusetzen: Der alte Spruch „das Internet vergisst nichts“, mag zwar so heute nicht mehr haltbar sein – jedoch reichen mit weiteren Technologiesprüngen vielleicht bald bereits kleinere Schnipsel aus, um Deepfakes oder Voice-Fakes zu erstellen.

CISOs und andere Security-Verantwortliche müssen sich auf diese Zukunft vorbereiten und gegebenenfalls schon heute Taskforces für die Erkennung von Deepfakes aufstellen. Spezielle Software, die aktuell bereits verfügbar ist, um Video- oder Ton-Fälschungen zu erkennen, dürfte in Bälde ebenso ausgereift sein wie zukünftige Angriffsmechanismen – und ebenfalls mit KI-Unterstützung arbeiten.

Zusammen mit den vorgestellten Maßnahmen der Security-Awareness lassen sich Mitarbeiter schützen und Schäden gleichermaßen von Personen und Unternehmen fernhalten.

Dr. Martin Krämer ist Security Awareness Advocate bei KnowBe4.

^Literatur

^{[1] Presse- und Informationsamt der Bundesregierung, Was ist eigentlich ein Deep Fake?, ExpertenInterview mit Oberstleutnant i. G. Aldo Kleemann, Oktober 2023, www.bundesregierung.de/breg-de/service/archiv/was-sind-deep-fakes-2230226}   

^{[2] Monika Dunkel, Der falsche Bill: So wurde der Bayer-Chef Opfer eines Deepfakes, Capital+, Februar 2025, www.capital.de/35486154.html (kostenpflichtig)}

^{[3] Helmut Martin-Jung, Hier spricht der FerrariChef – nicht, Süddeutsche Zeitung, Juli 2024, https://sz.de/lux.D6i4WqmRwWhL9iT8spKGrG}   

^{[4] Simon Hurtz, Angestellter überweist 24 Millionen Euro an Betrüger, Süddeutsche Zeitung, Februar 2024, https://sz.de/1.6344209}

^{[5] Perry Carpenter, FAIK, A Practical Guide to Living in a World of Deepfakes, Disinformation, and AI-Generated Deceptions, Wiley, September 2024, ISBN 978-1-394-29988-1, https://www.wiley.com/en-ie/Edition-p-9781394299898}