kurz notiert
Das BSI warnt vor zunehmenden Evasion-Attacks auf KI-Modelle und stellt praxisnahe Gegenmaßnahmen sowie neue Richtlinien für sichere Software und Cybersicherheit vor.
Maßnahmen gegen Evasion-Attacks auf große KI-Sprachmodelle
Eine wachsende Bedrohung für künstliche Intelligenz (KI) auf Basis großer Sprachmodelle (engl. LLM) geht von sogenannten Evasion-Angriffen aus. Das BSI gibt mit seiner Publikation „Evasion Attacks on LLMs – Countermeasures in Practice“ Empfehlungen, wie KI-Systeme sicher entwickelt werden und Institutionen ihre eigene IT-Landschaft wirkungsvoll schützen können. Das Dokument richtet sich an Entwickelnde und IT-Verantwortliche in Unternehmen sowie Behörden, die sich für den Betrieb eines vortrainierten Sprachmodells wie zum Beispiel GPT von OpenAI entschieden haben. Darüber hinaus können auch andere versierte IT-Nutzende von den Empfehlungen profitieren. Eine Umsetzung der vorgeschlagenen Gegenmaßnahmen innerhalb des LLM-Systems kann das Gelingen von Angriffen erschweren oder den potenziellen Schaden reduzieren.
Anders als etwa die Manipulation von KI-Trainingsdaten werden Evasion-Attacks im laufenden Betrieb eines großen LLMs durchgeführt. Dabei verändern die Angreifenden das Modell selbst nicht, sondern bringen Angriffsarten wie „(Indirect) Prompt Injections“, „Jailbreaks“ und „Adversarial Attacks“ in ihren Eingaben unter. Diese Angriffe zielen darauf, das ursprünglich beabsichtigte Verhalten, die Funktionalität oder die Sicherheitsbeschränkungen eines LLM zu umgehen, zu manipulieren oder zu beeinträchtigen.
Die BSI-Publikation führt an die Thematik der Evasion-Attacks heran und stellt eine Vielzahl von praxisnahen Gegenmaßnahmen vor. Dazu zählen zum Beispiel präzise und sichere Systemanweisungen (engl. System Prompts), das Filtern schädlicher Inhalte in Dokumenten von Dritten oder eine explizite Bestätigung durch Nutzende, bevor das LLM Funktionen ausführt. Eine Checkliste erleichtert den Einstieg theoretisch als auch praktisch. Anwendungsfälle zeigen auf, wie die vorgestellten Gegenmaßnahmen in das eigene System integriert werden können.
Das Dokument steht unter www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/Evasion_Attacks_ on_LLMs-Countermeasures.pdf kostenlos zum Download bereit.
BSI TR-03185-2 unterstützt sichere Entwicklung „Freier Software“
Das BSI hat die Technische Richtlinie TR-03185- 2 „Secure Software Lifecycle for Open Source Software“ (OSS) veröffentlicht. Sie wurde im Dialog mit der OSS-Community erstellt und gibt einfache, abstrakte und praktikable Kriterien vor, die einen Rahmen zur sicheren Entwicklung von OSS abstecken – diese wird auch „Free/Libre and Open Source Software (FLOSS/FOSS)“ genannt. Die Kriterien sind auf alle OSS-Projekte anwendbar, unabhängig von Teamgröße, kommerziellem oder gemeinnützigen Hintergrund, verwendeter Programmiersprache und anderen Faktoren.
Die TR-03185-2 richtet sich an alle Personen, die in OSS-Projekten mitarbeiten. Sie ergänzt die im Jahr 2024 veröffentlichte TR-03185(-1), die sich auf den Lebenszyklus proprietärer, also nicht frei zugänglicher Software konzentriert. Mit den beiden technischen Richtlinien trägt das BSI dazu bei, das Sicherheitsniveau von Softwareprodukten wesentlich zu erhöhen. Sichere Software ist eine Grundlage für den sicheren Einsatz von ITProdukten in Staat, Wirtschaft und Gesellschaft.
Die neue TR-03185-2 steht – ausschließlich in englischer Sprache – unter www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/Publications/TechGuidelines/TR03185/BSI-TR-03185-2.html kostenlos zum Download bereit. Die strategische Position des BSI zu FLOSS ist auf www.bsi.bund.de/dok/6604212 zu finden.
BSI-Jahresbericht: Fortschritte bei Cybersicherheit – doch weiterhin hohe Verwundbarkeit
Deutschland hat im Bereich der Cybersicherheit Fortschritte erzielt: Immer mehr Betreiber kritischer Infrastrukturen erfüllen die Mindestanforderungen, und internationale Ermittlungen gegen Cyberkriminelle zeigen Wirkung. Dennoch bleibt die Lage angespannt, da die mangelnde Umsetzung von Schutzmaßnahmen dazu führt, dass digitale Systeme angreifbar sind. Zu diesem Ergebnis kommt der aktuelle Jahresbericht des BSI.
Die Widerstandsfähigkeit kritischer Infrastrukturen wächst zwar, Deutschland ist im digitalen Raum allerdings immer noch verwundbar. Das machten Bundesinnenminister Alexander Dobrindt und BSI-Präsidentin Claudia Plattner bei der Vorstellung des BSI-Jahreslageberichts zur Cybersicherheit deutlich. Das bedeutet: Viele digitale Systeme, Server und Onlinedienste sind weiterhin unzureichend geschützt und ermöglichen Angreifern, in Netzwerke einzudringen oder Daten zu stehlen. Webanwendungen sind besonders häufig schlecht geschützt, auch Server sind oft falsch konfiguriert oder ungeschützt – bekannte Sicherheitslücken werden oft zu spät oder gar nicht behoben. Zwischen Juli 2024 und Juni 2025 ist die Zahl der täglich neu entdeckten Schwachstellen um 24 % gestiegen.
Bundesinnenminister Alexander Dobrindt: „Digitale Sicherheit ist eine Kernfrage staatlicher Souveränität. Deshalb geben wir unseren Sicherheitsbehörden die Befugnisse, die sie brauchen, um das Land wirksam zu schützen. Mit dem Cyberdome schaffen wir ein starkes Schild gegen Angriffe aus dem Netz. Der Schutz Deutschlands bleibt eine gemeinsame Aufgabe – von Staat, Wirtschaft und Gesellschaft.“
BSI-Präsidentin Claudia Plattner: „Wir müssen die Cybernation Deutschland weiterbauen und uns klarmachen: Jede aus dem Internet erreichbare Institution oder Person ist prinzipiell bedroht, Angreifer suchen gezielt nach den verwundbarsten Angriffsflächen. Ganz banal gesagt bedeutet das: Die Letzten beißen die Hunde! Wir haben festgestellt, dass Cyberkriminelle überall dort eindringen, wo es ihnen möglich ist, und erst danach eruieren, welchen Schaden sie anrichten können. Nur, wer sich aktiv schützt, erhöht die Chancen, Gefährdungen zu entgehen oder Schadwirkungen zu minimieren.“
Finanziell motivierte Cyberangriffe (Cybercrime) gingen im Vergleich zum Vorjahr um 9 % zurück. Dies ist unter anderem auf erfolgreiche internationale Ermittlungen unter Beteiligung von BKA und BSI zurückzuführen. Trotzdem bleiben professionell organisierte Erpressergruppen, die mit Schadsoftware (Ransomware) arbeiten, die größte Bedrohung.
Auch staatlich gesteuerte Akteure, die mit komplexen und langfristigen Attacken (APT) politische oder wirtschaftliche Ziele verfolgen, sind zunehmend aktiv. Angesichts globaler Konflikte treten weitere Risiken in den Vordergrund: Besonders im Cloud-Bereich, in der Energieversorgung und der Fahrzeugindustrie besteht die Gefahr, dass Angreifer dauerhaft und unkontrolliert Zugriff auf Systeme und Daten erhalten.
Während große Betreiber ihre Schutzmaßnahmen zunehmend ausbauen, fehlen kleineren und mittleren Unternehmen (KMU) dafür oft die Ressourcen und das Bewusstsein für die eigene Verwundbarkeit. Ähnliche Herausforderungen zeigen sich bei Kommunen, politischen Organisationen, Vereinen und Parteien.
Auch viele Verbraucherinnen und Verbraucher gehen noch zu sorglos mit IT-Sicherheit um. Schutzmaßnahmen wie Passkeys oder starke Passwörter in Kombination mit Zwei-Faktor-Authentisierung (2FA) und regelmäßige Updates müssen Teil einer Verbesserung des Schutzes vor Angriffen werden. Hier sind insbesondere auch Hersteller und Anbieter in der Verantwortung, ihre Produkte und Dienste standardmäßig mit entsprechenden Schutzmaßnahmen auszustatten.
Zur weiteren Verbesserung der Widerstandsfähigkeit im Cyberbereich wird das BMI den „Cyberdome“ aufbauen: ein teilautomatisiertes System zur Detektion und Analyse von Angriffen sowie zur Reaktion darauf. Außerdem werden die Cyberabwehrbefugnisse der Sicherheitsbehörden gestärkt, damit schwerwiegende Angriffe aktiv verhindert, abgemildert oder gestoppt werden können.
Den Bericht zur Lage der IT-Sicherheit in Deutschland 2025 finden Sie auf https://bsi.bund.de/lagebericht