Anbieter von KI as a Service erstaunlich leicht angreifbar
Anbieter von künstlicher Intelligenz (KI) als Service, wie zum Beispiel Hugging Face, sind anfällig für Privilege-Escalation-(PrivEsc)- und Cross-Tenant-Angriffe. Kriminelle könnten auf diese Weise ihre Berechtigungen erhöhen, auf Modelle anderer Kunden des Providers zugreifen und sogar die Pipelines für kontinuierliche Integration und Bereitstellung (CI/CD) übernehmen.
Die Sicherheitsexperten von Wiz warnen vor den erheblichen Risiken bösartiger Modelle für KI-Systeme, insbesondere für Anbieter von KI-as-a-Service. Sie betonen, dass potenzielle Angreifer diese Modelle nutzen könnten, um mieterübergreifende Angriffe durchzuführen. Die Folgen könnten verheerend sein, da Angreifer Zugriff auf Millionen von privaten KI-Modellen und Apps erhalten könnten, die bei KI-as-a-Service-Anbietern gespeichert sind.
Die Entwicklung kommt zu einem Zeitpunkt, an dem sich Pipelines für maschinelles Lernen als neue Angriffswege in der Lieferkette herauskristallisieren. Plattformen wie Hugging Face sind dabei besonders attraktiv für Angreifer, die sensible Informationen sammeln und auf bestimmte Systeme zugreifen möchten.
Die Bedrohungen sind vielschichtig und entstehen durch die Übernahme der gemeinsamen Inferenzinfrastruktur sowie der CI/CD-Pipelines. Angreifer könnten nicht vertrauenswürdige Modelle im Pickle-Format auf den Dienst hochladen und ausführen oder die CI/CD-Pipeline übernehmen, um Supply-Chain-Angriffe zu initiieren.
Das Cloud-Sicherheitsunternehmen hat herausgefunden, wie einfach es ist, in den Dienst, auf dem die benutzerdefinierten Modelle aller Nutzer ausgeführt werden, einzudringen. Dazu müssen lediglich ein bösartiges Modell hochgeladen und Container-Escape-Techniken genutzt werden, um aus dem eigenen Bereich auszubrechen und den gesamten Dienst zu kompromittieren. Auf diese Weise können Bedrohungsakteure effektiv auf die Modelle anderer Kunden zugreifen, die in Hugging Face gespeichert und ausgeführt werden.
Die Forscher fanden heraus, dass Hugging Face den Benutzer weiterhin auf das hochgeladene Pickle-basierte Modell in der Plattforminfrastruktur zugreifen lässt, selbst wenn es als gefährlich eingestuft wird.
Ein Angreifer könnte ein PyTorch-Modell erstellen, das beim Laden beliebigen Code ausführt, und es mit Fehlkonfigurationen im Amazon Elastic Kubernetes Service (EKS) verbinden, um erhöhte Rechte zu erlangen und sich innerhalb des Clusters zu bewegen.
Die Forscher warnen, dass die erlangten Geheimnisse einen erheblichen Einfluss auf die Plattform gehabt hätten, wenn sie in die Hände eines böswilligen Akteurs geraten wären. In gemeinsam genutzten Umgebungen können solche Geheimnisse oft zu mandantenübergreifendem Zugriff und dem Verlust sensibler Daten führen.
Um das Problem zu lösen, wird empfohlen, IMDSv2 mit einem Hop Limit zu aktivieren. Dadurch wird verhindert, dass Pods auf den Instance Metadata Service (IMDS) zugreifen und die Rolle eines Knotens innerhalb des Clusters erhalten.
Die Untersuchung ergab auch, dass es möglich ist, Remote-Code-Ausführung über eine speziell gestaltete Dockerdatei zu erreichen, wenn eine Anwendung auf dem Hugging Face Spaces-Dienst ausgeführt wird. Dies könnte dazu führen, dass alle Bilder auf einem internen Container-Registry überschrieben werden.
Hugging Face erklärte, dass alle identifizierten Probleme behoben wurden. Das Unternehmen empfiehlt den Benutzern, nur Modelle aus vertrauenswürdigen Quellen zu verwenden, Multi-Faktor-Authentifizierung (MFA) zu aktivieren und keine Pickle-Dateien in Produktionsumgebungen zu verwenden.
Die Forscher betonen, dass die Verwendung von nicht vertrauenswürdigen KI-Modellen, insbesondere Pickle-basierten, zu schwerwiegenden Sicherheitsfolgen führen kann. Wenn die Nutzung solcher Modelle erforderlich ist, sollte dies unbedingt in einer abgesicherten Sandbox-Umgebung erfolgen.
Eine neue Untersuchung von Lasso Security zeigt, dass generative KI-Modelle wie OpenAI ChatGPT und Google Gemini in der Lage sind, bösartige (und nichtexistierende) Code-Pakete an ahnungslose Softwareentwickler zu verteilen. Die Idee besteht darin, anstelle einer Empfehlung für ein nicht veröffentlichtes Paket ein manipuliertes Paket zu präsentieren, um Malware zu verbreiten. Dieses Phänomen der KI-Paket-Halluzinationen verdeutlicht, wie wichtig es ist Vorsicht walten zu lassen, wenn man sich auf große Sprachmodelle für Codierungslösungen verlässt.
Das KI-Unternehmen Anthropic hat Details zu einer weiteren neuen Angriffsmethode veröffentlicht, die es „many-shot jailbreaking“ nennt. Damit lassen sich die Sicherheitsvorkehrungen in großen Sprachmodellen umgehen. Die Methode nutzt das Kontextfenster der Modelle aus, um potenziell schädliche Anfragen zu generieren.
Die Technik besteht kurz gesagt darin, viele Dialoge zwischen Mensch und KI-Assistenten in einer einzigen Eingabeaufforderung für das große Sprachmodell zu simulieren, um das Verhalten des Modells zu beeinflussen und auf Anfragen zu antworten, die es normalerweise nicht beantworten sollte (zum Beispiel „Wie baue ich eine Bombe?“).