Fehler im KI-Dienst von Replicate legt Modelle und Daten von Kunden offen
Cybersicherheitsexperten haben eine schwerwiegende Sicherheitslücke beim KI-Dienstleister Replicate entdeckt. Die Schwachstelle könnte es Angreifern ermöglicht haben, auf vertrauliche KI-Modelle und sensible Informationen zuzugreifen.
Das Cloud-Sicherheitsunternehmen Wiz berichtete kürzlich über eine schwere Sicherheitslücke in der Replicate-Plattform, die potenziell unbefugten Zugriff auf die KI-Anfragen und -Ergebnisse aller Kunden ermöglicht hätte.
Das Kernproblem liegt darin, dass KI-Modelle oft in Formaten verpackt sind, welche die Ausführung von beliebigem Code erlauben. Dies kann von Angreifern ausgenutzt werden, um mithilfe eines bösartigen Modells Angriffe auf andere Kunden der Plattform durchzuführen.
Replicate nutzt das Open-Source-Tool Cog, um Machine-Learning-Modelle zu containerisieren und zu verpacken. Diese Modelle können dann entweder in einer selbst gehosteten Umgebung oder auf der Replicate-Plattform bereitgestellt werden.
Wiz hat zur Demonstration der Schwachstelle einen bösartigen Cog-Container erstellt und auf die Replicate-Plattform hochgeladen. Dieser Container ermöglichte die Remote-Code-Ausführung innerhalb der Infrastruktur des Dienstes mit erhöhten Rechten. Das bedeutet, dass die Angreifer beliebigen Code auf den Servern von Replicate ausführen konnten, was zu erheblichen Sicherheitsrisiken führte.
„Wir vermuten, dass diese Technik ein häufiges Muster zeigt, bei dem Unternehmen und Organisationen KI-Modelle aus nicht vertrauenswürdigen Quellen ausführen. Diese Modelle können potenziell bösartigen Code enthalten“, so Sicherheitsexperten von Wiz.
Die von Wiz gezeigte Angriffstechnik nutzte eine bereits bestehende TCP-Verbindung zu einer Redis-Serverinstanz innerhalb eines Kubernetes-Clusters, der auf der Google Cloud Platform gehostet wird. Durch diese Verbindung konnten die Forscher beliebige Befehle einschleusen und ausführen, was die volle Kontrolle über die betroffene Infrastruktur ermöglichte.
Da der zentrale Redis-Server als Warteschlange für die Verwaltung von Anfragen und Antworten mehrerer Kunden genutzt wird, kann dieser für Angriffe auf verschiedene Kunden missbraucht werden. Durch Manipulationen des Prozesses können unzulässige Aufgaben eingefügt werden, welche die Ergebnisse der KI-Modelle anderer Kunden beeinflussen.
Diese böswilligen Manipulationen gefährden nicht nur die Integrität der KI-Modelle, sondern auch die Genauigkeit und Zuverlässigkeit der KI-Ergebnisse.
„Ein Angreifer könnte die privaten KI-Modelle der Kunden ausspioniert haben und damit möglicherweise geschütztes Wissen oder sensible Daten aus dem Modelltraining preisgeben“, erklärten die Experten. „Außerdem könnten durch das Abfangen von Eingaben sensible Daten, einschließlich personenbezogener Daten (PII), offengelegt werden.“
Die Schwachstelle, die im Januar 2024 entdeckt wurde, ist inzwischen von Replicate behoben worden. Es gibt keine Anzeichen dafür, dass die Schwachstelle bereits genutzt wurde, um Kundendaten zu gefährden.
Die Offenlegung erfolgt etwas mehr als einen Monat, nachdem Wiz die nun behobenen Risiken in Plattformen wie Hugging Face beschrieben hat. Diese Risiken hätten es Angreifern ermöglicht, ihre Privilegien zu erweitern, auf die Modelle anderer Kunden zuzugreifen und sogar die CI/CD-Pipelines zu übernehmen.
„Bösartige Modelle sind ein großes Risiko für KI-Systeme, besonders für KI-as-a-Service-Anbieter, da Angreifer diese Modelle für Angriffe auf andere Kunden nutzen können“, so die Experten. „Die Auswirkungen könnten verheerend sein, da Angreifer Zugang zu Millionen privater KI-Modelle und Apps erhalten könnten, die bei KI-as-a-Service-Anbietern gespeichert sind.“