Halluzinationsbegrenzer : Wie Unternehmen einen sicheren Rahmen für GenAI schaffen
Generative KI bietet Unternehmen und Behörden große Vorteile, bringt aber auch Risiken mit sich – dazu zählen allem voran Halluzinationen, Datenschutzverstöße und Manipulationsmöglichkeiten. Retrieval-Augmented Generation (RAG) und die richtigen Betriebsmodelle können jedoch für einen sicheren Nutzungsrahmen sorgen und diese Gefahren minimieren.
Viele Unternehmen haben sich inzwischen ausgiebig über generative künstliche Intelligenz (KI) informiert und teilweise auch schon damit experimentiert. Jetzt gehen sie daran, konkrete Lösungen zu implementieren. Dabei geht es besonders um Chatbots und Assistenzsysteme, die ihre Mitarbeiter* effizient unterstützen und ihren Kunden schnell weiterhelfen. Große Sprachmodelle (Large-Language-Models, LLMs), wie sie vor allem durch ChatGPT populär wurden, bieten dafür die optimale Grundlage: Sie werden mit riesigen Datenmengen trainiert, die Milliarden von Wörtern und Texten umfassen, und sind deshalb in der Lage, menschliche Sprache besser zu verstehen und zu verarbeiten als alle bisherigen KI-Verfahren. Damit ermöglichen sie Chatbots auf einem ganz anderen Niveau als dem der starren klassischen Systeme mit ihren vorformulierten Fragen und Antworten.
Wenn Organisationen sich an die Implementierung machen, dürfen sie aber nicht nur die Vorteile generativer KI im Blick haben, sondern sollten auch die Risiken dieser Technologie berücksichtigen und limitieren. Dazu zählt allen voran die Gefahr von Halluzinationen, Datenschutzverstößen und Manipulationen des Sprachmodells.
Drohende Halluzinationen bei domänenspezifischen Fragen
KI-Sprachmodelle neigen zu sogenannten Halluzinationen: Immer wieder werden Fälle bekannt, in denen Systeme wie ChatGPT vermeintliche Fakten einfach erfinden. Die Ursache dafür sind die Daten, mit denen sie trainiert werden: LLMs sehen zwar große Teile der Textmengen des Internets und sind dadurch in der Lage, Fakten über die Welt meist treffend wiederzugeben. Wenn aber spezielles oder domänenspezifisches Wissen gefordert ist, bekommen sie oft Probleme, weil diese Informationen nicht in ihrem Trainingsmaterial enthalten sind – auch allgemeines Wissen kann sie überfordern, wenn es zum Zeitpunkt ihres Trainings noch nicht verfügbar war.
Da die Sprachmodelle aber primär darauf ausgelegt sind, Texte zu generieren, machen sie trotzdem genau das: Sie erzeugen auch dann Antworten, wenn sie die erforderlichen Informationen gar nicht kennen – sie halluzinieren und erfinden einfach „Fakten“. Weil die Texte, die sie damit generieren, aber formal perfekt sind und deshalb schlüssig klingen, ist das für Anwender oft nicht erkennbar. Unternehmen riskieren deshalb, dass ihre Mitarbeiter oder Kunden Fehlinformationen aufsitzen und schlechte Entscheidungen treffen oder falsch beraten werden.
Weitertrainieren der Sprachmodelle hilft nur bedingt
Die Informationen, die LLMs benötigen würden, um Nutzeranfragen korrekt zu beantworten, liegen außerhalb der trainierten Inhalte der Sprachmodelle: Sie befinden sich in aktuellen Internetseiten und vor allem in organisationseigenen Quellen wie Dokumenten-Management-Systemen (DMS), Laufwerkverzeichnissen und Datenbanken. Um diese Quellen für ihre Chatbots nutzbar zu machen, hätten Unternehmen natürlich grundsätzlich die Möglichkeit, ihre Sprachmodelle selbst mit diesen Daten weiter zu trainieren.
Die fundamentale Einschränkung ist aber, dass sich Sprachmodelle nur mit einer sehr beschränkten Menge an Text weiter trainieren lassen – und nicht mit Zehntausenden, Hunderttausenden oder gar Millionen von Dokumenten. Das Problem des Erfindens falscher Informationen bleibt davon unabhängig ungelöst bestehen. Auch kann ein Modell nur Infos zu Dokumenten liefern, die dem Modell bekannt sind: Ein unlängst neu erstelltes Dokument ist dem Modell zunächst nicht bekannt und kann schlicht und einfach erst nach dem Neutraining des Modells „gefunden“ werden – und ein solches Neutraining kann sehr lange dauern und viele Millionen Euro an GPU-Rechenleistung kosten.
Retrieval-Augmented Generation
Eine mögliche Lösung der genannten Probleme ist die sogenannte Retrieval-Augmented Generation, kurz RAG, die große KI-Sprachmodelle mit Enterprise-Search-Funktionen integriert. Um den Vorteil dieser Kombination zu verstehen, muss man kurz vorausschicken, was genau eine Unternehmens-Suchsoftware eigentlich bewerkstelligt: Enterprise-Search verbindet sich über Konnektoren mit allen erdenklichen Quellen, indiziert deren Daten und Dokumente und reichert diese während des Indizierungsprozesses an. Damit wird ein linguistisch normalisierter Volltextindex aufgebaut.
Neben diesem Prozess werden jetzt die Dokumente in einer internen Verarbeitung in Passagen aufgeteilt und numerische Darstellungen des Textes mit sogenannten Embedding-LLMs erzeugt. In diesem Verfahren werden Vektoren (die sog. Embeddings) errechnet, die mit Hunderten von Zahlenwerten den Inhalt eines Textes repräsentieren. Dadurch kann die Software dann Dokumente oder Passagen identifizieren, die inhaltlich in einem engen Verhältnis zu einer Suchanfrage stehen. Fragt ein Nutzer beispielsweise „Wie kann ich ein Notebook für einen Werkstudenten bestellen?“, findet er dadurch auch Informationen zum Thema „Hardwarebeschaffung für Praktikanten und externe Mitarbeiter“.
Kommen in den angeschlossenen Datenquellen neue Dokumente oder Daten hinzu, werden sie von der Suchsoftware automatisch indiziert – dadurch ist ihr Index immer auf dem aktuellen Stand. Zudem bringt eine geeignete Software ein durchgängiges Rechte- und Rollenmanagement mit: Sie berücksichtigt Zugriffsrechte bereits bei der Indexierung und zieht sie bei der Suche und der Ausgabe der Trefferliste beziehungsweise der Ergebnisse automatisch heran. So ist gewährleistet, dass sie allen Anwendern in ihren Trefferlisten nur Daten anzeigt, für welche diese auch eine Berechtigung besitzen.
Risiko für Halluzinationen sinkt massiv
Bei Retrieval-Augmented Generation wird diese Suchtechnologie gewissermaßen zwischen Frage und Antwort geschaltet (vgl. Abb. 1): Stellt ein Nutzer eine Frage, wird diese an die Suchmaschine übermittelt, die eine kombinierte Abfrage mit lexikalischen und semantischen Verfahren durchführt – als Ergebnis liefert sie die relevanten Passagen. Diese Passagen werden zusammen mit der Frage an ein großes Sprachmodell übergeben, das dann mit diesen Daten eine Antwort berechnet und ausgibt.
Durch diesen Zwischenschritt über die Suchsoftware sinkt die Wahrscheinlichkeit von Halluzinationen massiv. Die Antworten basieren nunmehr auf Daten aus unternehmensinternen, rechtegeprüften Datenquellen, die zudem immer aktuell sind. Da die Suchmaschine so die Passagen kennt, aus denen das generative LLM einen Text zusammenfasst oder eine Antwort erstellt, kann dem Benutzer ein eindeutiger, nachvollziehbarer Quellenbezug geliefert werden, mit denen die Korrektheit des generierten Texts einfach überprüft werden kann.
Eine weitere Aufgabe eines RAG-Systems besteht darin, PromptInjections zu verhindern, mit denen ein generatives LLM in seiner Funktionalität manipuliert werden kann. Dies geschieht durch sogenannte Guard-Rails, die bestimmte Eingaben filtern und die Erzeugung bestimmter Antworten unterbinden.
Problemfall Public Cloud
Wichtig für den Datenschutz ist außerdem das Betriebsmodell eines LLM: Die großen KI-Sprachmodelle werden von ihren Anbietern meist in öffentlichen Clouds betrieben. Die Speicherung und Verarbeitung sensibler Daten in solchen Clouds ist mit den Compliance-Anforderungen vieler Unternehmen und vor allem Behörden nicht zu vereinbaren, zumal die Betreiber in aller Regel US-amerikanische Anbieter sind. Ein Transfer von Daten an die Server dieser Unternehmen ist mit großen Rechtsunsicherheiten verbunden, seit der Europäische Gerichtshof (EuGH) das Privacy-Shield-Abkommen zwischen der EU und den USA mit der Begründung einkassierte, dass das Datenschutzniveau in den USA nicht mit den europäischen Standards vereinbar wäre. Das jüngst beschlossene neue Abkommen namens „Privacy Shield 2.0“ wird aller Voraussicht nach ebenfalls wieder vom EuGH geprüft werden.
Organisationen stehen als Alternative aber auch qualitativ hochwertige Sprachmodelle zur Verfügung, die sie in ihren eigenen Rechenzentren oder bei einem vertrauenswürdigen IT-Dienstleister betreiben und mit einer On-Premises-Suchsoftware kombinieren können. Bei diesem Modell haben sie die volle Kontrolle über die Speicherung und Verarbeitung ihrer sensiblen Informationen und können internen Compliance-Vorgaben ebenso gerecht werden wie gesetzlichen Datenschutzvorschriften. Dabei haben sie auch die Möglichkeit, mit deutschen Anbietern von Enterprise-Search-Software mit integrierten großen KI-Sprachmodellen zusammenzuarbeiten, welche die Anforderungen der DSGVO kennen und verstehen und mit ihrer Software umsetzen.
Franz Kögl ist Vorstand bei IntraFind