GenAI trifft Unternehmenswissen: Retrieval Augmented Generation für korrekte Antworten

In der Welt der generativen KI markiert RAG den nächsten Evolutionsschritt. Textgeneratoren werden dabei um den Zugriff auf externe Informationsquellen angereichert.

ChatGPT, Bard und Co. fällt zwar zu nahezu jeder Frage etwas ein, aber ob die Antworten immer korrekt sind, dessen kann man sich nicht sicher sein. Nicht ohne Grund kam schnell das Schlagwort vom „Bullshit-Generator“ auf. Zumindest zum jetzigen Status ist außerdem keine vollständige Aktualität gegeben (ChatGPT reicht nicht weiter als bis 2021). Dennoch ist die neue Technologie natürlich beeindruckend. Und sie gewinnt noch an Reiz, wenn sie mit firmeneigenem Wissen verknüpft wird. Hierbei spricht man von Retrieval Augmented Generation (RAG) – eine KI, die Informationen aus externen Wissensquellen abruft und dadurch die Qualität ihre eigenen Antworten schlagartig verbessert.

In diesem Beitrag gebe ich Ihnen einen Überblick über die Möglichkeiten mit sowie Funktionsweise von RAG und Einblicke in Projektbeispiele.

Retrieval Augmented Generation: Verknüpfung von KI mit firmeneigenem Wissen

Große Sprachmodelle (Large Language Models = LLM) wie ChatGPT und Bard verfügen nicht über eigenes Wissen, sondern sind stark darin, aus sehr großen Mengen an Input zielgerichteten Output zu generieren (siehe dazu auch hier). Das Wissen, das ein LLM aus seinen Trainingsdaten gelernt hat, wird als parametrisches Gedächtnis bezeichnet und in seinen neuronalen Gewichten gespeichert. LLMs verwenden dieses parametrische Gedächtnis, um auf Anfragen zu antworten. In den meisten Fällen ist jedoch die genaue Informationsquelle nicht bekannt. Deshalb können LLM auch keine wörtlichen Zitate liefern.

Sprachmodelle sind daher gut darin, allgemeine Texte auf Grundlage ihres Trainingsdatenkorpus zu generieren. In der unternehmerischen Praxis kommt es allerdings darauf an, Texte aus eigenen Wissensdatenbanken zu erstellen, wie sie im Intranet, auf Sharepoint- und Confluence-Seiten, wenn PDFs, Office-Dokumenten usw. vorliegen. Auf Grundlage dieser Informationen kann der KI-Assistent dann genaue und relevante Antworten liefern. Das derzeit größte Problem generativer Chatbots, ihre Tendenz zu Halluzinationen, lässt sich damit umgehen. In der genAI-Sprache bedeutet „Prompten“ die Eingabeaufforderung, die an das LLM gesendet wird. Sie wird beim RAG-Verfahren mit relevanten Informationen aus externen Wissensdatenbanken ergänzt, die über einen Information-Retrieval-Mechanismus abgerufen werden. Diese Informationen dienen als Kontext und werden gemeinsam mit der Anfrage verwendet, wodurch das parametrische Gedächtnis umgangen wird.

Vektorbasierte Datenbanken: So funktioniert RAG

Der Prompt wird in numerische Werte umgewandelt, was die Verwendung eines Embedding-Modells erfordert. Die numerischen Werte werden an eine Vektor- oder Graphdatenbank geleitet, in der das gesamte Wissen des Unternehmens gespeichert ist. Anhand der Werte werden die entsprechenden Einträge in der Datenbank gefunden, in Text rückverwandelt und dem LLM übergeben, zusammen mit Metadaten wie dem Speicherort und dem Ersteller eines PDFs. Dadurch bekommt man mit der Antwort zusätzlich die Quellenangabe geliefert.

Das beschriebene Vorgehen gilt als derzeit beste Methode zur Suche nach Inhalten. LLMs müssen hier in der Regel nicht weiter feingetunt oder trainiert werden (obwohl es in einigen Fällen sinnvoll sein kann). Voraussetzung dafür ist, dass das gesamte Unternehmenswissen dauerhaft vektorisiert wird. Dafür müssen bestehende Datensilos im Unternehmen aufgebrochen und zusammengeführt werden. Bisher arbeitet die klassische Unternehmenssuche hauptsächlich mit Indexdatenbanken, die nicht immer die gewünschte Antwortqualität liefern.

Die Zukunft der Unternehmenssuche: RAG in der Praxis

Retrieval Augmented Generation wird in allen Bereichen benötigt, in denen es auf aktuelle und genaue Informationen ankommt. Weil es aktuelle und kontextspezifische Daten verwendet, holt RAG generative KI-Systeme sozusagen in die Gegenwart. Bei  aller Art von Anfragen liefert die Technik sichtlich bessere Ergebnisse als ein großes generatives Sprachmodell allein.

RAG Beispiel 1

RAG in der Versicherungsbranche

RAG ist deshalb die Zukunft der Unternehmenssuche. Dies ist keine Utopie, sondern funktioniert bereits heute, wie X-INTEGRATE in einer Reihe von Projekten im Finanzdienstleistungssektor erfolgreich erprobt hat. Zum Beispiel hat eine Versicherung mithilfe von RAG einen Bot entwickelt, der automatisiert und individuell auf Sachstandsanfragen aus E-Mails oder Call-Center-Ereignissen antwortet, und zwar im spezifischen Kommunikationsstil der Versicherung.

RAG Beispiel 2

RAG im Bankensektor

Weiteres Beispiel ist eine Bank, die Finanzprodukte auf ihr Risiko hin bewerten muss. Der Risiko-Score basiert auf regulatorischen Anforderungen, internen Verfahrensanweisungen und Compliance-Richtlinien, die in Tausenden von Dokumenten enthalten sind. Kein Controller kann all diese Informationen überblicken. Die Bank hat sie vollständig vektorisiert und verwendet RAG, um Fragen zur Risikoeinschätzung an die Vektordatenbank zu stellen. Die Ergebnisse waren äußerst beeindruckend. Sie lüften einen Blick darauf, welches enorme Potenzial Retrieval Augmented Generation in der nahen Zukunft haben wird.

Interesse geweckt? X-INTEGRATE berät technologieneutral und führt bei Kunden ein individuelles „Unternehmens-GPT“ ein. Weitere Informationen dazu gibt es in unserem Workshop.

Über den Autor: Matthias Bauer

Matthias Bauer ist seit 2020 als Teamlead Data Science und seit 2023 als CTO bei der X-INTEGRATE (Teil der TIMETOACT GROUP) und bringt mehr als 15 Jahre Expertise als Solution Architect mit. Daten dafür nutzen, Großes zu schaffen und Mehrwerte zu erzielen – in seinen Worten: Data Thinking – ist seine Leidenschaft. Matthias ist erfahren in Artificial Intelligence, Data Science und Data Management; dabei bedient er von Data Warehousing bis hin zu Data Virtualization ein breites Spektrum an datenbezogenen Fragestellungen.  

Matthias Bauer
CTO & Teamlead Data Science X-INTEGRATE Software & Consulting GmbH
Kontakt

Sprechen Sie uns gerne an!

* Pflichtfelder

Wir verwenden die von Ihnen an uns gesendeten Angaben nur, um auf Ihren Wunsch hin mit Ihnen Kontakt im Zusammenhang mit Ihrer Anfrage aufzunehmen. Alle weiteren Informationen können Sie unseren Datenschutzhinweisen entnehmen.

Bitte Captcha lösen!

captcha image