KI auf Basis Ihrer Daten

Was die Leistung umfasst

Wir bauen einen KI-Assistenten, der Fragen zu den Unternehmensdokumenten, Wissensbasen, Regelwerken und Korrespondenzarchiven Ihres Unternehmens beantwortet. Unter der Leistung "KI auf Basis Ihrer Daten" verstehen wir den vollständigen Zyklus: Sammlung und Bereinigung der Quellen, Zerlegung der Texte in Fragmente, Aufbau eines Vektorindex, Anbindung eines Sprachmodells und einer Weboberfläche oder eines Bots für die Mitarbeiter. Wir schreiben den Softwareteil und richten die Pipeline zur Datenverarbeitung ein und verkaufen keine fertige Schachtel mit fremdem Inhalt darin. Wenn im Kreislauf eine Anlage des Kunden steht, ein Server, eine GPU-Station oder die Arbeitsplätze der Bediener, bereiten wir die Software und die Konfiguration für diese Hardware vor, doch die Anlage selbst bleibt Ihre und arbeitet physisch auf Ihrer Seite. Am Ende erhalten Sie ein System, das mit Fakten aus Ihren Dateien antwortet und nicht mit allgemeinen Formulierungen aus dem Internet.

Wie RAG im Kern funktioniert

Im Kern liegt das Schema RAG (retrieval-augmented generation), die Generierung einer Antwort gestützt auf gefundene Dokumente. Zuerst werden alle Ihre Texte über ein Embedding-Modell in numerische Vektoren übersetzt und in einer Vektordatenbank abgelegt, in der sinngemäß nahe Fragmente nebeneinander liegen. Wenn ein Mitarbeiter eine Frage stellt, übersetzt das System auch sie in einen Vektor, findet mehrere am ehesten relevante Textstücke und übergibt sie dem Sprachmodell zusammen mit der Frage selbst. Das Modell formuliert die Antwort strikt auf Basis der übergebenen Fragmente und nicht auf dem, was es einst an fremden Daten gelernt hat. Ein solcher Ansatz liefert Verweise auf die Quellen und verringert das Erfinden von Fakten drastisch, weil die Antwort an konkrete Absätze Ihrer Dokumente gebunden ist.

Woher RAG stammt

Der Begriff und das Schema RAG selbst wurden 2020 in der Arbeit "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" eingeführt, Autoren sind Patrick Lewis und Kollegen von Facebook AI Research, dem University College London und der New York University. Der Artikel wurde auf der Konferenz NeurIPS 2020 vorgestellt und zeigte, dass der Verbund aus Suche in einer Datenbank und einem generativen Modell genauere und faktentreuere Antworten liefert als das Modell allein. Die Idee stützt sich auf eine frühere Geschichte der Vektorsuche: Die Darstellung von Wörtern durch numerische Vektoren kam nach dem Erscheinen von word2vec 2013 beim Team von Tomáš Mikolov bei Google in Gebrauch. Bis 2020 war die Qualität der Embeddings und der Sprachmodelle so weit gewachsen, dass es praktikabel wurde, Suche und Generierung in einer Pipeline zu verbinden. Heute liegt genau dieses Schema den meisten Unternehmensassistenten auf Basis eigener Daten zugrunde.

Warum die Präzision entscheidend ist

Ein Unternehmensassistent ist nutzlos, wenn er selbstbewusst falsche Zahlen ausgibt oder Punkte eines Regelwerks erfindet, die es nicht gibt. Die Präzision bestimmt hier nicht die Magie des Modells, sondern die technische Einstellung: wie die Dokumente zerlegt sind, welches Embedding-Modell gewählt ist, wie viele Fragmente in den Kontext gegeben werden und wie Irrelevantes abgeschnitten wird. Auch die Privatheit hängt am Softwareteil: Die Daten von "KI auf Basis Ihrer Daten" lassen sich in Ihrem Kreislauf halten, ohne sie an externe Dienste zu senden, und der Zugang lässt sich nach Rollen abgrenzen. Jeder Fehler in der Pipeline zeigt sich nicht sofort, deshalb lassen wir das System an realen Fragen durchlaufen und prüfen die Antworten vor dem produktiven Start. Die Qualität des Assistenten ist das Ergebnis der Fehlersuche an Software und Parametern und nicht einer einmaligen Installation.

Stack und Werkzeuge

Der Basis-Stack sind RAG, Vektordatenbanken, Embeddings und Sprachmodelle (LLM), zusammengesetzt zu einer einheitlichen Pipeline. Die Vektordatenbank wählen wir passend zum Umfang und zu den Anforderungen an die Unterbringung: Das kann Postgres mit der Erweiterung pgvector sein, FAISS für einen lokalen Index oder spezialisierte Speicher wie Qdrant und Milvus. Das Embedding-Modell und das LLM selbst wählen wir nach der Balance aus Genauigkeit, Geschwindigkeit und Privatheit, von Cloud-APIs bis zu Modellen, die lokal auf der Anlage des Kunden bereitgestellt werden. Die Software-Anbindung schreiben wir in Python mit Bibliotheken für die Orchestrierung von Anfragen, die Verarbeitung von Dokumenten und die Kontrolle der Antwortqualität. Der Stack wird passend zu Ihrer Aufgabe gewählt und nicht umgekehrt: Wenn die Daten nicht nach außen dürfen, bleibt die gesamte Kette in Ihrem Kreislauf.

Wann die wichtigsten Werkzeuge entstanden sind

Der moderne Stack erwuchs aus mehreren tragenden Daten. Die Vektordarstellungen von Wörtern wurden nach word2vec 2013 zum Massenphänomen (Mikolov und Kollegen, Google). Die Bibliothek FAISS für die schnelle Suche nach Vektoren erschien bei Facebook AI Research im März 2017 und wird bis heute als lokaler Index genutzt. Im Dezember 2017 erschien die Architektur der Transformer im Artikel "Attention Is All You Need" von Forschern bei Google, und im Oktober 2018 erschien auf deren Basis das Modell BERT, mit dem die praktikable Qualität von Embeddings und Sprachmodellen begann. Auf diesen Bausteinen setzte sich 2020 das Schema RAG zusammen, das wir in der Leistung anwenden.

Warum das zu uns gehört

Die gesammelte Erfahrung unseres Entwicklungsteams übersteigt 45 Jahre in der IT, und wir gehen an einen Assistenten wie an ein technisches System heran und nicht wie an eine Demo für eine einmalige Vorführung. Wir stellen keine Hardware her und drucken keine Schachteln, wir schreiben den Softwareteil und richten die Anlage des Kunden für eine konkrete Aufgabe ein, sei es ein lokaler Server oder eine GPU-Station in Ihrem Kreislauf. Vor dem produktiven Start durchläuft das System eine Prüfung an Ihren realen Fragen: Wir sehen, woher jede Antwort stammt, und reparieren die Pipeline, bevor die Mitarbeiter beginnen, sie zu nutzen. Die Leistung "KI auf Basis Ihrer Daten" wird transparent aufgebaut, Sie sehen die Quellen der Antworten und kontrollieren, welche Daten wohin gehen. Das bedeutet ein vorhersehbares Ergebnis und ein System, das man weiterentwickeln kann und nicht eine einmalige Installation.