„Was steht in unserem Rahmenvertrag mit dem Lieferanten zur Lieferzeit?“ Wer diese Frage heute stellt, sucht auf dem Netzlaufwerk, fragt die Kollegin, die den Vertrag damals verhandelt hat, oder blättert im Ordner. Ein KI-Assistent, der die eigenen Unterlagen kennt, antwortet in einem Satz und sagt dazu, aus welchem Dokument die Antwort stammt.

Solche Assistenten werden im Mittelstand gerade häufig angefragt, weil das Wissen des Betriebs in Verträgen, Angeboten, Protokollen und Postfächern liegt, und weil es dort niemand mehr schnell findet. Wie das im Hintergrund funktioniert, ist weniger geheimnisvoll, als es klingt. Wer es einmal verstanden hat, sieht auch, wo die Grenzen liegen.

Was im Hintergrund passiert

Ein Sprachmodell wie ChatGPT, Claude oder Mistral weiß von Ihrem Betrieb nichts. Damit es trotzdem aus Ihren Unterlagen antworten kann, geschieht in einfachen Worten Folgendes:

  1. Ihre Dokumente werden einmal eingelesen und in Abschnitte zerlegt, etwa in einzelne Absätze oder Seiten.
  2. Stellt jemand eine Frage, sucht der Assistent die Abschnitte heraus, die zur Frage passen.
  3. Diese Abschnitte werden dem Modell zusammen mit der Frage mitgegeben. Das Modell formuliert daraus die Antwort.

Das Fachwort dafür ist RAG, Retrieval-Augmented Generation. Entscheidend ist der Gedanke: Das Modell antwortet nicht aus dem Gedächtnis, sondern aus den Abschnitten, die ihm gerade vorgelegt wurden. Ihre Dokumente werden dafür nicht in das Modell „hineintrainiert“. Sie bleiben, wo sie sind, und werden bei jeder Frage neu herausgesucht.

Welche Quellen in Frage kommen

Der Assistent kann nur lesen, was er erreicht. Nach Möglichkeit werden angebunden:

  • Das Netzlaufwerk mit Verträgen, Zeichnungen, Protokollen und den Ordnern, die immer weiter wachsen.
  • SharePoint und OneDrive, wenn der Betrieb mit Microsoft 365 arbeitet.
  • Gemeinsame Postfächer, etwa das Postfach, in dem Aufträge und Reklamationen abgestimmt werden.
  • Das ERP oder die Warenwirtschaft, damit der Assistent nicht nur weiß, was im Vertrag steht, sondern auch, welche Aufträge zu diesem Kunden offen sind.

Für die Anbindung von Unternehmenssoftware hat sich ein Standard herausgebildet, den wir im Beitrag Was ist ein MCP-Server? erklären.

Die Antwort ist nur so gut wie die Ablage

Hier scheitern die meisten Vorhaben, nicht an der Technik. Liegt derselbe Vertrag in drei Versionen auf dem Laufwerk, findet der Assistent alle drei und weiß nicht, welche gilt. Heißen die Ordner „Neu“ und „Neu final“, hilft ihm das genauso wenig wie Ihren Mitarbeitern. Sind die Preislisten von 2019 nie gelöscht worden, tauchen sie in den Antworten auf.

Ein Assistent macht die Ablage sichtbar, so wie sie ist. Das ist unbequem, aber nützlich: Vor der Einführung lohnt es sich, die Ordner durchzugehen, die er lesen soll, Veraltetes in ein Archiv zu verschieben und festzulegen, wo die gültige Fassung eines Dokuments liegt.

Rechte werden vor der Suche geprüft

Ein Assistent, der alles findet, findet auch die Gehaltsliste und den Entwurf für die Kündigung eines Lieferantenvertrags. Deshalb gilt: Der Assistent darf nur finden, was der Fragende selbst sehen dürfte. Die Rechteprüfung findet vor der Suche statt, nicht danach. Wer im Netzlaufwerk keinen Zugriff auf den Ordner „Geschäftsführung“ hat, bekommt aus diesem Ordner auch keine Antwort, nicht einmal einen Hinweis, dass dort etwas liegt.

In der Praxis heißt das, dass die Berechtigungen auf dem Laufwerk und in SharePoint sauber sein müssen, bevor der Assistent kommt. Oft zeigt sich erst dabei, dass mit der Zeit viele Ordner für „Jeder“ freigegeben wurden. Wie Rollen und Rechte in Software sinnvoll aufgebaut sind, beschreibt der Beitrag Rollen und Rechte in Software.

Woran Sie eine gute Antwort erkennen

Eine brauchbare Antwort nennt ihre Quelle: den Dateinamen, die Seite, den Absatz, und sie verlinkt das Dokument, damit der Fragende nachlesen kann. Fehlt die Quellenangabe, ist die Antwort ein Vorschlag, nicht mehr. Ein guter Assistent sagt außerdem, wenn er nichts Passendes gefunden hat, statt eine Antwort zu erfinden. Beides sollten Sie in der Vorführung ausprobieren: Fragen Sie etwas, das in den Unterlagen steht, und etwas, das mit Sicherheit nicht darin steht.

Wo die Grenzen liegen

  • Tabellen in Bildern. Ein eingescannter Lieferschein oder eine Preisliste als Foto ist für den Assistenten zunächst ein Bild. Ob er den Text darin lesen kann, hängt von der Vorbereitung ab.
  • Veraltete Fassungen. Der Assistent weiß nicht, dass die neue Preisliste gilt, wenn die alte noch daneben liegt.
  • Rechnen und Zählen. Wer fragt, wie viele Aufträge im Postfach offen sind, bekommt eine Schätzung aus Textabschnitten, keine Zahl aus dem System. Solche Fragen gehören an das ERP, nicht an das Dokumentenarchiv.
  • Zusammenhänge über viele Dokumente. Eine Frage, deren Antwort in dreißig Protokollen verteilt liegt, beantwortet der Assistent unvollständig.

Im Haus oder beim Anbieter

Das Modell, das die Antwort formuliert, kann bei einem Anbieter wie OpenAI, Microsoft oder Mistral laufen oder auf einem eigenen Server im Haus, etwa mit Ollama. Für Ihre Dokumente macht das einen Unterschied: Beim Anbieter gehen die herausgesuchten Abschnitte mit jeder Frage an dessen Server. Im Haus verlassen sie den Betrieb nicht. Welche Variante passt, hängt davon ab, was in den Unterlagen steht und was Ihr Datenschutzbeauftragter dazu sagt. Die Abwägung beschreibt der Beitrag KI im eigenen Haus betreiben.

Fragen vor dem Start

  • Welche Fragen stellen Ihre Mitarbeiter heute, deren Antwort in Unterlagen liegt, aber nicht gefunden wird?
  • In welchen Ordnern liegt die gültige Fassung, und wer räumt die alten auf?
  • Stimmen die Berechtigungen auf dem Laufwerk und in SharePoint?
  • Darf der Inhalt dieser Dokumente an einen Anbieter gehen, oder muss das Modell im Haus laufen?
  • Woran merken Sie nach dem Start, dass der Assistent hilft?

Wer diese Fragen beantwortet hat, weiß meist schon, mit welchen Ordnern der Anfang gemacht wird. Klein anfangen lohnt sich: ein Bereich, dessen Ablage in Ordnung ist, und ein Dutzend Fragen, an denen Sie die Antworten prüfen können.