Wer ChatGPT, Claude oder Microsoft Copilot zum ersten Mal ausprobiert, ist meist beeindruckt. Der Text ist flüssig, die Antwort kommt sofort, und sie klingt, als wüsste da jemand Bescheid. Genau das ist die Schwierigkeit: Ein Sprachmodell klingt immer gleich sicher, ob es recht hat oder nicht.

Das spricht nicht gegen den Einsatz. Es spricht dafür, vorher zu wissen, was ein Sprachmodell gut kann und was nicht, und den Einsatz danach auszurichten. Dieser Beitrag beschreibt die Grenzen, die in Gesprächen mit Betrieben immer wieder zur Sprache kommen, ohne Fachwörter und ohne Alarm.

Sie erfindet, wenn sie nichts weiß

Ein Sprachmodell rät, welches Wort als Nächstes am besten passt. Das funktioniert erstaunlich gut, hat aber eine Folge: Fehlt dem Modell die Information, erfindet es eine, die plausibel klingt. Eine Artikelnummer, die es nicht gibt. Einen Paragrafen, den es nie gab. Eine Lieferbedingung, die zu Ihrem Lieferanten passen könnte, aber nicht die Ihre ist. Das Fachwort dafür ist Halluzination. Das Modell lügt nicht, es weiß nur nicht, dass es nichts weiß. Für den Betrieb heißt das: Jede Angabe, die Sie nicht selbst kennen, ist zu prüfen, bevor sie in ein Angebot oder eine Rechnung geht.

Rechnen und Zählen sind nicht ihre Stärke

Ein Sprachmodell ist kein Taschenrechner. Es hat gelernt, wie Zahlen in Texten vorkommen, nicht, wie man mit ihnen rechnet. Kleine Aufgaben löst es meist richtig, bei längeren Rechnungen, Summen über viele Positionen oder Mengenumrechnungen schleichen sich Fehler ein, und zwar leise. Gute Assistenten umgehen das, indem sie das Rechnen an ein Programm abgeben und nur das Ergebnis in Worte fassen. Wo das nicht so eingerichtet ist, gehört jede Summe nachgerechnet, am einfachsten im ERP oder in der Tabelle, in der die Zahlen ohnehin liegen.

Sie weiß nicht, was zuletzt passiert ist

Ein Modell wird bis zu einem bestimmten Stand trainiert. Was danach geschehen ist, kennt es nicht, es sei denn, jemand gibt es ihm mit: die neue Preisliste, den Lieferanten, der seit Kurzem nicht mehr liefert, die Vorschrift, die geändert wurde. Ohne diese Zugabe antwortet es aus einem Stand, der überholt sein kann, und sagt das nicht dazu.

Regeln und Verträge liest sie wie Prosa

Bei Verträgen, Normen und internen Regeln kommt es auf jedes Wort an. Ein Sprachmodell fasst gut zusammen und findet Stellen wieder, aber es prüft nicht verlässlich, ob eine Klausel greift oder eine Ausnahme gilt. Die Zusammenfassung eines Vertrags ist ein Einstieg für den Menschen, der ihn dann liest, kein Ersatz. Wo es um Rechtsfragen geht, gehört die Antwort ohnehin zu Ihrem Anwalt oder Steuerberater.

Sie kennt Ihren Betrieb nicht

Das Modell hat Ihre Kunden, Ihre Artikel und Ihre Abläufe nie gesehen. Fragen Sie es nach dem Zahlungsziel eines Kunden, rät es. Erst wenn ihm die passenden Unterlagen oder ein Zugriff auf das ERP mitgegeben werden, antwortet es aus Ihren Daten. Wie das funktioniert und warum die Ablage dabei entscheidet, beschreibt der Beitrag Wie KI Ihre Dokumente liest. Ohne diese Anbindung ist ein Assistent ein sehr belesener Fremder.

Sie kann nicht sagen, warum

Fragen Sie einen erfahrenen Mitarbeiter, warum er eine Rechnung zurückgehalten hat, bekommen Sie einen Grund. Fragen Sie das Modell, bekommen Sie eine Begründung, die gut klingt, aber nicht zwingend die ist, die zur Antwort geführt hat. Für Entscheidungen, die Sie später erklären müssen, gegenüber einem Kunden, einem Prüfer oder dem eigenen Team, reicht das nicht. Nachvollziehbar wird ein Ergebnis erst, wenn die Quelle dabeisteht und ein Mensch sie geprüft hat.

Verantwortung bleibt beim Menschen

Aus allem oben folgt der wichtigste Punkt: Eine KI kann Verantwortung nicht übernehmen. Wenn das Angebot falsch war, die Rechnung dem falschen Auftrag zugeordnet oder die Kundenantwort unpassend, ist das Ihr Betrieb, nicht das Modell. Das ist keine Schwäche der Technik, sondern eine Eigenschaft von Werkzeugen. Die Bohrmaschine ist auch nicht schuld am Loch an der falschen Stelle.

Was daraus für den Einsatz folgt

Die Grenzen sind kein Grund, KI aus dem Betrieb zu halten. Sie sind eine Bauanleitung:

  • Vorschlag statt Entscheidung. Die KI ordnet die Rechnung zu, formuliert den Entwurf, sortiert das Postfach vor. Ein Mensch entscheidet.
  • Freigabe, bevor etwas nach außen geht. Kein Text an Kunden, keine Bestellung, keine Zahlung ohne einen Blick von jemandem, der es verantwortet.
  • Zahlen prüfen oder rechnen lassen. Summen kommen aus dem System, nicht aus dem Text.
  • Quelle anzeigen. Jede Antwort aus Unterlagen nennt das Dokument, aus dem sie stammt.
  • Aktuelle Daten mitgeben. Preislisten, Bestände und Regeln kommen aus dem ERP, nicht aus dem Gedächtnis des Modells.
  • Klein anfangen. Mit einer Aufgabe, deren Ergebnis leicht zu prüfen ist. Woran Sie eine solche erkennen, steht im Beitrag Ein KI-Pilotprojekt auswählen.

Wer eine Anwendung selbst mit KI-Werkzeugen entwickelt hat, kennt eine weitere Sorte Grenzen: nicht die des Modells, sondern die dessen, was es entwickelt hat. Dazu mehr in Mit KI selbst entwickelt.

Fragen an jeden Vorschlag der KI

  • Woher stammt diese Angabe, und kann ich die Quelle öffnen?
  • Ist die Zahl gerechnet oder geraten?
  • Ist der Stand aktuell?
  • Wer hat es geprüft, bevor es rausgeht?
  • Könnte ich dem Kunden erklären, wie diese Entscheidung zustande kam?

Wer diese fünf Fragen in den Ablauf einbaut, hat die meisten Grenzen entschärft und kann die Stärken nutzen: lesen, sortieren, zusammenfassen, formulieren, finden.