Wenn von KI die Rede ist, denken die meisten an ChatGPT, Claude oder Gemini: große Modelle, die bei ihren Anbietern in riesigen Rechenzentren laufen. Daneben gibt es frei verfügbare Modelle, die man herunterladen und auf eigener Hardware betreiben kann. Für viele Aufgaben im Betrieb reichen sie aus.

Warum überhaupt im eigenen Haus?

Der naheliegende Grund ist der Datenschutz: Was im Haus verarbeitet wird, verlässt das Unternehmen nicht. Der wichtigere Grund ist oft ein praktischer. Ein Modell im eigenen Netz kann auf Daten zugreifen, an die ein Dienst im Internet nicht herankommt: das Netzlaufwerk, die Postfächer, das ERP. Erst mit diesem Zugriff werden die Antworten konkret und beziehen sich auf Ihre Aufträge, Ihre Verträge, Ihre Artikel.

Drei Wege, KI zu betreiben

  • Im eigenen Haus. Das Modell läuft auf Ihrer Hardware, in Ihrem Netz. Es verlässt nichts das Unternehmen.
  • Beim Anbieter. Sie nutzen ein großes Modell über das Internet, etwa von OpenAI, Anthropic, Google oder Mistral, oder über Microsoft Azure. Vorher wird festgehalten, welche Daten dorthin gehen und dass sie nicht zum Training verwendet werden.
  • Gemischt. Vertrauliches bleibt im Haus, und nur Aufgaben, bei denen ein großes Modell deutlich besser ist, gehen zum Anbieter.

Welcher Weg passt, entscheidet sich an jeder einzelnen Aufgabe, nicht einmal für das ganze Unternehmen.

Was Sie für den Betrieb im Haus brauchen

Ein Modell

Frei verfügbare Modelle kommen von großen Anbietern und werden laufend verbessert. Bekannte Familien sind Llama von Meta, Mistral, Qwen von Alibaba, Gemma von Google und gpt-oss von OpenAI. Sie unterscheiden sich in Größe, Sprachfähigkeit und Lizenz. Für deutsche Texte lohnt sich ein Test mit echten Beispielen aus Ihrem Betrieb, bevor Sie sich festlegen. Achten Sie auf die Lizenz: Nicht jedes frei verfügbare Modell darf ohne Einschränkungen gewerblich genutzt werden.

Hardware

KI-Modelle rechnen auf Grafikkarten, und entscheidend ist deren Speicher: Das Modell muss hineinpassen. Kleinere Modelle laufen schon auf einem Server mit einer starken Grafikkarte, größere brauchen mehrere Karten oder spezielle Rechenkarten, wie sie etwa NVIDIA anbietet. Je mehr Mitarbeiter gleichzeitig fragen, desto mehr Leistung wird gebraucht. Ein normaler Büro-PC reicht dafür nicht.

Software zum Betreiben

Damit ein Modell Fragen beantwortet, braucht es eine Software, die es lädt und ansprechbar macht, etwa Ollama für den Einstieg oder vLLM für den Betrieb mit vielen Nutzern. Dazu kommt die Stelle, an der Ihre Mitarbeiter damit arbeiten: ein Chatfenster oder, besser, eine Funktion direkt in den Programmen, die sie ohnehin nutzen.

Die Anbindung an Ihre Daten

Das Modell allein weiß nichts über Ihren Betrieb. Nützlich wird es, wenn es in Ihren Unterlagen suchen kann: auf dem Netzlaufwerk, in OneDrive und SharePoint, in gemeinsamen Postfächern, im ERP. Dafür werden die Dokumente so aufbereitet, dass das Modell zu einer Frage die passenden Stellen findet und daraus antwortet. Für die Anbindung an Programme hat sich das Model Context Protocol (MCP) als Standard verbreitet.

Dabei gilt eine Regel ohne Ausnahme: Bevor etwas abgerufen wird, wird geprüft, ob die fragende Person es sehen darf. Sonst beantwortet die KI einem Auszubildenden die Frage nach den Gehältern der Geschäftsführung.

Jemanden, der sich kümmert

Ein Modell im Haus ist ein System wie jedes andere: Es braucht Updates, Überwachung und eine Person, die zuständig ist. Neue Modelle sollten getestet werden, bevor sie das alte ersetzen, damit sich die Antworten nicht unbemerkt verändern.

Was ein Modell im Haus kann - und was nicht

Frei verfügbare Modelle sind stark bei Aufgaben mit klarem Rahmen:

  • Belege lesen und mit Bestellungen abgleichen
  • E-Mails zusammenfassen und an die richtige Stelle verteilen
  • in eigenen Dokumenten suchen und mit Quelle antworten
  • Texte nach Vorlage schreiben

Bei schwierigen Aufgaben, langen Zusammenhängen und kniffligen Schlussfolgerungen sind die großen Modelle der Anbieter meist noch voraus. Das ist der Grund für den gemischten Weg.

Was es kostet

Eine Zahl nennen wir hier nicht, weil sie stark von Modell, Nutzerzahl und Aufgabe abhängt. Die Struktur ist aber klar: Im Haus zahlen Sie einmal für Hardware und Einrichtung und danach für Strom und Betreuung - unabhängig davon, wie viel gefragt wird. Beim Anbieter zahlen Sie wenig am Anfang und danach je Nutzung oder je Nutzer. Je mehr und je regelmäßiger eine Aufgabe anfällt, desto eher rechnet sich der eigene Betrieb.

Datenschutz und KI-Verordnung

Ein Modell im Haus macht vieles einfacher, aber nicht alles überflüssig. Für jede Aufgabe sollte aufgeschrieben werden, welche Daten verarbeitet werden, wer zugreifen darf und an welcher Stelle ein Mensch prüft. Das ist die Grundlage, auf der Ihr Datenschutzbeauftragter die rechtliche Seite beurteilen kann. Holen Sie ihn von Anfang an dazu.

Vor dem Start

  • Welche Aufgabe soll die KI übernehmen, und wie oft fällt sie an?
  • Welche Daten braucht sie dafür, und wo liegen sie?
  • Wer darf welche dieser Daten sehen?
  • Reicht ein Modell im Haus, oder braucht die Aufgabe ein großes Modell?
  • Wer ist zuständig, wenn es läuft?