Zum Inhalt springen
LLMlokal
☰

13 min Lesezeit

Inhaltlich aktualisiert: 12.11.2026

GPT für Unternehmen: ChatGPT- und LLM-Integration in echte Arbeitsabläufe

ChatGPT- und LLM-Integration im Unternehmen: API, RAG oder lokales Modell, Architektur mit Code, typische Fehler, Kosten und Pilot im Vergleich.

Direkte Antwort

Eine ChatGPT- oder LLM-Integration im Unternehmen lohnt sich, wenn ein Modell Daten aus euren Systemen bekommt und ein prüfbares Ergebnis dorthin zurückschreibt. Technisch besteht sie aus fünf Teilen: Auslöser im Fachsystem, Integrationsschicht mit Rechten und Protokoll, freigegebener Kontext, Modell per API oder lokal, Rückgabe als Entwurf. Für reine Textentwürfe kann ein freigegebener Chat-Zugang ausreichen. Für Antworten aus euren Dokumenten braucht es eine Suche mit Quellen und passenden Zugriffsrechten. Soll kein Dokument das Unternehmen verlassen, muss die gesamte Verarbeitung dafür ausgelegt sein.

Wir beginnen deshalb mit der Aufgabe: Wer wartet heute worauf? Welche Informationen fehlen? Wer prüft das Ergebnis? Erst danach wählen wir die Oberfläche, das Modell und die Infrastruktur.

ChatGPT, GPT-API und lokales Modell unterscheiden

WegWas ihr bekommtWas ihr vorher klärt
ChatGPTEinen vom Anbieter betriebenen Arbeitsplatz für einzelne NutzerPassender Organisationszugang, freigegebene Inhalte, Administration und Vertragsbedingungen
GPT über APIEin Modell hinter eurer eigenen AnwendungDatenübermittlung, Speicherung, Nutzerrechte, laufendes Budget und Integration
Lokales ModellInferenz auf eigener oder dedizierter InfrastrukturHerunterladbare Gewichte, Modelllizenz, Hardware, Betrieb und Qualität
HybridUnterschiedliche Datenwege für unterschiedliche AufgabenEine ausdrückliche Freigabe pro Datenklasse und eine nachvollziehbare Weiterleitung

Ein interner Chat mit Firmenlogo kann weiterhin eine externe API aufrufen. Eine „OpenAI-kompatible“ Schnittstelle beschreibt das Anfrageformat. Sie sagt nichts über den Serverstandort aus. Die offene Modellfamilie gpt-oss kann dagegen auf eigener Infrastruktur betrieben werden; das zeigen die offiziellen lokalen gpt-oss-Rezepte.

Bei API-Nutzung werden Eingaben standardmäßig nicht für Modelltraining verwendet, sofern ihr nicht aktiv zustimmt. Speicherung bleibt eine separate Frage: Standardmäßig können Missbrauchsprotokolle Inhalte bis zu 30 Tage aufbewahren; Zero Data Retention setzt eine Freigabe voraus und hat Einschränkungen. Das steht in den OpenAI-Datenkontrollen. „Kein Training“ ist deshalb keine Zusage, dass keinerlei Inhalte gespeichert werden.

So sieht eine LLM-Integration technisch aus

Eine Integration ist kein Chatfenster mit Firmenlogo. Sie ist ein kleiner Dienst, der zwischen euren Systemen und dem Modell sitzt und fünf Aufgaben übernimmt:

BausteinAufgabeTypischer Fehler, wenn er fehlt
AuslöserWebhook aus CRM oder Ticketsystem, geplanter Job, Button im FachsystemBeschäftigte kopieren Texte von Hand hin und her
IntegrationsschichtAnmeldung, Rechteprüfung, Protokoll, Budget pro Vorgang, ModellauswahlAPI-Schlüssel steckt im Frontend, Kosten sind keinem Vorgang zuordenbar
KontextFreigegebene Dokumente oder Datensätze per Suche (RAG)Modell antwortet aus allgemeinem Wissen statt aus euren Unterlagen
ModellAPI-Anbieter, Azure, oder offenes Modell auf eigener HardwareAnbieterwechsel bedeutet Neuentwicklung
RückgabeStrukturiertes Ergebnis (JSON nach Schema) als Entwurf im FachsystemFreitext, den niemand automatisch weiterverarbeiten kann

Der wichtigste Architekturentscheid ist unscheinbar: Schreibt die Integration gegen eine OpenAI-kompatible Schnittstelle. Dann ist das Modell austauschbar. Derselbe Code spricht die OpenAI-API, einen kompatiblen Cloud-Anbieter oder ein lokales Modell über Ollamas OpenAI-Kompatibilität an. Nur Adresse, Schlüssel und Modellname ändern sich:

import os
from openai import OpenAI

# Cloud: LLM_BASE_URL leer lassen, LLM_API_KEY = eigener Schlüssel
# Lokal: LLM_BASE_URL=http://ki-server:11434/v1, LLM_API_KEY=ollama
client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL") or None,
    api_key=os.environ["LLM_API_KEY"],
)

ticket_text = "..."  # Text aus dem Ticketsystem

antwort = client.chat.completions.create(
    model=os.environ["LLM_MODEL"],  # z. B. ein GPT-Modell oder gpt-oss:20b
    messages=[
        {"role": "system", "content": "Fasse das Ticket in drei Sätzen zusammen. Nenne fehlende Angaben."},
        {"role": "user", "content": ticket_text},
    ],
    temperature=0.2,
)
print(antwort.choices[0].message.content)

Für die Rückgabe in ein Fachsystem lohnt sich ein festes Ausgabeformat. Die OpenAI-API kann Antworten an ein JSON-Schema binden (Structured Outputs); bei lokalen Modellen prüft die Integrationsschicht das Schema und verwirft ungültige Antworten. So landet im CRM ein Feld „Zusammenfassung“ plus eine Liste „fehlende Angaben“, nicht ein Absatz Fließtext.

Wer Microsoft-Verträge nutzt, kann dieselben Modelle über Azure beziehen. Microsoft beschreibt in der Datenschutzdokumentation zu Azure OpenAI, wie Eingaben verarbeitet und gespeichert werden. Das ersetzt nicht eure eigene Prüfung, welche Datenklasse überhaupt an einen Cloud-Dienst gehen darf.

Wo die Integrationsschicht läuft

Das Modell ist der kleinste Teil des Betriebs. Webhook-Empfänger, Warteschlange, Protokolle und Automatisierungen wie n8n müssen rund um die Uhr erreichbar sein, sonst gehen Ereignisse aus CRM oder Postfach verloren. Ein Laptop, der nachts schläft, ist dafür kein Ort.

VarianteWas dort läuftWann sinnvoll
Eigener Rechner im BüroPrototyp, Tests mit BeispielaufgabenPilotphase, wenige Nutzer, kein Dauerbetrieb
KVM-VPS (CPU)Integrationsschicht, n8n, Webhooks, Vektordatenbank, Weboberfläche; Modell per APIProduktivbetrieb mit Cloud-Modell und unkritischen bis freigegebenen Daten
Eigener KI-Server mit GPUModell und Integrationsschicht im eigenen NetzDaten dürfen das Haus nicht verlassen, viele parallele Anfragen

Ein CPU-VPS ersetzt keinen GPU-Server für große Modelle. Für die Schicht dazwischen ist er aber oft die passende Größe: ein Docker-Host mit Reverse-Proxy, auf dem Gateway und Automatisierung laufen, während das Modell über API kommt. Was eigener GPU-Betrieb im Vergleich kostet, rechnet KI-Server-Kosten durch.

Für Mandanten-, Patienten- oder Personaldaten gilt das nicht ohne Weiteres. Dort entscheiden Sicherheit und DSGVO und der Betrieb im eigenen Netz, siehe Local Studio.

Typische Fehler bei der ChatGPT-Integration

  1. API-Schlüssel im Browser. Jeder Aufruf geht über die eigene Integrationsschicht; der Schlüssel liegt nur dort, getrennt pro Umgebung.
  2. Kein Budget pro Vorgang. Ohne Obergrenze für Tokens und Wiederholungen kann eine Schleife im Workflow die Monatsrechnung bestimmen. Limits und Kostenprotokoll gehören in die Schicht, nicht ins Monitoring danach. Mehr dazu unter LLM-API-Kosten senken.
  3. Rechte nur in der Oberfläche. Wenn die Suche alle Dokumente sieht, sieht sie auch das Modell. Zugriffsrechte müssen schon beim Abruf der Kontextdaten greifen, nicht erst bei der Anzeige.
  4. Freitext statt Schema. Ergebnisse, die zurück ins Fachsystem sollen, brauchen ein festes Format mit Pflichtfeldern und eine Validierung.
  5. Direktes Schreiben ohne Freigabe. Im Pilot erzeugt das Modell Entwürfe; ein Mensch gibt frei. Automatisches Senden erst, wenn die Fehlerquote gemessen ist.
  6. An einen Anbieter gekettet. Modellname, Adresse und Schlüssel gehören in die Konfiguration. Dann lässt sich ein lokales Modell gegen dieselben Testaufgaben prüfen, ohne neu zu entwickeln.

Seit Februar 2025 verlangt die KI-Verordnung außerdem, dass Unternehmen beim Einsatz von KI-Systemen für ausreichende KI-Kompetenz ihres Personals sorgen (Art. 4 KI-Verordnung). Eine kurze Einweisung, was der Assistent kann und wo er irrt, gehört deshalb in jede Einführung.

Drei Arbeitsabläufe, an denen sich ein Pilot messen lässt

Angebote schneller vorbereiten

Ein Vertriebsteam nutzt freigegebene Leistungsbausteine und Produktinformationen. Der Assistent erstellt einen Entwurf und nennt die verwendeten Bausteine. Rabatte, Liefertermine und die endgültige Kalkulation bleiben bei den Verantwortlichen. Gemessen wird die Zeit bis zum geprüften Angebot, einschließlich Nacharbeit.

Dieses Szenario passt zum KI-Einstieg im Mittelstand. Es braucht nicht automatisch ein besonders großes Modell, sondern verlässliche Ausgangsdaten und eine saubere Übergabe an die bestehende Angebotssoftware.

Interne Fragen aus Handbüchern beantworten

Ein Service-Team fragt nach einer Wartungsanweisung. Der Assistent liefert die relevante Stelle mit Dokumentname und Versionsstand. Bei widersprüchlichen Versionen oder fehlendem Beleg fragt er nach beziehungsweise gibt die Frage weiter. Der Fachbereich entscheidet, welche Dokumente überhaupt gelten. Die Architektur steht unter KI-Wissensdatenbank.

Vertrauliche Unterlagen sichten

Eine Kanzlei lässt einen Aktenbestand nach Ereignissen durchsuchen. Jede Fundstelle bleibt mit dem Ausgangsdokument verbunden, und die anwaltliche Bewertung folgt anschließend. Technisch entscheidend sind Mandatstrennung und überprüfbare Quellen. Dafür gibt es ein eigenes Kanzleiszenario.

Das sind Planungsszenarien, keine behaupteten Kundenreferenzen. Ob sie bei euch funktionieren, wird anhand eigener Beispielaufgaben geprüft.

Ein Pilot mit klarer Entscheidung am Ende

  1. Aufgabe begrenzen: ein Fachbereich, ein Dokumentbestand, ein verantwortlicher Prüfer.
  2. Ausgangslage messen: Bearbeitungszeit, typische Fehler, notwendige Rückfragen.
  3. Datenweg festlegen: welche Inhalte lokal bleiben und welche extern verarbeitet werden dürfen.
  4. Vergleich durchführen: dieselben Aufgaben mit mehreren geeigneten Modellen bearbeiten und blind prüfen.
  5. Abnahme entscheiden: hilfreiche Antworten, belegbare Aussagen, Aufwand für Korrekturen und Kosten zusammen bewerten.

Als Startpunkt schlagen wir 30–50 repräsentative Aufgaben vor, einschließlich fehlender Informationen, veralteter Dokumente und unzulässiger Zugriffe. Das ist eine Pilotempfehlung, kein universeller Qualitätsstandard. Ein Assistent, der bei einer unklaren Frage sinnvoll abbricht, kann für euer Unternehmen wertvoller sein als einer, der immer eine Antwort erzeugt.

Was das kostet

Die Rechnung besteht aus Einführung, Nutzung und Betrieb. Bei einer API entstehen Modellkosten pro abgerechneter Nutzung; ein ChatGPT-Abonnement und eine API-Anwendung sind getrennte Kostenstellen. Lokal kommen Hardware, Strom, Administration und Ersatzbeschaffung hinzu. Dokumentaufbereitung und die Anbindung an eure Systeme fallen in beiden Fällen an.

Eine Beispielrechnung mit überprüftem Tarifstand und anpassbarem Anfragevolumen findet ihr unter KI-Server und Kosten. Einen pauschalen Preis pro Beschäftigtem nennen wir nicht: 50 Beschäftigte mit drei gleichzeitig aktiven Nutzern benötigen eine andere Lösung als 50 gleichzeitig arbeitende Nutzer.

Welcher nächste Schritt passt?

Der Anlass kann auch ein geschützter Datenbestand, lokale Softwareentwicklung, Engineering-Wissen oder die Kontrolle laufender Tokenkosten sein. Der Überblick mit zwölf Anwendungsfällen verbindet diese Fragen mit konkreten Aufgaben und messbaren Pilot-Ergebnissen.

Für die eigene technische Erprobung: Ollama installieren, Hardwarebedarf rechnen und Dokumente per RAG anbinden. Für eine begleitete Entscheidung: Beratungsformate. Wenn ihr die Aufgabe bereits kennt, könnt ihr direkt eine Projektanfrage für GPT im Unternehmen vorbereiten.

Häufige Fragen

Kann ChatGPT auf unserem eigenen Server laufen?

ChatGPT ist ein gehosteter Dienst. Eine eigene Oberfläche oder eine OpenAI-kompatible Schnittstelle macht das dahinterliegende Modell nicht lokal. Für eigenen Betrieb kommen herunterladbare Modelle wie gpt-oss oder andere offene Modellfamilien infrage.

Braucht jeder Mitarbeiter ein ChatGPT-Abonnement?

Das hängt vom Arbeitsablauf ab. Für eine individuell genutzte ChatGPT-Oberfläche sind passende Nutzerzugänge nötig. Eine eigene Anwendung kann stattdessen eine API verwenden, deren Nutzung separat abgerechnet wird. Ein ChatGPT-Abonnement umfasst keine API-Kosten.

Sollten wir direkt einen KI-Server kaufen?

Erst Aufgabe, zulässigen Datenweg und parallele Nutzung testen. Wenn ein freigegebener Cloud-Dienst genügt, ist ein eigener Server nicht automatisch wirtschaftlicher. Bei lokalem Betrieb ergeben Modellgröße und Last die Hardwareanforderungen.

Was ist ein sinnvoller erster GPT-Anwendungsfall?

Eine regelmäßig wiederkehrende Aufgabe mit prüfbarem Ergebnis: etwa Angebotsentwürfe aus freigegebenen Bausteinen oder Antworten aus einem klar begrenzten Handbuchbestand. Fachliche Freigabe und Erfolgskriterien gehören schon in den Pilot.

Was ist der Unterschied zwischen ChatGPT nutzen und ChatGPT integrieren?

Nutzen heißt: Beschäftigte arbeiten in der ChatGPT-Oberfläche und kopieren Ergebnisse von Hand weiter. Integrieren heißt: Eine eigene Anwendung ruft ein Modell über eine API auf, bekommt Daten aus CRM, Ticketsystem oder Dokumentablage und schreibt ein prüfbares Ergebnis zurück. Erst dann lassen sich Zugriffsrechte, Protokollierung und Kosten pro Vorgang steuern.

Wie binden wir ein LLM an CRM oder Ticketsystem an?

Über eine Integrationsschicht zwischen System und Modell: Ein Webhook oder geplanter Job liefert den Vorgang, die Schicht holt freigegebene Kontextdaten, ruft das Modell mit einem festen Ausgabeschema auf und schreibt das Ergebnis als Entwurf zurück. Das Modell bekommt keinen direkten Datenbankzugriff.

Brauchen wir für die LLM-Integration Azure OpenAI?

Nein, Azure OpenAI ist eine von mehreren Bezugsquellen. Sie kommt infrage, wenn ihr ohnehin Microsoft-Verträge und Azure-Infrastruktur nutzt. Alternativen sind die OpenAI-API direkt, andere Anbieter oder ein offenes Modell auf eigener Hardware. Schreibt die Integration gegen eine OpenAI-kompatible Schnittstelle, bleibt der Wechsel später eine Konfigurationsfrage.

Wie fragen wir ein Projekt an?

Beschreibt die Aufgabe, Teamgröße, gleichzeitig aktive Nutzer und Datenanforderungen. Das Anfrageformular bereitet daraus einen Text für E-Mail oder WhatsApp vor. Ein Preis wird erst für den vereinbarten Umfang angeboten.

Beratung