Beratung: lokale LLMs im Unternehmen

Direkte Antwort

Die Guides auf dieser Seite reichen aus, um ein lokales LLM selbst zum Laufen zu bringen. Wenn du technisch versiert bist und Zeit hast, brauchst du keine Beratung — lies weiter und leg los.

Beratung lohnt sich an einer anderen Stelle: wenn eine Entscheidung ansteht, die Geld oder Monate kostet. Welche Hardware beschaffen wir? Reicht ein 7B-Modell für unseren Anwendungsfall oder brauchen wir mehr? Ist unser Datenschutzargument tragfähig? Diese Fragen falsch zu beantworten ist teurer als sie einmal gemeinsam durchzugehen.

Welche Ziele dahinterstecken

In der Praxis kommen Anfragen fast immer aus einem dieser vier Gründe:

• Vertraulichkeit. Mandantendaten, Patientenakten, Personalunterlagen oder interne Geschäftslogik sollen nicht an eine Cloud-API gehen. Das ist der mit Abstand häufigste Auslöser — und der beste, weil lokal hier ein echtes strukturelles Argument hat statt nur ein preisliches.
• Kostenkontrolle. Bei hohem, gleichmäßigem Volumen wird die nutzungsabhängige Abrechnung der Cloud-Anbieter irgendwann teurer als eigene Hardware. Wo dieser Punkt liegt, lässt sich ausrechnen — dazu gibt es die Kostenrechnung unter Cloud vs. Lokal.
• Eigene Dokumente nutzbar machen. Handbücher, Verträge, Wikis, Mailverläufe durchsuchbar und beantwortbar machen, ohne sie hochzuladen. Technisch ist das RAG, und es ist der Anwendungsfall mit dem klarsten Nutzen pro investierter Stunde.
• Unabhängigkeit. Kein Anbieter, der Preise ändert, Modelle abkündigt oder den Zugang sperrt. Ein lokales Modell läuft in fünf Jahren noch genauso.

Was du dafür brauchst — und was nicht

Der verbreitetste Irrtum ist, dass lokale KI teure Spezialhardware voraussetzt. Das stimmt für die großen Modelle, aber die brauchen die wenigsten.

Was du brauchst:

• Genug Arbeitsspeicher. 16 GB reichen für kleine Modelle, 32 GB sind der Punkt, ab dem es entspannt wird. Details im Hardware-Guide.
• Einen klar umrissenen Anwendungsfall. „Wir wollen was mit KI machen" führt zu einem Setup, das niemand nutzt. „Wir wollen unsere 400 Angebotsvorlagen durchsuchbar machen" führt zu einem, das nach zwei Wochen produktiv ist.
• Eine Person, die es betreut. Nicht Vollzeit, aber jemanden, der bei einem Modellwechsel weiß, was zu tun ist.

Was du nicht brauchst:

• Keine GPU-Workstation für den Einstieg. Ein aktuelles Notebook mit ausreichend RAM trägt erstaunlich weit.
• Keine ML-Kenntnisse im Team. Modelle werden genutzt, nicht trainiert. Wer eine Software installieren kann, kommt hier durch.
• Kein eigenes Rechenzentrum. Und falls die Hardware doch nicht reicht, ist ein VPS in Frankfurt der pragmatische Zwischenschritt — dieselbe Datenschutz-Logik, ohne Anschaffung.
• Kein Trainieren eigener Modelle. Fast alles, was Unternehmen wollen, löst RAG mit einem fertigen Modell — schneller, billiger und wartbarer als Fine-Tuning.

Vier Formate

Welches Format passt, klären wir im ersten Gespräch — meistens ist es ein anderes als das, mit dem die Anfrage kam. Preise hängen vom Umfang ab und bespreche ich direkt, nicht über eine Preisliste.

Wann du keine Beratung brauchst

Damit wir uns beide die Zeit sparen — in diesen Fällen ist ein Gespräch nicht sinnvoll:

• Du willst die absolut beste Antwortqualität. Die liefern derzeit die großen Cloud-Modelle, nicht lokale. Wer GPT- oder Claude-Niveau als Anforderung setzt, wird lokal enttäuscht — das steht so auch in Cloud vs. Lokal.
• Du hast sehr wenig Volumen. Bei ein paar Anfragen am Tag rechnet sich der Aufwand nicht. Eine Cloud-API mit Auftragsverarbeitungsvertrag ist dann die ehrlichere Empfehlung.
• Du willst nur mal ausprobieren. Dafür ist das Ollama Tutorial da. Fünf Minuten, kostenlos, ohne Gespräch.

Wie es abläuft

1. Kurznachricht mit deinem Anwendungsfall — zwei, drei Sätze genügen.
2. Rückfrage von mir, ob lokal für deinen Fall überhaupt die richtige Richtung ist. Wenn nicht, sage ich das, und wir sind fertig.
3. Gespräch im passenden Format.