Wie kann man ein LLM lokal erstellen?

Welches Tool passt zu dir?

Drei Programme decken praktisch alles ab, was Einzelnutzer und kleine Teams brauchen. Sie schließen sich nicht aus — die meisten landen nach ein paar Wochen bei einer Kombination.

	Ollama	LM Studio	llama.cpp
Bedienung	Kommandozeile	Grafische Oberfläche	Kommandozeile, low level
Stärke	Ein Befehl pro Modell, REST-API ab Werk	Modelle browsen und vergleichen, ohne Terminal	Volle Kontrolle über jeden Parameter
Schwäche	Wenig Einblick in Detailparameter	Schwerer zu automatisieren	Kein Komfort, du baust alles selbst
Passt für	Einbindung in eigene Programme und Skripte	Einstieg und reine Desktop-Nutzung	Wenn dir die anderen beiden zu viel abnehmen

Für die meisten ist Ollama der richtige Start: Installation und erstes Modell dauern zusammen etwa fünf Minuten, und die mitgelieferte REST-API macht das Modell sofort für eigene Skripte nutzbar. Wer lieber klickt als tippt, nimmt LM Studio — technisch läuft darunter dieselbe Inferenz-Bibliothek, die Ergebnisse sind also vergleichbar.

Welches Modell für welche Aufgabe?

Die Größen sind die typischen Q4-Varianten (Q4_K_M beziehungsweise Q4_0), also das, was die Tools standardmäßig herunterladen — die Werte stammen aus der Ollama-Library. Je nach Tool, Quantisierungsvariante und vor allem Kontextlänge kann der tatsächliche Bedarf deutlich darüber liegen, weil der KV-Cache mitwächst. Die RAM-Spalte ist der Punkt, ab dem das Modell im Alltag flüssig läuft, nicht das absolute Minimum; für den eigenen Fall rechnet der Hardware-Rechner das genauer aus.

Modell	Größe	RAM ab	Wofür
Llama 3.2 3B	~2 GB	8 GB	Zusammenfassungen, Klassifikation, alles wo Tempo zählt
Qwen3 8B	~5 GB	16 GB	Der moderne Standard-Allrounder
Llama 3.1 8B	~5 GB	16 GB	Etwas älter, dafür das breiteste Ökosystem an Werkzeugen
Qwen3 14B	~9 GB	32 GB	Anspruchsvollere Aufgaben, längere Texte
Gemma 3 27B	~17 GB	32 GB	Starke Qualität, versteht Bilder, 128K Kontext
Qwen3 30B-A3B	~19 GB	48 GB	Mixture-of-Experts: nur ~3B aktiv, dadurch flott
Qwen3 32B	~20 GB	48 GB	Coding, Reasoning, lange Antworten
Llama 3.3 70B	~43 GB	64 GB	Höchste Qualität, die lokal realistisch ist

Warum kein Mistral 7B mehr in dieser Liste? Es ist nicht schlecht geworden, nur alt: Der latest-Tag in der Ollama-Library zeigt weiterhin auf Version 0.3 und wurde zuletzt vor über einem Jahr angefasst. Für neue Setups sind Qwen3 8B oder Gemma 3 in derselben Größenklasse die bessere Wahl. Wer Mistral gezielt braucht, findet die Einordnung weiterhin unter Mistral lokal installieren.

Die Lizenzfrage entscheidet oft mit, und sie ist nicht bei allen dreien gleich. Qwen3 steht unter Apache 2.0 und ist damit uneingeschränkt kommerziell nutzbar. Die Llama-Modelle laufen unter der Llama-Community-Lizenz, die kommerzielle Nutzung erlaubt, solange du unter 700 Millionen monatlich aktiven Nutzern bleibst — für DACH-Unternehmen praktisch nie ein Thema. Gemma ist der Sonderfall: Die Gemma Terms of Use sind keine Open-Source-Lizenz im engeren Sinn, sondern enthalten eine Liste verbotener Verwendungen, die Google einseitig fortschreiben kann. Für die meisten Anwendungen unproblematisch, aber ein Punkt, den man vor dem Produktivbetrieb gelesen haben sollte. Details stehen bei Llama lokal installieren.

Eine Faustregel, die fast immer trägt: ein größeres Modell in Q4 schlägt ein kleineres in Q8. Wenn beide in deinen Speicher passen, nimm das mit mehr Parametern.

Eigene Dokumente mit einem lokalen LLM nutzen

Ein oft unterschätzter Anwendungsfall: Ein lokales LLM beantwortet nicht nur allgemeine Fragen, sondern auch Fragen zu deinen eigenen Dokumenten - Handbücher, Verträge, interne Wikis oder Recherchematerial. Technisch heißt das Retrieval-Augmented Generation (RAG): Das Modell bekommt vor der Antwort passende Textausschnitte aus deiner Dokumentensammlung mitgeliefert, statt nur aus seinem Trainingswissen zu schöpfen.

Für den Einstieg reichen zwei Werkzeuge. Ollama liefert das Sprachmodell, ein Tool wie AnythingLLM oder GPT4Alls LocalDocs übernimmt Einlesen, Chunking und Vektorsuche der Dokumente - alles läuft lokal, keine Datei verlässt deinen Rechner. Für Unternehmen mit sensiblen Daten (Mandantengeheimnis, Patientendaten, interne Geschäftszahlen) ist das der Punkt, an dem lokale LLMs ihren größten Vorteil gegenüber ChatGPT und anderen Cloud-Modellen ausspielen: Die Dokumente bleiben, wo sie sind.

Die ausführliche Anleitung mit Embedding-Modellen, Chunking-Strategien und Vektor-Store-Auswahl (Qdrant, Chroma) steht auf der Sub-Page RAG lokal. Wer die Einrichtung im Unternehmenskontext lieber begleitet haben möchte, findet das passende Format unter Beratung.

Wo du am besten weiterliest

Die Sub-Pages sind nach Themen sortiert. Nach Situation sortiert sieht die Reihenfolge so aus:

• Du willst heute noch etwas laufen sehen. Dann direkt ins Ollama Tutorial — Installation und erstes Modell dauern zusammen etwa fünf Minuten.
• Du weißt nicht, ob dein Rechner reicht. Der Hardware-Rechner sagt dir in zehn Sekunden, welche Modelle bei deiner Kontextlänge in den Speicher passen. Die Begründung dahinter steht im Hardware-Guide.
• Du liest von einem neuen offenen Spitzenmodell und fragst dich, ob du es betreiben kannst. Am Beispiel des im Juli 2026 veröffentlichten DeepSeek V4 Flash zeigt DeepSeek V4 Flash lokal, warum freie MIT-Gewichte und lokale Lauffähigkeit zwei verschiedene Dinge sind — mit der Speicherrechnung und der Cloud-Tag-Falle bei Ollama.
• Du willst es erst einmal sehen, bevor du etwas installierst. Unter LLM im Browser läuft ein Modell direkt auf deiner Grafikkarte — ohne Installation, und im Netzwerk-Tab nachprüfbar, dass nichts rausgeht.
• Deine Daten dürfen das Haus nicht verlassen. Dann fang bei Sicherheit und DSGVO an. Dort steht auch, wo das Datenschutzargument für lokale Modelle nicht trägt.
• Du willst eigene Dokumente durchsuchbar machen. Das ist RAG lokal — der Anwendungsfall mit dem besten Verhältnis von Aufwand zu Nutzen.
• Du bist unsicher, ob lokal überhaupt das Richtige ist. Die Kostenrechnung und die ehrliche Gegenüberstellung stehen unter Cloud vs. Lokal.
• Dein Modell soll deinen Anweisungen wirklich folgen. Dann sieh dir Hermes an — die Reihe ist auf System-Prompt-Steuerung, Funktionsaufrufe und verlässliche JSON-Ausgabe abgestimmt.
• Das Modell läuft, und jetzt soll es etwas tun. Ein Agent mit lokalem Modell und ohne API-Kosten steht unter OpenClaw lokal — inklusive der Sicherheitsfragen, die dabei ehrlich dazugehören.
• Es soll ins Unternehmen. Was dafür nötig ist und was ausdrücklich nicht, steht auf der Seite Beratung.

Was lokale Modelle nicht gut können

Wer mit realistischen Erwartungen startet, bleibt dabei. Diese Grenzen verschieben sich zwar laufend, aber Stand 2026 gelten sie:

• Schwieriges Reasoning. Bei mehrstufigen Aufgaben, die wirklich Denkarbeit verlangen, liegen die großen Cloud-Modelle vorn. Ein lokales 8B-Modell löst eine Fachfrage sauber — aber nicht die, an der auch ein Mensch zwanzig Minuten sitzt.
• Sehr lange Kontexte. Technisch nehmen die Modelle große Kontextfenster entgegen. Praktisch sinkt die Qualität mit zunehmender Länge spürbar, und der Speicherbedarf steigt mit. Wer 200 Seiten am Stück verarbeiten will, braucht RAG statt eines größeren Kontextfensters.
• Aktuelles Wissen. Ein lokales Modell kennt nur seinen Trainingsstand. Es hat keinen Internetzugang, es sei denn, du baust ihn dazu. Für Fragen zu laufenden Ereignissen ist es das falsche Werkzeug.
• Verlässliche Werkzeugnutzung. Agenten, die selbstständig Tools aufrufen und mehrere Schritte verketten, funktionieren lokal — aber deutlich unzuverlässiger als mit den großen Modellen. Je enger die Aufgabe, desto besser das Ergebnis.

Nichts davon spricht gegen lokale Modelle. Es spricht dagegen, sie an der falschen Aufgabe zu messen. Ihr Vorteil ist nicht Spitzenqualität, sondern dass Daten das Haus nicht verlassen, die Kosten planbar bleiben und das Ganze auch ohne Netz funktioniert.

Die häufigsten Fehler beim Einstieg

1. Mit dem größten Modell anfangen. Das 70B-Modell läuft zäh, der erste Eindruck ist Enttäuschung, das Projekt stirbt. Fang mit einem 3B- oder 7B-Modell an und geh erst hoch, wenn du eine konkrete Aufgabe hast, an der es scheitert.
2. Auf die SSD schauen statt auf den RAM. Die Festplatte entscheidet, wie viele Modelle du lagern kannst. Der Arbeitsspeicher entscheidet, welche davon flüssig laufen. Bei der Kaufentscheidung gewinnt im Zweifel immer der RAM — mehr dazu im Hardware-Guide.
3. Fine-Tuning statt RAG. „Das Modell soll unsere Daten kennen" führt fast nie zu Fine-Tuning. Es führt zu RAG: schneller aufgesetzt, billiger, und du kannst Dokumente austauschen, ohne irgendetwas neu zu trainieren.
4. Ohne definierten Anwendungsfall starten. „Wir machen was mit KI" endet in einem Setup, das nach drei Wochen niemand mehr öffnet. „Wir wollen unsere Angebotsvorlagen durchsuchbar machen" endet in etwas, das benutzt wird.
5. Benchmark-Tabellen glauben. Veröffentlichte Ranglisten messen englische Standardaufgaben. Ob ein Modell deine deutschen Fachtexte versteht, sagt dir nur ein eigener Test mit fünf echten Prompts. Der dauert zehn Minuten und ist aussagekräftiger als jede Tabelle.