Wie kann man ein LLM lokal erstellen?

Welches Tool passt zu dir?

Drei Programme decken praktisch alles ab, was Einzelnutzer und kleine Teams brauchen. Sie schließen sich nicht aus — die meisten landen nach ein paar Wochen bei einer Kombination.

	Ollama	LM Studio	llama.cpp
Bedienung	Kommandozeile	Grafische Oberfläche	Kommandozeile, low level
Stärke	Ein Befehl pro Modell, REST-API ab Werk	Modelle browsen und vergleichen, ohne Terminal	Volle Kontrolle über jeden Parameter
Schwäche	Wenig Einblick in Detailparameter	Schwerer zu automatisieren	Kein Komfort, du baust alles selbst
Passt für	Einbindung in eigene Programme und Skripte	Einstieg und reine Desktop-Nutzung	Wenn dir die anderen beiden zu viel abnehmen

Für die meisten ist Ollama der richtige Start: Installation und erstes Modell dauern zusammen etwa fünf Minuten, und die mitgelieferte REST-API macht das Modell sofort für eigene Skripte nutzbar. Wer lieber klickt als tippt, nimmt LM Studio — technisch läuft darunter dieselbe Inferenz-Bibliothek, die Ergebnisse sind also vergleichbar.

Welches Modell für welche Aufgabe?

Alle Angaben beziehen sich auf 4-bit-Quantisierung (Q4), also das, was die Tools standardmäßig herunterladen. Die RAM-Empfehlung ist der Punkt, ab dem das Modell im Alltag flüssig läuft — nicht das absolute Minimum.

Modell	Größe	RAM ab	Wofür
Llama 3.2 3B	~2 GB	8 GB	Zusammenfassungen, Klassifikation, alles wo Tempo zählt
Mistral 7B Instruct	~4 GB	16 GB	Allrounder, gute deutsche Texte
Llama 3.1 8B	~5 GB	16 GB	Allrounder mit etwas mehr Reserve
Qwen 2.5 14B	~9 GB	32 GB	Anspruchsvollere Aufgaben, längere Texte
Mixtral 8x7B	~26 GB	48 GB	Komplexe mehrstufige Aufgaben
Llama 3.3 70B	~43 GB	64 GB	Höchste Qualität, die lokal realistisch ist

Die Lizenzfrage entscheidet oft mit: Mistral 7B und Mixtral 8x7B stehen unter Apache 2.0, sind also uneingeschränkt kommerziell nutzbar. Die Llama-Modelle laufen unter der Llama-Community-Lizenz, die kommerzielle Nutzung erlaubt, solange du unter 700 Millionen monatlich aktiven Nutzern bleibst — für DACH-Unternehmen praktisch nie ein Thema. Details stehen bei Llama lokal installieren und Mistral lokal installieren.

Eine Faustregel, die fast immer trägt: ein größeres Modell in Q4 schlägt ein kleineres in Q8. Wenn beide in deinen Speicher passen, nimm das mit mehr Parametern.

Wo du am besten weiterliest

Die Sub-Pages sind nach Themen sortiert. Nach Situation sortiert sieht die Reihenfolge so aus:

• Du willst heute noch etwas laufen sehen. Dann direkt ins Ollama Tutorial — Installation und erstes Modell dauern zusammen etwa fünf Minuten.
• Du weißt nicht, ob dein Rechner reicht. Der Hardware-Guide nennt für Mac, Windows und Linux die Grenzen, ab denen es Spaß macht — bevor du etwas kaufst.
• Deine Daten dürfen das Haus nicht verlassen. Dann fang bei Sicherheit und DSGVO an. Dort steht auch, wo das Datenschutzargument für lokale Modelle nicht trägt.
• Du willst eigene Dokumente durchsuchbar machen. Das ist RAG lokal — der Anwendungsfall mit dem besten Verhältnis von Aufwand zu Nutzen.
• Du bist unsicher, ob lokal überhaupt das Richtige ist. Die Kostenrechnung und die ehrliche Gegenüberstellung stehen unter Cloud vs. Lokal.
• Dein Modell soll deinen Anweisungen wirklich folgen. Dann sieh dir Hermes an — die Reihe ist auf System-Prompt-Steuerung, Funktionsaufrufe und verlässliche JSON-Ausgabe abgestimmt.
• Das Modell läuft, und jetzt soll es etwas tun. Ein Agent mit lokalem Modell und ohne API-Kosten steht unter OpenClaw lokal — inklusive der Sicherheitsfragen, die dabei ehrlich dazugehören.
• Es soll ins Unternehmen. Was dafür nötig ist und was ausdrücklich nicht, steht auf der Seite Beratung.

Was lokale Modelle nicht gut können

Wer mit realistischen Erwartungen startet, bleibt dabei. Diese Grenzen verschieben sich zwar laufend, aber Stand 2026 gelten sie:

• Schwieriges Reasoning. Bei mehrstufigen Aufgaben, die wirklich Denkarbeit verlangen, liegen die großen Cloud-Modelle vorn. Ein lokales 8B-Modell löst eine Fachfrage sauber — aber nicht die, an der auch ein Mensch zwanzig Minuten sitzt.
• Sehr lange Kontexte. Technisch nehmen die Modelle große Kontextfenster entgegen. Praktisch sinkt die Qualität mit zunehmender Länge spürbar, und der Speicherbedarf steigt mit. Wer 200 Seiten am Stück verarbeiten will, braucht RAG statt eines größeren Kontextfensters.
• Aktuelles Wissen. Ein lokales Modell kennt nur seinen Trainingsstand. Es hat keinen Internetzugang, es sei denn, du baust ihn dazu. Für Fragen zu laufenden Ereignissen ist es das falsche Werkzeug.
• Verlässliche Werkzeugnutzung. Agenten, die selbstständig Tools aufrufen und mehrere Schritte verketten, funktionieren lokal — aber deutlich unzuverlässiger als mit den großen Modellen. Je enger die Aufgabe, desto besser das Ergebnis.

Nichts davon spricht gegen lokale Modelle. Es spricht dagegen, sie an der falschen Aufgabe zu messen. Ihr Vorteil ist nicht Spitzenqualität, sondern dass Daten das Haus nicht verlassen, die Kosten planbar bleiben und das Ganze auch ohne Netz funktioniert.

Die häufigsten Fehler beim Einstieg

1. Mit dem größten Modell anfangen. Das 70B-Modell läuft zäh, der erste Eindruck ist Enttäuschung, das Projekt stirbt. Fang mit einem 3B- oder 7B-Modell an und geh erst hoch, wenn du eine konkrete Aufgabe hast, an der es scheitert.
2. Auf die SSD schauen statt auf den RAM. Die Festplatte entscheidet, wie viele Modelle du lagern kannst. Der Arbeitsspeicher entscheidet, welche davon flüssig laufen. Bei der Kaufentscheidung gewinnt im Zweifel immer der RAM — mehr dazu im Hardware-Guide.
3. Fine-Tuning statt RAG. „Das Modell soll unsere Daten kennen" führt fast nie zu Fine-Tuning. Es führt zu RAG: schneller aufgesetzt, billiger, und du kannst Dokumente austauschen, ohne irgendetwas neu zu trainieren.
4. Ohne definierten Anwendungsfall starten. „Wir machen was mit KI" endet in einem Setup, das nach drei Wochen niemand mehr öffnet. „Wir wollen unsere Angebotsvorlagen durchsuchbar machen" endet in etwas, das benutzt wird.
5. Benchmark-Tabellen glauben. Veröffentlichte Ranglisten messen englische Standardaufgaben. Ob ein Modell deine deutschen Fachtexte versteht, sagt dir nur ein eigener Test mit fünf echten Prompts. Der dauert zehn Minuten und ist aussagekräftiger als jede Tabelle.