Große Modelle lokal: die Geschwindigkeit

Direkte Antwort

Anfang August 2026 ging ein Screenshot herum: Jemand betreibt DeepSeek V4 Flash, ein Modell mit über 300 Milliarden Parametern, auf einem Windows-PC mit einer einzelnen Grafikkarte und 24 GB Grafikspeicher. Die Reaktionen schwankten zwischen „unmöglich” und „hat das mal jemand geprüft”.

Es stimmt. Und es ist langweiliger, als es klingt.

Das Modell läuft mit 4,6 Tokens pro Sekunde, was etwa dem Tempo eines langsamen Zweifingersuchsystems entspricht. Es braucht neben den 24 GB Grafikspeicher noch rund 110 bis 135 GB Arbeitsspeicher. Und der Wert von 4,6 ist kein Zufall, sondern ließ sich vorher ausrechnen — mit einer Formel, die auf eine Zeile passt.

Diese Seite zeigt die Formel, erklärt warum sie funktioniert, und wo sie aufhört zu gelten.

Die Formel

Ein Sprachmodell muss für jedes einzelne Token, das es ausgibt, seine aktiven Gewichte einmal komplett aus dem Speicher lesen. Nicht rechnen — lesen. Deshalb ist bei lokaler Inferenz fast nie die Rechenleistung der Engpass, sondern die Geschwindigkeit, mit der Daten aus dem Speicher zur Recheneinheit kommen.

Daraus folgt direkt:

Bytes pro Token   = aktive Parameter × Bytes je Gewicht
Tokens pro Sekunde = Speicherbandbreite / Bytes pro Token

Für DeepSeek V4 Flash in Q4-Quantisierung:

13 Mrd. aktive Parameter × 0,6 Byte  = 7,8 GB pro Token
DDR4-3200 Dual Channel:  51 GB/s theoretisch
                       × 0,75 Effizienz = 38 GB/s nutzbar
38 / 7,8 = 4,9 Tokens pro Sekunde

Gemeldet wurden 4,6. Die Abweichung von sechs Prozent geht auf Expert-Routing und Transfers zwischen Grafikkarte und Arbeitsspeicher — Dinge, die die Formel bewusst ignoriert.

Warum das für alle Meldungen funktioniert

Der interessante Test ist nicht der eine Wert, sondern ob die Formel die anderen Aufbauten aus derselben Diskussion trifft:

Aufbau	Engpass	Gerechnet	Gemeldet
24 GB VRAM + RAM-Offload	DDR4	4,9	4,6
128 GB DDR4 + 2× Titan RTX	DDR4	4,9	4,5
16 GB VRAM + 128 GB DDR4	DDR4	4,9	~5
RTX 5090 + CPU-Offload	DDR5, weniger ausgelagert	15–25	23
4× RTX 3090, kein Offload	GDDR6X	deutlich über 40	40

Die ersten drei Zeilen sind der eigentliche Befund. Drei völlig verschiedene Maschinen — verschiedene Prozessoren, ein bis zwei Grafikkarten, 16 bis 48 GB Grafikspeicher — landen alle bei etwa fünf Tokens pro Sekunde. Weil sie alle am selben DDR4-Flaschenhals hängen.

Die praktische Konsequenz ist unbequem: Die zweite Titan RTX in Zeile zwei bringt gegenüber Zeile drei praktisch nichts. Wer in dieser Situation Geld ausgibt, kauft schnelleren Arbeitsspeicher, nicht mehr Grafikkarten.

Nur die letzte Zeile spielt ein anderes Spiel. Vier RTX 3090 halten zusammen 96 GB Grafikspeicher, das Modell braucht keinen Offload mehr, und die Bandbreite springt von 51 auf über 900 GB/s. Dass dabei „nur” 40 statt der theoretisch möglichen dreistelligen Werte herauskommen, liegt an Routing und der Kommunikation zwischen den Karten.

Der Rechner

Wie schnell läuft das bei mir?

Hardware und Quantisierung wählen. Der Rechner nimmt 75 % der theoretischen Speicherbandbreite an und liefert eine Obergrenze — real wird es etwas langsamer.

Hardware Bestimmt die Speicherbandbreite Bandbreite GB/s — überschreibbar für eigene Hardware Quantisierung Weniger Bits = weniger zu lesen

Modell	Aktiv	Pro Token	Gewichte	Tokens/s	Einordnung
Llama 3.1 8B	8 Mrd.	4,8 GB	5 GB	8,0	brauchbar
Qwen 2.5 14B	14 Mrd.	8,4 GB	8 GB	4,6	zäh
Llama 3.3 70B	70 Mrd.	42,0 GB	42 GB	0,9	nur für Batch
DeepSeek V4 Flash (MoE)	13 Mrd.	7,8 GB	182 GB	4,9	zäh
MiniMax M2 (MoE)	10 Mrd.	6,0 GB	137 GB	6,4	zäh
DeepSeek V4 Pro (MoE)	49 Mrd.	29,4 GB	960 GB	1,3	nur für Batch
Qwen3.8-Max (MoE)	95 Mrd.	57,0 GB	1.440 GB	0,7	nur für Batch

Obergrenze, keine Messung. Gerechnet wird Bandbreite × 0.75 ÷ (aktive Parameter × Bytes je Gewicht). Reale Systeme verlieren zusätzlich durch Expert-Routing, PCIe-Transfers und NUMA-Effekte. Die Spalte „Gewichte“ ist eine Näherung aus Gesamtparametern und Bitbreite; bei DeepSeek V4 Flash liegen die gemessenen Unsloth-Downloads darunter (103 GB in IQ3, 155–162 GB in Q4), weil die Experten ab Werk in vier Bit vorliegen.

Kontrolle: DDR4-3200 mit DeepSeek V4 Flash in Q4 ergibt hier rund 4,9 Tokens pro Sekunde. Im Netz gemeldet wurden für vergleichbare Aufbauten 4,5 bis 5. Die Rechnung trifft also, was Leute tatsächlich messen.

Ob das Modell überhaupt in deinen Speicher passt, beantwortet der Hardware-Rechner.

Warum MoE das überhaupt erlaubt

Der Trick, der die ganze Sache trägt, steckt in der Architektur.

Ein Mixture-of-Experts besteht nicht aus einem großen Netz, sondern aus vielen kleinen Teilnetzen, den Experten. Bei DeepSeek V4 Flash sind es 256 pro Layer, und für jedes Token wählt ein Router sechs davon aus. Die config.json sagt das direkt:

"n_routed_experts": 256,
"num_experts_per_tok": 6,
"num_hidden_layers": 43

Daraus folgt die Zweiteilung, auf der alles beruht:

Alle 304 Milliarden Parameter müssen im Speicher liegen, weil vorher niemand weiß, welche sechs Experten das nächste Token braucht.
Aber nur 13 Milliarden werden pro Token tatsächlich gelesen.

Genau diese Lücke macht das Auslagern möglich. Die Attention-Schichten werden bei jedem Token gebraucht, sind aber klein — die gehören auf die Grafikkarte. Die Experten sind riesig, werden aber einzeln selten angefasst — die dürfen in den langsamen Arbeitsspeicher.

Bei einem dichten Modell mit 304 Milliarden Parametern funktioniert der Trick nicht. Dort wären aktive und gesamte Parameter identisch, es müssten 182 GB pro Token gelesen werden, und man käme auf ein Token alle fünf Sekunden.

--n-cpu-moe in llama.cpp macht genau diese Aufteilung: Es verschiebt die Experten-Gewichte der ersten N Layer in den Arbeitsspeicher und lässt Attention, KV-Cache, Router und Normierungen auf der Grafikkarte.

Wie du es einrichtest

Der Weg über Ollama scheidet bei diesem Modell aus — dort existieren nur Cloud-Tags, also kein lokaler Build. Es bleibt llama.cpp.

Erstens: die richtige Quantisierung wählen. Die gemessenen Größen von Unsloth:

Variante	Dateigröße	Speicher nötig
UD-IQ3_XXS	103 GB	110–135 GB
UD-Q4_K_XL	155–162 GB	162 GB
UD-Q8_K_XL (verlustfrei)	161,9 GB	169 GB

„Speicher nötig” meint Grafikspeicher und Arbeitsspeicher zusammen. Ein Rechner mit 24 GB VRAM und 128 GB RAM kommt auf 152 GB und schafft damit IQ3 bequem, Q4 gerade so nicht.

Zweitens: die Offload-Tiefe finden. Der Schalter nimmt die Zahl der Layer, deren Experten in den Arbeitsspeicher wandern:

llama-cli --model DeepSeek-V4-Flash-UD-IQ3_XXS-00001-of-00003.gguf \
  --n-cpu-moe 34 \
  --ctx-size 32768 \
  --threads 16 \
  --temp 1.0 --top-p 1.0

Die richtige Zahl ist die kleinste, bei der es noch passt. Das Verhalten über die Offload-Tiefe hat die Form eines V: Zu wenig ausgelagert, und der Grafikspeicher läuft über, was den Durchsatz einbrechen lässt. Zu viel ausgelagert, und man verschenkt Grafikspeicher, den man hätte nutzen können. Also senken, bis es kippt, dann einen Schritt zurück.

Die Sampling-Werte --temp 1.0 --top-p 1.0 sind keine Vorliebe, sondern DeepSeeks eigene Empfehlung aus der Modellkarte.

Die FP4-Falle

Hier ist die Stelle, an der die gewohnte Intuition versagt.

Normalerweise gilt: eine Quantisierungsstufe tiefer, ungefähr ein Drittel weniger Speicher. Bei DeepSeek V4 Flash stimmt das nicht, und der Grund steht in der config.json:

"expert_dtype": "fp4"

Die Experten — rund 278 der 304 Milliarden Parameter — liegen ab Werk in vier Bit. Sie wurden so trainiert. Deshalb ist Unsloths verlustfreies Q8 mit 161,9 GB nur rund sieben Gigabyte größer als Q4 mit 155 bis 162 GB. Es ist schlicht nichts mehr da, was sich sinnvoll zusammendrücken ließe.

Daraus folgen zwei Dinge, die man wissen sollte, bevor man 100 GB herunterlädt:

Nimm Q8, wenn du Q4 nehmen wolltest. Der Aufpreis sind sieben Gigabyte, der Gegenwert ist Verlustfreiheit.
Geh nicht unter IQ3. Wer ein bereits vierbittiges Netz auf zwei oder drei Bit presst, bekommt laut Unsloth deutliche Qualitätseinbußen. Der viel geteilte Screenshot zeigt ausgerechnet einen Q3-Lauf — technisch beeindruckend, inhaltlich fragwürdig.

Was in der Diskussion nicht stimmte

Zwei Behauptungen aus dem Umlauf halten der Prüfung nicht stand.

„24 GB VRAM reichen.” Nur zusammen mit 110 bis 135 GB Arbeitsspeicher. Die Grafikkarte allein trägt hier ungefähr ein Fünftel des Modells. Wer den Screenshot als „läuft auf einer 3090” liest, plant seine Anschaffung falsch.

„Ich fahre das 66-GB-H3 auf einem 16-GB-Mac.” MiniMax H3 ist kein Sprachmodell. Die Modellkarte weist es als Image-Text-to-Video aus, 33 Milliarden Parameter in dichter Architektur. Die Sprachmodelle von MiniMax heißen M2, M2.5 und M2.7 mit je 229 Milliarden Parametern sowie M3 mit 427 Milliarden. Ein Videomodell und ein Chat-Modell haben völlig unterschiedliche Lastprofile — der Vergleich trägt nichts bei.

Das ist kein Detailreiterei. Wer aus solchen Meldungen eine Kaufentscheidung ableitet, kauft die falsche Maschine.

Wenn es 1,6 Billionen sein müssen

Alles bisher Gesagte hat eine Grenze, und sie ist hart.

Modell	Gesamt	Aktiv	Gewichte in Q4
DeepSeek V4 Flash	304 Mrd.	13 Mrd.	~160 GB
DeepSeek V4 Pro	1,6 Bio.	49 Mrd.	~960 GB
Qwen3.8-Max	2,4 Bio.	95 Mrd.	~1,4 TB

Bei V4 Pro und Qwen3.8-Max endet das Basteln. Nicht weil die Formel aufhört zu gelten — sie gilt weiter, und sie sagt für 49 Milliarden aktive Parameter auf DDR4 einen Wert von etwa 1,3 Tokens pro Sekunde voraus. Sondern weil man knapp ein Terabyte Arbeitsspeicher bräuchte, um überhaupt anzufangen.

Für Unternehmen, die genau diese Modelle brauchen und dabei an Datenschutzauflagen gebunden sind, verschiebt sich die Frage deshalb von „welche Hardware kaufe ich” zu „wo miete ich”.

Und da ist der EU-Standort nicht das eigentliche Kriterium. Ein US-Anbieter unterliegt dem CLOUD Act auch dann, wenn die Maschine in Frankfurt steht — die Herausgabepflicht knüpft an die Gesellschaft, nicht an den Serverstandort. Für Banken, Institute und Konzerne ist deshalb meist ein Anbieter mit europäischer Gesellschaft und belastbaren Zertifizierungen wie BSI C5 und ISO 27001 die tragfähige Antwort. In Deutschland gibt es solche Angebote mit H200-Kapazität inzwischen mit stundenweiser Abrechnung.

Bei der aktuellen Blackwell-Generation ist die Lage angespannter: B200-Kapazität in der EU ist knapp, Nebius ruft rund 5,50 Euro pro Stunde auf, OVHcloud und Scaleway planen für das vierte Quartal 2026. Der Engpass ist dabei nicht die Rechenleistung, sondern die Verfügbarkeit von HBM-Speicher.

Wie sich das gegen API-Nutzung und eigenen Betrieb rechnet, führt der Vergleich Cloud gegen lokal durch; die datenschutzrechtliche Einordnung steht unter Sicherheit und DSGVO.

Einordnung

Die eigentliche Nachricht des Sommers ist nicht, dass ein 300-Milliarden-Modell auf einen Desktop passt. Es ist, dass Passen und Laufen zwei verschiedene Dinge geworden sind.

Jahrelang war die Frage bei lokalen Modellen binär: Es passt in den Speicher, oder es passt nicht. Mit MoE-Architekturen und Offload ist daraus ein Kontinuum geworden. Fast alles passt irgendwie, wenn man genug Arbeitsspeicher hineinsteckt. Die interessante Frage ist, was dabei herauskommt — und die beantwortet die Speicherbandbreite, nicht der Preis der Grafikkarte.

Drei Faustregeln für die Praxis:

Rechne vor dem Kauf. Aktive Parameter mal Bytes je Gewicht, geteilt durch Bandbreite. Das dauert dreißig Sekunden und verhindert vierstellige Fehlentscheidungen.
Kauf Bandbreite, nicht Kapazität — solange das Modell ohnehin nicht vollständig in den Grafikspeicher passt. Der Sprung von DDR4 auf DDR5 bringt mehr als eine zweite gebrauchte Grafikkarte.
Frag, wofür. Fünf Tokens pro Sekunde sind für einen Chat unerträglich und für einen Agenten, der nachts einen Berg Code durchgeht, völlig in Ordnung.

Ob ein Modell in deinen Speicher passt, beantwortet der Hardware-Rechner. Wie schnell es dort wäre, der Rechner weiter oben. Und wenn du eine konkrete Karte im Auge hast, steht im GPU-Katalog für jede gängige GPU, welche Modelle daraufpassen und was sie dort liefern. Und wenn beides „nein” sagt, ist das kein Scheitern, sondern eine Information: Dann ist gemietete Kapazität der ehrlichere Weg — wir schauen uns das gern gemeinsam an.

Häufige Fragen

Wie rechne ich aus, wie schnell ein Modell auf meiner Hardware läuft?

Teile die nutzbare Speicherbandbreite durch die Datenmenge, die pro Token gelesen werden muss. Diese Datenmenge sind die aktiven Parameter mal den Bytes je Gewicht, bei Q4 also 0,6 Byte. Ein Modell mit 13 Milliarden aktiven Parametern liest 7,8 GB pro Token. Auf DDR4-3200 im Dual Channel mit rund 38 nutzbaren GB pro Sekunde ergibt das 4,9 Tokens pro Sekunde.

Warum kann ein 300-Milliarden-Modell auf einem normalen Desktop laufen?

Weil es ein Mixture-of-Experts ist. Von 304 Milliarden Parametern werden pro Token nur 13 Milliarden gerechnet. Alle müssen im Speicher liegen, aber nur ein Bruchteil wird pro Token gelesen. Deshalb darf der große Rest im langsamen Arbeitsspeicher liegen, während die bei jedem Token gebrauchte Attention auf der Grafikkarte bleibt. Bei einem Dense-Modell derselben Größe funktioniert dieser Trick nicht.

Was macht der Schalter --n-cpu-moe in llama.cpp?

Er verschiebt die Experten-Gewichte der ersten N Layer in den Arbeitsspeicher, während Attention, KV-Cache, Router und Normierungen auf der Grafikkarte bleiben. Genau diese Aufteilung macht große MoE-Modelle auf kleinen Karten möglich. Die richtige Zahl findet man, indem man sie senkt, bis der Grafikspeicher überläuft, und dann einen Schritt zurückgeht.

Bringt mehr VRAM oder schnellerer RAM mehr?

Das hängt davon ab, was der Engpass ist. Solange der Großteil der Experten im Arbeitsspeicher liegt, bestimmt dessen Bandbreite das Tempo, und eine zweite Grafikkarte ändert fast nichts. Der Wechsel von DDR4 auf DDR5 bringt dann rund 75 Prozent mehr. Erst wenn das gesamte Modell in den Grafikspeicher passt, springt die Geschwindigkeit um eine Größenordnung.

Warum ist Q3 bei DeepSeek V4 Flash keine gute Idee?

Weil die Experten dieses Modells laut config.json ab Werk in vier Bit vorliegen. Wer auf drei oder zwei Bit heruntergeht, komprimiert ein bereits vierbittiges Netz weiter, und dafür ist kaum Spielraum da. Unsloth warnt ausdrücklich vor deutlichem Qualitätsverlust. Das verlustfreie Q8 ist bei diesem Modell ohnehin nur rund sieben Gigabyte größer als Q4.

Ist MiniMax H3 ein Sprachmodell?

Nein. Die Modellkarte weist H3 als Image-Text-to-Video aus, ein Videomodell mit 33 Milliarden Parametern in dichter Architektur. Die Sprachmodelle von MiniMax heißen M2, M2.5 und M2.7 mit 229 Milliarden Parametern sowie M3 mit 427 Milliarden. Wer H3 mit einem lokalen Chat-Modell vergleicht, vergleicht zwei verschiedene Dinge.

Ab welcher Modellgröße lohnt sich lokal nicht mehr?

Praktisch ab dem Punkt, an dem die Gewichte nicht mehr in bezahlbaren Arbeitsspeicher passen. DeepSeek V4 Pro mit 1,6 Billionen Parametern belegt in Q4 rund 960 GB, Qwen3.8-Max mit 2,4 Billionen rund 1,4 Terabyte. Das ist Serverterritorium. Wer solche Modelle unter Datenschutzauflagen braucht, mietet dedizierte GPU-Kapazität in der EU statt zu basteln.

Reicht ein EU-Rechenzentrum für DSGVO-Konformität?

Der Standort allein reicht nicht. Entscheidend ist, wer rechtlich Zugriff nehmen kann. Ein US-Anbieter unterliegt dem CLOUD Act auch dann, wenn die Maschine in Frankfurt steht. Für Banken, Institute und Konzerne ist deshalb meist ein Anbieter mit europäischer Gesellschaft und Zertifizierungen wie BSI C5 und ISO 27001 die tragfähige Antwort.