DeepSeek V4 Flash lokal betreiben — offene Gewichte, unerreichbare Hardware

Direkte Antwort

DeepSeek hat am 31. Juli 2026 V4-Flash-0731 veröffentlicht, unter MIT-Lizenz, Gewichte inklusive. Das Modell rangiert in der Frontend Code Arena auf Platz 7 aller Modelle und auf Platz 3 unter den offenen. Über die API kostet es 0,14 US-Dollar je Million Eingabe-Tokens.

Und trotzdem lautet die ehrliche Antwort auf die Frage, ob du es lokal betreiben kannst, für die allermeisten Leser dieser Seite: nein.

Nicht wegen der Lizenz — die ist so frei, wie eine Lizenz sein kann. Sondern weil 304 Milliarden Parameter in der Q4-Quantisierung rund 170 GiB Speicher belegen, bevor ein einziges Token verarbeitet ist. Im Format, in dem DeepSeek das Modell tatsächlich ausliefert, sind es 283 GiB.

Diese Seite rechnet das nach, statt es zu behaupten. Sie zeigt außerdem, warum der scheinbar naheliegende Weg über Ollama hier aus dem lokalen Betrieb herausführt, und warum ausgerechnet jetzt, wo die besten offenen Modelle nichts mehr kosten, die Hardware für sie vom Markt verschwindet.

Was am 31. Juli 2026 passiert ist

Der Release ist in seiner Substanz beeindruckend, und es lohnt sich, ihn nicht kleinzureden.

DeepSeek veröffentlichte DeepSeek-V4-Flash-0731 auf HuggingFace mit 304 Milliarden Parametern in einer Mixture-of-Experts-Architektur, ergänzt um ein Modul für Speculative Decoding, das DeepSeek als DSpark-Methode bezeichnet. Repository und Gewichte stehen unter MIT-Lizenz — nicht unter einer der üblichen Quasi-offenen Lizenzen mit Nutzungsbeschränkung, sondern unter der Lizenz, die auch für kommerzielle Weiterverwendung praktisch keine Bedingungen stellt.

Die Benchmark-Werte aus der Modellkarte betreffen vor allem agentische Aufgaben, also Arbeit mit Werkzeugen, Terminal und Dateisystem über längere Ketten hinweg:

Benchmark	V4-Flash-0731
Terminal Bench 2.1	82,7
Cybergym	76,7
Toolathlon-Verified	70,3

Bemerkenswert daran ist weniger die absolute Höhe als das Verhältnis: Das kleinere Flash-Modell übertrifft hier laut Modellkarte das deutlich größere V4-Pro mit seinen 1,6 Billionen Parametern. Ein Modell, das rund ein Fünftel der Größe hat, löst die Werkzeug-Aufgaben besser.

In der Frontend Code Arena erreicht die Variante V4-Flash-High 1.586 Punkte, Platz 7 in der Gesamtwertung und Platz 3 unter den offenen Modellen — ein Sprung von 154 Punkten gegenüber der Preview-Version. In den Kategorien liegt es auf Platz 4 bei Consumer Product und Platz 6 bei Reference-based Design, Data & Analytics sowie Gaming.

Der Preis über die offizielle API:

	V4 Flash	V4 Pro
Eingabe (Cache-Miss)	$0,14 / 1M	$0,435 / 1M
Eingabe (Cache-Hit)	$0,0028 / 1M	$0,003625 / 1M
Ausgabe	$0,28 / 1M	$0,87 / 1M
Kontext	1M Token	1M Token
Max. Ausgabe	384K Token	384K Token

Konkret: Ein Durchlauf mit einer Million Eingabe-Tokens und 200.000 Ausgabe-Tokens kostet rund 0,20 Dollar. Wer denselben Kontext wiederholt schickt, zahlt für die Wiederholung 0,0028 Dollar je Million — ein Fünfzigstel des Cache-Miss-Preises. Das Modell unterstützt drei Reasoning-Stufen (low, high, max), JSON-Ausgabe, Tool Calls und ist API-seitig kompatibel zum Anthropic-Format.

Das ist der Moment, den viele als „zweiten DeepSeek-Moment” bezeichnen: ein offenes Modell auf Frontier-Niveau zu einem Preis, der die etablierten Anbieter unter Druck setzt.

Eine Zahl, die sich widerspricht

Ein Detail, das hier nicht geglättet wird: Arena.ai nennt für V4 Flash 284 Milliarden Parameter bei 13 Milliarden aktiven, die HuggingFace-Modellkarte für die Version 0731 nennt dagegen 304 Milliarden. Vermutlich unterscheiden sich Preview und finales Release, aber das ist eine Vermutung.

Alle Speicherrechnungen auf dieser Seite verwenden die 304 Milliarden aus der Modellkarte, weil das die Zahl der tatsächlich veröffentlichten Gewichte ist. Wer mit 284 Milliarden rechnet, kommt auf rund sieben Prozent weniger — was an der Kernaussage nichts ändert.

Die Rechnung: 304B total, 13B aktiv

Hier trennt sich die Schlagzeile von der Praxis, und zwar an einer einzigen Verwechslung.

Ein Mixture-of-Experts-Modell besteht aus vielen spezialisierten Teilnetzen. Die config.json von V4 Flash nennt 256 Experten, von denen pro Token nur sechs gerechnet werden. Daraus ergeben sich die rund 13 Milliarden aktiven Parameter. Das klingt nach einem Modell, das auf jede bessere Grafikkarte passt.

Tut es aber nicht. Aktive Parameter bestimmen die Geschwindigkeit, Gesamtparameter den Speicherbedarf. Vor der Verarbeitung eines Tokens weiß niemand, welche sechs der 256 Experten gebraucht werden — also müssen alle im Speicher liegen. Die 13 Milliarden sind ein Rechenvorteil, kein Speichervorteil.

Was tatsächlich im Speicher liegen muss

Aus der offiziellen config.json:

"num_hidden_layers": 43,
"num_key_value_heads": 1,
"num_attention_heads": 64,
"head_dim": 512,
"n_routed_experts": 256,
"num_experts_per_tok": 6,
"quantization_config": { "quant_method": "fp8", "fmt": "e4m3" }

Der KV-Cache folgt derselben Formel wie bei jedem anderen Modell:

KV-Cache pro Token = 2 × Layer × KV-Heads × head_dim × 2 Byte
                   = 2 × 43 × 1 × 512 × 2
                   = 88.064 Byte  ≈ 86 KiB

Und hier steckt tatsächlich eine echte Ingenieursleistung: num_key_value_heads ist 1. Eine einzige KV-Head-Gruppe bedient 64 Attention-Heads. Zum Vergleich braucht Llama 3.3 70B mit 80 Layern und 8 KV-Heads rund 320 KiB pro Token — fast das Vierfache. Deshalb ist der beworbene Kontext von einer Million Token keine Marketingzahl, sondern fällt direkt aus dieser Architektur: 1M Token kosten hier rund 82 GiB KV-Cache statt der Terabytes, die eine Llama-artige Architektur bräuchte.

Nur helfen die eleganten 86 KiB nichts, wenn die Gewichte den Rahmen sprengen:

Format	Bits/Gewicht	Gewichte	+ KV bei 128k	Gesamt (+10 %)
Q4_K_M	4,8	170 GiB	10,8 GiB	199 GiB
fp8 (Auslieferung)	8,0	283 GiB	10,8 GiB	323 GiB

Der Aufschlag von zehn Prozent deckt Aktivierungen und Puffer während der Inferenz ab — dieselbe Näherung, die auch der Hardware-Rechner verwendet.

Die Pointe

DeepSeek liefert das Modell nativ in fp8 aus, nicht in fp16. Das ist ungewöhnlich und für die Rechnung entscheidend: Wer V4 Flash im Auslieferungsformat betreiben will, braucht rund 323 GiB — und damit eine Maschine mit 512 GB Speicher.

Das ist exakt die Konfiguration, die Apple 2026 vom Markt genommen hat. Dazu weiter unten mehr.

Für Q4 reicht rechnerisch eine 256-GB-Maschine. Auch die verkauft Apple nicht mehr als Mac-Studio-Upgrade in der früheren Form. Trag die Werte gern selbst in den Hardware-Rechner ein — V4 Flash ist dort als Zeile hinterlegt, mit den echten Architekturwerten aus der config.json.

Die Cloud-Falle bei Ollama

Der übliche Weg auf dieser Site lautet: Modell in der Ollama-Library suchen, ollama run tippen, fertig. Bei V4 Flash führt genau dieser Weg aus dem lokalen Betrieb heraus.

In der Ollama-Library existiert deepseek-v4-flash derzeit ausschließlich mit zwei Tags:

deepseek-v4-flash:cloud
deepseek-v4-flash:0731-cloud

Kein :latest, kein :q4, keine Dateigröße, kein lokaler Build. Der Befehl sieht aus wie immer:

ollama run deepseek-v4-flash

Nur läuft das Modell dann nicht auf deinem Rechner. Deine Eingaben verlassen die Maschine und werden auf fremder Infrastruktur verarbeitet. Für eine Seite, deren Gegenstand die Datenhoheit ist, ist das ein wichtiger Unterschied — und einer, den die Kommandozeile nicht sichtbar macht.

Das ist kein Vorwurf an Ollama. Cloud-Tags sind eine sinnvolle Funktion, um sehr große Modelle überhaupt zugänglich zu machen. Aber sie verschieben stillschweigend die Bedeutung eines Befehls, den viele als Synonym für „läuft bei mir” gelernt haben.

Praktische Konsequenz: Wer aus Datenschutzgründen lokal arbeitet, muss bei jedem neuen Modell prüfen, ob ein Tag ohne -cloud-Suffix existiert. Läuft ein Modell über ein Cloud-Tag, gelten dieselben Überlegungen wie bei jeder anderen API — Auftragsverarbeitung, Drittstaatentransfer, Zweckbindung. Die DSGVO-Einordnung auf dieser Site gilt dann unverändert, obwohl das Werkzeug dasselbe geblieben ist.

Warum die Hardware teurer wird, während die Modelle gratis werden

Der eigentlich interessante Teil dieses Sommers ist nicht der Modellpreis. Es sind zwei Kurven, die gegeneinander laufen.

Auf der Modellseite wird Frontier-Qualität zur Handelsware. V4 Flash steht unter MIT-Lizenz. Kimi K3 von Moonshot AI, ein multimodales Reasoning-Modell mit 2,8 Billionen Parametern, ist ebenfalls offen. Die Gewichte kosten nichts.

Auf der Speicherseite passiert das Gegenteil, und zwar auf beiden Enden des Marktes.

Bei Apple ist es unmittelbar sichtbar: Die 512-GB-Option des Mac Studio mit M3 Ultra — jahrelang die einzige bezahlbare Maschine, auf der Privatpersonen sehr große Modelle im Unified Memory halten konnten — wurde 2026 gestrichen. Das 256-GB-Upgrade kostet inzwischen 2.000 Dollar, der konfigurierbare M3 Ultra endet bei 96 GB. Als Grund gilt die angespannte Lage am Speichermarkt, die durch die Nachfrage aus dem KI-Serverbereich getrieben wird. Auf dem Gebrauchtmarkt tauchen 512-GB-Konfigurationen zu fünfstelligen Beträgen auf.

Im Rechenzentrum zeigt sich derselbe Engpass von der anderen Seite. Der Anbieter Wafer hat Kimi K3 auf AMDs Instinct MI355X vermessen und die Ergebnisse unter der Überschrift „Is memory the moat?” veröffentlicht: 952 Token pro Sekunde pro Knoten bei 1.024 Eingabe- und 400 Ausgabe-Tokens, und damit rund das 3,8-Fache des Aggregat-Durchsatzes gegenüber der verglichenen TP16-B200-Konfiguration von Nvidia. AMD dokumentiert das Day-0-Deployment selbst.

Der Grund für den Vorsprung ist nicht rohe Rechenleistung, sondern HBM-Kapazität pro GPU. Weil ein einzelner AMD-Knoten mehr Speicher bietet, passt das Modell hinein, wo die Vergleichskonfiguration über zwei Server verteilt werden muss — mit allen Kosten, die Kommunikation zwischen Knoten verursacht.

Beide Beobachtungen sind dieselbe Zahl von zwei Seiten. Was ein Modell wirklich teuer macht, ist nicht mehr sein Preis pro Token, sondern der Platz, den es braucht. Speicher ist der Engpass geworden — im Rechenzentrum wie auf dem Schreibtisch.

Was du stattdessen lokal fahren solltest

Nichts an dieser Entwicklung entwertet das lokale Setup. Es verschiebt nur, was realistisch ist.

Die Modelle, die vor zwei Jahren als beeindruckend galten, laufen heute problemlos auf Alltagshardware — und sie sind seitdem besser geworden, nicht schlechter. Als grobe Einordnung:

Arbeitsspeicher	Was in Q4 realistisch läuft
16 GB	7B bis 8B, mittlerer Kontext
32 GB	14B komfortabel, 8B mit großem Kontext
64 GB	70B in Q4 wird realistisch
128 GB+	70B mit großem Kontext, kleinere MoE-Modelle

Welche Kombination bei dir aufgeht, hängt stark von der Kontextlänge ab — deshalb lohnt der Weg über den Hardware-Rechner mehr als jede Faustregel. Für die Auswahl der Hardware selbst steht der Hardware-Guide daneben, und die Abwägung zwischen eigenem Rechner, VPS und API führt der Vergleich Cloud gegen lokal durch.

Wer V4 Flash trotzdem nutzen will, hat drei ehrliche Optionen: die offizielle API, ein Cloud-Tag mit den entsprechenden Datenschutz-Konsequenzen, oder gemietete GPU-Kapazität. Alle drei sind legitim. Keine davon ist lokaler Betrieb, und es hilft niemandem, das anders zu nennen.

Der Punkt, der bleibt

Es gibt ein Argument für lokale Modelle, das mit Benchmark-Punkten nichts zu tun hat: Ein Modell, das auf deiner Festplatte liegt, kann dir nicht entzogen werden.

Kein Anbieter kann den Zugang sperren, keine Preisrunde verteuert es nachträglich, keine Modell-Abschaltung nimmt dir die Arbeitsgrundlage, kein Ausfall stoppt dich. Das ist kein Vorwurf an einen bestimmten Anbieter — es ist schlicht der Unterschied zwischen einem Dienst, den du mietest, und einer Datei, die du besitzt. Wer produktive Arbeit auf ein Modell stützt, sollte diesen Unterschied einkalkulieren, bevor er zählt.

Genau deshalb ist ein 8B-Modell, das dir gehört und heute läuft, für viele Zwecke wertvoller als ein 304B-Modell, das Platz 7 einer Rangliste belegt und dessen Hardware gerade vom Markt genommen wird.

Einordnung

Der zweite DeepSeek-Moment ist real, aber er ist ein Preis- und Lizenzmoment, kein Hardware-Moment. Was am 31. Juli 2026 gefallen ist, sind die Kosten für Frontier-Qualität über eine API. Was nicht gefallen ist: der Speicherbedarf, um dieselbe Qualität selbst zu betreiben. Der ist im Gegenteil gestiegen, während die passende Hardware knapper wurde.

Für die Praxis heißt das dreierlei. Erstens: „Open Weights” und „läuft bei mir” sind zwei verschiedene Aussagen, und die Lücke zwischen beiden wird größer, nicht kleiner. Zweitens: Bei sehr großen Modellen lohnt der Blick auf das Tag, bevor man ollama run tippt. Und drittens: Die sinnvolle Frage ist nicht, ob das größte offene Modell auf deinen Rechner passt, sondern welches Modell deine Aufgabe löst und dabei in deinen Speicher passt.

Diese zweite Frage beantwortet der Hardware-Rechner in etwa dreißig Sekunden.