DeepSeek V4 Flash lokal betreiben — offene Gewichte, 167 GB Hardware

Direkte Antwort

DeepSeek hat am 31. Juli 2026 V4-Flash-0731 veröffentlicht, unter MIT-Lizenz, Gewichte inklusive. Das Modell rangiert in der Frontend Code Arena auf Platz 7 aller Modelle und auf Platz 3 unter den offenen. Über die API kostet es 0,14 US-Dollar je Million Eingabe-Tokens.

Und die ehrliche Antwort auf die Frage, ob du es lokal betreiben kannst, lautet für die allermeisten Leser dieser Seite: im Prinzip ja, nur nicht so, wie du dir das vorstellst.

Nicht die Lizenz ist das Problem — die ist so frei, wie eine Lizenz sein kann. Es ist der Speicher. DeepSeek liefert die Gewichte in 167 GB aus, die kleinste brauchbare Quantisierung wiegt noch 103 GB. Das passt in keine Grafikkarte, wohl aber in den Arbeitsspeicher eines gut bestückten Desktops — und genau das machen seit Anfang August sichtbar viele Leute. Sie zahlen dafür mit Geschwindigkeit: rund fünf Tokens pro Sekunde statt der vierzig, die eine reine GPU-Bestückung liefert.

Diese Seite rechnet das nach, statt es zu behaupten. Sie zeigt außerdem, warum der scheinbar naheliegende Weg über Ollama hier aus dem lokalen Betrieb herausführt, und warum ausgerechnet jetzt, wo die besten offenen Modelle nichts mehr kosten, der Speicher für sie knapp wird. Wie schnell das Modell auf deiner Hardware laufen würde, rechnet der Geschwindigkeits-Rechner unter große Modelle lokal betreiben aus.

Nachtrag vom 6. August 2026: Seit wenigen Tagen gibt es einen zweiten Weg, der die obige Antwort spürbar verschiebt. Auf einem einzelnen NVIDIA DGX Spark — ab rund 4.000 Euro — läuft eine gepruntete Drei-Bit-Variante des Modells mit 34 bis 40 Tokens pro Sekunde bei 262.144 Token Kontext, eingerichtet mit einem einzigen Docker-Befehl. Das ist kein Bastelaufbau mehr, sondern ein Gerät, das man kaufen kann. Der Abschnitt Ein DGX Spark reicht weiter unten geht auf die Zahlen und auf das ein, was dabei ungesagt bleibt.

Was am 31. Juli 2026 passiert ist

Der Release ist in seiner Substanz beeindruckend, und es lohnt sich, ihn nicht kleinzureden.

DeepSeek veröffentlichte DeepSeek-V4-Flash-0731 auf HuggingFace mit 304 Milliarden Parametern in einer Mixture-of-Experts-Architektur, ergänzt um ein Modul für Speculative Decoding, das DeepSeek als DSpark-Methode bezeichnet. Repository und Gewichte stehen unter MIT-Lizenz — nicht unter einer der üblichen Quasi-offenen Lizenzen mit Nutzungsbeschränkung, sondern unter der Lizenz, die auch für kommerzielle Weiterverwendung praktisch keine Bedingungen stellt.

Die Benchmark-Werte aus der Modellkarte betreffen vor allem agentische Aufgaben, also Arbeit mit Werkzeugen, Terminal und Dateisystem über längere Ketten hinweg:

Benchmark	V4-Flash-0731
Terminal Bench 2.1	82,7
Cybergym	76,7
Toolathlon-Verified	70,3

Bemerkenswert daran ist weniger die absolute Höhe als das Verhältnis: Das kleinere Flash-Modell übertrifft hier laut Modellkarte das deutlich größere V4-Pro mit seinen 1,6 Billionen Parametern. Ein Modell, das rund ein Fünftel der Größe hat, löst die Werkzeug-Aufgaben besser.

In der Frontend Code Arena erreicht die Variante V4-Flash-High 1.586 Punkte, Platz 7 in der Gesamtwertung und Platz 3 unter den offenen Modellen — ein Sprung von 154 Punkten gegenüber der Preview-Version. In den Kategorien liegt es auf Platz 4 bei Consumer Product und Platz 6 bei Reference-based Design, Data & Analytics sowie Gaming.

Der Preis über die offizielle API:

	V4 Flash	V4 Pro
Eingabe (Cache-Miss)	$0,14 / 1M	$0,435 / 1M
Eingabe (Cache-Hit)	$0,0028 / 1M	$0,003625 / 1M
Ausgabe	$0,28 / 1M	$0,87 / 1M
Kontext	1M Token	1M Token
Max. Ausgabe	384K Token	384K Token

Konkret: Ein Durchlauf mit einer Million Eingabe-Tokens und 200.000 Ausgabe-Tokens kostet rund 0,20 Dollar. Wer denselben Kontext wiederholt schickt, zahlt für die Wiederholung 0,0028 Dollar je Million — ein Fünfzigstel des Cache-Miss-Preises. Das Modell unterstützt drei Reasoning-Stufen (low, high, max), JSON-Ausgabe, Tool Calls und ist API-seitig kompatibel zum Anthropic-Format.

Das ist der Moment, den viele als „zweiten DeepSeek-Moment” bezeichnen: ein offenes Modell auf Frontier-Niveau zu einem Preis, der die etablierten Anbieter unter Druck setzt.

Eine Zahl, die sich widerspricht

Ein Detail, das hier nicht geglättet wird: Für V4 Flash kursieren 284 Milliarden und 304 Milliarden Parameter nebeneinander. Das ist kein Fehler in einer der beiden Quellen, sondern eine Folge davon, dass DeepSeek zwei Repositories pflegt:

Repository	Kartenzahl	Shards	Repo-Größe
DeepSeek-V4-Flash	284B / 13B aktiv	46	160 GB
DeepSeek-V4-Flash-0731	304B	48	167 GB

Die Architektur lässt sich aus der config.json direkt nachrechnen, und sie ergibt die kleinere Zahl. Ein Experte besteht aus drei Matrizen à hidden_size × moe_intermediate_size, also 3 × 4096 × 2048 = 25,17 Millionen Parameter. Bei 256 gerouteten plus einem geteilten Experten sind das 6,47 Milliarden pro Layer, über 43 Layer 278 Milliarden allein für die Experten. Attention und Embeddings bringen zusammen rund 4,5 Milliarden dazu — Summe rund 284 Milliarden.

Die 0731-Variante liegt 20 Milliarden Parameter und zwei Shards darüber. Der naheliegende Kandidat dafür ist das DSpark-Modul für Speculative Decoding, das die config.json mit num_nextn_predict_layers und num_hash_layers ausweist. Das ist eine Herleitung, keine Quellenangabe — DeepSeek schlüsselt es nicht auf.

Praktisch spielt der Unterschied kaum eine Rolle: Die Repo-Größen liegen sieben Gigabyte auseinander, und für die Frage, was auf deinen Rechner passt, zählt ohnehin die Dateigröße und nicht die Parameterzahl.

Die Rechnung: 304B total, 13B aktiv

Hier trennt sich die Schlagzeile von der Praxis, und zwar an einer einzigen Verwechslung.

Ein Mixture-of-Experts-Modell besteht aus vielen spezialisierten Teilnetzen. Die config.json von V4 Flash nennt 256 Experten, von denen pro Token nur sechs gerechnet werden. Daraus ergeben sich die rund 13 Milliarden aktiven Parameter. Das klingt nach einem Modell, das auf jede bessere Grafikkarte passt.

Tut es aber nicht. Aktive Parameter bestimmen die Geschwindigkeit, Gesamtparameter den Speicherbedarf. Vor der Verarbeitung eines Tokens weiß niemand, welche sechs der 256 Experten gebraucht werden — also müssen alle im Speicher liegen. Die 13 Milliarden sind ein Rechenvorteil, kein Speichervorteil.

Was tatsächlich im Speicher liegen muss

Aus der offiziellen config.json:

"num_hidden_layers": 43,
"num_key_value_heads": 1,
"num_attention_heads": 64,
"head_dim": 512,
"n_routed_experts": 256,
"num_experts_per_tok": 6,
"expert_dtype": "fp4",
"quantization_config": { "quant_method": "fp8", "fmt": "e4m3" }

Der KV-Cache folgt derselben Formel wie bei jedem anderen Modell:

KV-Cache pro Token = 2 × Layer × KV-Heads × head_dim × 2 Byte
                   = 2 × 43 × 1 × 512 × 2
                   = 88.064 Byte  ≈ 86 KiB

Und hier steckt tatsächlich eine echte Ingenieursleistung: num_key_value_heads ist 1. Eine einzige KV-Head-Gruppe bedient 64 Attention-Heads. Zum Vergleich braucht Llama 3.3 70B mit 80 Layern und 8 KV-Heads rund 320 KiB pro Token — fast das Vierfache. Deshalb ist der beworbene Kontext von einer Million Token keine Marketingzahl, sondern fällt direkt aus dieser Architektur: 1M Token kosten hier rund 82 GiB KV-Cache statt der Terabytes, die eine Llama-artige Architektur bräuchte.

Nur helfen die eleganten 86 KiB nichts, wenn die Gewichte den Rahmen sprengen. Und hier steckt die Zeile, die man leicht überliest: expert_dtype ist fp4.

Das ist entscheidend, weil die Experten rund 278 der 304 Milliarden Parameter ausmachen. DeepSeek liefert also nicht ein fp8-Modell aus, sondern ein gemischtes: die Experten in vier Bit, Attention und Embeddings in acht. Wer stattdessen acht Bit für alles ansetzt, verdoppelt sich in die Irre.

Die tatsächlichen Größen, gemessen an den Repositories und den Quantisierungen von Unsloth:

Variante	Gewichte	+ KV bei 128k	Gesamt (+10 %)
UD-IQ3_XXS (kleinste brauchbare)	103 GB	11,5 GB	126 GB
UD-Q4_K_XL	155–162 GB	11,5 GB	183 GB
Auslieferung (FP4-Experten, FP8-Rest)	167 GB	11,5 GB	196 GB
UD-Q8_K_XL (verlustfrei)	161,9 GB	11,5 GB	191 GB

Der Aufschlag von zehn Prozent deckt Aktivierungen und Puffer während der Inferenz ab — dieselbe Näherung, die auch der Hardware-Rechner verwendet.

Die Pointe

Lies die Tabelle noch einmal von unten: Das verlustfreie Q8 ist kleiner als das Auslieferungsformat und nur sieben Gigabyte größer als Q4.

Das ist kein Tippfehler, sondern die Konsequenz aus expert_dtype: fp4. Bei einem normalen Modell halbiert jede Quantisierungsstufe den Bedarf. Hier sind die Experten bereits ab Werk auf vier Bit trainiert — es ist schlicht nichts mehr da, was sich zusammendrücken ließe. Wer trotzdem auf Q3 oder Q2 heruntergeht, presst ein bereits vierbittiges Netz weiter zusammen; Unsloth warnt ausdrücklich davor, weil die Ausgabequalität dabei deutlich leidet.

Praktisch heißt das: Die Untergrenze liegt bei rund 126 GB Gesamtspeicher, und darunter wird es nicht mehr sinnvoll. Das ist keine Grafikkarte, aber es ist auch keine 512-GB-Maschine mehr — es ist ein Desktop mit 128 GB Arbeitsspeicher und einer mittleren GPU. Was so ein Aufbau an Geschwindigkeit liefert, rechnet der Geschwindigkeits-Rechner unter große Modelle lokal betreiben aus. Die Kurzfassung: etwa fünf Tokens pro Sekunde.

Trag die Werte gern selbst in den Hardware-Rechner ein — V4 Flash ist dort als Zeile hinterlegt, mit den echten Architekturwerten aus der config.json.

Seit August: ein DGX Spark reicht

Der Abschnitt oben war der Stand von Anfang August: 126 GB zusammenkratzen, fünf Tokens pro Sekunde in Kauf nehmen. Diese Rechnung stimmt weiterhin für einen Desktop mit MoE-Offload. Sie ist nur nicht mehr die einzige.

Inzwischen existieren mehrere öffentlich dokumentierte Rezepte, die V4 Flash auf NVIDIA DGX Spark fahren — dem 128-GB-Gerät mit GB10-Superchip, das NVIDIA seit Ende 2025 ausliefert. Zwei Geräte im Verbund waren früh dokumentiert. Interessanter für die meisten Leser ist die Variante, die seit wenigen Tagen mit einem einzigen Gerät auskommt.

Die Zahlen

Aus dem Repository 0xSero/deepseek-v4-flash-0731-spark-sparkinfer, gemessen auf einem Spark:

Kennzahl	Wert
Decode, Median	38,12 tok/s
Decode, Minimum	34,30 tok/s
Kontextfenster	262.144 Token
Prefill (kalt, 252K Token)	1.055 tok/s
Gewichte auf Platte	~107 GB
Verfahren	18,5 % REAP-Pruning + EXL3 3-Bit, FP8-Sparse-MLA-KV, DSpark-Draft
Lizenz	Apache 2.0 (Rezept), Modelllizenz bleibt bestehen

Die Einrichtung ist tatsächlich so kurz, wie sie klingt:

git clone https://github.com/0xSero/deepseek-v4-flash-0731-spark-sparkinfer.git
cd deepseek-v4-flash-0731-spark-sparkinfer
docker compose up -d

Danach liegt ein OpenAI-kompatibler Endpunkt auf Port 8000, den jeder gängige Client ansprechen kann. Der erste Start lädt allerdings rund 107 GB und baut Caches — plane einen Nachmittag ein, keine fünf Minuten.

Was das kostet

Gerät	Speicher	Preis
ASUS Ascent GX10 (128 GB / 1 TB)	128 GB Unified	ab 3.999 €
ASUS Ascent GX10 (128 GB / 2 TB)	128 GB Unified	ab 4.999 €
NVIDIA DGX Spark Founders Edition (4 TB)	128 GB Unified	5.999,90 €

Derselbe Chip, dieselben 128 GB, Unterschiede bei Gehäuse, Kühlung und SSD. Für ein 107-GB-Modell reicht die 1-TB-Variante — wer mehrere Modelle parallel vorhalten will, greift höher. Die Einordnung gegen Mac Studio und RTX-Workstation steht unter DGX Spark für lokale LLMs.

Was in den Jubel-Threads nicht steht

Hier lohnt der Blick ins Repository selbst, denn der Autor ist bemerkenswert offen mit den Schwächen — offener als die Weiterverbreitung seiner Zahlen:

• Der Autor hatte sich eine stabile Untergrenze von 35 tok/s vorgenommen und verfehlt sie: Das Minimum liegt bei 34,30. Er bezeichnet das ausdrücklich als offene Baustelle, nicht als erledigt.
• Der eigentlich vorgesehene NVFP4-KV-Cache produziert korrupten Text und ist deaktiviert. Was läuft, ist ein gepaddeter FP8-Ersatz — funktionsfähig, aber nicht das beworbene Format.
• Die 1.055 tok/s Prefill sind laut Repository „tuning evidence”, also auf dem finalen Image nicht wiederholt.
• Die dynamische Draft-Tiefe war auf manchen Prompts schneller, löste aber bei strenger JSON-Schema-Ausgabe einen Assertion-Fehler in vLLM aus und wurde abgeschaltet.
• Das Image läuft ausschließlich auf aarch64 mit GB10/SM121 und bricht auf jeder anderen Architektur ab. Es ist kein allgemeines Rezept, sondern eines für genau dieses Gerät.

Und der Punkt, den bisher niemand adressiert: Das Modell ist um 18,5 Prozent gepruntet und auf drei Bit gepresst. Die Kontexttreue ist getestet — über Prompts von 500 bis 20.000 Zeichen bleiben Anfang, Mitte, Ende und Prüfsummen erhalten. Aber Kontexttreue ist nicht Antwortqualität. Wie viel Denkleistung dabei verloren geht, hat niemand veröffentlicht.

Der Abschnitt „Die Pointe” weiter oben erklärt auch, warum das eine offene Frage bleiben muss: Die Experten sind bei V4 Flash ab Werk auf vier Bit trainiert. Wer sie auf drei Bit weiterquetscht, presst kein Fett heraus, sondern Substanz — genau davor warnt Unsloth für die normalen Q3-Quantisierungen ausdrücklich. Dass das Pruning diesen Verlust teilweise kompensiert, indem es die schwächsten Experten gleich ganz entfernt, ist plausibel, aber unbelegt.

Die ehrliche Einordnung: Das Rezept ist eine beachtliche Ingenieursleistung und es funktioniert. Wer den Spark ohnehin hat, sollte es ausprobieren. Wer ihn wegen dieser Zahlen kaufen will, sollte einkalkulieren, dass er ein verändertes Modell bekommt, dessen Qualitätsverlust nicht vermessen ist — und dass die 40 tok/s der gute Fall sind, nicht der garantierte.

Die Cloud-Falle bei Ollama

Der übliche Weg auf dieser Site lautet: Modell in der Ollama-Library suchen, ollama run tippen, fertig. Bei V4 Flash führt genau dieser Weg aus dem lokalen Betrieb heraus.

In der Ollama-Library existiert deepseek-v4-flash derzeit ausschließlich mit zwei Tags:

deepseek-v4-flash:cloud
deepseek-v4-flash:0731-cloud

Kein :latest, kein :q4, keine Dateigröße, kein lokaler Build. Der Befehl sieht aus wie immer:

ollama run deepseek-v4-flash

Nur läuft das Modell dann nicht auf deinem Rechner. Deine Eingaben verlassen die Maschine und werden auf fremder Infrastruktur verarbeitet. Für eine Seite, deren Gegenstand die Datenhoheit ist, ist das ein wichtiger Unterschied — und einer, den die Kommandozeile nicht sichtbar macht.

Das ist kein Vorwurf an Ollama. Cloud-Tags sind eine sinnvolle Funktion, um sehr große Modelle überhaupt zugänglich zu machen. Aber sie verschieben stillschweigend die Bedeutung eines Befehls, den viele als Synonym für „läuft bei mir” gelernt haben.

Praktische Konsequenz: Wer aus Datenschutzgründen lokal arbeitet, muss bei jedem neuen Modell prüfen, ob ein Tag ohne -cloud-Suffix existiert. Läuft ein Modell über ein Cloud-Tag, gelten dieselben Überlegungen wie bei jeder anderen API — Auftragsverarbeitung, Drittstaatentransfer, Zweckbindung. Die DSGVO-Einordnung auf dieser Site gilt dann unverändert, obwohl das Werkzeug dasselbe geblieben ist.

Warum die Hardware teurer wird, während die Modelle gratis werden

Der eigentlich interessante Teil dieses Sommers ist nicht der Modellpreis. Es sind zwei Kurven, die gegeneinander laufen.

Auf der Modellseite wird Frontier-Qualität zur Handelsware. V4 Flash steht unter MIT-Lizenz. Kimi K3 von Moonshot AI, ein multimodales Reasoning-Modell mit 2,8 Billionen Parametern, ist ebenfalls offen. Die Gewichte kosten nichts.

Auf der Speicherseite passiert das Gegenteil, und zwar auf beiden Enden des Marktes.

Bei Apple ist es unmittelbar sichtbar: Die 512-GB-Option des Mac Studio mit M3 Ultra — jahrelang die einzige bezahlbare Maschine, auf der Privatpersonen sehr große Modelle im Unified Memory halten konnten — wurde 2026 gestrichen. Das 256-GB-Upgrade kostet inzwischen 2.000 Dollar, der konfigurierbare M3 Ultra endet bei 96 GB. Als Grund gilt die angespannte Lage am Speichermarkt, die durch die Nachfrage aus dem KI-Serverbereich getrieben wird. Auf dem Gebrauchtmarkt tauchen 512-GB-Konfigurationen zu fünfstelligen Beträgen auf.

Im Rechenzentrum zeigt sich derselbe Engpass von der anderen Seite. Der Anbieter Wafer hat Kimi K3 auf AMDs Instinct MI355X vermessen und die Ergebnisse unter der Überschrift „Is memory the moat?” veröffentlicht: 952 Token pro Sekunde pro Knoten bei 1.024 Eingabe- und 400 Ausgabe-Tokens, und damit rund das 3,8-Fache des Aggregat-Durchsatzes gegenüber der verglichenen TP16-B200-Konfiguration von Nvidia. AMD dokumentiert das Day-0-Deployment selbst.

Der Grund für den Vorsprung ist nicht rohe Rechenleistung, sondern HBM-Kapazität pro GPU. Weil ein einzelner AMD-Knoten mehr Speicher bietet, passt das Modell hinein, wo die Vergleichskonfiguration über zwei Server verteilt werden muss — mit allen Kosten, die Kommunikation zwischen Knoten verursacht.

Beide Beobachtungen sind dieselbe Zahl von zwei Seiten. Was ein Modell wirklich teuer macht, ist nicht mehr sein Preis pro Token, sondern der Platz, den es braucht. Speicher ist der Engpass geworden — im Rechenzentrum wie auf dem Schreibtisch.

Was du stattdessen lokal fahren solltest

Nichts an dieser Entwicklung entwertet das lokale Setup. Es verschiebt nur, was realistisch ist.

Die Modelle, die vor zwei Jahren als beeindruckend galten, laufen heute problemlos auf Alltagshardware — und sie sind seitdem besser geworden, nicht schlechter. Als grobe Einordnung:

Arbeitsspeicher	Was in Q4 realistisch läuft
16 GB	7B bis 8B, mittlerer Kontext
32 GB	14B komfortabel, 8B mit großem Kontext
64 GB	70B in Q4 wird realistisch
128 GB+	70B mit großem Kontext, kleinere MoE-Modelle

Welche Kombination bei dir aufgeht, hängt stark von der Kontextlänge ab — deshalb lohnt der Weg über den Hardware-Rechner mehr als jede Faustregel. Für die Auswahl der Hardware selbst steht der Hardware-Guide daneben, und die Abwägung zwischen eigenem Rechner, VPS und API führt der Vergleich Cloud gegen lokal durch.

Wer V4 Flash trotzdem nutzen will, hat fünf Optionen. Drei davon sind kein lokaler Betrieb, und es hilft niemandem, das anders zu nennen: die offizielle API, ein Cloud-Tag mit den entsprechenden Datenschutz-Konsequenzen, oder gemietete GPU-Kapazität.

Die vierte ist echter lokaler Betrieb auf Hardware, die viele schon haben: das Modell mit MoE-Offload auf einen Desktop mit viel Arbeitsspeicher zwingen. Rund 126 GB aus Grafikspeicher und RAM zusammen genügen. Der Preis ist Geschwindigkeit — vier bis fünf Tokens pro Sekunde, wo eine reine GPU-Bestückung vierzig liefert. Für interaktives Arbeiten ist das zäh, für Aufgaben, die über Nacht laufen, völlig ausreichend. Wie das eingerichtet wird und was es auf deiner Hardware bedeutet, steht unter große Modelle lokal betreiben.

Die fünfte ist neu und kostet Geld statt Geduld: ein DGX Spark ab rund 4.000 Euro, auf dem eine gepruntete Drei-Bit-Variante mit 34 bis 40 Tokens pro Sekunde läuft. Das ist der Unterschied zwischen „läuft über Nacht” und „läuft im Gespräch” — mit den Einschränkungen, die weiter oben stehen.

Der Punkt, der bleibt

Es gibt ein Argument für lokale Modelle, das mit Benchmark-Punkten nichts zu tun hat: Ein Modell, das auf deiner Festplatte liegt, kann dir nicht entzogen werden.

Kein Anbieter kann den Zugang sperren, keine Preisrunde verteuert es nachträglich, keine Modell-Abschaltung nimmt dir die Arbeitsgrundlage, kein Ausfall stoppt dich. Das ist kein Vorwurf an einen bestimmten Anbieter — es ist schlicht der Unterschied zwischen einem Dienst, den du mietest, und einer Datei, die du besitzt. Wer produktive Arbeit auf ein Modell stützt, sollte diesen Unterschied einkalkulieren, bevor er zählt.

Genau deshalb ist ein 8B-Modell, das dir gehört und mit sechzig Tokens pro Sekunde antwortet, für die meiste tägliche Arbeit wertvoller als ein 304B-Modell, das Platz 7 einer Rangliste belegt und auf derselben Maschine mit fünf Tokens pro Sekunde vor sich hin tuckert. Die interessante Frage ist nicht, ob das große Modell läuft — es läuft. Sondern ob die zwölffache Wartezeit den Qualitätsunterschied wert ist. Für Fließtext selten. Für einen Agenten, der nachts einen Berg Code durchgeht, durchaus.

Einordnung

Der zweite DeepSeek-Moment war zunächst ein Preis- und Lizenzmoment, kein Hardware-Moment. Was am 31. Juli 2026 fiel, waren die Kosten für Frontier-Qualität über eine API. Der Speicherbedarf, um dieselbe Qualität selbst zu betreiben, fiel nicht — er stieg, während die passende Hardware knapper wurde.

Fünf Wochen später sieht das anders aus, und zwar nicht, weil das Modell geschrumpft wäre, sondern weil zwei Dinge zusammenkamen: ein Gerät mit 128 GB kohärentem Speicher zum Preis einer guten Workstation, und Rezepte, die das Modell so weit zusammenfalten, dass es hineinpasst. Beides einzeln hätte nichts gebracht. Zusammen verschieben sie die Untergrenze für „läuft flüssig bei mir” von fünfstellig auf rund 4.000 Euro — mit einem Modell allerdings, das nicht mehr ganz dasselbe ist.

Für die Praxis heißt das viererlei. Erstens: „Open Weights” und „läuft bei mir” sind zwei verschiedene Aussagen — aber die Lücke zwischen beiden schließt sich schneller, als die Parameterzahl vermuten lässt. Zweitens: Bei sehr großen Modellen lohnt der Blick auf das Tag, bevor man ollama run tippt. Drittens: Die sinnvolle Frage ist nicht mehr, ob das größte offene Modell auf deinen Rechner passt, sondern wie schnell es dort wäre — und ob dir das reicht. Und viertens, neu: Wenn ein Rezept ein Modell prunt und quantisiert, bis es passt, gehört die Frage nach dem Qualitätsverlust in dieselbe Rechnung wie Preis und Tokens pro Sekunde. Sie wird derzeit fast nirgends gestellt.

Die erste Frage beantwortet der Hardware-Rechner in etwa dreißig Sekunden, die zweite der Geschwindigkeits-Rechner unter große Modelle lokal betreiben.