NVIDIA DGX Spark

NVIDIA · Grace Blackwell · 128 GB · 273 GB/s

Ein Schreibtischgerät mit 128 GB gemeinsamem Speicher, gedacht als lokale Entwicklungsmaschine. Die Kapazität ist beeindruckend, die Bandbreite mit 273 GB/s dagegen auf Höhe eines M4 Pro. Große Modelle passen also hinein, laufen aber gemächlich — ein Werkzeug zum Entwickeln und Testen, nicht zum produktiven Bedienen vieler Anfragen.

Technische Daten

Welche Modelle laufen auf der NVIDIA DGX Spark?

Geschätzter Speicherbedarf offener Sprachmodelle in 16 Bit (BF16), 8 Bit (FP8) und 4 Bit (INT4), gemessen an 128 GB je Karte. Gezeigt werden die 12 größten Modelle, die noch passen — und was sie dabei an Geschwindigkeit liefern.

Näherung, keine Messung. Parameterzahlen stammen aus den Safetensors-Metadaten der jeweiligen HuggingFace-Repositories, nicht aus gerundeten Angaben der Modellkarten. „nicht veröffentlicht" heißt, dass es diese Präzision als offizielles Release nicht gibt — DeepSeek V4 etwa liefert die Experten ab Werk in vier Bit aus, eine BF16-Fassung existiert nicht.

Für die Kartenzahl werden 90 % des Speichers als nutzbar angesetzt; der Rest deckt KV-Cache, Aktivierungen und Treiberkontext ab. Real gemessene GGUF-Dateien liegen wegen der Blockskalen etwas über den hier gerechneten Größen.

Die Tokenrate ist eine Obergrenze aus Bandbreite ÷ (aktive Parameter × Bytes je Gewicht) bei 75 % Bandbreiteneffizienz. Ab etwa 200 Tokens pro Sekunde ist die Bandbreite im Einzelbetrieb nicht mehr der bindende Engpass — solche Werte sind als Durchsatzreserve für parallele Anfragen zu lesen, nicht als Antworttempo für einen einzelnen Nutzer. Deshalb stehen sie mit „>“ statt „~“. Die vollständige Herleitung steht unter große Modelle lokal betreiben.

Ähnliche Karten

• Apple M4 Max (128 GB) 128 GB · 546 GB/s
• H200 SXM 141 GB · 4.800 GB/s
• RTX PRO 6000 Blackwell 96 GB · 1.792 GB/s

Häufige Fragen

Wie viel VRAM hat die NVIDIA DGX Spark?

128 GB LPDDR5X Unified bei 273 GB/s Speicherbandbreite. Es handelt sich um gemeinsamen Speicher für Prozessor und Grafikeinheit, eine getrennte VRAM-Angabe gibt es deshalb nicht.

Welches ist das größte Modell, das auf eine einzelne NVIDIA DGX Spark passt?

MiniMax M2.7 mit 228,7 Milliarden Parametern passt in der kleinsten sinnvollen Quantisierung noch auf eine Karte. Größere Modelle brauchen mehrere Karten oder Auslagerung in den Arbeitsspeicher.

Wie werden die Tokens pro Sekunde hier berechnet?

Aus der Speicherbandbreite geteilt durch die Datenmenge, die pro Token gelesen werden muss. Diese Datenmenge sind die aktiven Parameter mal den Bytes je Gewicht. Angesetzt werden 75 Prozent der theoretischen Spitzenbandbreite. Das Ergebnis ist eine Obergrenze, kein Messwert.

Zählen bei mehreren Karten die Speicher zusammen?

Für die Frage, ob ein Modell hineinpasst, ja: Die Gewichte lassen sich über mehrere Karten verteilen. Für die Geschwindigkeit gilt das nur eingeschränkt, weil die Kommunikation zwischen den Karten Zeit kostet. Die Werte in der Tabelle sind deshalb bei Mehrkarten-Aufbauten optimistischer als die Praxis.

Ob ein Modell in deinen Arbeitsspeicher passt, rechnet der Hardware-Rechner aus. Wie schnell es dort wäre, der Geschwindigkeits-Rechner unter große Modelle lokal betreiben. Und welcher Weg für dein Budget der richtige ist, steht im Hardware-Guide. Zurück zur Übersicht aller Karten.