Wie viel VRAM hat die H200 SXM?

141 GB HBM3e bei 4.800 GB/s Speicherbandbreite. Der Speicher ist fest auf der Karte und lässt sich nicht erweitern.

Welches ist das größte Modell, das auf eine einzelne H200 SXM passt?

Qwen3 235B-A22B mit 235,1 Milliarden Parametern passt in der kleinsten sinnvollen Quantisierung noch auf eine Karte. Größere Modelle brauchen mehrere Karten oder Auslagerung in den Arbeitsspeicher.

Wie werden die Tokens pro Sekunde hier berechnet?

Aus der Speicherbandbreite geteilt durch die Datenmenge, die pro Token gelesen werden muss. Diese Datenmenge sind die aktiven Parameter mal den Bytes je Gewicht. Angesetzt werden 75 Prozent der theoretischen Spitzenbandbreite. Das Ergebnis ist eine Obergrenze, kein Messwert.

Zählen bei mehreren Karten die Speicher zusammen?

Für die Frage, ob ein Modell hineinpasst, ja: Die Gewichte lassen sich über mehrere Karten verteilen. Für die Geschwindigkeit gilt das nur eingeschränkt, weil die Kommunikation zwischen den Karten Zeit kostet. Die Werte in der Tabelle sind deshalb bei Mehrkarten-Aufbauten optimistischer als die Praxis.

H200 SXM

NVIDIA · Hopper · 141 GB · 4.800 GB/s

Dieselbe Recheneinheit wie die H100, aber mit 141 statt 80 GB und deutlich mehr Bandbreite. Genau diese Speicherkapazität ist der Grund für ihre Beliebtheit: Modelle, die auf der H100 über zwei Karten verteilt werden mussten, passen hier auf eine. Bei europäischen Anbietern die derzeit am besten verfügbare Rechenzentrumskarte.

Technische Daten

Grafikspeicher	141 GB HBM3e
Speicherbandbreite	4.800 GB/s
Leistungsaufnahme	700 W
Architektur	Hopper
Marktstart	2024 Q2

Welche Modelle laufen auf der H200 SXM?

Geschätzter Speicherbedarf offener Sprachmodelle in 16 Bit (BF16), 8 Bit (FP8) und 4 Bit (INT4), gemessen an 141 GB je Karte. Gezeigt werden die 12 größten Modelle, die noch passen — und was sie dabei an Geschwindigkeit liefern.

Modell	Parameter	16-Bit	8-Bit	4-Bit
DeepSeek V4 Pro DeepSeek	1598,8 Mrd. 49,0 Mrd. aktiv	nicht veröffentlicht	nicht veröffentlicht	799 GB 7× · 188 GB frei ~147 tok/s
Kimi K2 Thinking Moonshot AI	1058,1 Mrd. 32,0 Mrd. aktiv	zu groß	zu groß	529 GB 5× · 176 GB frei >225 tok/s
DeepSeek V3.2 DeepSeek	685,4 Mrd. 37,0 Mrd. aktiv	nicht veröffentlicht	685 GB 6× · 161 GB frei ~97,3 tok/s	343 GB 3× · 80 GB frei ~195 tok/s
DeepSeek R1 DeepSeek	684,5 Mrd. 37,0 Mrd. aktiv	nicht veröffentlicht	685 GB 6× · 162 GB frei ~97,3 tok/s	342 GB 3× · 81 GB frei ~195 tok/s
DeepSeek V4 Flash DeepSeek	304,2 Mrd. 13,0 Mrd. aktiv	nicht veröffentlicht	nicht veröffentlicht	152 GB 2× · 130 GB frei >554 tok/s
Qwen3 235B-A22B Alibaba	235,1 Mrd. 22,0 Mrd. aktiv	470 GB 4× · 94 GB frei ~81,8 tok/s	235 GB 2× · 47 GB frei ~164 tok/s	118 GB 1× · 23 GB frei >327 tok/s
MiniMax M2.7 MiniMax	228,7 Mrd. 10,0 Mrd. aktiv	nicht veröffentlicht	229 GB 2× · 53 GB frei >360 tok/s	114 GB 1× · 27 GB frei >720 tok/s
Mistral Large 2411 Mistral AI	122,6 Mrd.	245 GB 2× · 37 GB frei ~14,7 tok/s	123 GB 1× · 18 GB frei ~29,4 tok/s	61 GB 1× · 80 GB frei ~58,7 tok/s
gpt-oss-120b OpenAI	116,8 Mrd. 5,1 Mrd. aktiv	234 GB 2× · 48 GB frei >353 tok/s	117 GB 1× · 24 GB frei >706 tok/s	58 GB 1× · 83 GB frei >1.412 tok/s
Qwen3-Next 80B-A3B Alibaba	81,3 Mrd. 3,0 Mrd. aktiv	163 GB 2× · 119 GB frei >600 tok/s	81 GB 1× · 60 GB frei >1.200 tok/s	41 GB 1× · 100 GB frei >2.400 tok/s
Llama 3.1 70B Meta	70,6 Mrd.	141 GB 2× · 141 GB frei ~25,5 tok/s	71 GB 1× · 70 GB frei ~51,0 tok/s	35 GB 1× · 106 GB frei ~102 tok/s
Hermes 4.3 36B Nous Research	36,2 Mrd.	72 GB 1× · 69 GB frei ~49,7 tok/s	36 GB 1× · 105 GB frei ~99,4 tok/s	18 GB 1× · 123 GB frei ~199 tok/s

Näherung, keine Messung. Parameterzahlen stammen aus den Safetensors-Metadaten der jeweiligen HuggingFace-Repositories, nicht aus gerundeten Angaben der Modellkarten. „nicht veröffentlicht" heißt, dass es diese Präzision als offizielles Release nicht gibt — DeepSeek V4 etwa liefert die Experten ab Werk in vier Bit aus, eine BF16-Fassung existiert nicht.

Für die Kartenzahl werden 90 % des Speichers als nutzbar angesetzt; der Rest deckt KV-Cache, Aktivierungen und Treiberkontext ab. Real gemessene GGUF-Dateien liegen wegen der Blockskalen etwas über den hier gerechneten Größen.

Die Tokenrate ist eine Obergrenze aus Bandbreite ÷ (aktive Parameter × Bytes je Gewicht) bei 75 % Bandbreiteneffizienz. Ab etwa 200 Tokens pro Sekunde ist die Bandbreite im Einzelbetrieb nicht mehr der bindende Engpass — solche Werte sind als Durchsatzreserve für parallele Anfragen zu lesen, nicht als Antworttempo für einen einzelnen Nutzer. Deshalb stehen sie mit „>“ statt „~“. Die vollständige Herleitung steht unter große Modelle lokal betreiben.

Häufige Fragen

Wie viel VRAM hat die H200 SXM?: 141 GB HBM3e bei 4.800 GB/s Speicherbandbreite. Der Speicher ist fest auf der Karte und lässt sich nicht erweitern.
Welches ist das größte Modell, das auf eine einzelne H200 SXM passt?: Qwen3 235B-A22B mit 235,1 Milliarden Parametern passt in der kleinsten sinnvollen Quantisierung noch auf eine Karte. Größere Modelle brauchen mehrere Karten oder Auslagerung in den Arbeitsspeicher.
Wie werden die Tokens pro Sekunde hier berechnet?: Aus der Speicherbandbreite geteilt durch die Datenmenge, die pro Token gelesen werden muss. Diese Datenmenge sind die aktiven Parameter mal den Bytes je Gewicht. Angesetzt werden 75 Prozent der theoretischen Spitzenbandbreite. Das Ergebnis ist eine Obergrenze, kein Messwert.
Zählen bei mehreren Karten die Speicher zusammen?: Für die Frage, ob ein Modell hineinpasst, ja: Die Gewichte lassen sich über mehrere Karten verteilen. Für die Geschwindigkeit gilt das nur eingeschränkt, weil die Kommunikation zwischen den Karten Zeit kostet. Die Werte in der Tabelle sind deshalb bei Mehrkarten-Aufbauten optimistischer als die Praxis.

Ob ein Modell in deinen Arbeitsspeicher passt, rechnet der Hardware-Rechner aus. Wie schnell es dort wäre, der Geschwindigkeits-Rechner unter große Modelle lokal betreiben. Und welcher Weg für dein Budget der richtige ist, steht im Hardware-Guide. Zurück zur Übersicht aller Karten.

H200 SXM

Technische Daten

Welche Modelle laufen auf der H200 SXM?

Ähnliche Karten

Häufige Fragen