188 GB HBM3 Nvidia H100 NVL ist maßgeschneidert für Chat-GPT

Nvidia hat im vergangenen Jahr Hopper-Beschleuniger in zwei Grundformen auf den Markt gebracht. Sowohl als SXM5-Module als auch als PCIe-Karten. Wie gewohnt erreicht die SXM5-Variante eine höhere Leistung und TDP, da auf dem Modul deutlich mehr Platz für einen großen Heatsink-Radiator ist. Die neue Variante mit der Bezeichnung NVL hat jedoch wieder die Form einer PCIe-Karte oder -Karten. Die Nvidia H100 NVL besteht eigentlich aus zwei PCIe-Karten, die durch eine NVLINK-Brücke verbunden sind. Dies ist jedoch nicht das ursprüngliche H100 PCIe. Nvidia hat wohl wegen der höheren Rechendichte einer solchen Lösung zu dieser Lösung gegriffen. Kurz gesagt, der Kühler nimmt weniger Platz ein ~ Platz für mehr GPUs. Wie aus den Parametern hervorgeht, sollte die Energieeffizienz 2x höher sein (2x mehr Leistung bei gleicher TDP dank eines Kartenpaares mit halber TDP des SXM5-Designs). Es ist jedoch zu erwarten, dass die Realität etwas niedriger ausfallen wird, da sich echte und Papieruhren wohl deutlich unterscheiden werden.

	NVIDIA A100		NVIDIA H100
Grafikkarte	GA100		GH100		2× GH100 NVL“
die Architektur	Ampere		Trichter
Format	SXM4		SXM5	PCIe	2× PCIe
CU/MS	108		132	114	2× 132?
FP32 Jader	6912		15872 16896	14592	2× 16896?
FP64 Jader	3456		8448	7296	2× 8448?
INT32 Jader	6912		8448	7296	2× 8448?
Tensor-Kerne	432		528	456	2× 528?
Rate	1410MHz		1980 MHz	1750MHz	1980 MHz?
	↓↓↓ T(FL)OPS ↓↓↓
FP16	78		120 134	102	2× 134
BF16	39		120 134	102	2× 134
FP32	19,5		60 67	51	2× 67
FP64	9,7		30 34	26	2× 34
INT4	?		?	?	?
INT8	?		?	?	?
INT16	?		?	?	?
INT32	19,5		30 34	26	2× 34
FP8-Tensor			1979/3958*	1513/3026*	2× 1979/3958*
FP16-Tensor	312/624*		989/1979*	757/1513*	2× 989/1979*
BF16-Tensor	312/624*		989/1979*	757/1513*	2× 989/1979*
FP32-Tensor	19,5		60? 67?	51?	2× 67?
TF32-Tensor	156/312*		495/989*	378/757*	2× 495/989*
FP64-Tensor	19,5		67	51	2× 67
INT8-Tensor	624/1248*		1979/3958*	1513/3026*	2× 1979/3958*
INT4-Tensor	1248/2496*		?	?	?
	↑↑↑ T(FL)OPS ↑↑↑
TMU	432		528	456	2× 528
GMBH	40MB		50MB		2× 50MB?
Bus	5120bit		5120bit		6144bit
Speicher	40GB	80GB	80GB		2× 94 GB
HBM	2,43 GHz	3,2 GHz	HBM3 5,23 GHz	HBM2E 3,2 GHz	HBM3 5,1 GHz
pam. Stütze.	1555 GB/s	2048 GB/s	3350 GB/s	2048 GB/s	2× 3,9 TB/s
TDP	400 W		700-800 W	350 W	700 W
Transistoren	54,2 mld.		80 ml.		2× 80 ml.
GPU-Bereich	826mm²		814 mm²		2× 814 mm²
Gerichtsverhandlung	7 nm		4nm
Datum	5. 2020	11. 2020	2022?		H2 2023

Da die Chat-GPT-Sprachmodelle groß sind, hat Nvidia die GH100-GPU erstmals mit allen sechs HBM-Modulen ausgestattet (dh den 6144-Bit-Bus voll ausgenutzt) und zusätzlich HBM3 verwendet (im Vergleich zu HBM2E auf der ursprünglichen PCIe-Variante). Das würde theoretisch 6 x 2 x 16 GB = 192 GB Arbeitsspeicher entsprechen, in der Realität sind es aber 188 GB. Wie kann dies erreicht werden, wenn es keine 15,66-GB-HBM-Module gibt? Nvidia hat sich wohl mit einem Speicherhersteller geeinigt, der ihm Module mit deaktivierten defekten Zellen liefert, was eine etwas geringere Kapazität, aber auch einen deutlich besseren Preis bedeuten könnte.

Obwohl Nvidia über die Veröffentlichung des H100 NVL spricht, sollten diese Beschleuniger realistischerweise irgendwann in der zweiten Hälfte dieses Jahres verfügbar sein.