Micron begint met volumeproductie HBM3E-geheugen met bandbreedte van 1,2TB/s

Micron is begonnen met de volumeproductie van HBM3E-geheugen. Dat geheugentype biedt bandbreedtes van 9,2Gbit/s per pin, wat neerkomt op een totale bandbreedte van bijna 1,2TB/s. Het geheugen is vooral bedoeld voor enterprisegebruik.

De HBM3E-chips van Micron zullen gebruikt worden in de H200-datacenter-gpu van Nvidia, waar de bestaande H100 beschikt over 'gewoon' HBM3-geheugen. Microns nieuwe HBM3E-geheugen biedt hogere bandbreedtes dan het voorgaande HBM3-geheugen van de fabrikant. Micron claimt dat zijn HBM3e-geheugen ook ongeveer 30 procent minder stroom verbruikt dan vergelijkbaar HBM3E-geheugen van andere fabrikanten.

Micron presenteerde zijn HBM3E-geheugen vorige zomer al, toen onder de naam 'HBM3 Gen 2'. De chips bieden een bandbreedte van 9,2Gbit/s per pin, wat neerkomt op een bandbreedte van ongeveer 1,2TB/s. Bij het huidige HBM3-geheugen ligt de bandbreedte op 6,4Gbit/s per pin, oftewel 819GB/s in totaal. De eerste Micron-HBM3E-chips, die gebruikt worden in de H200-gpu's van Nvidia, hebben een capaciteit van 24GB. Het bedrijf samplet momenteel ook een 36GB-variant.

Geheugen	Micron HBM3E	HBM3	HBM2E
Maximale capaciteit per package	24GB, 36GB	16GB, 24GB	16GB
Lagen	Acht of twaalf	Acht of twaalf	Acht of twaalf
Bandbreedte per pin	9,2Gbit/s	6,4Gbit/s	3,5Gbit/s
Totale bandbreedte (1024bit)	1,2TB/s	819GB/s	460GB/s

Reacties (12)

[OLED]

Enkele jaren terug dacht ik dat HBM kon verdwijnen, maar de prijzen zijn momenteel vervijfvoudigd en de volledige 2024 productie is uitverkocht al. Het is een geluk dat AI toepassingen en accelerators baat hebben bij het geheugentype

bron:
https://www.techpowerup.c...mes-for-2024-are-sold-out
https://wccftech.com/hbm-...t-surge-amid-huge-demand/

De bandbreedte van HBM is trouwens zo hoog omdat het praktisch op de chip zit (vergeleken met andere geheugentypes)
Hier een simpele vergelijking: https://www.gpumag.com/gddr5-gddr5x-hbm-hbm2-gddr6/

[DvanRaai89]

De bandbreedte van HBM is trouwens zo hoog omdat het praktisch op de chip zit (vergeleken met andere geheugentypes)

Dat zorgt ook vooral voor hele lage latencies, het is de ontzettend brede bus die zorgt voor hoge snelheden.
De geheugenbus van de HBM kaarten is acht tot zestien keer zo breed!

[MrFax]

Maar zon' brede geheugenbus is dus klaarblijkelijk niet nodig met gaming videokaarten. De prestatiewinst is minimaal, terwijl de prijs vele malen hoger ligt dan GDDR. Als HBM een vergelijkbare prijs had als GDDR, dan had GDDR geen bestaansrecht meer.

[Reactie gewijzigd door MrFax op 23 juli 2024 07:57]

[JBVisual]

Kip-ei verhaal is hierin natuurlijk ook van toepassing. Veel GPU’s zijn geoptimaliseerd voor GDDR-<nummer>
De gehele architectuur rondom GPU’s is dan ook ontwikkeld hierop en gamemakers houden hier rekening mee.

Waarin vroeger Enterprise GPU’s en Consumenten GPU’s heel dichtbij elkaar lagen en vooral op firmware en drivers verschilden, zullen we de komende jaren een steeds meer verschuiving gaan zien. (tot HBM ooit eens betaalbaar genoeg wordt)

Maar als ontwikkelaars nu zouden zien dat er massaal consumenten GPU’s verkocht zouden worden met HBM dan zouden games vanzelf hier gebruik van gaan maken. Zou zouden assets groter gemaakt kunnen worden omdat deze toch snel ingeladen zou worden.
Ook zullen zaken als Raytracing baad kunnen hebben bij HBM, vooral icm directstorage.

[CrazyJoe]

Nee, zo'n brede geheugenbus en de noodzaak van kort bij de GPU geplaatst worden, maken deze techniek nogal duur in productie. AMD heeft een tijdje consumer GPUs gemaakt met HBM geheugen, maar is daar vanaf gestapt door de hogere kosten die dat met zich meebracht terwijl de voordelen voor gaming GPUs niet zo groot waren dat zich dit weer terugbetaalde in significante performance.

[MrFax]

Dat zeg ik toch ook? " Als HBM een vergelijkbare prijs had als GDDR, dan had GDDR geen bestaansrecht meer."

[CrazyJoe]

Het is niet alleen prijs van HBM. De complexiteit om een werkende GPU te maken met HBM heeft er ook me te maken. Dus om HBM aantrekkelijker te maken van GDDR voor consumenten GPUs, zou de prijs van HBM zelfs lager moeten zijn dan die van GDDR. Dit om de andere kosten die HBM met zich meebrengt in de productie van de GPU te kunnen compenseren.

[MrFax]

Het punt van mijn comment was dat HBM an sich superieur is, maar omdat het gewoon veel duurder is in productie, dat het voor gamingkaarten niet gebruikt wordt.

Maar ik moet eerlijk zeggen dat nu de prijzen van videokaarten 3-4x hoger liggen dan vroeger, en de winstmarges immens zijn, dat HBM nog wel eens zijn comeback kan gaan maken. Daarnaast ga j uiteindelijk ook tegen een limiet aanlopen, en dan moet je prestatiewinsten ergens anders gaan zoeken, zoals HBM.

[Reactie gewijzigd door MrFax op 23 juli 2024 07:57]

[CrazyJoe]

Er zal zeker een punt komen dat HBM aantrekkelijker wordt dan GDDR, maar de kans bestaat natuurlijk ook dat er een ander type RAM komt wat nog beter en aantrekkelijker is voor gebruik op GPUs.

Zoals de Engelsen zeggen: only time will tell.

[atthias]

ik denk dat ik weet wat voor geheugen we kunnen verwachten op de opvolger van de H100 zo te zien

dit gaat echt lekker zijn voor AI zeker die 36 GB optie

[CrazyJoe]

Op de H100 zitten 5 HBM geheugen stacks naast elkaar. Daarmee realiseren ze de 5120 bits memory bus tussen de GPU en het HBM geheugen. Dus indien NVIDIA deze bus breedte aanhoudt op de opvolger van de H100, dan zouden ze theoretisch dus 180 GB RAM geheugen op die kaart kunnen zetten.

De H100 is nu maximaal met 80GB uitgerust, dus met 5 HBM stacks van 16GB ieder. Er is ook een NVL versie aangekondigd die eigenlijk twee PCI-E versies van de H100 aan elkaar knoopt waar dan 188 GB RAM op zal zitten (dus ergens wordt er nog 18GB toegevoegd bovenop de twee keer 80GB), maar buiten specs is daar nog weinig verder over bekend gemaakt.

[Reactie gewijzigd door CrazyJoe op 23 juli 2024 07:57]

[atthias]

klinkt erg goed