Micron brengt HBM3E-chips met capaciteit van 36GB en 1,2TB/s-bandbreedte uit

Micron introduceert een nieuwe reeks HBM3E-geheugenchips. Deze bestaan uit twaalf lagen in plaats van acht. Daarmee hebben ze een hogere capaciteit van 36GB. De bandbreedte bedraagt opnieuw 'meer dan 1,2TB/s'.

Micron bevestigt dat de nieuwe HBM3E 12-high-modules worden geleverd aan klanten. Doordat het aantal lagen van de geheugenchips is verhoogd naar twaalf, hebben de chips een 50 procent hogere capaciteit dan hun voorgangers met acht lagen. Voorgaande HBM3E-chips hadden een capaciteit van 24GB, maar dat wordt met de nieuwe modules dus verhoogd tot 36GB.

De Amerikaanse geheugenfabrikant zegt daarnaast dat de bandbreedte ruim 9,2Gbit/s per pin bedraagt. Op een hele module, die bestaat uit 1024 pinnen, komt dat neer op ruim 1,2TB/s, zegt de fabrikant. De bandbreedte lijkt daarmee ongewijzigd ten opzichte van de bestaande HBM3E 8-high-modules van het bedrijf.

HBM, ofwel High Bandwidth Memory, is een geheugentype dat vooral wordt gebruikt in videokaarten. Het geheugen heeft een relatief hoge bandbreedte en wordt tegenwoordig vooral ingezet in datacenters. Dat geldt ook voor de HBM3E-modules van Micron, die bijvoorbeeld worden gebruikt in Nvidia's H200-gpu's voor datacenters.

Bron: Micron

Reacties (5)

[Jeanpaul145]

Het zou prettig zijn als ze de productiecapaciteit van HBM eens genoeg uit zouden breiden dat het werkbaar en goedkoop genoeg zou worden om dat op gfx cards voor consumenten te zetten.
Op dit moment is HBM veel te duur daarvoor, en dat meer dan een beetje jammer.

[Horatius]

Productie schaal is niet het enige wat iets werkbaar en goedkoop maakt, verre van zelfs.
HBM is gewoon in beginsel duurder om te produceren dan GDDR, dat gat in prijs moet het dan goedmaken met performance. Voor consumenten is al meerdere keren gebleken dat het dit gat niet weet te overbruggen.

De voordelen van HBM komen veel beter naar voren bij professionele toepassingen dus dan is dat gat kleiner om te overbruggen. Ik zie niet in hoe je denkt dat schaal dit opeens gaat veranderen.

[Game-Tea]

De meeste consumenten en zelfs sommige professionele toepassingen kunnen geen gebruik maken van de extra bandbreedte van HBM. Modern GDDR6X kan al een respectabele 1,008TB/s halen op een RTX4090. Als dit meer zou worden wordt de gpu zelf een bottleneck. En behalve dat, is HBM erg complex om op een gpu-die te zetten, wat het simpelweg niet waard maakt voor consumenten kaarten. Dat had AMD ook wel door na die paar keer proberen.

[Jeanpaul145]

Het feit dat het kopiëren van assets van RAM naar VRAM een nontriviale latency met zich meebrengt betekent per definitie dat er voldoende verbeterd kan worden aan de memory arch van gfx cards.
Dat overbruggen kan duidelijk niet met GDDR, als het kon dan was het al gedaan.

Daaruit volgt dat er weldegelijk ruimte is, technologisch gesproken, voor een VRAM uitvoering die flink lagere latency én flink hogere bandbreedte tov GDDR6/GDDR6X als eigenschappen heeft. Dat zal GDDR7 niet zijn, dat is een milde evolutie van GDDR6/GDDR6X.

De reden dat het niet gedaan wordt is vooral financieel van aard. HBM mag dan complexer zijn maar dat is op zichzelf totaal geen probleem. Het is enkel een probleem wanneer je het financiële plaatje erbij betrekt. Daaruit volgt dat het gewoon goedkoper moet worden om complexiteit van die orde uit te voeren.

Vroeg of laat gebeurt het sowieso, de huidige RAM en cache architecturen zijn een beetje uitgeëvolueerd op een fundamenteel niveau, elke nieuwe DDR generatie is bv slechts een beetje meer sap persen uit een toenemend uitgeperste silicon sinaasappel. Dat laatse is goed te zien aan de enorm gegroeide gap tussen CPU perf en RAM perf bijvoorbeeld, die is groter dan het ooit geweest is.
Ik houd slechts een argument dat we beter af zijn als de overstap vroeger gebeurt ipv later.

Het argument mbt een 4090 is een strawman argument, want ik houd geen betoog om bestaande hardware aan te passen.

En vwb het argument dat toepassingen geen gebruik zouden kunnen maken van de toegenomen bandbreedte en afgenomen latency, die kan in dezelfde bak als "640k ought to be enough for anybody" (wat Gates overigens claimt nooit gezegd te hebben, maar het punt blijft geldig).
Het ding is, software gedraagt zich als een gas: het vult de beschikbare ruimte (= hardware). Gooi je er meer hardware tegenaan, dan vinden software devs heus wel manieren om die hardware in te zetten hoor. Het moet alleen geen niche product zijn, wat weer eens betekent dat de kosten omlaag moeten.

[tedades]

Dat geldt ook voor de HBM3E-modules van Micron, die bijvoorbeeld worden gebruikt in Nvidia's H200-gpu's voor datacenters.

En we weten dat nVidia kaartjes door de AI-hype als zoete broodjes over de toonbank gaan. Dus het is op het moment niet rendabel om HBM op een videokaart voor consumenten te plaatsen. Dus daar zitten we weer op GDDR.