SK hynix ontwikkelt HBM3e-geheugenmodules met bandbreedtes tot 1,15TB/s

SK hynix heeft zijn eerste HBM3e-chips ontwikkeld. Deze geheugenmodules bieden volgens het bedrijf bandbreedtes tot 1,15TB/s. SK hynix levert nu samples aan klanten. HBM3e komt in de eerste helft van volgend jaar algemeen beschikbaar, zei SK hynix eerder.

Bron: SK hynix

SK hynix heeft de ontwikkeling van zijn HBM3e-geheugenchips naar eigen zeggen voltooid. De chips bieden bandbreedtes die ongeveer 40 procent hoger liggen dan die van de huidige HBM3-modules van het bedrijf, die bandbreedtes tot 819GB/s halen. SK hynix claimt in zijn persbericht dat de chips 'de beste specificaties ter wereld' hebben, hoewel Micron onlangs al HBM3 Gen2-chips met bandbreedtes van 1,20TB/s ontwikkelde.

De nieuwe chips worden volgens SK hynix ook geleverd met een 'verbetering van tien procent' in de warmteafvoer en zijn backwards compatible met de huidige HBM3-chips van het bedrijf. Huidige HBM3-producten kunnen bij release dus zonder verdere aanpassingen voorzien worden van snellere HBM3e-chips.

HBM, ook wel High Bandwidth Memory, biedt zoals de naam doet vermoeden relatief hoge bandbreedtes. Het geheugen wordt vooral gebruikt in videokaarten; AMD gebruikte dergelijke chips eerder in zijn R9 Fury-gpu's, hoewel HBM tegenwoordig vooral wordt gebruikt in datacenter-gpu's. Intel introduceerde eind vorig jaar overigens ook versies van zijn Sapphire Rapids-serverprocessors met geïntegreerd HBM2e.

Geheugen	HBM3e	HBM3	HBM2e
Maximale capaciteit	N.n.b.	24GB	16GB
Bandbreedte per pin	~9,0Gbit/s(?)	6,4Gbit/s	3,6Gbit/s
Bandbreedte per module	1,15TB/s	819GB/s	460GB/s

Reacties (15)

[Vulcanic]

Gezien het feit dat er op 1 enkele chip 24GB of meer past, zou er een omslagpunt komen dat HBM goedkoper gaat worden dan meerdere GDDR(x) chips?

[]D)izzy][\/][an]

Ik geloof dat beschikbaarheid en complexiteit ook een rol speelt. HBM3e is 1024 bit, waar GDDR(x) vaak 128-384 is bit is, als ik het goed begrijp heb je dus een veel complexer design nodig.

[NESFreak]

Of niet. Zeker met de steeds hoger wordende snelheden is dat ook eigenlijk niet te doen. Voor datacenters worden HBM chips dan ook in chiplet vorm toegepast. Dan hoef je dus helemaal niks meer zelf te designen. Zie bijvoorbeeld de nieuws: AMD brengt Instinct MI200-accelerators uit met multi-chip-ontwerp en ...

[]D)izzy][\/][an]

Maar dan moet je een interposer gebruiken wat ook weer op silicon is. Dat is volgens mij duurder dan PCB. En je blijft met het probleem van availability zitten.
Begrijp me goed, ik zie HBM wel zitten voor een GPU, AMD heeft het gedaan met de Fury GPU, maar als het goedkoper en eenvoudiger zou zijn, includief de productie van alle HBM die daarvoor nodig was, zouden ze het wel doen.

[Terr-E]

Ook de Vega 64 / Vega 56 kaarten hadden HBM geheugen.
Van wat ik destijd begreep uit het leesvoer in de media, was AMD van plan om HBM te blijven gebruiken omdat ze hoopten / er vanuit gingen dat het goedkoper ging worden naar mate de productie zou verhogen.
Toen dat niet gebeurde hadden ze een probleem. Was ook naar ik herinner een grote reden waarom er van de Vega generatie maar 2 desktop kaarten zijn verschenen.

Nu met Navi hebben ze het probleem getackeld met Infinity Cache, maar als HBM nu eindelijk geodkoper gaat worden is het misschien weer een kans om het opnieuw te bekijken.

[]D)izzy][\/][an]

Ik was de Vega 64 en 56 alweer bijna vergeten .
Zei AMD destijds ook niet dat een deel van de reden was dat HBM minder stroom gebruikt en dat er zo meer over bleef voor de GPU zelf?

Maar inderdaad, AMD heeft het geprobeerd. Issue is dat AMD gewoon niet genoeg GPUs verkoopt om zo'n verschuiving naar HBM mogelijk te maken. Als Nvidia die keuze zou maken dan zou het misschien wel gebeurd zijn.

De geheugen bandbreedte is, mede dankzij de cache, inderdaad voldoende voor nu. en chips moeten volledig opnieuw ontworpen worden om de overstap (weer) te maken. Zolang GDDR(x) voldoende snelheid biedt zie ik ze het voorlopig niet nog een keer proberen. Daarnaast is er een maximum grootte voor een silicon chip, dus ik neem aan dat dat hetzelfde is voor de interposer, ruimte die nodig is voor HBM stacks betekent een kleinere GPU die, dus dat is ook weer een afweging, en 3D stacken lijkt me (voorlopig) teveel thermische problemen op te leveren.

[Terr-E]

Issue is dat AMD gewoon niet genoeg GPUs verkoopt om zo'n verschuiving naar HBM mogelijk te maken.

Vergis je niet; in het verleden gingen AMD en NVIDIA nek-aan-nek. In de periode 2011-2013 lag AMD zelfs op kop. Ze hadden gehoopt na het (financieel) fiasco van de GCN3 en GCN4 series waarbij ze het gevecht om de koppositie kwijtraakten dat Vega ze weer er bovenop zou helpen. Maar de Vega64 verloor bij release stevig van de GTX 1080(Ti). Gecombineerd met de hoge kostprijs van de Vega kaarten was het waarschijnlijk geen optie om een "Vega80" kaart uit te brengen, want dan zouden ze zichzelf uit de markt prijzen. Achteraf vraag ik me af of dat werkelijk het geval zou zijn geweest, getuige de GPU-gekte van de afgelopen 3 jaar.

Maar goed, zoals je zelf al aangeeft is de RDNA-architectuur juist ontwikkeld met beperkte geheugenbandbreedte in het achterhoofd, dus vraag ik me ook af hoeveel snelheidswinst ze zouden winnen als ze met bijv. RDNA5 weer op HBM3e zouden overstappen. Misschien dat het een optie zou worden als HBM3e goedkoper zou worden dan het GDDR(x)-alternatief. En dan nog zou het een grote gok zijn, want je bent dan wel afhankelijk van het stabiel blijven van de prijs van HBM(x).
We gaan zien wat de toekomst brengt. Eerst maar eens RDNA4-kaarten op de markt brengen

[TechSupreme]

In hun professionele line-up maakt Nvidia al een tijdje gebruik van HBM. Vanwege het complexe design is HBM gewoon duurder, om dat te offsetten moet je in giga volumes werken en dat gaat voorlopig niet gebeuren aangezien de GPU prijzen al veelte hoog zijn.

Er is nog een nadeel van HBM en dat is product variaties. Een variant op een product is nu simpel als bepaalde pads wel of niet bestucen. Met HBM is dat een andere SKU wat aan de kant van de chipmaker als de kaartmaker weer extra overhead oplevert.

[MrMonkE]

Die 1024bit bus zet wel zoden aan de dijk. OEF. Gimme one
En je moet bv 1024 signaal lijnen routen in je PCB ipv 128 of 384.

[DarkeasterB]

Ik meende dat hbm met de gpu en op een transposer zit en er dus helemaal geen extra traces op t pcb, wel kosten voor dat ding, of snap ik t verkeerd?

[MrMonkE]

Ik denk dat jij gelijk hebt want ze zijn backwards compatible lees ik.

[supersnathan94]

Zeker, maar dat ligt denk ik meer aan de yields van het proces en kosten voor overige benodigde componenten (zoals controller). Qua design constraints en warmteafvoer valt het namelijk wel mee wat deze chips toevoegen ten opzichte van een GPU chip.

Het heeft pas zin als de chips daadwerkelijk een stuk goedkoper in te kopen zijn aangezien je op een GPU vooral ruimte nodig hebt voor je koeloplossing. Hoe groot het board is maakt niet zoveel uit.

Dus ja als HBM per gig in totaal goedkoper is dan GGDR dan heeft het zin. Anders niet. En dat moment gaat vast komen als we straks ook met direct acces storage aan de gang gaan en de CPU eigenlijk alleen nog maar berekeningen doet en niet ook nog assets heen en weer pompen. Daar zit namelijk ook vertraging in.

[lezzmeister]

Als het maar snel genoeg is dan lijkt me dat een (kleine) meerprijs ook wel te behappen is toch? Zolang het maar goedkoop genoeg is.

Kan je marketingafdeling kan smijten met die dikke bus, bandbreedte en benches ook. Ik geloof wel dat er wat meer factoren zijn maar puur het moet qua kosten lager zijn dan GDDR lijkt me ook wat kort door de bocht.

[supersnathan94]

Nouja je moet er ook genoeg voorraad van kunnen krijgen natuurlijk, maar verder is dat zeker waar. Als je het marketingtechnisch weet te verkopen dan maakt een dollar meer of minder niet zo veel uit als je er 10 op kunt verdienen.

Alleen was dat de vraag niet

[Pinkys Brain]

Neurale netwerken kunnen eigenlijk nog wel meer geheugen bandbreedte gebruiken, zeker bij trainen. Dat is met GDDR6 een probleem aan het worden, dies worden kleiner maar PCB traces blijven hetzelfde.

Het vermogen voor het geheugen en de geheugenbus is ook niet irrelevant en veel beter met HBM.

[Reactie gewijzigd door Pinkys Brain op 27 juli 2024 10:25]