Samsung brengt hbm2e-geheugenchip van 16GB uit

Samsung heeft zijn Flashbolt-geheugenchip beschikbaar gemaakt. Het gaat om high bandwith memory met een capaciteit van 16Gbit per die. Samsung stapelt acht lagen voor een capaciteit van 16GB. De chip werd vorig jaar al aangekondigd.

Nu de chip beschikbaar is, kunnen fabrikanten het geheugen integreren in hardware. Hbm wordt met name gebruikt op videokaarten, tegenwoordig vrijwel alleen op gpu's voor in datacenters. Nvidia gebruikt bijvoorbeeld hbm2 bij zijn Tesla V100 en AMD doet dat ook met bepaalde Radeon Pro Vega-accelerators. Fabrikanten kunnen meerdere van de 16GB-chips combineren voor een grote hoeveelheid vram.

Samsung presenteerde de hbm2e-module al in maart vorig jaar. De fabrikant maakt nu bekend dat de volumeproductie in de eerste helft van dit jaar van start gaat. Samsung blijft zijn Aquabolt-chip ook leveren, de nieuwe Flashbolt-variant is een toevoeging aan het assortiment.

In oktober vorig jaar kondigde Samsung ook al aan hbm2-chips te gaan maken met twaalf lagen. Met een capaciteit van 16Gbit per die zou dat 24GB-modules opleveren. Wanneer die modules uitkomen is nog niet bekend.

Samsungs hbm2-aanbod
	Flashbolt	Aquabolt	Flarebolt
Capaciteit	16GB	8GB	8GB	4GB	8GB	4GB
Bandbreedte per pin	3,2Gbit/s	2,4Gbit/s	2Gbit/s	2Gbit/s	1,6Gbit/s	1,6Gbit/s
Bandbreedte per stack	410GB/s	307,2GB/s	256GB/s		204,8GB/s

Reacties (29)

Komt goed overeen met de vermoedelijke lancering van Ampere op GTC in maart. De krachtigste datacenter GPU die Nvidia nu verkoopt is de V100S, met vier Aquabolt chips op 2,2 Gb/s. Dit geeft deze kaart 32 GB geheugen met 1134 GB/s bandbreedte.

Als Samsung lukt om Flashbolt chips geklokt op 3,2 Gb/s met fatsoenlijke yields aan Nvidia te verkopen, dan gaan we naar een GPU toe met potentieel 96 GB aan geheugen en 1638 GB/s bandbreedte.

Ik vermoed dat we echter eerst een generatie gaan zien met 2,8 tot 3,0 Gb/s HBM2, wat respectievelijk 1433 en 1536 GB/s aan bandbreedte op zou leveren, om de yields hoog te houden. In deze generatie consumenten GPUs zagen we ook voornamelijk 14 Gb/s GDDR6, terwijl Micron en Samsung al lang 16 en 18 Gb/s GDDR6 hadden aangekondigd.

[Reactie gewijzigd door Balance op 4 februari 2020 21:26]

Gebruiken de datacenter GPU's van AMD niet ook HBM geheugen?
Volgens mij heeft de gewone consumer Radeon 7 GPU ook 1TB/s geheugen bandbreedte? Was dat dan ook met die 14gb/s chips?

AMD is 1 van de bedrijven die heeft meegeholpen aan de ontwikkeling van HBM gebeugen, en ja hier maken ze zeker gebruik van.

AMD heeft ook een leuke GPU met de mogelijkheid om 2 m.2 ssd's erop aan te sluiten samen met 16gb HBM2 om je videogeheugen naar 2064 gb te krijgen. Dit levert leuke resultaten op voor videobewerking in realtime

De Flashbolt chips kunnen overigens overgeklokt worden naar 4,2 Gbps voor een bandbreedte per stack van 538 GBps!

Met twee van die repen zou je al genoeg kunnen hebben om fatsoenlijk te kunnen gamen.
Dan zou een videokaart dus 32 gb geheugen hebben.

Waarom wordt dit trouwens niet gebruikt voor CPUs?

waarschijnlijk omdat HBM zo een super brede bus heeft, waardoor het niet zo goed als insteekkaart te maken valt.

HBM is ook een stukje hoger, dus slots kan je niet dicht bij elkaar zetten, vooral als je ook nog koeling nodig hebt.

Daarnaast, heeft die brede databus ook vrij strikte constraints i.v.m. baantjes leggen. Dat maakt het connecteren via een connector vrij moeilijk.

CPUs van vandaag hebben ook geen HBM memory controller. AMD heeft die wel liggen, en ik verneem nog altijd een concept van CPU met HBM op de interposer.

Nu, volgens mij kan het. Is er al een markt voor?
Of is HBM gewoon nog te duur, waardoor mensen toch voor gewoon DDR4 gaan blijven gaan?

HBM is nu maar beperkt beschikbaar, wat het lastig maakt voor desktop CPUs. Misschien gaan ze beginnen bij servers, eens goed beschikbaar.

[Reactie gewijzigd door bjp op 4 februari 2020 21:51]

waarschijnlijk omdat HBM zo een super brede bus heeft, waardoor het niet zo goed als insteekkaart te maken valt.

Sterker nog, het is geheel onmogelijk.

HBM werkt alleen op hele korte afstanden. eigenlijk enkel naast de chip die je van geheugen wilt voorzien En zelfs dan alleen via een directed silicium verbinding, niet eens via een normaal PCB.

Als CPU's HBM zouden gaan gebruiken dan zal dat bij de CPU geïntegreerd zijn in de package. maar een geheugen upgrade is er dan niet bij, dan moet je je hele CPU vervangen.

Gewoon bij de cpu rammen, goed als L4/edram of bij AMD voor de geïntegreerde videochips, 4 of 8 GB hoog geklokt geheugen dat zet meer zoden aan de dijk dan het snelste ram kopen. Als ze het niet te duur maken natuurlijk.

beetje een leek hier maar is dit niet het ESRAM principe van de Xbox?

Ik moest het even opzoeken maar inderdaad, alleen gebruikt de Xbox sram en geen dram ervoor. Weet wel dat dat niet is uitgevonden voor de Xbox.
Intel heeft het sinds Haswell ook op sommige cpu's (met Iris gpu) zitten, dus het wordt al gedaan voor de desktop/workstation, alleen is dat 128MB DRAM. AMD heeft een betere gpu en is wat gevoeliger voor sneller geheugen. Als je dat met modules HBM recht op de cpu erbij kan plakken, des te beter. Al is het 1 of 2GB.

Wellicht rare gedachte, maar aan de andere kant van het mobo (tegenover de cpu) met een directe verbinding en z'n eigen koeling, zou dat mogelijk zijn of is die afstand nog steeds te groot?

[Reactie gewijzigd door Diggie9 op 5 februari 2020 17:53]

idd het eerste waar ik aandacht een redesign van het mobo. Zou de kosten van het mobo wel drastisch veranderen denk ik

De 1024bit brede bus (per stack!) is gewoon onmogelijk om in iets ander te maken als silicium met het zelfde process dat chips worden gemaakt (al kan het wel op een vele oudere node als de CPU en het geheugen zelf).

De koper banen die je nodig zou hebben om het bijvoorbeeld aan de andere kant van het moederbord te krijgen zijn veel te breed, nemen te veel ruimte in.

Ter vergelijking, een normale geheugen chip heeft per chip slecht 32bit aan databus. Nu kunnen de contact punten daarvan vast kleiner, maar niet 32 keer kleiner.
Elk contact punt nu zou voor HBM dus 32 contact punten moeten kunnen huisvesten.

en dan moet het ook nog door de socket heen.
AM4 bijvoorbeeld heeft 1331 pins, en al behoorlijk kleine pinnen.
Daar nog een keer minimaal 1024 pins + stroom en controle pins bij maken ect maakt elke socket veel groter... en daarmee de afstanden ook weer gelijk veel groter. Te groot voor HBM.

HBM is echt gemaakt om te gebruiken op een interposer. dat is een stuk silicium dat onder het HBM en de CPU zou liggen dat beide met elkaar verbind. allen zo kunnen de contact punten en de banen klein genoeg zijn om 1024bit aan data bus te kunnen huisvesten onder het kleine oppervlakte van de HBM chips.

Het is helaas gewoon echt onmogelijk.

Heel informatief, bedankt.

Dat heeft voornamelijk te maken met de afvoer van warmte. Meerdere lagen zorgen er gewoon voor dat het te warm wordt in de kern van de chip.

Kan er dan wellicht gebruik worden gemaakt van al de ruimte die RAM modules normaal gebruiken voor een heatsink?

Tis ook de latency
Gpu’s hebben meer baat bij bandbreedte, cpu’s hebben meer last van hoge latency.

Bedankt. Zorgt de gigantisch hogere bandbreedte er niet voor dat, hoewel er meer latency is, de CPU direct heel veel data ontvangt?

Een CPU heeft zelf maar een beperkte hoeveelheid cache ( L1, L2 en soms L3) voor data en instructies om mee te rekenen. Zolang de cache niet de juiste data bevat moet de CPU wachten totdat de data verplaatst is van het ram geheugen naar de cache op de CPU.

Dit zijn kleine hoeveelheden data (order van kilo- of enkele megabytes). Hoe langer de CPU moet wachten (ie, hoe hoger de latency) des te langer de CPU uit zijn neus zit te eten.

Dat klinkt logisch. Betekent dat dat er een "sweet spot" is voor AMD Ryzen processoren waarna de hogere bandbreedte ten koste van latency het niet meer waard is?

Niet enkel ryzen maar elk algemeen cpu ontwerp, dus ook die van intel, arm of via bv.
Tussen de verschillende fabrikanten /architecturen zal onderling uiteraard verschil zitten als het hierop aankomt.

Meer data helpt niet als je CPU constant moet wachten. Stel dat je 1/10e van de tijd moet wachten, en de helft van de tijd een verkeerde branch prediction gemaakt is, dan kan je de de helft van al je transfers weggooien en heb je 1/5e van de tijd zitten niksen zonder reden. Dat is met miljoenen cycles wel heel snel een dikke performance penalty.

Bedankt. Ik wist niet dat the vertraging so hoog was.

Memory is zelden de bottleneck these days ;-)

Ligt aan je toepassing. FFTs zijn over het algemeen memory bound.

Het gaat om high bandwith memory met een capaciteit van 16Gbit per die. Samsung stapelt acht lagen voor een capaciteit van 16GB.

Staat vrij duidelijk in de kop van het artikel...

16GB doormiddel van 8 lagen van 16Gbit...