Nvidia kondigt A100-accelerator met 80GB HBM2e aan

Nvidia heeft een versie van zijn A100-accelerator voor high performance computing aangekondigd die het van 80GB HBM2e heeft voorzien. Dat is dubbel zoveel geheugen als de in mei aangekondigde A100-versie.

De Nvidia A100 80GB biedt een geheugenbandbreedte van meer dan 2 terabyte per seconde, aldus Nvidia. Het bedrijf toont de prestatiewinst tegenover de A100 met 40GB HBM2e bij een aantal hpc-benchmarks, om een indicatie te geven in hoeverre toepassingen baat kunnen hebben bij de verdubbeling van het geheugen. Zo zouden de prestaties bij FP16-rekenwerk voor deep learning recommendation models verdrievoudigd zijn en zouden de prestaties bij de Quantum Espresso-suite 1,8 keer hoger uitvallen dankzij het extra geheugen.

Nvidia A100 80GB

Nvidia biedt de mogelijkheid acht van de accelerators in te bouwen in zijn DGX A100-systemen en vier in de nieuwe DGX Station A100-werkgroepservers. Een zo'n DGX Station A100-systeem biedt daarmee bijvoorbeeld de mogelijkheid tot aan 28 verschillende gpu-instances te leveren waarbij meerdere gebruikers parallel toepassingen kunnen draaien.

Volgens Nvidia komen andere fabrikanten zoals Atos, Dell, Fujitsu, Hewlett Packard Enterprise, Lenovo en Supermicro begin 2021 met eigen systemen met HGX A100-borden, waarop vier of acht A100 80GB-accelerators geplaatst kunnen worden.

Reacties (52)

Terr-E

16 november 2020 17:12

Verplichte opmerking: "640 GB ought to be enough for anybody"

Maar even on-topic; Ik ben heel benieuwd wat AMD hier tegenover gaat stellen. Dit is dé markt die AMD graag wil veroveren volgens mij. Zie ook hun geplande overname van Xilinx.
Net nu AMD "van HBM af stapt" (in ieder geval voor hun consumenten-kaarten) komt Nivea met een 80 GB HBM 2e kaart. Zou AMD al klaar zijn voor HBMnext ?

Edit n.a.v. comment van @MeMoRy

[Reactie gewijzigd door Terr-E op 23 juli 2024 21:15]

Snowfall @Terr-E • 16 november 2020 17:14

AMD heeft vandaag zijn nieuwe MI100 Instinct accelerator kaarten aangekondigd.

https://www.youtube.com/watch?v=ulRHTMLnte4

Deze gebruiken wel HBM

[Reactie gewijzigd door Snowfall op 23 juli 2024 21:15]

Terr-E

@Snowfall • 16 november 2020 18:25

Nice ! Die had ik nog niet gezien, thanks !
Overigens hebben die volgens de specs nog steeds slechts 32 GB HBM2 i.p.v. 80+ GB HMBnext wat je zou willen als AMD om een vuist te kunnen maken tegen Nvidia.

BramVroy @Terr-E • 16 november 2020 19:27

En los daarvan zal AMD nog werk genoeg hebben aan ROCm voor ze kunnen concurreren met CUDA. Ze hebben wel wat distributies maar ze lopen altijd achter op releases. Het zal nog even duren voor ze op hetzelfde niveau als CUDA zitten.

Ghxst @BramVroy • 16 november 2020 21:36

Hoorde toevallig George Hotz van Comma.ai hier laatst over praten, ze vinden de oplossingen van AMD enorm aantrekkelijk alleen in dit gebied lopen ze inderdaad achter, wellicht dat we vanuit de opensource community wat voortgang gaan zien als AMD hun alternatieven qua hardware specs zo aantrekkelijk kunnen houden.

fentoment @Snowfall • 16 november 2020 18:27

En daar staat er geen nieuws bericht van, straf!

supersnathan94 @fentoment • 16 november 2020 20:36

nieuws: AMD introduceert Instinct MI100-accelerator voor datacenters

Rustaaaaghhh

Tim Lamein @supersnathan94 • 16 november 2020 21:24

jenner2006 @Terr-E • 16 november 2020 17:38

Grote probleem van AMD op dit moment is de ondersteuning van deep learning platformen zoals PyTorch en Tensorflow.

Het overgrote deel van deze GPU's wordt gebruikt voor deep learning. De CUDA drivers van Nvidia zijn veel meer geoptimaliseerd waardoor met dezelfde raw performance de Nvidia kaarten veel betere performance halen op deze platformen dan AMD.

Snowfall @jenner2006 • 16 november 2020 18:51

Grote probleem van AMD op dit moment is de ondersteuning van deep learning platformen zoals PyTorch en Tensorflow.

Ik heb dit afgelopen maanden nu al meerdere keren gedebunked. Zowel TensorFlow als PyTorch hebben gewoon uitermate goede support voor AMD's ROCm.

https://blog.tensorflow.o...pport-for-tensorflow.html
https://www.amd.com/en/graphics/servers-solutions-rocm-ml

Ook werken grotere pakketten zoals Keras, Apache Spark en MXNet, Theano en DL4j gewoon goed op AMD GPU's. De support is er vanuit zowel AMD als de fabrikanten van deze Machine en Deep Learning frameworks en de support is gewoon super.

Het overgrote deel van deze GPU's wordt gebruikt voor deep learning. De CUDA drivers van Nvidia zijn veel meer geoptimaliseerd waardoor met dezelfde raw performance de Nvidia kaarten veel betere performance halen op deze platformen dan AMD.

Dit heeft natuurlijk niks met drivers te maken. Nvidia heeft jaren een "monopoly" gehad op deze markt omdat AMD gewoon niets te bieden had met dezelfde Compute performance totdat Vega werd aangekondigd. Als je kijkt naar de vorige generatie AMD accelerators die nog op Vega gebaseerd waren dan zie je dat ze niet onderdoen aan een Nvidia accelerator die vaak t dubbele of driedubbele kosten.

Vooral nu AMD CDNA 1 en CDNA 2 zijn aangekondigd En vandaag de nieuwe MI100 heeft aangekondigd
https://www.youtube.com/watch?v=ulRHTMLnte4 is er op dit gebied geen enkele reden meer om een veel duurdere Nvidia kaart te kopen voor dezelfde workflow. (Tenzij je als bedrijf jezelf hebt opgesloten met CUDA.)

Laatste grote Model waar ik aan meegewerkt heb waren 2 modellen die ieder getraind waren met 4 Data sets van 2TB groot die we mochten trainen op set AMD MI50's. Dit model werd gecreëerd voor het real time herkennen van Adult content voor een game streaming service. Model kon dus alles wat niet met gaming te maken had herkennen en werd dan automatisch verwijderd, stopgezet of verbannen. Gebouwd met PyTorch en Keras.

Toen de eigenaar na aandringen van IT van t bedrijf over stapte naar Nvidia Tesla's voor dit, waren ze echt niet sneller of beter dan de MI50s. Maar wel 2x zo duur.

En de nieuwe El Capitan Super Computer die word gebouwd bestaat ook volledig uit AMD Hardware.
https://www.amd.com/en/pr...ct-gpus-enable-el-capitan

Een Super computer speciaal ontwikkeld voor AI acceleratie en Deep Learning. Als AMD echt zo "slecht ondersteund" werd zoals jij zegt hadden ze echt niet voor AMD gekozen.

[Reactie gewijzigd door Snowfall op 23 juli 2024 21:15]

BramVroy @Snowfall • 16 november 2020 19:29

Het is niet zo erg als de persoon voor je lijkt te insinueren, maar ROCm is wel lang niet zo adopted als CUDA door softwarebouwers. Het zal nog wel wat duren voor ROCm op dezelfde prioriteitenlijst staat.

Snowfall @BramVroy • 16 november 2020 20:30

ROCm en CUDA zijn natuurlijk ook 2 hele verschillende dingen.

CUDA is namelijk een Parallel Computing platform en programmeer omgeving.

ROCm betekend Radeon Open Compute. En ROCm is een open source platform voor HPC en Ultra Scale Computing dat gebruik maakt van OpenCL.

Maar ROCm heeft een eigen CUDA alternatief dat heet HIP. HIP is een systeem dat CUDA Source Code kan omzetten naar HIP en dan kan worden uitgevoerd. HIP werkt trouwens op zowel ROCm als op CUDA.

Het zal nog wel wat duren voor ROCm op dezelfde prioriteitenlijst staat.

Je moet niet vergeten dat NVIDIA miljarden heeft gespendeerd en geïnvesteerd in zowel CUDA als in bedrijven om CUDA te adopteren. Hier kom je als AMD met een OpenCL/HIP platform als ROCm niet tussen.

BramVroy @Snowfall • 16 november 2020 21:07

HIP is een systeem dat CUDA Source Code kan omzetten naar HIP en dan kan worden uitgevoerd.

Dit klinkt vreemd. Het is een systeem dat CUDA-code kan omzetten naar ... zichzelf?

Het zal alleszins niet eenvoudig zijn, anders waren er van de grote frameworks al lang een-op-een versies, met HIP releases samen met de PyTorch upstream releases. Hier is een interessante comment van een ROCm developer met een beetje uitleg waar wat moeilijkheden liggen. Daarnaast wel leuk om te zien dat er "officiele" ROCm nightlies zijn. Om het met zijn woorden te zeggen:

No doubt we're swimming upstream, but we're gaining

---

Ik geef trouwens geen waardeoordeel. Ik ben erg fan van AMD, maar zelf vertrouwen wij momenteel volledig op NVidia GPUs voor deep learning omwille van de lang heersende CUDA naam. Ik hoop dat met de nieuwe introducties van AMD hier verander in komt, maar for the time being blijf ik zelf (alsook mijn werkgever) bij NVidia. Als er echte parity is, ook qua usability, installatiegemak, etc., dan evalueren we de situatie opnieuw.

[Reactie gewijzigd door BramVroy op 23 juli 2024 21:15]

Snowfall @BramVroy • 16 november 2020 22:25

Dit klinkt vreemd. Het is een systeem dat CUDA-code kan omzetten naar ... zichzelf?

Ja het kan CUDA vertalen naar HIP Code. Het systeem zelf heet ook HIP. Ik snap dat het vreemd klinkt haha.

Ik geef trouwens geen waardeoordeel. Ik ben erg fan van AMD, maar zelf vertrouwen wij momenteel volledig op NVidia GPUs voor deep learning omwille van de lang heersende CUDA naam. Ik hoop dat met de nieuwe introducties van AMD hier verander in komt, maar for the time being blijf ik zelf (alsook mijn werkgever) bij NVidia. Als er echte parity is, ook qua usability, installatiegemak, etc., dan evalueren we de situatie opnieuw.

Sinds ik gestopt ben met vaste dienst gebruik ik tegenwoordig een clustertje van 6 Raspberry Pi's voor het trainen van Keras modellen. Duurt iets langer maar ZO leuk om mee te spelen

MeMoRy @Terr-E • 16 november 2020 19:18

Detail: de overname van Xilinx is nog niet rond. Moet nog goedgekeurd worden, etc.

Terr-E

@MeMoRy • 16 november 2020 22:31

Helemaal gelijk. Ik heb het aangepast.
Het geeft nog steeds AMD's intentie aan om te groeien in de compute markt, en daar ging het me om.

pkuyper @Terr-E • 16 november 2020 17:43

640 kB, niet GB... je zit er maar een factor 1E6 naast.

Terr-E

@pkuyper • 16 november 2020 18:20

Maar ik doelde op deze quote in combinatie met de kaarten uit dit nieuwsbericht.

Nvidia heeft een versie van zijn A100-accelerator… aangekondigd die het van 80GB HBM2e heeft voorzien.
…
Nvidia biedt de mogelijkheid acht van de accelerators in te bouwen in zijn DGX A100-systemen…

8 x 80 GB = 640 GB en dus soort van een knipoog naar de oude quote.

PolarBear @Terr-E • 16 november 2020 19:12

oude quote.

Die geen quote is.

Terr-E

@PolarBear • 16 november 2020 22:23

Iemand heeft het ooit voor het eerst gezegd/geschreven.
Het is alleen niet bekend wie. De quote werd vaak toegeschreven aan Bill Gates, maar er is geen bewijs dat hij het ooit wel of niet gezegd heeft. Hijzelf ontkent het gezegd te hebben, maar dat is geen bewijs.

Desalniettemin is het ooit door iemand gezegd en de quote zwerft sindsdien al decennia dakloos door het internet.

pkuyper @Terr-E • 16 november 2020 20:25

:-) verwarring alom

zonoskar @Terr-E • 16 november 2020 19:25

LOL, Nivea...

servies @Terr-E • 17 november 2020 08:44

Het was overigens 640kB...
Er zijn geloof ik ook twijfels of de quote wel echt is...

Terr-E

@servies • 17 november 2020 11:27

Zoals hierboven al aangegeven; dat was de grap. De originele quote is 640k maar aangezien het hier gaat om 8x80GB=640GB is de quote weer soort van relevant, met aanpassing van 1 letter.

En ja de quote is echt, de vraag is alleen wie er gequote wordt. Hij wordt vaak toegeschreven aan Bill Gates, maar hij ontkent dit ooit gezegd te hebben. Hoe dan ook, er is geen bewijs (voor of tegen) dus het zal een mysterie blijven. Maar sowieso heeft IEMAND het ooit als eerste gezegd, misschien als mis-quote van iemand anders maar de spreuk "640k ought to be enough for anybody" gaat al meer dan 30 jaar de ronde dus het is wel degelijk een quote van iemand, wie dan ook.

SkyCloud 16 november 2020 17:09

En wat kan je hiermee doen als ik een oprechte vraag mag stellen?
Is dit om meer rekenkracht te hebben of is het om meer grafische kracht te hebben (aangezien het van nVidia is).

Van de uitleg die in het artikel staat kan ik echt kop noch staart aan krijgen...

Aan hieronder: bedankt voor de verduidelijking(en)!

[Reactie gewijzigd door SkyCloud op 23 juli 2024 21:15]

Brontosaurus1 @SkyCloud • 16 november 2020 20:03

Dit is niet bedoelt voor de gemiddelde consument. Dit is voor high performance computing of het datacentrum bedoelt. Zoals weermodellen, biochemische modellen, computational fluid dynamics en andere wetenschap. Dit maakte vroeger alleen gebruik van CPUs, maar steeds meer modellen zijn overgestapt op GPUs.

Dit enorme geheugen komt erg goed van pas in bepaalde modellen waar veel data ingelezen moet worden/of gegenereerd. Doordat er nu meer in VRAM past hoef je minder vaak te communiceren met system RAM, dat scheelt een boel in tijd.

FuZZbaLL @SkyCloud • 16 november 2020 17:11

AI toepassingen als Deep learning. Hij is niet echt voor gaming bedoeld.

Zer0 @FuZZbaLL • 16 november 2020 17:24

Hij is niet echt echt niet voor gaming bedoeld.

unglaublich @SkyCloud • 16 november 2020 17:11

General-purpose computing on graphics processing units

sprankel @SkyCloud • 16 november 2020 22:57

"Zo zouden de prestaties bij FP16-rekenwerk voor deep learning recommendation models verdrievoudigd zijn en zouden de prestaties bij de Quantum Espresso-suite 1,8 keer hoger uitvallen dankzij het extra geheugen."

&

"Nvidia biedt de mogelijkheid acht van de accelerators in te bouwen in zijn DGX A100-systemen en vier in de nieuwe DGX Station A100-werkgroepservers."

Wat je hiermee kan doen, de DGX A100 had een launch prijs dat begon bij 200 000$ (instap prijs dus). Het spreekt voor zich dat als je een workload dan kan gaan versnellen met factor 1.8 tot 3 dat dit zéér interessant is al zal deze upgrade alles behalve mals zijn voor de boekhouding.

Dat dit niet bedoeld is voor de consument lijkt mij nogal logisch, zelfs niet voor een doorsnee bedrijf. Grootste afnemers zullen cloud bedrijven zijn, Azure, Amazon, Google Cloud, etc.
Zelfs al heb je dat soort rekenkracht nodig, dan nog koop je dat niet zelf aan want dan moet je het ding 24/24 7/7 belasten om de afschrijving te kunnen verwerken (alleen al de stroomfactuur wil je als consument niet).
Flexibel rekenkracht inhuren wanneer nodig is dan logisch ook omdat je dan enkel de hoeveelheid rekenkracht inhuurt dat je op dat moment nodig hebt. Als het weermodel van Nederland klaar is, dan kan het weermodel van New York beginnen draaien bij wijze van spreken.

Uit onderstaand zie je ook al meteen dat dit systeem gemaakt is om rekenkracht door te verhuren,

"Een zo'n DGX Station A100-systeem biedt daarmee bijvoorbeeld de mogelijkheid tot aan 28 verschillende gpu-instances te leveren waarbij meerdere gebruikers parallel toepassingen kunnen draaien."

John Doos @SkyCloud • 16 november 2020 17:12

Iets met geforce now.

phpnuker 16 november 2020 18:03

Kan ik hiermee battlefield 4 op 4k soepel spelen?

Potenscia @phpnuker • 16 november 2020 20:39

De FP32 performance is zo'n 20 (Ampere*) TFlops, dus vergelijkbaar met een 3070. 4K 60+ fps BFV moet dus wel lukken denk ik, maar dan RTX off.

Bron: https://www.techpowerup.com/gpu-specs/a100-sxm4-80-gb.c3746
(De 40GB variant heeft dezelfde FP32 performance)

*Ampere heeft 2x zoveel FP32 rekenkernen als Turing per SM, waardoor de FP32 performance alleen binnen Ampere te vergelijken is.