Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Nvidia kondigt A100-accelerator met 80GB HBM2e aan

Nvidia heeft een versie van zijn A100-accelerator voor high performance computing aangekondigd die het van 80GB HBM2e heeft voorzien. Dat is dubbel zoveel geheugen als de in mei aangekondigde A100-versie.

De Nvidia A100 80GB biedt een geheugenbandbreedte van meer dan 2 terabyte per seconde, aldus Nvidia. Het bedrijf toont de prestatiewinst tegenover de A100 met 40GB HBM2e bij een aantal hpc-benchmarks, om een indicatie te geven in hoeverre toepassingen baat kunnen hebben bij de verdubbeling van het geheugen. Zo zouden de prestaties bij FP16-rekenwerk voor deep learning recommendation models verdrievoudigd zijn en zouden de prestaties bij de Quantum Espresso-suite 1,8 keer hoger uitvallen dankzij het extra geheugen.

Nvidia biedt de mogelijkheid acht van de accelerators in te bouwen in zijn DGX A100-systemen en vier in de nieuwe DGX Station A100-werkgroepservers. Een zo'n DGX Station A100-systeem biedt daarmee bijvoorbeeld de mogelijkheid tot aan 28 verschillende gpu-instances te leveren waarbij meerdere gebruikers parallel toepassingen kunnen draaien.

Volgens Nvidia komen andere fabrikanten zoals Atos, Dell, Fujitsu, Hewlett Packard Enterprise, Lenovo en Supermicro begin 2021 met eigen systemen met HGX A100-borden, waarop vier of acht A100 80GB-accelerators geplaatst kunnen worden.

Nvidia DGX Station A100

Door Olaf van Miltenburg

Nieuwscoördinator

16-11-2020 • 16:46

52 Linkedin

Reacties (52)

Wijzig sortering
Verplichte opmerking: "640 GB ought to be enough for anybody"

Maar even on-topic; Ik ben heel benieuwd wat AMD hier tegenover gaat stellen. Dit is dé markt die AMD graag wil veroveren volgens mij. Zie ook hun geplande overname van Xilinx.
Net nu AMD "van HBM af stapt" (in ieder geval voor hun consumenten-kaarten) komt Nivea met een 80 GB HBM 2e kaart. Zou AMD al klaar zijn voor HBMnext ?

Edit n.a.v. comment van @MeMoRy

[Reactie gewijzigd door Terr-E op 16 november 2020 22:26]

AMD heeft vandaag zijn nieuwe MI100 Instinct accelerator kaarten aangekondigd.

https://www.youtube.com/watch?v=ulRHTMLnte4

Deze gebruiken wel HBM

[Reactie gewijzigd door Snowfall op 16 november 2020 17:15]

Nice ! Die had ik nog niet gezien, thanks !
Overigens hebben die volgens de specs nog steeds slechts 32 GB HBM2 i.p.v. 80+ GB HMBnext wat je zou willen als AMD om een vuist te kunnen maken tegen Nvidia.
En los daarvan zal AMD nog werk genoeg hebben aan ROCm voor ze kunnen concurreren met CUDA. Ze hebben wel wat distributies maar ze lopen altijd achter op releases. Het zal nog even duren voor ze op hetzelfde niveau als CUDA zitten.
Hoorde toevallig George Hotz van Comma.ai hier laatst over praten, ze vinden de oplossingen van AMD enorm aantrekkelijk alleen in dit gebied lopen ze inderdaad achter, wellicht dat we vanuit de opensource community wat voortgang gaan zien als AMD hun alternatieven qua hardware specs zo aantrekkelijk kunnen houden.
Grote probleem van AMD op dit moment is de ondersteuning van deep learning platformen zoals PyTorch en Tensorflow.

Het overgrote deel van deze GPU's wordt gebruikt voor deep learning. De CUDA drivers van Nvidia zijn veel meer geoptimaliseerd waardoor met dezelfde raw performance de Nvidia kaarten veel betere performance halen op deze platformen dan AMD.
Grote probleem van AMD op dit moment is de ondersteuning van deep learning platformen zoals PyTorch en Tensorflow.
Ik heb dit afgelopen maanden nu al meerdere keren gedebunked. Zowel TensorFlow als PyTorch hebben gewoon uitermate goede support voor AMD's ROCm.

https://blog.tensorflow.o...pport-for-tensorflow.html
https://www.amd.com/en/graphics/servers-solutions-rocm-ml

Ook werken grotere pakketten zoals Keras, Apache Spark en MXNet, Theano en DL4j gewoon goed op AMD GPU's. De support is er vanuit zowel AMD als de fabrikanten van deze Machine en Deep Learning frameworks en de support is gewoon super.
Het overgrote deel van deze GPU's wordt gebruikt voor deep learning. De CUDA drivers van Nvidia zijn veel meer geoptimaliseerd waardoor met dezelfde raw performance de Nvidia kaarten veel betere performance halen op deze platformen dan AMD.
Dit heeft natuurlijk niks met drivers te maken. Nvidia heeft jaren een "monopoly" gehad op deze markt omdat AMD gewoon niets te bieden had met dezelfde Compute performance totdat Vega werd aangekondigd. Als je kijkt naar de vorige generatie AMD accelerators die nog op Vega gebaseerd waren dan zie je dat ze niet onderdoen aan een Nvidia accelerator die vaak t dubbele of driedubbele kosten.

Vooral nu AMD CDNA 1 en CDNA 2 zijn aangekondigd En vandaag de nieuwe MI100 heeft aangekondigd
https://www.youtube.com/watch?v=ulRHTMLnte4 is er op dit gebied geen enkele reden meer om een veel duurdere Nvidia kaart te kopen voor dezelfde workflow. (Tenzij je als bedrijf jezelf hebt opgesloten met CUDA.)


Laatste grote Model waar ik aan meegewerkt heb waren 2 modellen die ieder getraind waren met 4 Data sets van 2TB groot die we mochten trainen op set AMD MI50's. Dit model werd gecreëerd voor het real time herkennen van Adult content voor een game streaming service. Model kon dus alles wat niet met gaming te maken had herkennen en werd dan automatisch verwijderd, stopgezet of verbannen. Gebouwd met PyTorch en Keras.

Toen de eigenaar na aandringen van IT van t bedrijf over stapte naar Nvidia Tesla's voor dit, waren ze echt niet sneller of beter dan de MI50s. Maar wel 2x zo duur.

En de nieuwe El Capitan Super Computer die word gebouwd bestaat ook volledig uit AMD Hardware.
https://www.amd.com/en/pr...ct-gpus-enable-el-capitan

Een Super computer speciaal ontwikkeld voor AI acceleratie en Deep Learning. Als AMD echt zo "slecht ondersteund" werd zoals jij zegt hadden ze echt niet voor AMD gekozen.

[Reactie gewijzigd door Snowfall op 16 november 2020 18:56]

Het is niet zo erg als de persoon voor je lijkt te insinueren, maar ROCm is wel lang niet zo adopted als CUDA door softwarebouwers. Het zal nog wel wat duren voor ROCm op dezelfde prioriteitenlijst staat.
ROCm en CUDA zijn natuurlijk ook 2 hele verschillende dingen.

CUDA is namelijk een Parallel Computing platform en programmeer omgeving.

ROCm betekend Radeon Open Compute. En ROCm is een open source platform voor HPC en Ultra Scale Computing dat gebruik maakt van OpenCL.

Maar ROCm heeft een eigen CUDA alternatief dat heet HIP. HIP is een systeem dat CUDA Source Code kan omzetten naar HIP en dan kan worden uitgevoerd. HIP werkt trouwens op zowel ROCm als op CUDA.
Het zal nog wel wat duren voor ROCm op dezelfde prioriteitenlijst staat.
Je moet niet vergeten dat NVIDIA miljarden heeft gespendeerd en geïnvesteerd in zowel CUDA als in bedrijven om CUDA te adopteren. Hier kom je als AMD met een OpenCL/HIP platform als ROCm niet tussen.
HIP is een systeem dat CUDA Source Code kan omzetten naar HIP en dan kan worden uitgevoerd.
Dit klinkt vreemd. Het is een systeem dat CUDA-code kan omzetten naar ... zichzelf?

Het zal alleszins niet eenvoudig zijn, anders waren er van de grote frameworks al lang een-op-een versies, met HIP releases samen met de PyTorch upstream releases. Hier is een interessante comment van een ROCm developer met een beetje uitleg waar wat moeilijkheden liggen. Daarnaast wel leuk om te zien dat er "officiele" ROCm nightlies zijn. Om het met zijn woorden te zeggen:
No doubt we're swimming upstream, but we're gaining
---

Ik geef trouwens geen waardeoordeel. Ik ben erg fan van AMD, maar zelf vertrouwen wij momenteel volledig op NVidia GPUs voor deep learning omwille van de lang heersende CUDA naam. Ik hoop dat met de nieuwe introducties van AMD hier verander in komt, maar for the time being blijf ik zelf (alsook mijn werkgever) bij NVidia. Als er echte parity is, ook qua usability, installatiegemak, etc., dan evalueren we de situatie opnieuw.

[Reactie gewijzigd door BramVroy op 16 november 2020 21:09]

Dit klinkt vreemd. Het is een systeem dat CUDA-code kan omzetten naar ... zichzelf?
Ja het kan CUDA vertalen naar HIP Code. Het systeem zelf heet ook HIP. Ik snap dat het vreemd klinkt haha.
Ik geef trouwens geen waardeoordeel. Ik ben erg fan van AMD, maar zelf vertrouwen wij momenteel volledig op NVidia GPUs voor deep learning omwille van de lang heersende CUDA naam. Ik hoop dat met de nieuwe introducties van AMD hier verander in komt, maar for the time being blijf ik zelf (alsook mijn werkgever) bij NVidia. Als er echte parity is, ook qua usability, installatiegemak, etc., dan evalueren we de situatie opnieuw.
Sinds ik gestopt ben met vaste dienst gebruik ik tegenwoordig een clustertje van 6 Raspberry Pi's voor het trainen van Keras modellen. Duurt iets langer maar ZO leuk om mee te spelen <3
Detail: de overname van Xilinx is nog niet rond. Moet nog goedgekeurd worden, etc.
Helemaal gelijk. Ik heb het aangepast.
Het geeft nog steeds AMD's intentie aan om te groeien in de compute markt, en daar ging het me om. O-)
640 kB, niet GB... je zit er maar een factor 1E6 naast.
Maar ik doelde op deze quote in combinatie met de kaarten uit dit nieuwsbericht.
Nvidia heeft een versie van zijn A100-accelerator… aangekondigd die het van 80GB HBM2e heeft voorzien.

Nvidia biedt de mogelijkheid acht van de accelerators in te bouwen in zijn DGX A100-systemen…
8 x 80 GB = 640 GB en dus soort van een knipoog naar de oude quote.
oude quote.
Die geen quote is.
Iemand heeft het ooit voor het eerst gezegd/geschreven.
Het is alleen niet bekend wie. De quote werd vaak toegeschreven aan Bill Gates, maar er is geen bewijs dat hij het ooit wel of niet gezegd heeft. Hijzelf ontkent het gezegd te hebben, maar dat is geen bewijs.

Desalniettemin is het ooit door iemand gezegd en de quote zwerft sindsdien al decennia dakloos door het internet.
Het was overigens 640kB...
Er zijn geloof ik ook twijfels of de quote wel echt is...
Zoals hierboven al aangegeven; dat was de grap. De originele quote is 640k maar aangezien het hier gaat om 8x80GB=640GB is de quote weer soort van relevant, met aanpassing van 1 letter.

En ja de quote is echt, de vraag is alleen wie er gequote wordt. Hij wordt vaak toegeschreven aan Bill Gates, maar hij ontkent dit ooit gezegd te hebben. Hoe dan ook, er is geen bewijs (voor of tegen) dus het zal een mysterie blijven. Maar sowieso heeft IEMAND het ooit als eerste gezegd, misschien als mis-quote van iemand anders maar de spreuk "640k ought to be enough for anybody" gaat al meer dan 30 jaar de ronde dus het is wel degelijk een quote van iemand, wie dan ook.
En wat kan je hiermee doen als ik een oprechte vraag mag stellen?
Is dit om meer rekenkracht te hebben of is het om meer grafische kracht te hebben (aangezien het van nVidia is).

Van de uitleg die in het artikel staat kan ik echt kop noch staart aan krijgen... 8)7


Aan hieronder: bedankt voor de verduidelijking(en)! :)

[Reactie gewijzigd door SkyCloud op 16 november 2020 17:18]

Dit is niet bedoelt voor de gemiddelde consument. Dit is voor high performance computing of het datacentrum bedoelt. Zoals weermodellen, biochemische modellen, computational fluid dynamics en andere wetenschap. Dit maakte vroeger alleen gebruik van CPUs, maar steeds meer modellen zijn overgestapt op GPUs.

Dit enorme geheugen komt erg goed van pas in bepaalde modellen waar veel data ingelezen moet worden/of gegenereerd. Doordat er nu meer in VRAM past hoef je minder vaak te communiceren met system RAM, dat scheelt een boel in tijd.
AI toepassingen als Deep learning. Hij is niet echt voor gaming bedoeld.
Hij is niet echt echt niet voor gaming bedoeld.
"Zo zouden de prestaties bij FP16-rekenwerk voor deep learning recommendation models verdrievoudigd zijn en zouden de prestaties bij de Quantum Espresso-suite 1,8 keer hoger uitvallen dankzij het extra geheugen."

&

"Nvidia biedt de mogelijkheid acht van de accelerators in te bouwen in zijn DGX A100-systemen en vier in de nieuwe DGX Station A100-werkgroepservers."

Wat je hiermee kan doen, de DGX A100 had een launch prijs dat begon bij 200 000$ (instap prijs dus). Het spreekt voor zich dat als je een workload dan kan gaan versnellen met factor 1.8 tot 3 dat dit zéér interessant is al zal deze upgrade alles behalve mals zijn voor de boekhouding.

Dat dit niet bedoeld is voor de consument lijkt mij nogal logisch, zelfs niet voor een doorsnee bedrijf. Grootste afnemers zullen cloud bedrijven zijn, Azure, Amazon, Google Cloud, etc.
Zelfs al heb je dat soort rekenkracht nodig, dan nog koop je dat niet zelf aan want dan moet je het ding 24/24 7/7 belasten om de afschrijving te kunnen verwerken (alleen al de stroomfactuur wil je als consument niet).
Flexibel rekenkracht inhuren wanneer nodig is dan logisch ook omdat je dan enkel de hoeveelheid rekenkracht inhuurt dat je op dat moment nodig hebt. Als het weermodel van Nederland klaar is, dan kan het weermodel van New York beginnen draaien bij wijze van spreken.

Uit onderstaand zie je ook al meteen dat dit systeem gemaakt is om rekenkracht door te verhuren,

"Een zo'n DGX Station A100-systeem biedt daarmee bijvoorbeeld de mogelijkheid tot aan 28 verschillende gpu-instances te leveren waarbij meerdere gebruikers parallel toepassingen kunnen draaien."
Iets met geforce now.
Kan ik hiermee battlefield 4 op 4k soepel spelen?
De FP32 performance is zo'n 20 (Ampere*) TFlops, dus vergelijkbaar met een 3070. 4K 60+ fps BFV moet dus wel lukken denk ik, maar dan RTX off.

Bron: https://www.techpowerup.com/gpu-specs/a100-sxm4-80-gb.c3746
(De 40GB variant heeft dezelfde FP32 performance)

*Ampere heeft 2x zoveel FP32 rekenkernen als Turing per SM, waardoor de FP32 performance alleen binnen Ampere te vergelijken is.
Als je ergens een gat vindt waar je een videokabel in kan steken misschien wel, maar dan kun je lang zoeken.
Wat zou ik daar graag mee spelen zeg.. nu nog een excuus vinden. :Y)
is dat niet je excuus ?
FS 2020....op 3x 4k surround.
loopt op een 3090 vast op de cpu, dus ben bang dat dit niet heel veel gaat helpen.
Gaat niet goed werken, deze kaarten hebben geen rasterizing e.d. aanboort waardoor ze voor echte grafische taken traag zijn.
De kosten, zeg maar. Vorige kastje kostte volgens mij $200.000. Met 80GB zal het wel meer zijn.
Zo, dit is een mooie om aan Sinterklaas te vragen :Y)
2ton kost zo'n ding. :+
Die van 40GB ja, dus deze zal wel eerder naar de $300.000 gaan, maar als je daarmee sneller kan berekenen kan dat het wel waard zijn voor bedrijven.
Oef, laat dan maar... Beetje sneu als ik het wijkbudget van de Sint claim :o :X
Dat of een nieuwe auto
Verdubbeling van het geheugen. Dat is geen sterktebod. Ik vermoed dat AMD een concurrende kaart heeft. Lang leve concurrentie!
bij gebruik van hbm geheugen heeft dat wel meer effect dan gddr
En hoeveel bogomips ondersteund deze A100 dan dus maximaal indien helemaal volgepropt? :+
Niet slecht, 7gpu's per accelerator. Hoeveel nvme hd's zouden dat zijn.en hoeveel frames / second? Ofc, met een energiemeting erbij.
Ah, de nieuwe Titan :-)
Daar is-ie dan.


Om te kunnen reageren moet je ingelogd zijn


Apple iPhone 12 Microsoft Xbox Series X LG CX Google Pixel 5 Sony XH90 / XH92 Samsung Galaxy S20 4G Sony PlayStation 5 Nintendo Switch Lite

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2020 Hosting door True