Nvidia toont teaser van systeem met acht vermoedelijke Ampere-gpu's

Nvidia heeft een teaservideo van een systeem met acht vermoedelijke Ampere-gpu's online gezet. De video toont Jensen Huang, de ceo van het bedrijf, die het systeem uit zijn oven haalt. Hij zegt daarbij dat het product 'al een tijdje wordt gebakken'.

De Nvidia-ceo noemt het product in de video 'de grootste videokaart ter wereld'. Het lijkt te bestaan uit acht Ampere-gpu's en toont grote gelijkenissen met Nvidia's huidige HGX-2-systemen. Die bestaan uit zestien Tesla V100-gpu's, verdeeld over twee baseboards. Deze systemen maken gebruik van twaalf NVSwitch-interconnects, die de zestien gpu's met elkaar verbinden door middel van NVLink.

Het bedrijf noemt zijn HGX-2-systeem op zijn website ook de grootste videokaart ter wereld. Het lijkt dan ook aannemelijk dat de videokaart die in de teaservideo wordt getoond, een HGX-systeem met nieuwe Tesla-gpu's is. Dit is echter niet officieel bevestigd.

De chipfabrikant zendt op 14 mei om 15:00 uur Nederlandse tijd zijn GTC 2020-keynote uit op zijn YouTube-kanaal. Naar verwachting onthult Nvidia dan zijn nieuwe Ampere-architectuur. Nvidia heeft dit niet officieel bevestigd, maar in de aankondiging van de keynote stond wel: "Get Amped". Vermoedelijk wordt de getoonde Ampere-gpu dus komende donderdag officieel onthuld. De Amerikaanse gpu-fabrikant vertelde eerder al dat het in 2020 een Tesla-accelerator zou uitbrengen, meldt Anandtech.

Nvidia's huidige HGX-2-systeem

Reacties (28)

Dit is natuurlijk de zakelijke 'compute' lijn voornamelijk bedoeld voor het trainen van deep neural networks en niet de game lijn. De architectuur is verder wel hetzelfde, alleen hebben de compute kaarten meer fp64 ALU's (die je voor deep learning workloads trouwens niet nodig hebt), meer RAM wat in tegenstelling tot game kaarten ECC ondersteunt, en zijn ze vaak lager geklokt vanwege de stabiliteit.

Je kan ook gewoon op RTX kaarten trainen, wij gebruiken ook RTX 2080 Ti kaarten. Je kan bijvoorbeeld een 4x RTX 2080 Ti opstelling maken in een PC voor een fractie voor de prijs van de Tesla/DGX lijn en dat werkt in veel gevallen prima.

Ik zou tegenwoordig niet eens meer in eigen hardware investeren maar bijvoorbeeld de AWS P of G instances als spot instance huren. Dan kun je voor een fractie van de prijs van eigen hardware trainen.

NVIDIA is uniek in dit segment, Intel, AMD of Xilinx hebben hier (nog) niks tegen in te brengen.

Ik zou tegenwoordig niet eens meer in eigen hardware investeren maar bijvoorbeeld de AWS P of G instances als spot instance huren.

Ik wordt graag gecorrigeerd als dit fout is maar heb toevallig afgelopen week eens berekend hoe AWS kosten tegenover een eigen systeem staan. Een SuperMicro systeem met 2x Xeon CPUs 16 cores elk, 256Gb Ram, 4x 2080Ti's en 4Tb SSD kan je voor ongeveer 13-15k samenstellen. Een vergelijkbaar AWS systeem (bijv: p3.8xlarge, wel met Tesla ipv RTX) blaast in ~52 dagen fulltime gebruik door dit budget heen. Lijkt me kosten technisch toch een eigen systeem beter, ook met meer flexibiliteit in welke drivers/libraries je gebruikt.

Heb je in het 'zelfbouw systeem' ook meegenomen dat er software op draait? Licenties zijn soms ook aardig prijzig, en zit misschien wel in die AWS inbegrepen. En dan nog elektriciteit, zo'n systeem zal niet op een klein zonnepaneeltje draaien. Zou trouwens wel ideaal zijn

@stok @Waterbeesje
Klopt helemaal, zeker stroom verbruik wat op pieken toch zo'n 2000 watt kan zijn, een goede ruimte met koeling dat zijn allemaal extra kosten.

In mijn geval als wetenschapper bij een universiteit/bedrijf is die infrastructuur er vaak al of kan het met relatief weinig kosten uitgebreid worden. Software licenties zijn ook andere 'potjes' al is veel deep learning software gewoon gratis te gebruiken. In mijn geval zou ik alleen een Matlab licentie nodig hebben met wat toolboxen er bij. Volgens mij zit dat ook niet bij mijn AWS berekening inbegrepen.

Of het kantelpunt op 50 of 100 dagen ligt, ik vind het toch erg aan de prijs. Zulke systemen kan je prima 3-5 jaar competitief gebruiken.

In mijn geval als wetenschapper bij een universiteit/bedrijf is die infrastructuur er vaak al of kan het met relatief weinig kosten uitgebreid worden

Die redenatie klopt niet. Als jouw systemen bv. 1/1000ste van een data-center nodig heeft aan ruimte, dan zijn de (totale kosten van het datacenter / 1000) kosten die jouw systeem heeft.

Dat klopt, als je permanent een cloud server huurt ben je bizar veel geld kwijt en kun je zelf beter hardware aanschaffen. Dit is precies de reden waarom ik eerst niets van cloud moest hebben. In de praktijk gaat het bij ons zo: je traint bijvoorbeeld 1 of 2 dagen met 1/2/4 gpu's. Voor alleen die tijd huur je een server per uur, vooral als spot instance kost dat letterlijk maar een paar $. Voor forward propagation kun je lokaal een kleinere gpu of zelfs een cpu(OpenVINO) gebruiken.

Kortom, in de praktijk hebben we nooit permanent een cloud server nodig gehad. We gaan ook niet meer in eigen hardware om te trainen investeren, dat staat ook voor 95% idle te draaien. Alleen nog edge devices voor inferentie.

Bedankt voor je reactie. Zoals je het omschrijft klinkt het zeker interessant. Ik ga toch kijken of ik eens proef kan draaien met wat kleinere projecten. Al moet ik wel zeggen dat mijn systemen soms echt maanden achter elkaar bezig zijn dus die 95% idle zal in mijn situatie wat lager zijn. Die berekende 52 dagen haal ik zeker in een half jaar wel.

Ik zal in ieder geval wat meer testen uitvoeren voordat we weer hele bakken geld uitgeven aan nieuwe systemen.

Denk dat je ook support en infra rondom mee moet nemen in dit soort kostenplaatjes.

Wat is er uniek aan Nvidia in dit segment? Ik dacht namelijk dat AMD's kaarten sneller waren op professioneel gebied.

Sneller is in dit "vakgebied" altijd zeer subjectief. Waar @gold_dust op doelt is het AI deel waar Nvidia op dit moment geen concurrentie in kent. Zowel in dingen als zelfrijdende auto's als datacenter oplossingen.

De "simpele" zaken waar Gamers/CAD/Render gebruikers de kaarten voor gebruiken is een hele andere tak van sport. Niet te vergelijken met elkaar. Ook hier is er in de hi-end tak weinig noemenswaardige concurrentie te bekennen helaas. AMD kwam in OpenGL workloads altijd wel beter uit de verf maar durf niet te zeggen of dat bij de huidige Quadro's nog zo is.

[Reactie gewijzigd door naaitsab op 13 mei 2020 11:29]

Ik heb het even lopen googlen en de Tensor cores zijn inderdaad flink sneller dan wat AMD heeft. Je moet alleen wel FP16 multiply/FP32 accumulate nodig hebben, want dat is het enige wat de Tensor cores kunnen. Dan is Nvidia 3,5x sneller: https://3s81si1s5ygj3mzby...resnet-50-performance.png

Op FP32 of FP64 is AMD even snel: https://3s81si1s5ygj3mzby...-vega-performance-two.jpg

Ik weet niet wat je bedoeld met sneller maar ook op professioneel vlak met CAD heeft nV haast geen concurrentie (op high-end gebied). En in low-end tot medium is een rtx4000 b.v. min of meer gelijkwaardig En in specifieke gevallen veel sneller (3dsmax b.v.) maar ook iets goedkoper en je hebt de beschikking over RT cores en de tensor cores (dat laatste minder relevant voor CAD) waarbij de 2020 versies van software (soldiworks b.v.) sneller geworden is met RTX kaarten en waarbij je gebruik kan maken van de RT cores voor realtime photorealistisch renderen.

Waar jij het over hebt is een totaal ander gebied. Dan heb je het over een vrij normale gpu die voor CAD word ingezet en niet over een unit zoals in dit artikel getoond word.

Ja, dat snap ik maar ik denk dat hij het over CAD (quadro's en amd pro's, waarvan de naam is weggevallen in mijn bericht ) want op dit gebied waar het artikel overgaat is op dit moment nV de enige echte speler van de 3 gpu bakkers (intel komt dus nu met de Xe en AMD heeft de instinct kaarten maar die zijn vergelijkbaar met de p100/vorige gen NV. )

Dit zal qua koeling nog een uitdaging worden. Acht V100 chips op een enkel bord is met lucht gewoon niet meer te koelen (2.5kW aan warmte), helemaal als er een paar centimeter aan ruimte is in de hoogte.
Aan deze twee printplaten (die samen 5 kW aan warmte produceren) zal dus een serieuze waterkoeling moeten worden aangesloten.
Bovendien zal een voeding die de benodigde 5 kW aan stroom levert ook geen klein bier zijn. Gezien deze zestien V100's deel uit zullen maken van een systeem (het is niet een systeem an sich) zit je al snel te kijken naar een systeemverbruik van 7 kW, met dito koeling, plus nog het aircovermogen om de warmte echt weg te krijgen bij dit systeem.

Met dit soort vermogens (thermisch en elektrisch) kom je dus uit bij grootzakelijke systemen waarin dit gebruikt kan worden die in een serverruimte zullen staan.
Ofwel; dit kan alleen gebruikt worden voor supercomputing, renderfarms en andere soortgelijke zaken.

Als ze waterkoeling zouden gebruiken zouden er niet van dit soort heatsinks op zitten. Waterbloken voor super computers (waar dit ook wel een beetje op lijkt) zien er anders uit.
Dit is zo te zien wel bedoelt voor luchtkoeling.

Hier kan je zien hoe dat bij de DGX2 gaat (V100 GPU's):
https://youtu.be/wQJ9y_rD0nE?t=210

Dat nieuwe A100 bord is vergelijkbaar.

Je moet dit niet vergelijken met een thuis PC. Er zitten waarschijnlijk high RPM delta fan's voor die zorgen dat er een idiote hoeveelheid lucht doorheen gaat. Je ziet het ook in het filmpje hoe dat er uit ziet (5:39).

Je ziet ook dat er 6 PSU's in zitten. Een deel is redundant. Ze hebben het over 10KW piek verbruik met 16 GPU's.

[Reactie gewijzigd door Astennu op 13 mei 2020 11:16]

De koeling van servers is in principe gelijk aan pc's. Voor en achter staan fans push/pull te blazen. Alleen bij servers zijn ze de componenten passief aan het koelen.

[Reactie gewijzigd door lordawesome op 13 mei 2020 14:50]

Ik weet niet of je servers wel eens gehoord hebt. Die wil je niet in je woonkamer.
Ja het idee is vergelijkbaar.
Bij servers zitten de fan's vaak voor niet altijd ook nog achter.

Ja, ik heb een oude Dell en was behoorlijk onder de indruk toen ik die voor het eerst aan zette. Ik geloof niet dat ze rekening hebben gehouden met geluid bij servers.

En dat is dan "low" RPM
we hebben een keer gehad dat een van de airco's van de serverruimte was uitgevallen en toen kregen ze het pas echt warm en gingen ze max RPM draaien. Dat was pas een herrie

Acht V100 chips op een enkel bord is met lucht gewoon niet meer te koelen (2.5kW aan warmte),

Toch zie ik grote koelblokken waar lucht doorheen zal gaan, dus blijkbaar zijn 8 van deze gpu's toch wel met lucht te koelen.

De DGX-2 heeft trouwens een 10 kW voeding en 4x 92mm fans per board.
https://www.servethehome....-details-at-hot-chips-30/

Edit: eerder moeten refreshen, Astennu is me voor.

[Reactie gewijzigd door Rudie_V op 13 mei 2020 11:21]

Op de site van nvidia staat dat de GTC 2020 keynote om 14:00 CEST is.

Weird, bij de officiële aankondiging op de Amerikaanse site staat '6 a.m. PDT', en dat is omgerekend 15:00 uur CEST. Bovendien noemen andere media daarnaast 13:00 uur UTC, wat ook neerkomt op 15:00 uur CEST.

Er gaat in ieder geval iets mis, want zoals je zegt staat op de Nederlandse en Duitse Nvidia-websites inderdaad 14:00 uur vermeld. Ik heb voor de zekerheid een e-mail gestuurd naar de persvoorlichting van Nvidia - ik laat het weten zodra ik meer heb gehoord, en zal zo nodig het artikel aanpassen

EDIT: de tijd op de Nederlandse en Duitse websites zijn zojuist veranderd naar 15:00 uur

EDIT 2: Nvidia heeft per mail aan me bevestigd dat de presentatie inderdaad om 15:00 uur plaats zal vinden

[Reactie gewijzigd door AverageNL op 13 mei 2020 19:40]

Hoop dat ze in ieder geval wat gaan vertellen over de 3080-reeks, ben bijzonder benieuwd. Kans is niet groot, I know, maar goed.

Maar draait het Crysis remastered..?

ontopic:
Benieuwt waarvoor je dit kunt gebruiken. Is het puur voor super computers bedoeld?

[Reactie gewijzigd door darksummenors op 13 mei 2020 09:50]

Benieuwt waarvoor je dit kunt gebruiken. Is het puur voor super computers bedoeld?

De vraag is niet waarvoor je dit kunt gebruiken, maar wie dit kan betalen. Er zijn zat zaken waarvoor je het kan gebruiken, waarschijnlijk zelfs Crysis draaien (een hobbyist zou het waarschijnlijk voor elkaar krijgen), de vraag is echter of dat betaalbaar/kosten effectief is. Uiteindelijk zal het inderdaad supercomputers worden en eventuele server oplossingen die elke IT leek ook een supercomputer zou noemen...

Is dit niet iets waar die gamestreaming diensten op draaien?

Edit: Nope zoals de link naar systeem al beschrijft deep learning/AI

[Reactie gewijzigd door UdiBenLudi op 13 mei 2020 10:07]

But, can it run Crysis?