AMD kondigt Instinct MI210-accelerator met 64GB HBM2e en PCIe-formfactor aan

AMD heeft een Instinct MI210 PCIe-gpu voor datacenters en high-performance computing aangekondigd. De Instinct MI210 beschikt over een enkele CDNA 2-die met 104 compute-units, 64GB HBM2e-geheugen en een PCIe-formaat met een PCIe 4.0 x16-interface.

De AMD Instinct MI210 beschikt over een enkele CDNA 2-gpu, waar de huidige MI250 en MI250X bestaan uit twee gpu-dies. De nieuwe PCIe-kaart heeft 104 compute-units, wat gelijkstaat aan 6656 streamprocessors. De maximale kloksnelheid bedraagt daarbij 1,7GHz. De gpu wordt gemaakt op TSMC's N6-procedé. De kaart beschikt verder over 64GB HBM2e-geheugen met ecc en een 4096bit-geheugenbus, wat volgens AMD goed moet zijn voor een maximale geheugenbandbreedte van 1638,4GB/s. In de praktijk is de kaart hiermee een halve MI250, die beschikt over twee CDNA 2-dies en ook dubbel zoveel geheugen heeft.

AMD voorziet de Instinct MI210 van drie Infinity Fabric-links. Daarmee kan de kaart verbonden worden met een of drie andere MI210-accelerators, waarmee de MI210 kan werken in clusters met twee of vier kaarten. Aangezien de kaart bedoeld is voor gebruik in serverbehuizingen, krijgt de MI210 een passieve koeler met dualslotontwerp. De kaart heeft daarbij een 8-pinsaansluiting voor stroom. De tdp bedraagt 300W.

Wat rekenkracht betreft, claimt AMD dat de kaart FP64 en FP32 Vector-prestaties van 22,6Tflops haalt. Daarbij moet de kaart 45,3Tflops aan FP64 en FP32 Matrix-rekenkracht bieden. De FP16-prestaties moeten op 181Tflops liggen. Dat alles is vrijwel precies de helft van de Instinct MI250-rekenkracht, wat gezien de specificaties niet verrassend is.

AMD vergelijkt zijn Instinct MI210-accelerator met de A100 PCIe-accelerator van Nvidia. Het bedrijf claimt dat zijn MI210 'tot 2,3 keer zo snel' is als die gpu, afhankelijk van de workload. De aankondiging van AMD komt echter vlak voor Nvidia's GTC 2022-presentatie. Tijdens die presentatie zal het bedrijf naar verwachting de opvolger van de A100 presenteren, in de vorm van de Hopper-architectuur voor datacenterchips en hpc-doeleinden. De presentatie van Nvidia vindt op dinsdagmiddag 16.00 uur Nederlandse tijd plaats.

AMD Instinct MI250x en Instinct MI250
Model	Compute- units	Stream- processors	Geheugen	Bandbreedte	FP64/FP32 vector	FP64/FP32 matrix	FP16/BF16	Formfactor
AMD Instinct MI210	104	6656	64GB HBM2e (ecc)	1,6TB/s	Tot 22,6Tflops (piek)	Tot 45,3Tflops (piek)	Tot 181 Tflops (piek)	PCIe
AMD Instinct MI250	208	13.312	128GB HBM2e (ecc)	3,2TB/s	Tot 45,3Tflops (piek)	Tot 90,5Tflops (piek)	Tot 362,1Tflops (piek)	OAM
AMD Instinct MI250x	220	14.080	128GB HBM2e (ecc)	3,2TB/s	Tot 47,9Tflops (piek)	Tot 95,7Tflops (piek)	Tot 383Tflops (piek)	OAM

Reacties (18)

[Sando]

Het is mij niet helemaal duidelijk wat dit precies doet. Is het een concurrent van de chronisch uitverkochte Google Coral? Een plus-artikel over dit soort ontwikkelingen zou ik wel interessant vinden.

[Anoniem: 159816]

Dit zijn datacenter GPU's voor wetenschappelijk onderzoek, AI, machine/deep learning, dat soort gedoe.

Vraag mij af hoe AMD het doet in deze markt, aangezien NVIDIA echt al jaren aan de weg timmert op dat gebied.

[Reactie gewijzigd door Anoniem: 159816 op 23 juli 2024 02:09]

[Damic]

Dit is de 2de generatie van dit soort kaarten, dus de adaptatie van deze kaarten is nog niet wat het moet zijn. Vermits AMD wel de speciale OAM kaarten is aan't maken is er blijkbaar wel vraag achter.

[Anoniem: 159816]

Hoe zit het met dingen zoals TensorFlow, dat is toch allemaal CUDA? Zijn er goede alternatieven voor AMD GPU's?

[Damic]

Tensorflow is gewoon door de ROCm driver te gebruiken: https://www.amd.com/en/technologies/infinity-hub/tensorflow

[GoldenBE]

Probleem is dat niet altijd alles werkt zoals het op CUDA doet en soms veroorzaakt dat heel gekke bugs. Ik had een keer een CNN met dilated convolutions, heb uren zitten debuggen waarom het een gekke error gaf over mismatching dimensions (die wel leken te kloppen), hetzelfde model bleek wel te werken op een andere PC (met een Nvidia GPU ipv. het op CPU te runnen), uiteindelijk een keer geupdate naar een nieuwe TensorFlow versie waarna ik wel een correcte error kreeg: "operation not supported" (op de CPU backend).

De specifieke operatie die ik gebruikte werd enkel ondersteund op de Nvidia CUDA backend.
Verder kan ik ROCm alleen maar toejuichen, meer concurrentie is beter. Maar het is voor mij (zover ik weet) nog geen 100% vervanger voor CUDA en dat is waarschijnlijk ook waarom CUDA de standaard blijft: als professional wil je geen uren zitten debuggen als je gewoon een paar tientjes meer had kunnen uitgeven zonder dat probleem te hebben.

[Reactie gewijzigd door GoldenBE op 23 juli 2024 02:09]

[dieAndereGozer]

Als ik het goed begrijp had je een probleem met een CPU operatie en dat is de reden waarom je een GPU afschrijft?

[PranaSC2]

Hij heeft een probleem met niet CUDA hardware.

[GoldenBE]

De reden waarom ik bepaalde GPUs "afschrijf" is omdat TensorFlow meerdere backends heeft en niet alle operaties ondersteund zijn in alle backends. Ik heb het niet opgezocht maar vermoedelijk ondersteunt de meest populaire, CUDA, de meeste operaties. Als je jezelf beperkt tot populaire netwerken/technieken/... dan is dat helemaal geen probleem want die zijn uiteraard wel ondersteund op vrijwel alles.

Er is dus helemaal niets mis met ROCm of AMD GPU's, het kan alleen heel vervelend zijn als iets specifiek niet blijkt te werken want als je net dat wilde testen (om resultaten te reproduceren) maar dat ligt vooral aan de software (die niet van de fabrikant komt).

Verder zie ik dat iemand hieronder heeft gereageerd dat de ROCm ondertussen alle operaties ondersteunt. Als dat effectief het geval is dan kan je specifiek voor TensorFlow perfect een AMD GPU nemen.

[Reactie gewijzigd door GoldenBE op 23 juli 2024 02:09]

[dieAndereGozer]

Hmm, ja ik lees het. Misschien was ik wat kippig zo vroeg nog hehe.

[vinx77]

Mogelijk door een nog niet volledig ondersteunde ROCm-backend. Die keer moet dan zo'n twee jaar geleden zijn geweest, want met ROCM 5 en de huidige staat van de bibliotheken zijn dit echt verhalen uit het verleden.

Als het niet goed werkt, stuur mij een DM of ping mij in een discussie. Mijn bedrijf werkt aan optimalisatie van diverse GPU-bibliotheken die gebruikt worden door o.a. TensorFlow. En als niet wij, maar het porteer-team van TensorFlow een foutje maakt, dan hebben we korte lijnen.

[GoldenBE]

Het is ongeveer iets meer dan een jaar geleden, +- Tensorflow 2.4 dacht ik. Maar het ging in mijn geval om de CPU backend, mogelijks dat die operatie bij ROCm wel al werkte.
Mocht ik tijd en zin hebben dan kijk ik het nog een keer na, ik denk dat het een dilated convolution was (in Keras een Conv2D layer met een dilation_rate=(x, x) met x > 1)

In ieder geval bedankt voor de aanvulling: goed om te weten dat ROCm tegenwoordig gelijk staat met CUDA voor TensorFlow.

[B127]

In het kort, nee. CUDA is een doorn in het oog voor amd, maar nvidia gooit er gewoon meer geld tegen aan en doet dit al jaren. OpenCL werkt best goed op amd, maar cuda is gewoon sneller en is dus de de facto standaard. (Tijd is geld, dus vandaar)

[dieAndereGozer]

Ik draai een RX 580 icm tensorflow, geen nvidia nodig.

[Sinester]

Vraag mij af hoe AMD het doet in deze markt, aangezien NVIDIA echt al jaren aan de weg timmert op dat gebied.

De omzet uit datacenter-gpu's verdubbelde in het afgelopen kwartaal ten opzichte van een jaar eerder. Dat komt door de introductie van AMD's Instinct MI200-accelerators, meldt het bedrijf

Ze doen het volgens hun zelf iig niet slecht

[Anoniem: 159816]

Een verdubbeling van niks naar niks is nog steeds niks

[Jazco2nd]

Als ik dit lees:
nieuws: AMD kondigt Instinct MI210-accelerator met 64GB HBM2e en PCIe-formfac...
Lijkt het erop dat ze aan elkaar zijn gewaagd en AMD misschien iets meer rekenkracht per watt heeft?