AMD onthult Instinct MI300-apu met 153 miljard transistors voor AI-taalmodellen

AMD kondigt verschillende nieuwe processors en gpu's aan voor AI-datacenters en servers, waaronder de AMD Instinct MI300X-accelerator met 153 miljard transistors. Ook kondigt het merk EPYC Bergamo-cpu's op basis van de Zen 4c-architectuur aan.

AMD MI300
AMD MI300

De AMD Instinct MI300-serie bestaat uit twee hpc-accelerators. De MI300-apu die AMD eerder aankondigde, heet voortaan MI300A. Deze chip heeft negen CDNA 3-gpu-chiplets en bevat daarnaast 24 Zen 4-cpu-cores. De accelerator heeft dus zowel gpu- als cpu-chiplets, voor een totaal van dertien chiplets en 146 miljard transistors in een package. De MI300A heeft maximaal 128GB gedeeld HBM3-geheugen en is volgens AMD gemaakt voor AI-workloads.

De MI300X is een volledig nieuw model in de MI300-serie en bestaat alleen uit gpu-cores. AMD vervangt daarmee de drie cpu-chiplets van de onderstaande MI300A-apu met twee extra CDNA 3-chiplets; in totaal bestaat de apu daarmee uit twaalf chiplets. De accelerator is volgens het merk bedoeld voor het draaien van generatieve AI-taalmodellen. De accelerator bevat maximaal 192GB HBM3-geheugen met een bandbreedte van 5,2TB/s.

Het merk biedt een kant-en-klare samenstelling van MI300-chips aan in de vorm van het AMD Instinct Platform voor datacenters. Dit systeem bevat acht MI300-chips en in totaal tot 1,5TB aan HBM3-geheugen. AMD is begonnen met het versturen van MI300A-samples naar selecte klanten. Vanaf het derde kwartaal van dit jaar gebeurt dat ook met MI300X-chips.

EPYC Bergamo met Zen 4c-cores

Verder kondigt AMD tijdens hetzelfde evenement nieuwe EPYC-serverprocessors aan op basis van Zen 4c-cores, waarbij de 'c' voor 'cloud' staat. Deze cores zijn compacter dan reguliere Zen 4-cores, die al in de huidige EPYC Genoa-processors zitten. In plaats van maximaal twaalf ccd's van ieder acht cores, hanteert AMD nu acht ccd's met zestien cores. Dit moet de nieuwe processors energiezuiniger maken.

Het gaat om drie varianten als onderdeel van de Bergamo-generatie cpu's. Het topmodel is de EPYC 9754 met 128 cores en 256 threads. De processor heeft een tdp van 360W. AMD belooft basis- en boostklokfrequenties van respectievelijk 2,25 en 3,10GHz. De 9754S heeft grotendeels dezelfde specificaties, maar ondersteunt geen simultaneous multithreading en heeft daarom maximaal 128 threads. De chips zouden tot 2,7 keer zo efficiënt zijn als de vorige generatie EPYC-processors, claimt AMD tijdens zijn presentatie.

AMD's Bergamo-instapvariant, de EPYC 9734, heeft verder 112 cores en 224 threads. De basis- en boostklokfrequenties zijn vrijwel hetzelfde, met respectievelijk 2,20 en 3,00GHz. De tdp van die serverprocessor is 320W.

AMD EPYC Bergamo

Door Yannick Spinner

Redacteur

14-06-2023 • 16:06

18

Submitter: Balance

Lees meer

Reacties (18)

Sorteer op:

Weergave:

Wel taalmodel werkt op AMD hardware? Ik dacht dat nVidia een praktisch monopoly heeft voor deap learning
Same, ik vraag me af welke software er gebruikt kan worden op deze GPU voor het trainen van neural nets.
Verwijderd @d3x14 juni 2023 16:50
ROCm is helaas geen software die je kan gebruiken voor training, het is meer vergelijkbaar met CUDA.

Ze claimen wel leuk dat het met pytorch is geïntegreerd, maar dat werkt van geen ene meter.

[Reactie gewijzigd door Verwijderd op 23 juli 2024 03:29]

Heb je er zelf mee gewerkt of een bron dat het zo slecht werkt? Ben wel benieuwd.
Zelf geexperimenteerd met ROCm Pytorch voor het trainen en finetune van language models, en daar zitten nog wel een boel problemen.
Als je een 6000 serie of nieuwer hebt werkt het prima, op mijn 5700xt kan ik ook stable-diffusion draaien icm ROCm & PyTorch, maar dat schiet niet echt op. Op de nieuwere generaties lijkt het beter te werken.
Ik heb begrepen dat het werkt, maar niet met WSL
Dat kan ik persoonlijk bevestigen. Op Linux heb ik het in een Docker container draaien met een 7900xtx en stable diffusion is erg rap. Tussen 4080-4090 in als die geen xFormers gebruiken.
Heeft Nvidia ook maar vooral bij de grotere spelers kan indien de prijs of beschikbaarheid van de hardware goed is de investering in aanpassingen richting een alternatief platform natuurlijk wel uit .
Yep, bijna alles is geschreven in CUDA en dat draait alleen op NVIDIA GPUs.

Dit soort chips zouden de producten moeten zijn waarmee AMD dat monopoly zou moeten doorbreken. We moeten de real-world prestaties nog zien maar op papier is deze chip echt insane. Daarnaast is ook lang niet iedereen blij met het monopolie van NVIDIA dus op zich staan mensen hier wel voor open.

Maar ik verwacht dat het zal nog lang duren voordat AMD echt in deze markt weet in te breken, het software ecosysteem is iets waar ze historisch gezien niet zo goed in zijn en het is ook iets wat gedeeltelijk uit de developer community zelf moet groeien en dat kost gewoon tijd.
Probleem met AMD en hun GPU's is en blijft software en libraries. Iet's wat Nvidia en Intel wel op orde hebben. Een goed advies voor AMD zou zijn, om te investeren in software tools voor hun hardware voor hun klanten. Betere drives, betere tooling libraries etc.
Dat doen ze toch al best flink, maar afgezien van Vulkan en DX12 is AMD er vaak laat bij en komt het neer op een inhaalslag.

Gelukkig werken ze met Microsoft aan een AI chip en schijnt Amazon interesse te hebben in deze chips.
Nu heb je nog veel software die eerst op Nvidia wordt gemaakt en dan naar AMD gepoort, wellicht helpt het als deze grote spelers vanaf het begin AMD mee nemen.
Ms en Amazon hebben vooral interesse omdat Nvidia ze anders een poot uitdraait. Competitie is goed in dat opzicht.
Nee, want dat is JUIST de reden waarom men niet kiest voor AMD. Denk je dat de mensen die echt dagelijks met AI werken emotionele fanboys zijn van intel en nvidia? Nee het zijn rationele keuzes.
Ze zouden wel willen, maar hebben geen zin om de kosten te maken om de drivers en bibliotheken zelf te schrijven. En gebruiken dus de software van Intel en Nvidia dat wel fatsoenlijk is, en vooral de performance van deze bibliotheken is van zeer, zeeeeer groot belang.

Onder de streep is Intel en Nvidia goedkoper vanwege de goede high performance hoge kwaliteit software die ze erbij leveren en de tooling.
Een vrachtwagen koop je ook niet alleen op aankoop prijs van een vrachtwagen. Het gaat om de prijs per kilometer. (CAPEX/OPEX) Dus wat het kost om doel X te bereiken. Die is bij Nvidia gewoon lager, ook al zou een GPU 2 of 3x zo duur zijn. Daar gaat het niet om. Ook performance per watt. En performware per watt van de bibliotheken en wat kun je ermee. Dus ook functionaliteit en nog meer. Daar loopt AMD nog heel zwaar achter. Leuke hardware voor een leuke prijs, ook goede hardware. Maar daar houdt het ook mee op. En dat is het probleem.

Daarom moet AMD ook meer investeren in software.

[Reactie gewijzigd door Immutable op 23 juli 2024 03:29]

Het is eigenlijk meer de prototype fase waarin Nvidia het toegankelijkst is, pas later gaan ontwikkelaars kijken naar de meeste prestaties per watt en ander optimalisatie.

Maar omdat ze al begonnen zijn op Nvidia maken ze daarna zo goed als nooit meer de switch. Alleen de allergrootste bedrijven hebben de capaciteit om daarna nog zo'n switch te maken als dat economisch zinvol is.
Op basis van compute alleen al is AMD altijd sterker dan Nvidia geweest.

Dat hele mi300 moet gewoon een gigantisch compute beest zijn.
Geen grap, dit zou een monster van een desktop PC+RAM+GPU combo zijn, alles in één niet-opwaardeerbare module

Op dit item kan niet meer gereageerd worden.