Amazon toont zijn eerste 3nm-chips voor AI, volgende versie krijgt Nvidia NVLink

Amazon heeft zijn nieuwe Trainium3-AI-chips aangekondigd tijdens een evenement. Ze worden geproduceerd op een 3nm-node en zijn bedoeld voor het trainen van AI-modellen. De volgende versie, Trainium4, gaat voor het eerst de NVLink-interconnect van Nvidia ondersteunen.

Amazon hintte vorig jaar al op de komst van zijn Trainium3-chips, maar heeft die nu algemeen beschikbaar gesteld. De chips komen beschikbaar via de EC2-instances van Amazons clouddivisie, AWS. Het zijn de eerste chips die Amazon ontwerpt op een 3nm-procedé. Wie de chips produceert, is niet bekend.

Volgens de fabrikant haalt iedere Trainium3-chip tot 2,52 petaflops aan fp8-rekenkracht. De voorgaande Trainium2-chips uit 2023 haalden ongeveer 1,3 petaflops. Daarbij wordt ook de hoeveelheid geheugen opgehoogd naar 144GB, met een bandbreedte van 4,9TB/s dankzij het gebruik van HBM3E-geheugen.

De chips komen beschikbaar in Trainium3 UltraServers – systemen die ieder maximaal 144 AI-chips kunnen bevatten. Dat moet een gezamenlijke rekenkracht van 362 petaflops aan fp8-rekenkracht opleveren. De servers zouden daarmee tot 4,4 keer beter presteren dan de voorgaande Trainium2 SuperServers.

Trainium4 krijgt voor het eerst Nvidia's NVLink

Amazon lichtte daarnaast een tipje van de sluier voor Trainium4, de volgende AI-chip van het bedrijf. Hoewel het nog niet bekend is wanneer die gaat verschijnen, zegt Amazon wel dat deze chip tot drie keer betere fp8-prestaties moet leveren dan de huidige generatie.

Dat komt onder andere doordat Trainium4 gebruik gaat maken van NVLink, Nvidia's techniek voor het verbinden van meerdere chips en systemen. Chip-tot-chip-bandbreedte is een belangrijk onderdeel voor het opschalen van datacenters en 'AI-fabrieken'. Wanneer tientallen chips met elkaar verbonden worden, is bandbreedte namelijk al gauw een bottleneck.

NVLink biedt in de praktijk aanzienlijk hogere bandbreedte dan alternatieven als PCIe. Die bandbreedtes leverden Nvidia een voordeel op in de hpc-markt. Tot op heden had alleen Nvidia zelf toegang tot NVLink, maar het bedrijf zei in mei al dat NVLink ook beschikbaar gaat komen voor anderen. Dat gebeurt onder een initiatief genaamd NVLink Fusion. Bedrijven krijgen daarmee toegang tot zogeheten 'IP-blokken'. Ze kunnen die blokken in hun chipontwerpen stoppen en daarmee NVLink-ondersteuning aan hun chips toevoegen.

Verschillende andere bedrijven bevestigden eerder al dat ze NVLink Fusion gaan gebruiken. Zo gaan Qualcomm en Fujitsu cpu's maken die met NVLink overweg kunnen. Ook bedrijven als MediaTek en Marvell ondersteunen het initiatief, naast Synopsys en Cadence, twee ontwikkelaars van chipontwerpsoftware.

Trainium3. Bron: Amazon

Reacties (8)

[thunderbird2k]

Iedereen wil minder afhankelijk worden van Nvidia en met name hyperscalers zoals Amazon maken daarom eigen chips, waarom kiezen voor NVLink? Vrijwel iedereen op Nvidia na is lid van UALink oorspronkelijk bedacht door AMD en oa Broadcom, Intel, Marvell, etcetera zitten erbij.

[SuperDre]

Omdat NVLink mogelijk een stuk beter presteert dan UALink?

[fevenhuis]

Vermoedelijk omdat dit een voorwaarde was om overheidssubsidie te verkrijgen voor chipproductie, omdat de overheid Nvidia prefereert.

Chipproductie die dus uit Taiwan verhuist is, vooral ook om de AI en robot boom verder omhoog te stuwen.

Nvidia wordt door het Amerikaanse Senaat geprefereert vanwege hun persoonlijke inversteringportofolio's, gekoppeld dus aan mega investeringen en toezeggingen vanuit de regering.

[Ducktape7]

Wat Nvidia licenseert onder NVlink fusion is, dacht ik, enkel de NVlink tussen hun GPUs, en custom CPUs. Dat lijkt me toch nog behoorlijk verschillend van de NVlink tussen GPUs. Het is die laatste soort NVlink wat nodig zou zijn om te gebruiken tussen Trainium chips om de prestatie te vergroten. Het artikel hint op deze NVlink versie, maar het lijkt me dat NVlink fusion daar niet voor is bedoeld, en het lijkt me ook sterk dat Nvidia dit gebruik zou licenseren.

[AverageNL]

NVLink Fusion is in feite een soort chiplet die je in je ontwerp kunt stoppen, waardoor een chip kan werken met de NVLink-switches van Nvidia. Zo kan 'ie communiceren met andere cpu's, gpu's en custom asics van andere bedrijven, volgens mij ongeacht de opstelling. Staat me bij dat Jensen tijdens de aankondiging in mei ook (grappend) uitleg gaf voor het openstellen van NVLink met iets als: "Het maakt me niet uit of je alles koopt bij Nvidia, als je maar een beetje koopt"

Zie overigens ook de gelinkte Nvidia-blogpost over de samenwerking met Amazon! Trainium4 wordt geïntegreerd met versie 6 van NVLink en de MGX-rackarchitectuur van Nvidia. Verder onderaan staan ook diagrammen van systemen, waarin staat dat bedrijven als Amazon maximaal 72 custom asics met elkaar kunnen verbinden via NVLink (daar mogen ook Nvidia's Rubin-gpu's tussen zitten, maar dat is geen vereiste)

Edit - Een paar jaar geleden kwam Nvidia al wel met NVLink-C2C. Dat is inderdaad een interconnect tussen custom chips en specifiek Nvidia's gpu's, maar dat staat los van NVLink Fusion - met Fusion wordt NVLink echt opengesteld op rackniveau

[Reactie gewijzigd door AverageNL op 3 december 2025 09:53]

[Pinkys Brain]

Het verbaast mij dat ze niet gewoon 800G Ethernet gebruiken. Kijk naar Tenstorrent. Het ethernet protocol is niet ideaal, maar dan flans je toch een alternatief protocol in elkaar? Kijk ook naar Tenstorrent.

Om een cache coherent protocol te maken trap je in honderden patent landmijnen, waarvan NVIDIA er een hoop heeft door Mellanox, maar is dat echt nodig? Laat de software de synchronisatie afhandelen.

[martijnvanegdom]

Ik kan er naast zitten.. maar als ik het goed heb gaat NVLink 5.0 gaat 1600 GBs.. Jouw voorstel is 800 Gbs.. dat is een factor 16 langzamer.

En NVlink is om chiplets te koppelen, iets heel anders dan waar ethernet voor bedoeld is..

En met ‘protocollen in elkaar flansen’.. dan gaan je chips gegarandeerd slakken worden.

[Reactie gewijzigd door martijnvanegdom op 3 december 2025 00:46]

[Pinkys Brain]

Per lane is de koper versie van 800G equivalent aan NVLink 4, kwestie van aantal lanes.

NVLink word door NVIDIA ook gebruikt op interposer, maar is daar niet specifiek voor ontworpen. Het is meer voor backplane en korte kabel verbindingen, Ethernet heeft ook backplane specificaties.