Amazon toont zijn eerste 3nm-chips voor AI, volgende versie krijgt Nvidia NVLink

Amazon heeft zijn nieuwe Trainium3-AI-chips aangekondigd tijdens een evenement. Ze worden geproduceerd op een 3nm-node en zijn bedoeld voor het trainen van AI-modellen. De volgende versie, Trainium4, gaat voor het eerst de NVLink-interconnect van Nvidia ondersteunen.

Amazon hintte vorig jaar al op de komst van zijn Trainium3-chips, maar heeft die nu algemeen beschikbaar gesteld. De chips komen beschikbaar via de EC2-instances van Amazons clouddivisie, AWS. Het zijn de eerste chips die Amazon ontwerpt op een 3nm-procedé. Wie de chips produceert, is niet bekend.

Volgens de fabrikant haalt iedere Trainium3-chip tot 2,52 petaflops aan fp8-rekenkracht. De voorgaande Trainium2-chips uit 2023 haalden ongeveer 1,3 petaflops. Daarbij wordt ook de hoeveelheid geheugen opgehoogd naar 144GB, met een bandbreedte van 4,9TB/s dankzij het gebruik van HBM3E-geheugen.

De chips komen beschikbaar in Trainium3 UltraServers – systemen die ieder maximaal 144 AI-chips kunnen bevatten. Dat moet een gezamenlijke rekenkracht van 362 petaflops aan fp8-rekenkracht opleveren. De servers zouden daarmee tot 4,4 keer beter presteren dan de voorgaande Trainium2 SuperServers.

Trainium4 krijgt voor het eerst Nvidia's NVLink

Amazon lichtte daarnaast een tipje van de sluier voor Trainium4, de volgende AI-chip van het bedrijf. Hoewel het nog niet bekend is wanneer die gaat verschijnen, zegt Amazon wel dat deze chip tot drie keer betere fp8-prestaties moet leveren dan de huidige generatie.

Dat komt onder andere doordat Trainium4 gebruik gaat maken van NVLink, Nvidia's techniek voor het verbinden van meerdere chips en systemen. Chip-tot-chip-bandbreedte is een belangrijk onderdeel voor het opschalen van datacenters en 'AI-fabrieken'. Wanneer tientallen chips met elkaar verbonden worden, is bandbreedte namelijk al gauw een bottleneck.

NVLink biedt in de praktijk aanzienlijk hogere bandbreedte dan alternatieven als PCIe. Die bandbreedtes leverden Nvidia een voordeel op in de hpc-markt. Tot op heden had alleen Nvidia zelf toegang tot NVLink, maar het bedrijf zei in mei al dat NVLink ook beschikbaar gaat komen voor anderen. Dat gebeurt onder een initiatief genaamd NVLink Fusion. Bedrijven krijgen daarmee toegang tot zogeheten 'IP-blokken'. Ze kunnen die blokken in hun chipontwerpen stoppen en daarmee NVLink-ondersteuning aan hun chips toevoegen.

Verschillende andere bedrijven bevestigden eerder al dat ze NVLink Fusion gaan gebruiken. Zo gaan Qualcomm en Fujitsu cpu's maken die met NVLink overweg kunnen. Ook bedrijven als MediaTek en Marvell ondersteunen het initiatief, naast Synopsys en Cadence, twee ontwikkelaars van chipontwerpsoftware.

Trainium3. Bron: Amazon

Reacties (1)

[Ducktape7]

Wat Nvidia licenseert onder NVlink fusion is, dacht ik, enkel de NVlink tussen hun GPUs, en custom CPUs. Dat lijkt me toch nog behoorlijk verschillend van de NVlink tussen GPUs. Het is die laatste soort NVlink wat nodig zou zijn om te gebruiken tussen Trainium chips om de prestatie te vergroten. Het artikel hint op deze NVlink versie, maar het lijkt me dat NVlink fusion daar niet voor is bedoeld, en het lijkt me ook sterk dat Nvidia dit gebruik zou licenseren.