Nvidia toont visie voor toekomstige AI-accelerators met gestapeld ontwerp

Nvidia heeft zijn visie voor de toekomst van AI-chips gedeeld. Het bedrijf voorziet AI-accelerators met een gestapeld ontwerp, voorzien van verschillende gestapelde lagen met onder meer dram, gpu-chiplets en fotonische interconnects.

Nvidia deelde zijn toekomstvisie tijdens de IEDM 2024-conferentie in San Francisco, schrijft Dr. Ian Cutress van More than Moore. In een diagram toont het chipbedrijf een impressie van een chipontwerp dat bestaat uit verschillende lagen.

De chip zou bestaan uit een coldplate voor koeling met daaronder een laag met 3d-gestapeld dram. Daaronder zouden verschillende lagen met ieder vier gpu-chiplets zitten, wat suggereert dat Nvidia voorziet dat gpu-dies in de toekomst verticaal boven op elkaar gestapeld kunnen worden. Weer daaronder zou een interposer met geïntegreerde silicon photonics zitten, die dient als manier om de accelerator te verbinden met andere chips.

De chip zou voorzien worden van backside power delivery voor de stroomvoorziening en elektrische interconnects die de verschillende lagen met elkaar verbinden. De afbeelding deelt daarvan geen concreet voorbeeld, maar chipmakers zetten momenteel al technieken als hybrid bonding en microbumps in om gestapelde chips verticaal met elkaar te verbinden met een hoge bandbreedte. Onderzoeksinstelling imec sprak eerder al over mogelijke toekomstige chips die worden opgebouwd uit lagen, die mogelijk zouden voortborduren op dergelijke bestaande 2,5d- en 3d-packagingtechnieken.

Het is niet bekend wanneer dit soort chips daadwerkelijk op de markt zullen verschijnen. Dr. Ian Cutress speculeert dat Nvidia op zijn vroegst tussen 2028 en 2030 een dergelijke chip op de markt brengt, mede omdat silicon photonics momenteel nog niet grootschalig worden ingezet en omdat het koelen van dergelijke 3d-gestapelde chips nog een uitdaging blijft. De daadwerkelijke planning van Nvidia is onbekend.

Nvidia's toekomstvisie voor AI-accelerators. Bron: Nvidia, via @IanCutress

Reacties (19)

[fevenhuis]

Ik fenk dat de titel beter had kunnen lezen:

"Nvidia toont visie voor toekomstige AI-accelerators met fotonische interconnects"

Want die stacking (3D chip building) is dus niet nieuw, maar fotonische interconnects wel.

Dat lijkt een koerswijziging te worden op draadloze chip interconnects of wellicht kunnen bedie gebruikt worden in een chip design.

[elteck]

Klopt. De hele industrie is daar mee bezig, en de reden is heel simpel: bandbreette en energie verbruik. Optische verbindingen hebben een verlies van 0.5dB / km, koper heeft een verlies van ~ 1dB/cm (bij hoge snelheden). Door die elektrische verbinding zo kort mogelijk te maken (chip stapelen), met onderop een photonische chip, bespaar je enorm veel energie. Daarnaast krijg je ook veel meer bandbreette. Op dit moment gaat bijne de helft van het energie verbruik verloren in communicatie. Ga er maar vanuit Silicon Photonics in de nabije toekomst een belangrijke discipline wordt.

[IamPeacock]

Het zou me echter niet verbazen dat Nvidia de energiebesparing omzet naar pure rekenkracht. Met andere woorden, nog steeds zwaar energieslurpende chips.

[Splorky]

voor server omgeving zal dat vast wel zo zijn.
De consumentenlijn kan dan vast wel van minder verbruik profiteren, maar die staan niet op die doelgroep staat niet op de eerste plaats bij Nvidia, dus dat zal nog wel even duren.

[elteck]

Juist niet. De nieuwste technieken zie je eerst in consumenten produkten, voordat ze in de servers terecht komen. Kijk maar naar processoren, server "cores" lopen een hele generatie achter. De reden is dat thuis PCs meestal niet 24/7 draait, en dus niet die hoge betrouwbaarheid nodig hebben. Wij consumenten zijn gratis testers...
Alleen heb je thuis geen matrix van vele GPUs nodig, waardoor je nog geen voordeel van optische verbindingen hebt. Maar zodra dat gemeengoed wordt, en de kosten dalen, dan is dat ook een kwestie van tijd...

[rjmno1]

ja dat klopt daar komt de koeling erop misschien een vinnetje of een propellertje voor de boel koel te houden.Het ziet er allemaal goed uit als het maar niet te warm wordt.

[suheri]

AMD heeft de cache met de 9800X3D juist onder de CCD vanwege de temps itt de 7800X3D.
Ben benieuwd hoe nvidia dit zou oplossen met gestapelde gpu-dies eronder
Al met al, leuke toekomstmuziek

[MPIU8686]

Onderzoeksinstelling imec sprak eerder al over mogelijke toekomstige chips die worden opgebouwd uit lagen, die mogelijk zouden voortborduren op dergelijke bestaande 2,5d- en 3d-packagingtechnieken.

Waar AMD momenteel gebruik van maakt met hun AMD Ryzen X3D CPU's ? ..

[ByteDelight]

Is dat peltier-koeling? Da's extreem veel energie verkwisten... De buitenkant moet dan nog krachtiger gekoeld worden.

[bantoo]

Cold Plate duid niet op het feit dat die plaat koud is, enkel dat het de heatsink is.

[ByteDelight]

Er worden 2 voedingspunten getoond, zo lijkt het. Vandaar dat ik peltier vermoed.

[elteck]

Lijkt net inderdaad, maar zoals je al zei, dat is extreem inefficient. Ik vermoed dat het om vloeistof koeling gaat, zoals in deze datasheet staat aangegeven: https://www.supermicro.co...ooling_Solution_Guide.pdf

[Crocidolite]

Volgens mij zie ik geen peltier koeling in het plaatje.

[teun-v]

Achja, dit bericht is een poging iets goed te maken voor de aandeelhouders van nVidia in verband met het onderzoek van China naar de overname van Mellanox door nVidia. Ben benieuwd hoe dit alles past in de handels oorlog tussen China en de VS.

[Reactie gewijzigd door teun-v op 9 december 2024 19:41]

[larspc]

Hoezo geven mensen dit een -1?

[phantom09]

Goed voor BESI

[multipasser]

Het straffe is dat Nvidia gigantischc veel AI gebruikt om zijn nieuwe chips te designen. We weten waar die allemaal naartoe gaat

[Macboe]

Hoe heet die film met Skynet ook alweer?

[SebasFM]

Terminator reeks