Gerucht: Nvidia stapt deels over op Intel-chipfabrieken om AI-gpu's te packagen

Nvidia gaat mogelijk een deel van zijn datacenter-gpu's laten 'packagen' door Intel. Dat melden bronnen aan het Taiwanese UDN. Momenteel neemt TSMC die taak volledig op zich met zijn CoWoS-packagingtechniek, maar de Taiwanese chipmaker kan niet aan alle vraag voldoen.

Nvidia stapt niet volledig over op Intel, maar zal slechts een klein deel van zijn productie aan de Amerikaanse chipmaker uitbesteden. Dat melden bronnen aan het Taiwanese dagblad United Daily News. Dat moet gebeuren vanaf het tweede kwartaal van dit jaar. TSMC blijft de primaire leverancier van Nvidia. Volgens UDN gaat Intel ongeveer 5000 wafers per maand verwerken voor Nvidia, wat volgens het dagblad goed zou zijn voor ongeveer tien procent van Nvidia's totale vraag. Dat kan bijvoorbeeld neerkomen op maandelijks 300.000 Nvidia H100-datacenter-gpu's, schrijft Tom's Hardware.

Intel Foundry Services zou de gpu's niet zelf gaan produceren, maar enkel packagen met geavanceerde technieken. Bronnen van UDN melden niet om welke technieken het precies gaat. Veel van Nvidia's datacenter-gpu's voor AI, waaronder de high-end A100, H100 en H200, worden momenteel gepackaged met TSMC's CoWoS-techniek. Dat is een techniek voor 2,5d-packaging, waarmee verschillende chips met elkaar worden verbonden op een interposer van silicium. Daardoor kunnen de chips dichter bij elkaar geplaatst worden.

Hpc-chipmakers, waaronder Nvidia, gebruiken de CoWoS-techniek bijvoorbeeld om hun gpu-dies te verbinden met snel HBM-geheugen. Intel biedt zijn Foveros-packagingtechniek, ook op basis van interposers, hoewel die techniek niet een-op-een gelijk is aan die van TSMC. Nvidia moet vermoedelijk zijn ontwerpen aanpassen en valideren voordat het gebruik kan maken van Intels packagingcapaciteit voor grootschalige productie.

TSMC erkende eerder al dat het momenteel niet kan voldoen aan de vraag naar geavanceerde packaging, waarbij losse chip-dies worden gecombineerd tot een werkend geheel. Dat komt door de hoge vraag naar datacenter-gpu's die worden gebruikt voor het trainen van AI-modellen. Het bedrijf zou vorig jaar al hebben gezegd dat het de inspanningen om zijn packagingcapaciteit te verhogen wil 'versnellen', meldde DigiTimes destijds.

Intel biedt met zijn Foundry Services-divisie tegenwoordig ook chipproductie- en -packagingdiensten voor andere bedrijven, waar het vroeger zijn volledige productiecapaciteit inzette voor eigen producten. De Amerikaanse chipmaker opende onlangs een nieuwe packagingfabriek in New Mexico. Dat betrof de eerste fabriek waar Intel op grote schaal Foveros kan inzetten om chips te packagen. De fabrikant heeft ook packagingcapaciteit in Oregon en bouwt momenteel een geavanceerde packagingfab in Maleisië.

TSMC CoWoS en Intel FoverosTSMC CoWoS en Intel Foveros

TSMC's CoWoS-techniek (links) en Intel Foveros

Door Daan van Monsjou

Nieuwsredacteur

01-02-2024 • 18:45

9

Lees meer

Reacties (9)

9
9
3
0
0
5
Wijzig sortering

Sorteer op:

Weergave:

Dat lijkt me een logische stap om te nemen. Er is zo'n grote vraag naar H100 chips. En ze verdienen daar zo ongeloofelijk veel geld mee. Maar ze kunnen niet het aan de vraag voldoen, gewoon omdat er te weinig packaging capaciteit is. De chip zelf van de H100 is niet zoveel complexer dan bijvoorbeeld een RTX 4090, dus 'chipbakcapaciteit' zelf is er genoeg.
Het is speculeren, maar volgens mij is capaciteit niet de enige reden. Het zou ook best wel eens kunnen gaan om chips voor defensie. Om gegarandeerd chips to verkrijgen waar niets aan is toegevoegd, moeten die in een gecontroleerde Amerikaanse omgeving verpakt worden. Misschien kun je je nog dit SuperMicro hardware lek herinneren: https://www.techtarget.co...reportedly-infiltrated-US
Je bedoelt het lek waar niets van klopte?

edit: zit te zoeken en vind geen bewijs in welke richting dan ook. Ik meende dat het compleet ge-debunkt was, maar kan daar niets meer van vinden.

edit2: Toch wel. https://www.servethehome....mberg-supermicro-stories/

[Reactie gewijzigd door _Pussycat_ op 23 juli 2024 07:09]

Dank je, dat vervolg kende ik niet. Ik had collega’s die op een defensie afdeling werkten, en ondanks dat hun producten in de VS gefabriceerd werden, moesten zie in het ontwerp speciale sleutels verwerken waarmee na assemblage gecontroleerd kon worden of er een authentiek onderdeel was toegepast. Zo paranoïde zijn ze.
Als we toch speculeren: geografische spreiding van productie nu het nog mogelijk is lering te trekken uit andere fabs en/of een bak subsidie uit de US chips act.
Dat is goed punt! Ik heb vele jaren voor chip-fabrikanten gewerkt, en met name auto en vliegtuig industrie eisten minimaal 2 geografische verschillende locaties voor productie. Dat kwam voort uit ervaring met de aardbeving in Japan 2011, toen meerdere chipfabrieken stil kwamen te liggen. Niemand wil een “single point of failure”..
Er worden zo belachelijk veel enterprise GPUs gemaakt, zelfs als we rekening nemen met bulk buy prijzen (even absurd zijn en 70% korting aannemen), dan is dat nog steeds een belachelijke hoeveelheid geld, exclusief de stroomkosten.

En zoals AI nu verkocht wordt aan de consument, gaat dat of "gratis" aangeboden worden, of voor 20$/€/£ per maand. Trainen hoeft maar eenmalig voor 1 model, maar ik verwacht niet dat ze al deze GPUs eenmalig gaan gebruiken om ze daarna lekker te laten idlen.

Ik zie niet hoe het gemiddelde bedrijf hier het geld ooit uit gaan halen, behalve als ze toevallig het bedrijf zijn met een significant betere AI dan de rest.
Alsof een bedrijf een AI model maakt en dan nooit meer aan een nieuwe versie of nieuwe AI zou gaan werken?
Nu is het duur, maar nu moet je investeren in het maken van toepassingen, met hardware tpu engines is inference super goedkoop te doen met weinig stroom.. ja de top modellen zijn duur maar we kunnen nu door die grote modellen dingen met kleine modellen die we nooit voor mogelijk hielden en die gewoon met 200mw gedraaid kunnen worden tegen een fractie van de kosten die een ouderwetste implementatie kost.

Je wil niet weten hoeveel manuren infrarood kenteken detectie heeft gekost om werkend te krijgen op een 386 in realtime. Nu doen we dat op 4k met honderden kentekens per frame.

Al die gebruikers zijn gratis test dummies voor veel toepassingen

[Reactie gewijzigd door RobLemmens op 23 juli 2024 07:09]

Op dit item kan niet meer gereageerd worden.