'TSMC wil capaciteit geavanceerde packaging verhogen wegens vraag naar AI-chips'

TSMC wil de productiecapaciteit van zijn geavanceerde packagingtechnieken verhogen. Dat meldt DigiTimes. De vraag naar dergelijke technieken stijgt snel door een toenemende vraag naar chips voor het trainen van AI-modellen, zoals de A100- en H100-gpu's van Nvidia.

De huidige vraag naar packagingtechnieken als CoWoS is momenteel aanzienlijk hoger dan de beschikbare capaciteit, schrijft DigiTimes. Daarom versnelt het bedrijf inspanningen om die capaciteit te verhogen, vooral om de toenemende vraag naar Nvidia's hpc-chips te ondersteunen. Nvidia passeerde eerder een beurswaarde van een biljoen dollar door die hoge vraag. Er gingen eerder al geruchten rond dat Nvidia om diezelfde reden spoedbestellingen bij TSMC geplaatst zou hebben.

Het bedrijf zou aan Nvidia hebben toegezegd dit jaar 10.000 extra CoWoS-wafers te produceren. Volgens Tom's Hardware haalt Nvidia gemiddeld ongeveer zestig A100- of H100-chips uit een wafer, waarmee de toename neerkomt op 600.000 extra gpu's. De vraag naar dergelijke chips is gestegen door de opmars van AI, zoals de grote taalmodellen waar diensten als ChatGPT op zijn gebaseerd.

CoWoS is een techniek voor '2,5d'-packaging. Daarbij worden meerdere chips boven op een zogeheten interposer geplaatst en vervolgens via de interposer met elkaar verbonden. Dat maakt het mogelijk om de chips dichter op elkaar te plaatsen. Verschillende hpc-chipmakers gebruiken die techniek voor hun producten, bijvoorbeeld om gpu's te verbinden met hbm-geheugenmodules. Tweakers schreef eerder een achtergrondverhaal over chiplets, waarin ook CoWoS werd besproken.

TSMC's CoWoS-techniek op basis van interposers. Bron: TSMC

Reacties (21)

[Balance]

Naast Nvidia, denk ook aan de AMD Instinct MI300, die uit 13 chiplets bestaat (plus nog 8 HBM3 stacks):

According to AMD, MI300 is comprised of 9 5nm chiplets, sitting on top of 4 6nm chiplets. The 5nm chiplets are undoubtedly the compute logic chipets – i.e. the CPU and GPU chiplets – though a precise breakdown of what’s what is not available. A reasonable guess at this point would be 3 CPU chiplets (8 Zen 4 cores each) paired with possibly 6 GPU chiplets; though there's still some cache chiplets unaccounted for. Meanwhile, taking AMD’s “on top of” statement literally, the 6nm chiplets would then be the base dies all of this sits on top of.

[kidde]

Wat leuke achtergrondinfo: Geen enkel bedrijf heeft zoveel ervaring met geavanceerde packaging als AMD, en dat komt omdat ze Xilinx hebben overgenomen.

Xilinx was 10 jaar geleden destijds de eerst die CoWoS gebruikte, op het 28nm (!) procede.

https://www.analogictips....me-production-28nm-cowos/

Een paar jaar later, op 16nm (TSMC's eerste FinFET) was NVidia ook zo ver met de Pascal P100, en AMD vanaf de Vega op 7nm.

https://en.wikichip.org/wiki/tsmc/cowos

CoWoS zelf is verouderde technologie, en bij TSMC opgevolgd door InFO (Apple is grootgebruiker als ik het me goed herinner) en SoIC, waarbij wafers ondersteboven op elkaar gelegd en verbonden worden.

https://semiengineering.com/advancing-3d-integration/

[Jdewit]

Wat een hippe term, wist niet dat we al zelfdenkende chips hadden. En dan werk ik notabene bij nxp.

[nandervv]

We hebben volgens mij gewoon soms onnadenkende mensen, dan krijg je dat soort zinnen .

[Aldy]

Bedoel je met onnadenkend 'niet zelfdenkend'?

[Bulkzooi]

Wat een hippe term, wist niet dat we al zelfdenkende chips hadden. En dan werk ik notabene bij nxp.

Beweer je nou dat chips niet kunnen rekenen?

Maar bedoel je geavanceerde packaging? Lol, ja funny. Wellicht is het toch beter om dat uit te besteden aan service centers in Hoge Loon landen. In Tilburg bijvoorbeeld, want daar zitten ook Samsung en Sony en zo volgens mij met packaging activiteiten.

[Jdewit]

Wat heeft rekenen met zelfdenkende intelligentie te maken. Als we dat echt als hetzelfde zien dan is er iets goed mis met hoe we AI zien en dat bevestigd mijn hippe term uitspraak

[Bulkzooi]

Wat heeft rekenen met zelfdenkende intelligentie te maken. Als we dat echt als hetzelfde zien dan is er iets goed mis met hoe we AI zien en dat bevestigd mijn hippe term uitspraak

Waarom persé zelf-denkend? Kijk gewoon naar het resultaat, en dan is AI inderdaad een hippe term. Maar om nou inhoudelijk het product te beoordelen, dat valt niet mee voor een buitenstaander.

Een windmolen is ook intelligent en zelf denkend.

[Reactie gewijzigd door Bulkzooi op 26 juli 2024 21:18]

[Jdewit]

Dan gaat men de definitie van ai voorbij, een molen is niet zelfdenkend. Zodoende is het een hippe term.

[Madrox]

Chatbots worden gevuld met data, met grote sleepnetten word digitaal een dataset opgebouwd en ook worden goedkope arbeidslaven ingezet om de dataset uit te breiden.Interessante aflevering van VPRO Tegenlicht.

[dasiro]

met zulke gigantische hoeveelheden rekencapaciteit die in AI gestoken wordt vraag ik me af hoe radicaal anders de maatschappij gaat zijn binnen 3 tot 5 jaar als al die modellen getraind zijn. Van een paar bedrijven weten we wat ze er mee doen, van anderen weinig tot niets en dan hebben we het nog niet over overheden gehad die in het verleden altijd al grootaandeelhouders zijn geweest in de supercomputer-industrie.

[blorf]

Het is wel heel apart. Je ziet dat leerproces gewoon aan de gang. Ik gebruikte iask.ai voor een groot aantal technische vragen die allemaal soort van variant van elkaar zijn. In het begin kwam het gewoon met onjuiste informatie, maar blijkbaar wordt er meteen een soort intern onderzoek aan gekoppeld als onafhankelijk proces, waardoor er snel betere antwoorden uit komen.

[Madrox]

Steotypen worden uitvergroot, de algemene deler gaat zijn werk doen .

[tedades]

Eerst gingen we van MHz naar GHz, toen van single-core naar multi-core en nu van een chip naar chiplets. Klinkt bijna vanzelfsprekend dat je dan meer vraag naar chiplet-productie gaat krijgen.

[d3x]

idd en dat je die chiplets op een bepaalde manier gaat connecteren of samenvoegen.

Dit is wederom weer een mooi verhaal, maar neemt niet weg dat Nvidia eigenlijk kwa technologie achterloopt op AMD op verschillende technologien, want AMD heeft al meer chiplets in de MI300 en gebruikt een shared memorybus, wat Nvidia niet heeft, dus elke memorycycle is duurder. Maarja je hebt de naam mee, je hebt de markt mee, je hebt de Propriatory SW mee. Er zijn al veel universiteiten die AMD Instinct draaien precies om al die extra kosten te vrijwaren. Maar natuurlijk de grote financiele bongo's in AI hebben van die dermate contracten dat ze de wereld hype nog erger maken en ook de andere pushen richting aankoop Nvidia GPU in systemen.

[Reactie gewijzigd door d3x op 26 juli 2024 21:18]

[Dennism]

Nvidia heeft toch ook gewoon memory coherency in Grace tussen GPU en CPU met hun NVlink C2C Interconnect.

https://developer.nvidia....ip-architecture-in-depth/

Het is nog CXL compatible ook nog schijnbaar, dus als het goed is ook nog breder in te zetten dan alleen tussen Nvidia's CPU en GPU die. Niet echt des Nvidia's, maar dat zal vast iets zijn dat de hyperscalers afgedwongen hebben.

Of bedoel je wat anders met 'shared memory bus'.

[Reactie gewijzigd door Dennism op 26 juli 2024 21:18]

[d3x]

nee ze gebruiken nog steeds hun eigen geheugen., DDR5 en HBM3, wel idd een shared databus en type databus dat wel, wat trouwens niet nieuw is zoals je wel weet. (alle toch niet voor AMD) want ze zijn daar al mee bezig in vorige tech aka de coherent memory architecture

AMD met de MI300 heeft een shared memory pool en ze kunnen dus dezelfde pagina's door beide laten uitlezen. Daardoor heb je dus een hop minder. Unified memory architecture

https://www.anandtech.com...transistors-shipping-h223

[Squats]

Ik vraag me wel af wat de spreiding is van kopers van die ai chips gezien ze nu redelijk prijzig in de markt staan. Grote enterprises-cq banken of techreuzen of fabrieken kan ik me nog inbeelden, maar zijn dit soort producten ook weggelegd voor het mkb? Of staat de prijs daar haaks op?

[d3x]

Dit is een mooi gevalletje van FOMO. Niet iedereen heeft dit asap nodig om het verschil te maken met concurrentie of kijkt eerst wel even waar de hype naartoegaat.

[Dennism]

De grote AI chips van het moment, Nvidia's H100, A100 en straks AMD's Mi300 of Intels komende producten ga je in het MKB quasi niet ziet (of misschien zelfs helemaal niet, afhankelijk van je definitie wanneer iets MKB is of niet) op mogelijk wat AI startups e.d. na. Daar is dit soort spul, zeker in die hoeveelheden die je nodig lijkt te hebben om te kunnen concurreren op deze markt gewoon veel te duur voor.

MKB's die 'iets' met AI willen doen zullen straks ik voornamelijk AI diensten, bijvoorbeeld iets als ChatGPT afnemen van de grote enterprise jongens. En als ze echt zelf iets willen ontwikkelen dan zullen ze waarschijnlijk de benodigde capaciteit huren in een Azure of soortgelijke omgeving.

[Bulkzooi]

Wat leuke achtergrondinfo: Geen enkel bedrijf heeft zoveel ervaring met geavanceerde packaging als AMD, en dat komt omdat ze Xilinx hebben overgenomen.

Aldus @kidde

Tendentieus verhaal, dat echter lang voor AMD's aankoop van Xilinx begon. Ook voor het ontstaan van de fabless versie van AMD (na afsplitsing Global Foundries).

Wat je wil weten is AMD's strategy qua IF (een soort pci-extentie) en AMD's Fineglue tactiek. Ik denk dat het een 64-bit substratum betreft.

Lol, en dan te bedenken dat Intel een nog dominantere history heeft dan AMD. Die noemen dergelijke packaging nu EMIB® en Foveros®.

Ook hippe terminology, @Jdewit. Ik ben benieuwd wat jullie bedrijfsdocter d'r allemaal van vindt.

[Reactie gewijzigd door Bulkzooi op 26 juli 2024 21:18]