Microsoft maakt eigen chip voor draaien AI-modellen

Microsoft heeft een eigen chip gemaakt voor het draaien van AI-workloads. De Maia 100 is gemaakt op TSMC's 5nm-procedé en heeft 105 miljard transistors. Het bedrijf neemt de chip vanaf volgend jaar in gebruik.

De Maia 100 gaat vanaf volgend jaar onder meer taken uitvoeren in datacenters voor Microsofts samenwerking met ChatGPT-maker OpenAI, meldt Microsoft. Afgelopen jaren waren de chips die nodig zijn voor de training van grote taalmodellen en andere AI-taken, lastig te krijgen. Microsoft zegt al jaren te werken aan de chip. De Maia-chips gaan in een apart ontworpen rack met ingebouwde koeling om de Maia-chips koel te houden.

Behalve de Maia 100 gaat Microsoft ook de Cobalt 100-cpu gebruiken. Dat is een zelfontwikkelde Arm-processor voor gebruik in datacenters. Die heeft 128 processorkernen en maakt gebruik van Arm Neoverse CSS. Microsoft wil geen exacte specs of benchmarks van de chips vrijgeven.

Reacties (8)

[wildhagen]

Microsoft noemt het op hun pagina een "Ai Accelerator", moet ik hieruit opmaken dat dit een soort GPU-achtige constructie is, te vergelijken met die van Nvidia (H100, H200)?

Ondanks dat de specs dus officieel niet vrijgegeven zijn, is er enigszins een indicatie bekend van hoe Maia zich verhoudt ten opzichte van de H100/200 qua verbruik, performance en prestaties?

[SinergyX]

Het stuk over de introductie van ondersteuning voor de H100/200 en MI300X van AMD zou impliceren dat deze wordt ingezet op de 'grootste' AI learning systemen zou komen:
H100
offering greater performance, reliability and efficiency for mid-range AI training and generative AI inferencing

H200
to support larger model inferencing with no increase in latency.

MI300X
to accelerate the processing of AI workloads for high range AI model training and generative inferencing

Maia 100
The company’s new Maia 100 AI Accelerator will power some of the largest internal AI workloads running on Microsoft Azure

Lijkt beetje in schaal van 'zuinig, snel, bulk, massa' te staan, er zal toch op enig moment een soort van eenheid moeten zijn die bepaald hoe snel/zuinig/efficient zo'n chip zou kunnen draaien.

[flurb]

Het grootste en ook vreemde issue in de ML/AI business is dat de chips van AMD en Intel helemaal niet verkeerd zijn, ze performen alleen niet door gebrek aan driver optimalisaties, iets wat Nvidia veel beter op orde heeft. Dit heeft direct impact op de businesscase van afnemers.

[langestefan]

Nee. Een GPU heeft cores, zo'n chip als dit heeft een systolic array welke specifiek voor 1 type applicatie gebouwd wordt. Deze chip zal voornamelijk voor matrix multiplicaties geoptimaliseerd zijn.

[Pokemoneuro]

Ben niet verbaast. Nvidia heeft grote moeite met het leveren van H100 chips over de hele wereld. No way dat de industrie rustig en stilletjes gaat zitten wachten totdat Nvidia eindelijk zn troep op orde heeft.

Amazon was ze al voor, en volgensmij Google ook. Ik vraag me af of Nvidia nu denkt dat ze in de problemen gaan komen?

[CivLord]

Maar dat Nvidia moeite heeft met leveren, is niet de keuze van Nvidia. Hun leverancier kan niet snel genoeg produceren.
Met extra bedrijven die hun eigen chips gaan ontwerpen en laten produceren krijgt die leverancier niet ineens meer ruimte. Er is misschien wat lucht omdat Microsoft een anderen ook naar andere leveranciers kunnen stappen, maar daar zitten ze op dit moment ook niet met hun duimen te draaien heb ik het idee.

[Osiummaster]

MicroHard

[ToolkiT]

lol