'Microsoft werkt aan eigen AI-chip voor trainen grote taalmodellen'

Microsoft werkt mogelijk aan zijn eigen AI-chip die bijvoorbeeld gebruikt kan worden om grote taalmodellen te trainen. Dat melden ingewijden aan The Information. Het bedrijf zou minder afhankelijk willen worden van dure chips van andere leveranciers.

Volgens anonieme bronnen van The Information werkt Microsoft al sinds 2019 aan zijn eigen AI-chip, met de codenaam Athena. Een kleine groep Microsoft- en OpenAI-medewerkers zou al toegang hebben tot de chip. Het bedrijf hoopt volgens The Information dat project Athena beter presteert dan de chips die het momenteel koopt van andere leveranciers. Dat moet tijd en geld besparen op zijn AI-werkzaamheden. Andere grote techbedrijven, zoals Amazon en Google, werken ook al aan eigen AI-chips.

Volgens bronnen wordt de chip gebruikt voor het trainen van grote taalmodellen en het ondersteunen van inferentie, bijvoorbeeld voor gebruik in AI-modellen als GPT-4 die het bedrijf gebruikt in Bing en Office. Microsoft kan de chips mogelijk 'volgend jaar al' breder beschikbaar maken. Het is echter niet bekend of de chips beschikbaar komen voor klanten die Microsoft Azure gebruiken, of dat ze alleen bedoeld zijn voor intern gebruik. Microsoft zou verder een interne roadmap met toekomstige generaties hebben.

Chips voor het trainen van AI-modellen worden momenteel vooral geproduceerd door Nvidia. Dat bedrijf biedt daarvoor onder meer zijn A100- en H100-accelerators aan. Microsoft zou met zijn eigen chips kosten willen besparen op de aanschaf van AI-chips. De techgigant ziet zijn chips volgens de bronnen echter niet als een 'brede vervanger voor Nvidia's producten'.

Er gaan al langer berichten rond dat Microsoft werkt aan eigen chips. In 2020 stelde Bloomberg dat het bedrijf Arm-chips in ontwikkeling heeft voor gebruik in servers en Surface-apparaten voor consumenten. Die vermeende chips zijn echter nog niet verschenen, hoewel het bedrijf eerder wel samenwerkte met Qualcomm aan Arm-chips voor in zijn Surface-line-up.

Reacties (25)

[moonlander]

Wat is een AI chip? Wat doet het precies, waarom is het anders dan een andere chip?

[thomasv]

Efficiënter werken met (specifieke) algoritmes, zie bijvoorbeeld: https://en.wikipedia.org/wiki/Tensor_Processing_Unit

[Dorstlesser]

Een CPU is ontwikkeld om veel verschillende soorten berekeningen uit te kunnen voeren, maar voor het trainen van kunstmatige neurale netwerken (waar het meestal over gaat bij AI tegenwoordig) zijn er vaak maar een handjevol verschillende soorten berekeningen nodig. Het gaat met name om het vermenigvuldigen van in- en outputs van kunstmatige zenuwcellen, wat voor het trainen van zo'n netwerk enorm vaak moet gebeuren. Een 'AI chip' is een chip die ontworpen is om die berekening heel efficiënt uit te voeren, en vaak ook enorm veel van dat soort berekeningen tegelijkertijd. Dat kan zo'n AI chip dan ook heel goed, maar andere dingen kan je er eigenlijk niet mee.

De meest gebruikte chips voor AI, op dit moment, zijn van Nvidia. Maar, deze zijn vnl. geoptimaliseerd voor het verwerken van beeldmateriaal. De chip van Microsoft zou dus mogelijk meer geoptimaliseerd zijn voor het verwerken van taal. Daar zullen vergelijkbare, maar toch net even andere berekeningen voor nodig zijn als voor het verwerken van beeldmateriaal, waardoor ze het blijkbaar de moeite waard vonden er zelf een chip voor te ontwerpen.

[Martijntjeh]

Duidelijk verhaal. Kun je zo’n AI chip zien als een asic?

[Dorstlesser]

Dat weet ik niet zeker. Het zou kunnen, maar misschien ook niet, omdat een ASIC volgens mij vaak nóg gespecialiseerder is. De AI chip waar het hier over gaat is waarschijnlijk nog steeds een grote, complexe chip met verschillende modules erop (processorlogica, cache, geheugencontroller, I/O controller etc), die softwarematig aangestuurd kan worden en voor meer dan één AI model ingezet kan worden.

Of de term ASIC daar dan nog voor past, weet ik niet.

[Frame164]

Welke andere chip bedoel je? Een Intel Xeon met 26 cores, of een NE5532 opamp? Of nog wat anders?

[Ralph84]

MS is mega stappen aan het zetten

[register]

Ze lopen wat dit betreft ver achter (*) op de andere grote publieke clouds. AWS heeft Trn1 en Inf1, en ook al tweede-generatie Inf2 nodes in hun cloud. Google GCS is al langer bezig en heeft zelfs al vier generaties TPU-chips. Maar inderdaad, op AI-gebied gaat MS door hun semi-acquisitie van OpenAI wel plots hard vooruit.

(*) Of je het bekijkt als achterlopen, hangt er van af. Als je een hele goede deal met een vendor zou kunnen afsluiten en daardoor Instincts of A100/H100 of GraphCores of iets equivalents aan heel aantrekkelijke voorwaarden kan intrekken, is het niet noodzakelijk economisch interessanter om zelf chips te gaan ontwerpen.

[batjes]

Microsoft heeft al een eigen AI chipje in de Hololens zitten en elke fysieke server in Azure is voorzien van o.a. een best krachtige FPGA, welke dus ook al jaren ingezet worden voor allerhande algoritmes en AI/ML taken.

De ontwikkeling voor eigen ARM CPU's zijn ze ook al een paar jaar mee bezig.

Dat achterlopen valt denk ik redelijk mee. Meer dat ze een wat ander pad bewandeld hebben.

[Frame164]

Eigenlijk is dit weer een ontwikkeling naar hoe het vroeger was, maar nu voor andere toepassing en met de huidige technologische mogelijkheden. In het verleden had je ook heel veel dedicated hardware voor specifieke taken waarvan er op een gegeven moment veel zijn verplaatst naar standaard CPU's + softwareapplicaties. Omdat dat ook niet altijd zaligmakend is zie je nu weer een trend naar dedicated chips/chipsets en bijbehorende hardwareappliances.

[Superstoned]

Ok, maar vroeger was dat toch vooral doordat er technische beperkingen waren - nu lijkt het meer ingegeven door een zoektocht naar efficiencywinst?

[Rob Coops]

Ja en nee, de reden dat je vroeger meer process specifieke chips had was omdat het nog niet financieel mogelijk was om een chip the maken die kosten effectief was dan wel technisch haalbaar om de nodige complexiteit in een enkele chip te bakken.

Tegenwoordig is het een ander verhaal, we lopen tegen de limieten aan waar je niet langer alle steeds complexere taken efficient genoeg af te handelen op een kosten efficiente methode.

Dus ja we gaan terug naar een zelfde situatie als vroeger maar om een andere reden dan dat we vroeger in deze situatie waren.

[whersmy]

Intel heeft ook AI chips. (Habana/Gaudí), opzich wel een goede ontwikkeling denk ik zo. Nu nog ervoor zorgen dat AI in de juiste banen (letterlijk) worden geleid.

[Roel1966]

Ik mis wel in het artikel dat Microsoft voorheen al samengewerkt heeft met Nvidia namelijk in zowel de allereerste Surface RT tablets en later in de Surface 2 tablets zaten Nvidia Tegra sock's. Vooral de Nvidia Tegra 3 vond ik helemaal niet verkeerd en waren best wel snel voor die tijd.

[Reactie gewijzigd door Roel1966 op 30 juli 2024 13:11]

[Loller1]

Alleen de Surface RT en Surface 2 gebruikte Tegra, Surface 3 en later is allemaal Intel.

[Roel1966]

Klopt, bedoelde eigenlijk ook de Surface 2.

[therazo]

Goed om te zien dat er meer gekeken wordt naar taak-gerichte hardware; lijkt mij een hele logische beweging met dergelijke ML toepassingen.

Het is enerzijds prettig dat Westerse bedrijven hier hard aan werken, anderzijds hoop ik ook dat de concurrentie gezond blijft. Nvidia maakt mooie spullen maar ze hebben nu nog wel een behoorlijke monopolie.

[atthias]

zal voor NViadia niet leuk zijn aan de andere kant zijn MS google en amazon denk ik als enigen groot genoeg om dit te doen?

meta weet ik niet daar twijfel ik over

[sohus]

Ook Facebook.

[Frame164]

Die hebben in het verleden al eigen chipsets gemaakt die waren geoptimaliseerd voor hun specifieke workload.

[atthias]

dank voor de aanvulling dat wist ik niet ook voor @Frame164 mijn dank voor de informatie

[CrazyBernie]

Meta en Apple zullen dit ook zeker kunnen qua schaal grote .

De rest zal bij amd, Nvidia of Intel langs moeten.

[dmantione]

Nvidia verkoopt de H100-kaart ruim boven de €20000 per stuk. Alhoewel ik verwacht dat Microsoft kan onderhandelen, zijn er niet heel veel aanbieders om uit te kiezen en zal de prijs per kaart hoog liggen. Met dit soort bedragen kan een eigen chipontwerpteam snel uit.

[atthias]

klopt dat gaat dan snel

[shades]

"My CPU is a neural-net processor, a learning computer"