'Microsoft werkt aan netwerkhardware om afhankelijkheid Nvidia te verminderen'

Microsoft werkt mogelijk aan een eigen netwerkkaart voor gebruik in zijn datacenters. Dat melden bronnen aan het betrouwbare The Information. De techgigant wil daarmee minder afhankelijk worden van Nvidia voor zijn infrastructuur.

Bronnen melden aan The Information dat de netwerkkaart Microsoft geld moet besparen en de prestaties van zijn Azure-servers moet verbeteren. Microsoft-baas Satya Nadella heeft Pradeep Sindhu, medeoprichter van netwerkapparatuurmaker Juniper Networks, aangewezen om het nieuwe apparaat te ontwikkelen. De techgigant nam de nieuwe start-up van Sindhu, Fungible, vorig jaar over.

De kaart in kwestie moet gaan lijken op Nvidia's ConnectX-7-netwerkkaart, die 400Gbit/s-netwerkpoorten biedt en gebruikt wordt in de netwerkinfrastructuur van onder meer de datacenters van hyperscalers, waaronder Microsofts Azure. Nvidia verkoopt die kaart samen met zijn datacenterchips, zoals de A100 en H100. De kaarten worden gebruikt om meerdere servers met elkaar te verbinden binnen een netwerk, waardoor ze onderling data kunnen uitwisselen.

The Information meldt dat het project de efficiëntie van Microsofts Azure-servers kan verbeteren. Het kan bijvoorbeeld de tijd verminderen die OpenAI kwijt is aan het trainen van zijn modellen op Microsofts servers. De kaarten zouden ook de tijd en kosten die gemoeid zijn met AI-ontwikkeling kunnen verminderen. Het kan echter nog meer dan een jaar duren voordat de kaart gereed is.

Microsoft werkt al langer aan eigen serverhardware om zijn afhankelijkheid van Nvidia te verminderen. Vorig jaar introduceerde het bedrijf zijn eerste Maia-chips, die gebruikt kunnen worden voor het trainen van AI-modellen. Verschillende andere bedrijven doen hetzelfde, waaronder Amazon en Google. Ook Meta en OpenAI overwegen volgens eerdere geruchten hun eigen AI-chips te ontwikkelen.

Nvidia's ConnectX-7-netwerkkaart. Bron: Nvidia

Reacties (53)

[GarBaGe]

Nvidia is een relatief nieuwe speler in de hardware netwerkkaarten servermarkt.
Hiervoor hebben ze Mellanox destijds overgenomen.
Maar.... Intel is toch ook een grote speler in de hardware netwertkkaarten servermarkt?
Kunnen ze niet overstappen op de concurrent ipv proberen hun eigen hardware te ontwikkelen?

[TTommie]

Dus in plaats van een afhankelijkheid met NVidia ga je er 1 aan met Intel...

Dat is wat ze dus net niet willen.

[thomasv]

Maar gaat Microsoft dan ook hun eigen CPU's/Geheugen/SSD's produceren omdat ze een afhankelijkheid van een partij niet willen? Dat is toch ook kolder?

[Keypunchie]

Eigen CPU ontwikkelen is wel iets dat Apple een enorme troef in handen heeft gegeven in hun veld.

Zeker voor datacenters op schaal (“hyperscale”) kan het best voordelen opleveren voor Microsoft. Het mooie is ook: hoeft niet morgen af/perfect. Alleen al als pressiemiddel voor lagere prijzen van Intel en AMD kan het de moeite waard zijn.

[Reactie gewijzigd door Keypunchie op 23 juli 2024 05:16]

[PolarBear]

Eigen CPU ontwikkelen is wel iets dat Apple een enorme troef in handen heeft gegeven in hun veld.

Is dat zo? Het marktaandeel van Apple is al jaren ergens tussen de 12,5 - 15%. Daar lijkt niet echt verandering in gekomen. En als aandeel van de omzet van Apple is het ook vrij stabiel (en zelfs de afgelopen tijd dalende).

Technisch is het hartstikke mooi maar welk troef ze dat nu precies biedt is mij wat onduidelijk.

[Reactie gewijzigd door PolarBear op 23 juli 2024 05:16]

[banaj]

De troef van hardware die aansluit op hun behoeftes voor een goede PC/laptop. En belangrijker: troef om meer geld in eigen zak te steken, in plaats van het aan Intel te geven

[Keypunchie]

Hun eigen silicon zit niet alleen in Macs hè!

Voor de Maclijn hebben ze nu ongeveer 3 jaar hun eigen processors. Het verschil tussen Intel- en M-series laptops is dag en nacht.

Die dingen zopen stroom en maakten herrie.

Nu ze zijn overgestapt is hun klanttevredenheid toegenomen, kunnen ze beter differentiëren (M vs Pro vs Max) met hogere gemiddelde prijzen, waarvan ze zelf ook nog eens een groter deel kunnen houden!

En ze kunnen veel beter hun eigen productvisie uitvoeren: De Macbook Air heeft z’n ventilatoren kunnen dumpen, was nooit op deze termijn gelukt als ze bij Intel waren gebleven.

Ja, er was de “Macbook”, zonder ventilatoren, maar die was zo zwaar under-powered, dat was onbruikbaar voor de meesten.

[Reactie gewijzigd door Keypunchie op 23 juli 2024 05:16]

[K0L3N]

Ik denk inderdaad wat je daar zegt de kern van het verhaal zal zijn, doordat ze straks kunnen zeggen "ja ik ga niet 10x zoveel betalen voor jullie product als het slechts 2x zo snel is" kunnen ze mooie afspraken maken. Want als Nvidia alsnog niet mee wil bewegen dan kunnen ze altijd nog de keuze maken om hun eigen product te gebruiken.

[d3x]

Amazon AWS Graviton.... om maar een hyperscaler te noemen met eigen ontwerp

[eltweako]

Geheugen en SSD's is nog voldoende concurrentie om geen vendor lock-in te krijgen.
CPU's zijn ze al langer mee bezig, zowel de Maia voor AI als Cobalt als CPU.
Ik denk dat Microsoft wil voorkomen dat ze straks van een partij afhankelijk zijn die in feite de groei van Azure kan bepalen.

[Reactie gewijzigd door eltweako op 23 juli 2024 05:16]

[Hatseflats]

Met als voorbeeld Apple, van amd64 naar ARM64.

Dat omdat Intel bepaalde hoe het er met de CPU's aan toe ging. En dat hebben ze geweten.

[TechSupreme]

Dat vind ik een slecht voorbeeld, ergens ook kolder. Apple is zelf van PowerPC (wat ze deels in eigen handen hadden) overgestapt naar Intel. Dat ze dan afhankelijk zouden zijn van de productenlijn van Intel hadden ze toen ook kunnen bedenken.

Apple was een van de eerste investeerders van ARM en was destijds ook nauw betrokken bij de ontwikkeling van de eerste ARM cores. Ze hadden er ook voor kunnen kiezen om ARM chips te gebruiken.

De reden waarom ze over zijn gestapt op hun eigen ARM chips is omdat ze er in de tussentijd een hele afdeling bij hebben gekregen voor hun iPhones en iPads. Dan is het een kleine moeite en logische stap om dat verder door te trekken.

Apple heeft ook vaak genoeg laten zien dat ze helemaal geen moeite hebben met overstap van het ene naar het andere.

[Hatseflats]

Da's prima dat je het kolder vindt. Dat vind ik helemaal van jouw stukje.

Ze stapten van PowerPC af om dat dat van IBM was / is. Die wilde het niet meer verder ontwikkelen. Toen naar Intel gegaan. Die wilde bepaalde dingen ook niet implementeren of aanpassen. Je weet wel, een dragracemotor in een mini cooper proberen te stoppen en dan klachten krijgen dat de motor te zwaar is en te heet wordt met als gevolg throttling.

Apple bedacht toen al met de PowerPC en IBM bij de overstap naar Intel, laten we weer naar alternatieven kijken, hebben eerst vermogen opgebouwd om de stap te kunnen maken en hebben toen allerlei handelingen verricht waaronder de door jouw aangehaalde investeringen om het mogelijk te maken een superlicentie te nemen op ARM, die het op zijn beurt mogelijk maakte eigen chips te ontwerpen, Apple Silicon, i.p.v. de normale licentie die alleen recht geeft op de cortex en aanverwante producten, ook wel te vinden in de eerdere versies van de ipad, iphone e.d.

De reden waarom ze over zijn gestapt op hun eigen ARM chips is omdat ze er in de tussentijd een hele afdeling bij hebben gekregen voor hun iPhones en iPads. Dan is het een kleine moeite en logische stap om dat verder door te trekken.

Da's maar een klein gedeelte van het hele verhaal als dat al klopt. De voornaamste reden is de reden die ik en @eltweako aanhalen.

Een zelfde proces is nu in gang gezet richting risc-v, zodat ze daar weer een hele hoop geld mee besparen en de controle uitoefenen over hun eigen producten.

[Reactie gewijzigd door Hatseflats op 23 juli 2024 05:16]

[TechSupreme]

Ze stapten van PowerPC af om dat dat van IBM was / is. Die wilde het niet meer verder ontwikkelen.

Nee!

PowerPC werd ontwikkeld door AIM wat staat voor Apple, IBM, Motorola.

IBM en Motorola hebben het daarna ondergebracht bij Freescale wat in 2015 is overgenomen door NXP.

Die hele geschiedenis staat op Wikipedia beschreven en staat haaks op wat jij nou zegt!

Zelfs na het vertrek van Apple heeft IBM nog 3 chips ontworpen voor Nintendo die in de Gamecube, Wii en Wii U zaten! Waar heb jij het over dat IBM het niet verder wilde ontwikkelen?

Die wilde bepaalde dingen ook niet implementeren of aanpassen. Je weet wel, een dragracemotor in een mini cooper proberen te stoppen en dan klachten krijgen dat de motor te zwaar is en te heet wordt met als gevolg throttling.

Is ook kolder. Ondanks die problemen zijn ze jaren bij Intel gebleven ondanks dat er op dat moment genoeg ARM aanbieders waren en ze zelf ook al jaren lang de A lineup aan chips hadden.

Ze gebruikte al jaren ARM chips in hun iPhones en iPads.

Die super licentie waar jij het over hebt bestaat niet, kom eens met bronnen. Apple is een van de oprichtende investeerders van ARM, ze hebben al jaar en dag veel meer rechten als jan en alleman.

Sorry dat ik het zo moet zeggen, want alles wat jij hierboven heb geschreven is verzonnen.

[Reactie gewijzigd door TechSupreme op 23 juli 2024 05:16]

[gfive]

Freescale was de PowePC G4 opvolger… niet de G5

[TechSupreme]

Freescale was een bedrijf wat chips produceert.

[gfive]

Ik weet niet wat ze op wiki schrijven maar jij hebt geen gelijk.

Ibm had de powerPC, ontwikkeling ging te langzaam (andere prioriteiten IBM) en dat maakte dat Apple over ging op Intel.Dat was de PowerPC 5…. powerPC 6 kwam veel later en is kind of geflopt… heb overigens nog een PowerMac G5 hier staan (draait nog steeds)

Apple zat wellicht bij de oprichting van PowePC, maar dat was van extreem korte duur.

Heb er mijn oude macworlds nog op nageslagen…

[TechSupreme]

Even de wiki lezen dan. Ik zal het voor je citeren aangezien het blijkbaar een te grote moeite is.

The original POWER microprocessor, one of the first superscalar RISC implementations, is a high performance, multi-chip design. IBM soon realized that a single-chip microprocessor was needed in order to scale its RS/6000 line from lower-end to high-end machines. Work began on a one-chip POWER microprocessor, designated the RSC (RISC Single Chip). In early 1991, IBM realized its design could potentially become a high-volume microprocessor used across the industry.

Apple and Motorola involvement
Apple had already realized the limitations and risks of its dependency upon a single CPU vendor at a time when Motorola was falling behind on delivering the 68040 CPU. Furthermore, Apple had conducted its own research and made an experimental quad-core CPU design called Aquarius,[2]: 86–90  which convinced the company's technology leadership that the future of computing was in the RISC methodology.[2]: 287–288  IBM approached Apple with the goal of collaborating on the development of a family of single-chip microprocessors based on the POWER architecture. Soon after, Apple, being one of Motorola's largest customers of desktop-class microprocessors,[3] asked Motorola to join the discussions due to their long relationship, Motorola having had more extensive experience with manufacturing high-volume microprocessors than IBM, and to form a second source for the microprocessors. This three-way collaboration between Apple, IBM, and Motorola became known as the AIM alliance.

IBM had de POWER architectuur ontwikkeld en ze hebben toen de POWER1 t/m 10 voor uitgebracht. PowerPC is onder de AIM samenwerking op de markt gekomen.

Ik weet niet wat van korte duur is voor jou, maar Apple heeft er van 1991 tot 2006 in gezeten toen ze overstapte op Intel. Ook wat jij zegt is allemaal onzin. Kom maar eens door met scans van die oude macworlds waar jij het over hebt want ik geloof er geen zak van.

[Reactie gewijzigd door TechSupreme op 23 juli 2024 05:16]

[Hatseflats]

Staat er ook bij hoe de verhoudingen binnen AIM waren, met in het bijzonder zeggenschap en laatste oordeel?

Jij denkt dat IBM dat zomaar uit handen heeft gegeven en daarom Apple ermee vandoor is gegaan i.p.v. naar Intel over te stappen?

Ik bewonder je inzicht.

[Reactie gewijzigd door Hatseflats op 23 juli 2024 05:16]

[TechSupreme]

Wat heeft dat te maken met je originele claims? IBM wilde het toch niet door ontwikkelen? En blijkbaar gingen ze wel door nadat Apple eruit is gestapt en hebben ze voor Nintendo nog speciale chips gemaakt. Dus hoe verklaar jij dat?

[Hatseflats]

Wat heeft dat te maken met je originele claims?

Beetje oorzaak -> gevolg. Niet alles in het leven komt als donderslag bij heldere hemel. Soms zijn dingen te verklaren en te duiden.

En daarbij verklaar ik dat je verhaal op nonsense berust. Zo, dat verklaar ik.

Wat ik ook zo mooi vind is dat je zoveel zelfreflectie hebt:

IBM en Motorola hebben het daarna ondergebracht bij Freescale wat in 2015 is overgenomen door NXP.

"Hey, daar staat niet bij Apple, hoe zit dat dan precies?" Tja ......

[Reactie gewijzigd door Hatseflats op 23 juli 2024 05:16]

[TechSupreme]

Uuum, keyword: "DAARNA". Lees eens wat ik citeer.

Als Apple weggaat omdat ze naar Intel overstappen, blijven er nog maar 2 over. Toch? Naar mijn weten zijn jaargetallen nog steeds sequentieel en bestaat er nog steeds iets als chronologie. Als dat niet meer is laat maar weten.

Wel leuk om te zien dat je obsessief opzoek bent naar fouten in het verhaal.

[Reactie gewijzigd door TechSupreme op 23 juli 2024 05:16]

[Hatseflats]

Ok, dat staat dan vast.

[Hatseflats]

Reageer je niet op Tech!Supreme?

En 'tuurlijk hebben wij gelijk.

[Reactie gewijzigd door Hatseflats op 23 juli 2024 05:16]

[killerbie]

Neen toch niet, en dat zou op lange termijn kunnen.
Zie Apple met de iPhone/pad/... hardware :-)
De zaken die maar enkele spelers kunnen leveren maken ze tegenwoordig zelf.

[geeMc]

Maar je hebt het bij bijvoorbeeld CPU's over een veel complexer stukje hardware dat een gigantische (en continue) stroom aan R&D nodig heeft. Netwerkkaarten zijn veel minder complex en gaan minder hard qua techniek.

[Frame164]

Wat is daar raar aan? Als je voldoende middelen hebt om het zelf te kunnen ontwikkelen en produceren moet je dat altijd onderzoeken. Je kunt altijd nog beter interne kosten hebben dan cash-out. En volgens klotst het geld bij Microsoft tegen de plinten op, dus kunnen ze best zo'n investering doen. Bijkomend voordeel als je als nieuwkomer iets gaat doen: je kunt bestaande paradigma's doorbreken. Nu moet je graaien in de voorraadbakken van de bestaande leveranciers en daar moet je het mee doen. Misschien kunnen dingen wel veel efficienter als je iets nieuws gaat maken.

[Plopeye]

Waarom niet? Concurrent Apple doet het ook met hun M1/M2 bijvoorbeeld...

[TTommie]

Geen idee, ik werk niet bij en of voor MS.

Ze zullen vast redenen hebben waarom ze dit willen doen.

[g_v_rijn]

Hoezo kolder - uw onderbouwing?
Zonder andere partijen - ontbreekt het aan gezonde prikkels voor prijs, kwaliteit en door-ontwikkeling.

[Reactie gewijzigd door g_v_rijn op 23 juli 2024 05:16]

[Navi]

Je hebt ook nog Broadcom.

[eltweako]

Ik geloof dat Nvidia de enige is met hun ConnectX netwerk kaarten die dergelijke snelheden van 400GbE kunnen halen.
Volgens mij is bij intel met de 800 series 100GbE het hoogst haalbare, maar mijn kennis kan achterhaald zijn.

[Reactie gewijzigd door eltweako op 23 juli 2024 05:16]

[Groningerkoek]

Je kennis is goed, de 400Gbe kaart van Nvidia kent geen gelijke en daarom is de vraag ook enorm.

[laurxp]

Mellanox was juist een enorme speler in netwerk-land. Door de overname is Nvidia dat in één klap dus ook geworden - je kan hun netwerk-afdeling moeilijk een "nieuwe speler" noemen als ze al zeker 15 jaar één van de meest prominente partijen zijn.

[dasiro]

Inderdaad, de naam is veranderd, de hardware en mensen zijn dezelfde gebleven

[geeMc]

Met de hoeveelheid kennis die Microsoft over netwerken en hardware in huis heeft met de overname van Fungible dat zich specialiseert in datacenter hardware en waar een van de medeoprichters van Juniper zit lijkt de ontwikkeling van eigen kaarten op de lange termijn mij een no-brainer. Als je met een relatief kleine hoeveelheid R&D hetzelfde kunt maken tegen veel lagere prijzen dan het bij de concurrent kopen, dan lijkt mij dat economisch veel interessanter.

[Yalopa]

Je hebt netwerk kaarten en je hebt netwerk kaartjes.

In azure draait heel wat netwerk eigenlijk op infiniband

[lasermen]

Intel mist teveel functionaliteit en heeft nog geen 400Gbit/s netwerkkaart uitgebracht.
De E810 is een leuke kaart, maar kan op veel vlakken niet meekomen met de Connect-X lijn van het vroegere Mellanox.
Broadcom maakt ook netwerkkaarten, alleen die geven in de praktijk teveel problemen als je geen Windows draait.
Chelsio zou een optie kunnen zijn, alleen zijn hun 400Gbit/s kaarten nog niet op de markt.

Vroeger waren Mellanox kaarten ook niet geweldig, totdat de Connect-X4 lijn uitkwam. Hier heeft Mellanox een hoop tijd gestopt om goed werkende kaarten en bijbehorende software te leveren. Die ook veel werk uit handen neemt van de CPU. Dit gaf een groot verschil met de andere merken en daarmee heeft Mellanox erg veel markt aandeel weten te pakken. Los van dat de Intel X700 lijn erg veel problemen kent (heeft Mellanx ook een hoop geholpen).

[Alxndr]

Als het primaire argument kosten besparen is, laat dat wel zien wat voor enorme winstmarges er gepakt worden.

Een netwerkhardware fabriek + de R&D zal wel een bedrag met heel veel nullen zijn, maar dat denken ze dus (ruim) terug te kunnen verdienen...

[laurxp]

Dat zal in de praktijk wel meevallen.

De netwerkkaart zelf laat je door een bedrijf als Foxconn in elkaar zetten. De chips laat je bakken door TSMC - als je niet gewoon een off-the-shelf ASIC pakt van Broadcom of Intel ofzo. Chipontwikkeling kan duur zijn, maar het is te overzien als je reeds bestaande IP inkoopt en aanpast. Kost je alsnog een paar miljoen, maar geen miljarden ofzo.

Het gaat hier over netwerkkaarten van een paar duizend euro per stuk. Een bedrijf als Microsoft heeft een paar miljoen servers. Zelfs een geringe besparing van 10% geeft al een R&D budget van tientallen of zelfs honderden miljoenen.

[lighting_]

Als je bedenkt dat een H100 van Nvidia 35K kost en 3.5k aan kosten.
Meta wilt daar 350.000 stuks van bestellen.

[Frame164]

Ik denk dat Meta een andere prijs krijgt dan die in de reguliere prijslijst staat :-)

[lighting_]

We hebben het over 1 order. Er zijn genoeg grote klanten (MS/Alphabet/Tesla/OpenAI etc) die in de rij staan. Nvidia kan niet aan de vraag voldoen. De nieuwe generatie B100 staat ook om de hoek. Dus waarom een groot korting geven? Wil je als eerste dan betaal je ook naar want iedereen zit in de AI race. Het aandeel is niet voor niets als een raket geschoten in lijn met de omzet en marge.
Het is niet zo raar dat MS manieren zoekt om minder afhankelijk te zijn en de kosten te drukken.

[Reactie gewijzigd door lighting_ op 23 juli 2024 05:16]

[dasiro]

elk bedrijf dat op deze schaalgrootte werkt is op zoek naar de meest efficiënte oplossing met zo weinig mogelijk overhead zowel op vlak van techniek als van kosten. De tijd dat grote spelers generieke hardware kochten is al een aantal jaar voorbij en deze oefening is daar een doorontwikkeling van.

[Groningerkoek]

12.25 Miljard en over een paar jaar mag je weer nieuw spul bestellen..

[lighting_]

Dat is een business keuze. Je kan ook niks bestellen en op achterstand gezet worden.

[Groningerkoek]

Maar natuurlijk, maar met zulke aantallen en bedragen is het niet vreemd dat de grote jongens steeds meer de neiging krijgen voor in-house productie.

[Kees]

Dit artikel gaat niet over videokaarten maar over netwerkkaarten waar nVidia ook een grote speler in is sinds hun overname van Mellanox. Ze zijn vrijwel de enige die 400GBit/s netwerkkaarten verkopen.

Die netwerkkaarten zijn niet bijzonder duur; je kan ze voor zo'n €1500-€2200 krijgen. Maar wellicht is de beschikbaarheid van grote aantallen niet zo goed en als je er een paar honderdduizend wil kopen.

Voor 'gewone' mensen zijn die kaarten ook al lastig te verkrijgen, fs.com verkoopt ze wel, maar die zijn pas in october van dit jaar leverbaar.

[Reactie gewijzigd door Kees op 23 juli 2024 05:16]

[Groningerkoek]

Logisch, de vraag vanuit de markt is enorm en productie kan het niet bijbenen. De prijzen en marges zijn gigantisch, en MS is een enorme speler met meer dan 4 Miljoen servers in eigen beheer verspreid over de wereld.

Ze hebben de kennis en de contacten in huis om dit te doen en ze hebben al jaren meer dan 100 Miljard Cash on Hand. Los van de eigen besparing als ze die dingen ook gaan verkopen aan anderen dan kunnen ze nog enorm groeien in een voor hen nieuwe markt.

[Scriptkid]

Deze snap ik even niet, mark russinovic liet toch altijd op teched zoen dat het al ms propriety hardware was in de netwerk stack en dat ze voor lagen op netwerk io door gebruik van die eigen hardware.

[ibmpc]

De 8088 is ook door AMD en Siemens geproduceerd omdat IBM geen afhankelijkheid wilde van Intel. Kan Microsoft niet van NVidia eisen dat zij hun spul ook in licentie afgeven aan derde partijen om de afhankelijkheid van NVidia te beperken?

[Reactie gewijzigd door ibmpc op 23 juli 2024 05:16]

[Plopeye]

Ergens vind ik het ook wel een vorm van karma... Microsoft die loopt te jammeren over het afhankelijk zijn van...

[Willempie27]

NVIDIA rekent gewoon bizarre prijzen. Ik heb nog wat oude TESLA kaarten liggen. VGPU moet je een licentie voor hebben. De particuliere versie met dezelfde chip kan dat ook maar dat is dan weer uitgeschakeld. Wil je dan een game server maken en hem van TCC naar WDDM zetten dan kost deze optie ook geld. De 1080 vs Tesla P4 is 1000 euro VS 5000 euro voor dezelfde chip.