AMD, Intel en Microsoft werken samen om ethernetstandaarden te optimaliseren

Verschillende grote techbedrijven kondigen op initiatief van de Linux Foundation een samenwerkingsverband onder de naam Ultra Ethernet Consortium aan. De bedrijven zeggen ontwikkelingen te gaan coördineren om ethernetstandaarden te optimaliseren.

Onder meer AMD, Arista, Broadcom, Cisco, Intel, Meta en Microsoft hebben zich bij het UEC aangesloten, zo staat in een persbericht. De partijen willen ethernetstandaarden doorontwikkelen om beter te functioneren in combinatie met toepassingen van kunstmatige intelligentie, hpc en machinelearning.

Het consortium heeft enkele algemene doelstellingen gedeeld om niet nader genoemde ethernetstandaarden efficiënter in combinatie met specifieke workloads te laten werken. Dit zou bijvoorbeeld moeten gebeuren door specificaties, api's en broncode te ontwikkelen, specifiek met bepaalde toepassingen als uitgangspunt. Ook zouden er 'software-, opslag-, management- en beveiligingsconstructies' ontwikkeld moeten worden om beter binnen de context van hpc- en AI-toepassingen te functioneren.

UEC

Door Yannick Spinner

Redacteur

19-07-2023 • 19:10

65

Submitter: TheVivaldi

Reacties (65)

Sorteer op:

Weergave:

Wat is hier de relatie tot kunstmatige intelligentie?
Het voeden van data aan ai chips vereist enorme datastromen. In de context van normale computers kun je data aanleveren via de pcie bus zoals dat bij een nvme disk gebeurt. Maar de truc is dat dit ook via ethernet in plaats van pcie kan, zeker als je tientallen/honderden databronnen gaat aansluiten die parallel data gaan voeren.

Het komt er op neer dat je niet aan kabeltjes moet denken maar aan het feit dat ethernet chips parallel geplaatst snel en efficiënt qua stroom zijn.

Ik ben geen expert op het gebied, het bovenstaande wordt beschreven in dit artikel op Anandtech: https://www.anandtech.com...-bajic-and-cto-jim-keller

For Greyskull we don’t have Ethernet but they're connected with PCI Express Gen 4. The compiler can break down a graph across those 16 parts. The software doesn't care if the transport is PCIe or Ethernet, but Ethernet is more scalable in a big system

[Reactie gewijzigd door oef! op 22 juli 2024 20:02]

Die vereisen soms enorme rekenclusters die allemaal praten met elkaar via ethernet, of het concurrerende infinityband. Blijkbaar is het standaard ethernet niet toereikend genoeg voor deze clusters waar de grotere AI modellen op draaien. In de levering van infinityband hardware is Nvidia een grote speler, waarschijnlijk dat daarom specifiek AMD in de titel wordt genoemd voor dit op ethernet gebaseerde alternatief ;)
Vroeger hadden de printers waar ik werkte een glasvezel verbinding onderling. Dit zal dat waarschijnlijk ook worden omdat daar parallel heel makkelijk kan schalen. Stel je hebt een ring van 16 data centers en 16 kabels, dat kan per request 16 requests opleveren. Afhankelijk wat je wil kan je dan 16*speed halen.
neurale netwerken misschien?
Het eerste waar ik aan dacht toen ik laatst mijn nieuwe ethernet kabel aansloot was dat AI echt een meerwaarde zou hebben om de kwaliteit van mijn nullen en eentjes te garanderen tussen mijn switch en TV box. Blij dat het Ultra consortium dat ook ziet.
Ik heb in de laatste 10jaar toch geen problemen gemerkt bij mijn Ethernet naar mijn PC of TV.
Dus geen idee wat deze firma's gaan doen adhv AI.
Laten we het bericht eens nader bekijken.
kunstmatige intelligentie, hpc en machinelearning
Dat zijn allemaal toepassingen die heel veel processing power vergen en het Linux Foundation zit er ook in, dus we hebben het hier over servers in datacentra.

Specifieker, over de interconnects tussen machines of clusters. Iets waar je thuis inderdaad helemaal niks aan hebt.
Ik vermoed dat het iets te maken heeft met het interessante idee dat het alleen nog maar werkt met proprietary software-support.
Ja daarom wordt het project ook geleid door het Linux Foundation.....
Dat is een feit maar het doet daar niks aan af. Het kan leiden tot een voorrangspositie voor de betrokken bedrijven of concurrrentievervalsing door het forceren van eigen standaarden.
Gezien dat het een op zijn minst twijfelachtig idee is dat de huidige ethernet-standaard ergens tekort komt, wat zit er nog meer achter?
Vooral de relatie met cloud en AI zijn voor mij 2 rode vlaggen.Werkt een wired ethernet-link zonder high-level protocollen straks nog wel, of alleen met een proprietary Broadcom driver waar Meta al speciale permissies voor heeft?

[Reactie gewijzigd door blorf op 22 juli 2024 20:02]

Het kan
Met nadruk op kan, maar goed een stichting die opgericht is op de fundamenten van delen van kennis is dat wel heel ver gezocht. Trouwens wil je nou suggereren dat de huidige Broadcom, Intel of Realtek drivers wel opensourced zijn?

Beide suggesties zijn absurd en ondoordacht!
minst twijfelachtig idee is dat de huidige ethernet-standaard ergens tekort komt
Ehernet en de protocollen die eraan zijn gekoppeld komen op veel vlakken te kort. Daarom bestaat er ook een heel bereik aan alternatieven die specifiek zijn aan de toepassing (en een heel bereik aan protocollen die werken over ethernet). Afhankelijk van hoe jij je geheugen, opslag en/of GPU/CPU wil delen kan je weer een andere interconnect gebruiken. Als er een zilveren kogel was dan zou iedereen dat gebruiken, dan zou iedereen ook 1 protocol gebruiken. De reden waarom er zo'n groot bereik aan standaarden en protocollen bestaat is dat ene begint waar de andere zijn grenzen bereikt.

Infiniband, Myrinet, Quadrics en/of Fibre Channel zijn daar voorbeelden van. Ethernet is de makkelijkste en goedkoopste en daarom is het ook interessantst om daarop voort de borduren. Probleem met Ethernet is wel dat het niet zo snel is als de rest en ook teveel overhead veroorzaakt wat weer inhakt op je CPU. Niet echt geschikt als je gigantische datasets wil delen met je hele cluster, maar alleen het verplaatsen van die dataset slurpt al je processing weg.

Wat jij nu zegt is dat ze maar verplicht Infiniband moeten gebruiken omdat de ethernet standaard dan ineens minder wordt (vaag).

Wat ik me nu afvraag is, heb jij wel enig idee wat er allemaal in een grootschalig zakelijke omgeving wordt gebruikt, laat staan wat er allemaal om de hoek komt kijken als je een super computer wil bouwen. Als je denkt (en dat denk jij want je ziet de tekortkomingen van Ethernet niet) dat het zo simpel is als alle nodes in je cluster op een switch prikken allemaal een IP adres geven en gaan met die banaan dan kom jij van een hele koude kermis thuis. Meer bandbreedte nodig? Meer sneller kabels gebruiken toch? Anders pak je gewoon glasvezel dan kan je tot de 100Gbps, lekker snel. Oh waarom zijn mijn nodes ineens zo traag en al mijn switches staan te koken. Huh?

Buiten dat. Ja en? Jij gaat er echt niks van merken dat een purpose built HPC een of andere driver heeft die niet opensource is. Daar kijkt echt niemand naar, allerminst de opdrachtgevers die alleen willen dat het ding doet wat ze willen dat het doet. So what?!

En dan boven dit alles. Jouw huidige switch, modem en ethernetkaart ondersteunen meerdere standaarden. So what, dan komt er nog eentje bij die door oudere apparatuur niet wordt ondersteunt. Zolang jij lekker gezellig op je 100BASE, 1000BASE of misschien 2,5GBASE blijft is er nog niks aan de hand.

Tenzij jij thuis van plan bent om berekeningen te doen met gigantische datasets en een supercomputer op zolder hebt staan heeft dit alles 0 toepassing op jou of jouw persoonlijke situatie. Lekker op je 1000BASE en TCP/IP blijven om je films te streamen.

@ta_chi79 heeft het hieronder wat beter uitgelegd.

ta_chi79 in 'AMD, Intel en Microsoft werken samen om ethernetstandaarden te optimaliseren'

[Reactie gewijzigd door TechSupreme op 22 juli 2024 20:02]

Man jij ziet overal evil empires.
Meta IS zonder twijfel een evil empire, geef ik toe.
AI modellen trainen vergt gigantische hoeveelheden data. 400Gbps switches zijn er al en 800Gbps komen er ook al aan en die worden als eerste daar ingezet voordat ze uiteindelijk gebruikt gaan worden op andere plaatsen.
Met zulke snelheden loop je eerder tegen limieten aan dan wij thuis met onze 1, 2,5 en misschien 10Gbps netwerkjes.
Onder andere de PCIe bus kan het amper bijbenen, maar ook CPU's hebben het dan lastig vandaar dat men ook DPU's gebruikt om de snelheid verder op te voeren of direct al het netwerk in de 'GPU' te steken.
Volgens mij is dat ai aardige statische data, data die niet veel wijzigt tijdens het proces. Dat moet toch makkelijk op de cpu kunnen...
Er is geen een machine die alle data lokaal op kan slaan en ook al zou dat kunnen dan is dat al mega inefficient want dan moet je alle nodes nog eens gaan synchroniseren.

Je hebt te maken met gedeeld opslag maar ook gedeeld geheugen zodat alle nodes tegelijk aan de data kunnen werken. Dan moet je heel snel zijn wil je al die nodes continu met data kunnen voeden.

Als je een HPC hebt met 10.000 nVidia Quadro's (waar je al heel snel aan zit) dan reken maar uit hoeveel data je constant heen en weer moet schuiven om al die GPU's aan de gang te houden. Puur als indicatie van schaal, een beetje super computer zit tegenwoordig aan 250.000 GPU's en een beetje HPC zit makkelijk aan de 50k tot 100k.

Is tevens ook de reden waarom nVidia gamers min of meer op de achterbank heeft gezet en zich meer richt op AI en HPC's. 1 opdracht is evenveel waard als 100.000 gamers die allemaal een 4090 kopen, maar dan zonder gezeik van detailhandel.

[Reactie gewijzigd door TechSupreme op 22 juli 2024 20:02]

Waarborgen dat alles dat door de kabeltjes gaat gebruikt kan worden om de AI te trainen?
Met AI zorgen ze er voor dat mensen niet meer kunnen vallen over de kabel van hun draadloos internet? :)
AI is een toepassing voor Ultra Ethernet, het is niet dat Ultra Ethernet AI gebruikt.
De partijen willen ethernetstandaarden doorontwikkelen om beter te functioneren in combinatie met toepassingen van kunstmatige intelligentie, hpc en machinelearning.
Dit is dus voor gebruik binnen serverparken en supercomputers, niet voor huis- tuin- en keukengebruik.
Heb jij ethernetkabels in je tuin en keuken? :+

Edit: ik vraag er ook wel om he, natuurlijk heeft iedereen hier overal netwerk :9

[Reactie gewijzigd door StackMySwitchUp op 22 juli 2024 20:02]

Als ik bij een tweaker op bezoek ga zou ik het niet vreemd vinden om dat in de keuken en tuin te zien 😁
Ja, jij niet? Nog geen slimme beregening voor je bloemen?
Die is bij mij draadloos, latency is laag genoeg en hoge doorvoersnelheden heb ik daar niet nodig. :9
Is denk ik met die kassen in ons land best een markt voor. Ik heb overal tegels momenteel maar hele vruchtbare grond ik heb juist veel heet water nodig, maarja dat heb ik nog niet in de tuin...
Genoeg slimme apparaten voor de keuken en als je je 4k tv in de tuin zet voor een voetbalfeestje, dan is die kabel ook geen overbodige luxe.
Ik weet dat je een grapje maakt, maar ja, heb een paar outlets in de keuken voor evt slimme apparatuur daar en in de tuin loopt een kabel voor een beveiligingscamera :P
Sinds kort wel :) Wat is daar het probleem mee? :)
Dus voor bij me thuis, heb je me mancave nog niet gezien.
Ik struikel over de infiniband kabels, en menig energie maatschappij is blij met mij
Ik had laatst een eentje inplaats van een nulletje, heb die kabel toen doorgeknipt, laat nu alleen nog maar nullen door.

[Reactie gewijzigd door itcouldbeanyone op 22 juli 2024 20:02]

De polariteit van je draadloze netwerk omdraaien helpt!
Rond welke as moet je ze dan draaien? Horizontaal? Verticaal? of diagonaal? }>
37 graden over elke as natuurlijk en dan bij voorkeur origami-vouwen via een quantum tunnel naar de 17e dimensie...
En als je de andere helft gebruikt heb je alleen de eentjes. Slim.
Alle eentjes vliegen door de Ether :+
Voor hogere snelheid moet je je tuinslang verbinden met je ethernetpoort.
Kleine tip: gouden kabels gebruiken. Betere geleiding waardoor er minder bitjes kunnen verdwalen of uit schrik ompolen. Liefst ook met een carbon stekkertje voor de stevigheid.
Mijn eerste ethernetkabel had een bedroevend lage doorvoersnelheid. Wist ik veel, ik had gewoon de aders in een door mijzelf verzonnen volgorde in de stekkers gekrompen. 8)7
Ik bedoel maar, "Twisted Pair" lijkt ook hokuspokus. Wie weet wat er nog voor verbeteringen mogelijk zijn.
Twisted pair en AI: A twisted mind is a joy forever :+
Uhm, nou, nee, en dat verbaast mij ook, want ik dacht altijd hetzelfde, maar, even opgezocht:
Goud is een mindere elektrische geleider dan koper.
Zilver is beter dan koper.
In willekeurige volgorde, bij benadering, bij 20 graden (C):
Gold (Au): ~ 45.5 × 10^6 Siemens/meter (S/m)
Silver (Ag): ~ 63 × 10^6 Siemens/meter (S/m)
Aluminum (Al): ~ 38 × 10^6 Siemens/meter (S/m)
Copper (Cu): ~ 58 × 10^6 Siemens/meter (S/m)

Goud zie je nogal aangeprezen worden door "audiofielen", ze beweren mooier en beter geluid te horen met gouden kabels.
Ik vraag me, nu kijkend naar deze cijfers, of dat niet alleen maar tussen hun oren zit en niet op de werkelijkheid is gebaseerd..
Goud zie je nogal aangeprezen worden door "audiofielen", ze beweren mooier en beter geluid te horen met gouden kabels.
Ik vraag me, nu kijkend naar deze cijfers, of dat niet alleen maar tussen hun oren zit en niet op de werkelijkheid is gebaseerd..
Bij "audiofielen" zit alles tussen de oren. Ik heb de gekste producten voorbij zien komen, van speciale internet switches die je audio signaal op zouden schonen (toch knap bij een digitaal signaal), anti trillings voetjes voor je cd speler voor een voller geluid, etc.
Laatst nog een review gelezen van iemand die een hdd eerst 100 uur heeft "ingebrand" en de muziek die erop stond daarna een stuk beter vond klinken...
Ok maar een audiofiel gebruikt over het algemeen alleen analoog.
"Digitaal" is een soort van scheldwoord voor échte audiofielen.
Hangt er ook een beetje van af waar je de grens tussen "Enthusiast" en "Audiofiel" legt.
Maakt niets uit op digitale overdracht en ook op signaaloverdracht van een paar meter gerekend in volt analoog ga je geen meetbaar verschil krijgen. Het signaal gaat nog altijd door, hoe goed of slecht de elektriciteit ook door de leider gaat, en enige ‘vertraging’ van de lichtsnelheid kun je noch meten noch waarnemen (er moet al een kwart seconde verschil zitten tussen 2 signalen alvorens je hersenen dit kunnen waarnemen)

Je moet al echt met kilowatts over honderden meters rekenen alvorens de weerstand van een draad een probleem (hitte) vormt of het verschil in lengte en materiaal in digitale constructie een probleem vormt en dan hebben we het over letterlijk kilo’s goud en zilver tov koper of aluminium, dan is het kostenplaatje ook belangrijk.

vb. 10G of 25G koper Ethernet heeft relatief precieze kloksnelheden waar de 8 verschillende geleiders met verschillende lengtes (of in principe materialen) een probleem kunnen vormen aan de limiet van ~300 meter, en de frequentie per geleider is als ik mij goed herinner rond de 250-500MHz, de resolutie of ‘kloksnelheid’ van een analoog audio signaal is maximum ~20kHz of 48kHz voor digitaal (en alles boven 48kHz sampling is letterlijk onmeetbaar na een DAC, zowel met instrumentatie als met het oor)

Als je een probleem hebt met de elektrische eigenschappen van het materiaal met je 1 of 2 vierkante millimeter draad heb je een ander probleem (kortsluiting of teveel vermogen in een te klein oppervlakte) en de eigenschappen van het materiaal maken dan niet veel uit.

[Reactie gewijzigd door Guru Evi op 22 juli 2024 20:02]

Je hebt ook weerstand. Nu heb ik die opleiding gehad maar ben het vergeten, maar volgens mij heeft goud dat beter voor elkaar.
Ja, maar dat is dus het rare, ik meen dat ook geleerd te hebben 40 jaar geleden.
Maar het is niet zo:
Stof Soortelijke weerstand in Ω·m bij ~20 °C Temperatuur- coëfficiënt in K−1
Aluminium 0,0265·10−6 0,0043
Goud 0,022·10−6 0,0036
Koper 0,0175·10−6 0,0039
Zilver 0,0159·10−6 0,0041

Goud heeft een hogere soortelijke weerstand dan koper, zilver is de beste geleider.
(https://nl.wikipedia.org/wiki/Soortelijke_weerstand)
Wat @ATIradeon8500 aangeeft klopt. Goud is een edelmetaal en roest dus niet.
Maar dat is alleen bij 100% puur goud.
100% puur goud ga je alleen niet tegenkomen. In Nederland is 58,5% (14 karaat) de norm.
Het mag dan nog steeds goud heten, er beneden niet.
Dus ondanks dat het goud genoemd wordt is het niet puur goud.
En de legering kan wel degelijk roesten.
Kijk maar naar gouden sierraden die verkleuren na verloop van tijd.
Goud geeft, als je dat gebruikt om je contacten te vergulden, een perfecte overgangsverbinding omdat dit nooit corrodeert. Daarom zweren audiofiele bij goud.

Vroeger had je simms, silver plated en gold plated. Die zilveren gaven nogal eens verbindingsproblemen door corrosie. Herplaatsen van je geheugen was dan de oplossing. Niet voor niets is dat nu allemaal goud.

Van gouden kabels heb ik nog nooit gehoord.......
Zowel die gouden als zilveren simms werkte perfect, mits je ze in het juiste contact stopte. Als het contact zilver was, dan was een gouden simm niet aan te raden (en omgekeerd).

Volgens mij zijn nu alle contacten goud (eigenlijk koper) en zijn de zilveren simms (aluminium) niet meer in gebruik.
Enige geldige reden voor vergulde connecties kan het vermijden van corrosie zijn. Of het na enkele jaren dan ook effectief beter blijft klinken is voor mij een raadsel.
Gouden kabels heb ik echt nog nooit van gehoord en is ook het domste idee ooit. Gouden connectoren worden wel gebruikt, maar dat heeft te maken met contact weerstand, corrosie en duurzaamheid. Maar, dat is alleen van toepassing in een studio waar ze de hele dag d'r in d'r uit gaan.
Vergeet de kevlar kabelmantel niet, zodat t ook kogelwerend is. Je weet immers maar nooit, een ongeluk zit in een klein hoekje.
om de kwaliteit van mijn nullen en eentjes te garanderen tussen mijn switch en TV
Waarom zou je daar AI voor moeten ontwikkelen als daar al FCS (Layer 2) en TCP (Layer 4) voor is ontwikkeld binnen Ethernet?
Het gaat hier niet om AI in te zetten om ethernet verkeer te verbeteren maar om een geoptimaliseerde versie van ethernet te ontwikkelen voor beveiliging, opslag e.d. binnen een HPC (High Performance Computing) en AI omgeving.
Er word gewoon high performance & AI workloads als toepassingen genoemd maar het basis probleem is simpelweg latency, de TCP/IP stack is te traag voor sommige toepassingen.

Dat gaat dan bijvoorbeeld simpelweg om storage aanspreken of een fail-over cluster bouwen, daar heb je nu bijvoorbeeld InfiniBand voor welke concureert met ethernet. Indien je op ethernet based wilt blijven heb je RDMA over Converged Ethernet (RoCE) of InfiniBand over Ethernet (IBoE) maar dat zijn allemaal afwijkingen op de ethernet standaard.

In een geheel andere wereld van industriele automatisering heb je meer en meer protocollen die over ethernet gaan. En hoewel pakweg een Profinet over gelijk welke switch gaat, van het moment je naar Profinet Real time of Profinet Isochronous Real-Time gaat word opnieuw de TCP/IP stack gebypassed en dan heb je industriele switchen nodig die het ondersteunen.

Om even terug te keren op het ethernet standaard en de TCP/IP stack, hoewel die voor klassieke toepasingen meer dan voldoende is, er zijn allerhande scenario's waar die simpelweg niet voldoet en waar afgeweken word van de standaard met als gevolg dat ik voor het 1 een Cisco Industrial switch nodig heb en voor het ander een Nvidia Mellanox switch maar dat een standaard kantoor switch geen van beide kan.

De IEC/IEEE 60802 draft voor time sensitive networking (TSN) voor industriele toepassingen moet er dan voor zorgen dat industriele toepassingen niet meer buiten de gewone ethernet standaard moeten gaan kleuren. De IEEE 802.1DP is terug een TSN maar dan voor vliegtuigen. En zo moet de ethernet standaard worden uitgebreid voor allerhande specifieke toepassingen maar als huis en tuin gebruiker heb je hier niet veel aan.
Zou dit zijn om te voorkomen dat Nvidia met infiniband de markt domineert.
Zou dit zijn om te voorkomen dat Nvidia met infiniband de markt domineert.
Het is jammer dat je met 0 gemodereerd werd, want ik vind dat je een goed punt maakt. Het feit dat Nvidia nu met hun integratie van Mellanox hele sterke InfiniBand gerelateerde producten kan neerzetten, en vooral gericht ook op de AI markt natuurlijk, zal vast en zeker een grote rol hebben gespeeld bij het vormen van deze nieuwe samenwerking.
Opgericht door The Linux Foundation, maar enkel Microsoft in de titel?

Wel goed om te zien dat het niet alleen voor Windows gaat zijn.
Niet opgericht door TLF, *op initiatief van*.
Intel en Amd, snap ik wel, maar waarom Microsoft? Microsoft doet geen hardware? Als Microsoft echt meedoet op software gebied, maar waar zijn Linux, en Apple????
Intel en Amd, snap ik wel, maar waarom Microsoft? Microsoft doet geen hardware? Als Microsoft echt meedoet op software gebied, maar waar zijn Linux, en Apple????
Vergeet niet dat Microsoft ook een belangrijke Cloud provider is, dat zal waarschijnlijk de reden zijn dat ze hier onderdeel van uit maken. Linux is geen bedrijf, je zou dan wel bijvoorbeeld Red Hat/IBM kunnen verwachten, en zoals het artikel aangeeft is het gestart als initiatief van de Linux Foundation. Apple is veel meer op de consumenten markt gericht, niet op infrastructuur/servers. Dus wat dat betreft vind ik het geen vreemde lijst.

[Reactie gewijzigd door Squee op 22 juli 2024 20:02]

Apple maakt er dan iConnect™ van met een afwijkend wit plugje en vraagt 3 keer zoveel :P
Wees er dan ook maar zeker van dat deze partijen controle zullen inbouwen en dit niet doen om de concurrentie een gunst te bieden. Laten we vooral kritisch kijken of deze technologie privacygewijs een goede optie zal zijn. "Toepassingen" is zeer breed te interpreteren lijkt me ...
Meta, de social media gigant, verdient weer veel te veel credit. Zo'n bedrijf hoort helemaal niet thuis in dit consortium. Daar horen alleen chip bouwers, netwerk bouwers en firmware schrijvers in thuis.

Op dit item kan niet meer gereageerd worden.