Intel wil de concurrentie met Nvidia H100 aangaan met Gaudi 3-accelerators

Intel wil met zijn nieuwe Gaudi 3-accelerators de concurrentie aangaan met de Nvidia H100, op dit moment de krachtigste kaart voor het trainen van AI-modellen. Volgens Intel kan het een kit bestaande uit acht kaarten en een baseboard verkopen voor twee derde van wat een Nvidia vraagt.

De processorontwerper laat zijn Gaudi 3-kaarten produceren op TSMC's N5-node. Ze bevatten 64 van Intels tensorcores en 8 matrixengines. Op de uit chiplets bestaande package zijn verder 128GB HBM2e-geheugen met een bandbreedte van 3,7TB/s en 96MB sram-cache op 12,8TB/s aanwezig. Voor de connectiviteit gebruikt Intel 16 PCIe 5.0-lanes en 24 200GbE-poorten, waarvan het bedrijf benadrukt dat ze onderdeel zijn van een open standaard, in tegenstelling tot Nvidia's InfiniBand.

Volgens de maker is een cluster van 8192 Gaudi 3-accelerators 40 procent sneller bij het trainen van een GPT3-175B-model dan een vergelijkbaar cluster van Nvidia H100's. Bij 64 accelerators en het Llama2-70B-model zou Intels voordeel 15 procent zijn. Inferencing zou, afhankelijk van de gekozen parameters en het gebruikte AI-model, gemiddeld twee keer zo snel moeten gaan op Gaudi 3.

Een Gaudi 3-kit bestaande uit 8 accelerators en een baseboard krijgt een adviesprijs van 125.000 dollar. Daarmee zou die volgens Intel een 130 procent betere prijsprestatieverhouding bieden dan een vergelijkbare Nvidia H100-kit. Bovendien hamerde Intel tijdens de aankondiging op zijn goede softwareondersteuning, waarbij het samenwerkt met bekende modellenmakers om op 'day zero' al goede ondersteuning te kunnen bieden voor nieuwe AI-modellen.

Dell, HPE, Lenovo en Supermicro verkochten al systemen met de oudere Gaudi-accelerators van Intel, maar daar komen nu ASUS, Foxconn, Gigabyte, Inventec, Quanta en Wistron bij. Daarmee stijgt het aantal 'integrators' van Gaudi naar tien leveranciers. De Gaudi-tak van Intel komt voort uit de overname van het oorspronkelijk Israëlische Habana Labs in 2019.

Reacties (16)

[Cergorach]

Ik zie nergens dat deze accelerators nu al beschikbaar zijn, de H100 is alweer 1-2 jaar oud, dus Intel blijft achter de feiten aanrennen. Hoe erg zal liggen wanneer deze setup exact beschikbaar zal zijn. Daarnaast zal Intel nu niet moeten concurreren met H100, maar met het Blackwell aanbod wat dit jaar uit moet komen...

Daarnaast klinkt een betere prijs/prestatie verhouding goed in theorie, toch vraag ik me af of dit onder de streep goedkoper is. je moet toch gaan testen of je software inderdaad even goed draait op het Intel platform als op het Nvidia platform, wellicht moet er aanpassingen worden gedaan, wat ook weer tijd=geld kost...

En wat ik lees van Blackwell (B100) is deze 20% duurder dan de H100, maar 77% sneller, daarmee verdampt het prijsvoordeel van Intel en zou Nvidia weer een ~15% prijs/prestatie voordeel hebben tov Intel. (note: dit is natuurlijk niet veel meer dan bierviltjes rekenwerk) En dan hebben we het niet eens over performance per watt en performace per unit.

Bron:
https://www.semianalysis....ackwell-perf-tco-analysis

[Reactie gewijzigd door Cergorach op 23 juli 2024 16:59]

[shufflez]

* Intel (ipv MS)

Wat ook opvalt is de keuze voor vergelijking met oudere modellen. GPT3 en Llama 2 zijn toch behoorlijk voorbij gestreefd in capaciteit & mogelijkheden. Natuurlijk is model-keuze afhankelijk van toepassing, anderzijds is nieuwer in dit geval denk ik beter?

[holoduke51]

Hopelijk komen er op termijn goede chinese kaarten. Pas dan komt er echte concurrentie.

[babbeloo]

Leg uit.
Want er zijn vandaag de dag heel wat Chinese trollen actief die overal roepen dat made in China beter is. Deze berichten zijn vaak inhoudsloos en pure marketing.

[Cergorach]

Ik begrijp de gedachtegang wel enigszins. Intel/Nvidia/AMD zijn allemaal Amerikaanse bedrijven (en zo zijn er nog veel meer op AI/LLM vlak). Als er Chinese alternatieven komen/zijn dan betekend dat ten eerste dat ze de ASML block hebben weten te omzeilen met eigen technologie en dat de ontwikkeling daar dan behoorlijk voorruit is gegaan.

China is groter dan het 'westen' qua bevolking, dus potentiële klanten. Even gewoon kijkend buiten de huidige politieke situatie daar. Ook in India zou een dergelijke ontwikkeling/dominantie van AI/LLM een veel grotere impact hebben op de eeuwige strijd tussen Intel/Nvidia/AMD (en de andere kleine VS bedrijfjes).

Een zelfde argument zou je kunnen maken voor de Europese markt, maar als ik realistisch kijk wordt dat over het algemeen gewoon weer opgeslokt geheel of gedeeltelijk door de VS. Zelfs een Nederlands bedrijf als ASML heeft te dansen naar VS wensen omdat men daar wat technologie heeft zitten...

[babbeloo]

Het verschil in bevolkingsaantal tussen de Westerse wereld en China valt enigszins nog mee.
China heeft 1,4 miljard inwoners, waarvan de groei is gestagneerd. De Westerse wereld heeft 1,2 miljard inwoners, waarvan de groei o.a. door immigratie en vergrijzing, gestaag blijft toenemen.

[TheVivaldi]

Maar hij had het ook over potentiële klanten. In China is technologie veel verder ingeburgerd dan hier. Bovendien willen de ouderen niet altijd aan technologie en immigranten kunnen het niet altijd betalen. En dat geldt ook voor de groeiende groep mensen die nu al moeite heeft om rond te komen. Dus je mag er nog best wat mensen aftrekken in het westen ten opzichte van China als we het hebben over potentiële klanten.

[Reactie gewijzigd door TheVivaldi op 23 juli 2024 16:59]

[babbeloo]

De stelling dat in China technologie veel verder is ingeburgerd betwijfel ik, evenals de stelling dat de gemiddelde Chinees meer te spenderen heeft dat de gemiddelde Europeaan.
Heeft u een bron voor uw beweringen?

[Menesis]

Denk het niet, die hebben geen toegang tot ASML machines meer?

[MPIU8686]

"acht kaarten en een baseboard" voor 2/3 van een Nvidia H100 te koop ..

Net of Intel hiermee de leurders toer wil opgaan ..


.

[Reactie gewijzigd door MPIU8686 op 23 juli 2024 16:59]

[d3x]

idd alsof het moeilijk is om een prijs setting te doen onder een andere die tesowieso al te duur gepositioneerd is.

als het product niet goed is heb je niks aan die prijs. Aurora supercomputer is heet mooiste voorbeeld hiervan... statement dat hun day one SW op orde is, dat is weer marketing praat.

Ook dat toveren met wat cijfers is niet relevant als er niet gekeken wordt naar de hoeveelheid systemen er nodig zijn en het verbuik tov de concurrentie.

daarbij komt nog eens dat ook hier de onderdelen van TSMC komen, dus de winstmarge is sowieso weeral lager en hun foundries blijven leger achter met hoge kosten, IDM vult ver van op wat ze allemaal hebben.

[Reactie gewijzigd door d3x op 23 juli 2024 16:59]

[Praetextatus]

Ik denk dat je erover heen hebt gelezen:

Daarmee zou die volgens Intel een 130 procent betere prijsprestatieverhouding bieden dan een vergelijkbare Nvidia H100-kit.
Er wordt dus nergens een kit van Intel vergeleken met enkele h100 kaart

Wat wel interessant is dat er niets wordt gezegd over efficentie en running kosten

[eurob]

Goeie zaak, NVIDIA is een mammoet, loopt uit de hand, ze kunnen de gekste prijzen vragen omdat ze dat kunnen zonder concurrentieverlies, hopenlijk komen de prijzen omlaag vorr H100..

[Keeper of the Keys]

@Tomas Hochstenbach
Beetje laat maar - moet dat niet NVLink zijn in plaats van Infiniband?

Voor zover ik mij herinner is IB een standaard die tegenwoordig wel vrijwel single-vendor is geworden maar theoretisch zou een andere speler ook IB gear op de markt kunnen brengen (er zijn wel re-badged IB switches van Dell geloof ik, maar dat zijn eigenlijk Mellanox/nVidia kastjes)

[Reactie gewijzigd door Keeper of the Keys op 23 juli 2024 16:59]

[djwice]

Ben benieuwd naar het antwoord van Nvidia het is hiermee wel duidelijk waarom deze nieuws: Intel, AMD en techbedrijven gaan samenwerken aan alternatief voor Nvi... en nieuws: Google, Intel, Arm en andere bundelen krachten tegen AI-hegemonie van... eerder zijn aangekondigd.

[Reactie gewijzigd door djwice op 23 juli 2024 16:59]