'OpenAI is in gesprek met Broadcom over eigen AI-processors'

OpenAI is aan het onderhandelen met chipfabrikant Broadcom. Dat schrijft The Information op basis van informatie van betrokkenen. Het AI-bedrijf wil graag zijn eigen chips laten maken om de groeiende vraag naar generatieve AI-modellen bij te kunnen houden.

Doordat de wereldwijde vraag naar generatieve AI toeneemt, neemt ook de vraag naar krachtige processors toe. Om een langdurig tekort voor te zijn, zou OpenAI daarom in gesprek zijn met onder meer Broadcom voor het maken van eigen chips, schrijft The Information.

Hoever de onderhandelingen tussen de bedrijven zijn gevorderd en wat er tot nu toe is besproken, is niet bekend. Een woordvoerder van OpenAI bevestigd wel aan The Information dat er gesprekken plaatsvinden tussen het bedrijf en chipfabrikanten over 'het beter beschikbaar maken van de nodige infrastructuur'. OpenAI is zelf al bezig met het ontwerpen van eigen processors. Bij het bedrijf werken diverse oud-werknemers van Google die aan de Tensor-soc hebben gewerkt, schrijft onder andere Reuters.

Reacties (34)

jaenster

19 juli 2024 19:40

Niet erg gek toch. We hebben het ook gezien met die specifieke chips die snel hashes kon uitrekenen voor bitcoins. Toen waren de videokaarten ook niet meer rendabel, dit gaan we natuurlijk ook zien bij AI.

machiel 19 juli 2024 16:33

Een risico is dat er hardware gemaakt wordt die speciaal voor deze versie van AI efficient werkt maar bij de volgende ontwikkeling niet meer relevant is. In tegenstelling tot de oplossing van NVIDIA, die is generiek.

berchtold @machiel • 19 juli 2024 17:12

Efficiëntie is de sleutel naar duurzame AI. Die nvidia dingen zijn gigantische energieverspillers. Ik denk zelf dat je misschien wel de training kan doen op nvidia maar dat productie modellen een eigen gebakken chip moeten krijgen.

Coolstart @berchtold • 19 juli 2024 22:59

Efficiëntie is de sleutel naar duurzame AI. Die nvidia dingen zijn gigantische energieverspillers.

Sorry maar dat is echt onzin. Nvidia is net de zuinigste AI chip op de markt. Dus ik begrijp uw statement niet. Dat AI veel energie vraagt heeft 0,0 met Nvidia te maken. Als je dat op AMD GPU's zou dan ga je minimaal 30% meer verbruiken.

De kans is zeer klein dat een eigen gebakken chip efficienter zal omspringen met energie. Waarom zou je het beter doen dat het grootste AI-chip bedrijf ter wereld ;-)

Het grote probleem van Nvidia is kostprijs. Ze vragen $20-$50k per kaart. Ja je lees het goed. Nvidia heeft een ecosysteem uitgebouwd waardoor ze heel effectieve AI server kunnen bouwen die zeer veel AI-kaarten kan combineren.

De kost van AI zit hem dus niet in de energieprijs maar is de aankoop van de AI-kaarten. Ik gok dat energie maar 1-3% van de kost zal zijn. 90%+ van de kost voor open AI = Nvidia. Dus logisch dat ze eigen kaarten willen bouwen om die absurde prijzen van $50k per kaart te verminderen.

teun95 @Coolstart • 20 juli 2024 01:59

Het zit hem hier niet in het Nvidia vs AMD debat. Het gaat hier o.a. om ASICs die specifiek voor bepaalde taken zijn ontworpen vs general purpose chips die breeder ingezet kunnen worden.

H100 kaarten kunnen veel, maar zijn relatief erg inefficiënt in vergelijking met chips die speciaal voor LLMs zijn ontworpen. Neem bijvoorbeeld Groq of Sohu.

TWeaKLeGeND @Coolstart • 20 juli 2024 05:39

NVIDIA is niet een AI chipbedrijf en de chips die OpenAI bij NVIDIA koopt zijn geen AI chips. De H100 is een GPU (waarbij de G in dit geval voor general in plaats van graphics staat I guess). Een LLM chip is hele andere koek en 100% zeker de next step. Zodra je dit door hebt snap je wat berchtold zegt en dan weet je waarom hij gelijk heeft.

Hier een voorbeeld, hangt nu nog bij claims maar de claims zijn geen onrealistische sprookjes.

https://www.tomshardware....per-than-nvidia-h100-gpus

Bitcoins minen ging oke op CPU's, GPU's bleken deze uiterst paralelle taak veel sneller en efficienter uit te kunnen voeren,tot ASICS, toen waren GPU's ineens helemaal niks meer.

[Reactie gewijzigd door TWeaKLeGeND op 22 juli 2024 13:20]

Frame164 @machiel • 19 juli 2024 18:09

Grote kans dat je voor een volgende generatie sowieso nieuwe DC's nodig hebt. En wat je nu bouwt kan nog steeds gebruikt worden voor zaken waar het nu al geschikt voor is. Alle nuttige dingen die je nu met chatgpt kunt doen kan je immers nog steeds doen als er betere/andere AI oplossing is. We hebben ook nog fietsen terwijl we auto's hebben.

Robbierut4 @Frame164 • 20 juli 2024 01:36

Alle nuttige dingen die je nu met chatgpt kunt doen kan je immers nog steeds doen als er betere/andere AI oplossing is.

Als iets in alle opzichten beter is dan zullen extreem weinig mensen de oude versie gebruiken. Zeker als het om webbased software gaat, waarbij de gebruiker kan switchen door op een ander linkje te klikken.

We hebben ook nog fietsen terwijl we auto's hebben.

Slechte vergelijking, fietsen en auto's hebben totaal andere doeleinden. Beter kun je de vergelijking maken tussen paard en wagen en de auto. Paard en wagen is volledig verdwenen als vervoers en transport middel dankzij de auto.

fenrirs @Robbierut4 • 20 juli 2024 07:22

Je kunt ook naar snelheid kijken . Zelf hebben we een image recognition systeem gemaakt dat op een GPU 30 beelden per seconde kan analyseren. Op de CPU variant doet ie er ~4 seconden over. Echter, een cpu node kost €30 per maand en een GPU node €355 per maand.

Gezien onze behoefte is een CPU node genoeg en dus kost efficiënter.

Vergelijk het met de fiets naar de bakker. Fractie langzamer, maar geen parkeergeld, zoeken voor een plekje en dus efficiënter voor het doel

[Reactie gewijzigd door fenrirs op 22 juli 2024 13:20]

willieverhoef @machiel • 19 juli 2024 17:48

NVIDIA is generiek voor veel dingen, dus duur en inefficiënt. In verhouding tot iets was verder gespecialiseerd is. En misschien maken ze het gedeeltelijk programmeerbaar

Coolstart @willieverhoef • 19 juli 2024 23:07

NVIDIA is generiek voor veel dingen, dus duur en inefficiënt.

Dan ga je toch met een goede bron moeten komen om zo'n claim te maken want Nvidia is de AI specialist ;-)

Microwilly @Coolstart • 20 juli 2024 13:15

Zeker op het moment is nvidia juist heel efficiënt! ( als je ze vergelijkt met de concurrentie ) wat ik wel denk in de toekomst. Komen er chips die voor openai geoptimaliseerd zijn. En efficiënter kunnen werken. Uiteraard kunnen deze chips dan ook veel minder verschillende taken dan Nvidia.

Jos van Zomeren @Microwilly • 20 juli 2024 20:25

Goed punt. Misschien springt daar een partij als Broadcom wel op in om specifieke AI chips te bouwen voor OpenAI bijvoorbeeld.

GrooV @machiel • 19 juli 2024 17:29

Wat is daar een risico aan? Kennelijk is het goedkoper of efficiënter. Oude chips van NVIDIA zijn op een gegeven moment ook niet meer rendabel.

Uiteraard kan je betwijfelen of dit gewenst is maar stel deze chip is maar een paar % energie zuiniger dan is dat een veel groter voordeel

[Reactie gewijzigd door GrooV op 22 juli 2024 13:20]

SuperDre @machiel • 19 juli 2024 18:32

En wat is het probleem daarvan? Dit gaat om processors die het bedrijf zelf gebruikt, en ik verwacht dat ze sowieso wel wat toekomstproof zijn, zijn geen amateurtjes die daar werken.

PB. @machiel • 19 juli 2024 20:55

Ik vind het klinken als een goed idee hoor. GPT doet vooral heel veel berekeningen met vectors en matrices. Dat zijn wiskundige begrippen, dus het lijkt mij goed haalbaar om daar een chip voor te bedenken en optimaliseren die ook toekomst bestendig is.

Maar als de hardware ook gebruikt wordt op de plek waar innovaties op het vlak van het algoritme uit geprobeerd worden, dan is dat misschien niet altijd handig. Het zou zonde zijn als de volgende grote verbetering niet als zodanig herkent wordt, omdat de hardware er niet efficient mee om kan gaan.

Maar vanuit het perspectief dat er veel in AI geïnvesteerd wordt, lijkt me dat echt wel oplosbaar.

djwice

Kunstmatige intelligentie

@machiel • 19 juli 2024 21:03

End jaren negentig waren het polygonen en sinds 2011 gaat het om integer berekeningen.

Om dat te versneller heeft NVIDIA vanaf de 30x0 serie de int32 met een trucje omgezet naar 2x int16 in een int32. En verdubbelde dus de rekenkracht van int16. Dat is nog verder doorgevoerd naar 4x int8. Zelfde stroomgebruik.

Dat heette eerst Tensor cores (naar Tensorflow), nu NPU en je meet in een Triljoen berekeningen per seconde.

De snelste super computer in Nederland in 2008 kon 60 Triljoen berekeningen per seconde en kostte 30 miljoen. Nu 16 jaar later koop je voor €1.399,- een laptop met 40 TOPS.

Het verschil in stroomgebruik maakt vaak de bouw van die specifieke cores relevant.

[Reactie gewijzigd door djwice op 22 juli 2024 13:20]

himlims_ 19 juli 2024 21:29

Wat maakt een ai-cpu anders dan de standaard processor?

K0L3N @himlims_ • 19 juli 2024 22:00

Een standaard processor kan heel veel verschillende dingen, een AI cpu is vaak specifiek gemaakt om het soort berekeningen te doen wat nodig is voor AI

Sjakelien 19 juli 2024 22:35

Kan iemand mij uitleggen waarom Broadcom een interessante partner is voor OpenAI? Ik ben een dilettant op dit gebied.

bluewarlord @Sjakelien • 20 juli 2024 10:49

Geld en er is geen andere chip boer die niet al in de AI race zit.

Deem 19 juli 2024 16:59

Mensen die Broadcom van doen hebben met Vmware zullen hier geen positief gevoel bij hebben. Wat een flutbedrijf is dat zeg...

cariolive23 @Deem • 19 juli 2024 17:50

Ze zijn natuurlijk meer een chip bedrijf dan dat ze een software bedrijf zijn. Een slechte ervaring met de ene tak, zegt dan nog niet zo veel/niks over de andere tak.