Reuters: OpenAI overweegt eigen AI-chips te maken

OpenAI onderzoekt volgens Reuters de mogelijkheden om zelf AI-chips te maken. Nu gebruikt het bedrijf hier vooral Nvidia-AI-gpu's voor, maar OpenAI is bang voor tekorten en oplopende kosten. Het bedrijf zou een overname overwegen voor de eigen AI-chips.

Het bedrijf werkt in ieder geval al een jaar aan verschillende oplossingen. Genoemd worden onder andere nauwere samenwerkingen met Nvidia en het zoeken naar andere leveranciers. De Reuters-bronnen zeggen dat het bedrijf daarnaast overweegt zelf AI-chips te maken.

Er worden nog geen technische details genoemd over die AI-chips. De stap naar zelf produceren zou in elk geval veel geld vragen; een bron uit de branche verwacht dat dit jaarlijks honderden miljoenen dollars en veel tijd zou kosten. Om dit proces te versnellen, zou OpenAI op zoek zijn naar een bedrijf om over te nemen. OpenAI zou al een overnamekandidaat in gedachten hebben en dit bedrijf ook hebben onderzocht, maar niet duidelijk is om welk bedrijf het gaat.

OpenAI is niet het eerste bedrijf dat zelf AI-chips wil maken. Zo nam Amazon in 2015 Annapurna Labs over om AI-chips te kunnen maken. Microsoft zou zelf ook aan AI-hardware werken die nu door OpenAI wordt getest.

Om als bedrijf te kunnen groeien, en sneller en betere generatieve-AI-verwerkingen te kunnen doen, heeft OpenAI AI-hardware nodig. Nu gebruikt het vooral Nvidia-hardware, bijvoorbeeld via een supercomputer van Microsoft die tienduizenden Nvidia-gpu's gebruikt. De gpu-fabrikant heeft volgens het persbureau tachtig procent van de AI-chipmarkt in handen. Naar verluidt onderzoekt de Franse marktwaakhond of Nvidia hierbij concurrentiebeperkend gedrag vertoont.

Reacties (36)

[raymondw]

https://tenstorrent.com/

Die hebben in de afgelopen weken iemand aangenomen om hun producten (beter) naar de markt te brengen.
Zomaar even een hersenspinsel.

Weet zo 1-2-3 niet een ander bedrijf wat producten heeft, maar die nog niet actief verkoopt...

[ColinZ]

Er zijn genoeg kleinere AI bedrijven zoals Tenstorrent, Cerebras, Graphcore, Groq en SambaNova.

Geen van deze bedrijven heeft tot nu toe echt succes weten te boeken tegenover Nvidia en met het opdrogen van het venture capital geld zijn enkele in de problemen gekomen.

Overname kandidaten genoeg dus.

[TumbleCow]

George Hotz (van eerste iPhone jailbreak and playstation jailbreak fame) heeft hier e.e.a. over geschreven. Ook omdat zijn bedrijf 'Tiny Corp' als uiteindelijke doel heeft om AI chips te maken, maar voor AI chips lijkt de software lastiger dan de hardware, dus ze zijn aan de software-side begonnen.

Zie o.a. https://geohot.github.io/...of-ai-chip-companies.html - en hoe hij zichzelf daarna corrigeert later in die post, en in https://geohot.github.io/...rrection-on-ai-chips.html

[Sissors]

Beter bekend als degene die wel even een zelfrijdende auto ging maken, en toen de Amerikaanse overheid om wat details vroeg, wegrende.

De tweede post die je linkt is redelijk. Maar van de eerste spat de ego af. En ja, het is goed dat hij besefte niet realistisch te zijn, maar alsnog, denken met nul ervaring op chip design gebied in 3 jaar een chip te maken die 100x meer kosten effectief is als nvidia?

[Verwijderd]

Beter bekend als degene die wel even een zelfrijdende auto ging maken, en toen de Amerikaanse overheid om wat details vroeg, wegrende.

Beter bekend als de oprichter van een bedrijf wat dankzij zijn inzet een goed, open-source alternatief bied om bestaande auto's uit te breiden met zelf rijdende functies https://www.comma.ai/.

De tweede post die je linkt is redelijk. Maar van de eerste spat de ego af. En ja, het is goed dat hij besefte niet realistisch te zijn, maar alsnog, denken met nul ervaring op chip design gebied in 3 jaar een chip te maken die 100x meer kosten effectief is als nvidia?

Ook hier mist wat nuance, 100x uitsluitend op het gebied van AI training.

[MSalters]

Alsnog - hij claimt niet alleen NVidia te verslaan, maar ook AMD, Qualcomm, Google ... bedrijven die stuk voor stuk jarenlange ervaring hebben. En ik zie ook een fundamenteel bekende denkfout in zijn aannames over training - eentje die ik 25 jaar geleden bij mijn afstuderen al addresseerde. De ontwikkeling van AI was toen net zo onzeker als nu - hardware ontwerpen die nú precies optimaal is, is overbodig zodra er een nieuw model komt.

[Osiummaster]

Alle custom AI chips zijn tot nu toe vrij waardeloos als het gaat om het trainen van nieuwe modellen. Ooit geprobeerd om AMD en Intel hun AI troep te gebruiken maar zat permanent vast in driver problemen land wegens missende Pytorch functionaliteiten.

Nvidia heeft gewoon heel veel geinvesteerd in CUDA en het werkt gewoon. Bij de rest kan je net aan hun demo modellen runnen maar je eigen custom modellen trainen ho maar.

Voor inference (alleen runnen niet trainen) kan je het nog wel eens werkend krijgen als je model geen nieuwe functies gebruikt, maar vooral voor het trainen van modellen lijken Nvidia GPU's de enige optie.

Ik zeg dit nu al 5 jaar en zie 5 jaar later nog steeds "FABRIKANT GAAT EIGEN AI CHIP MAKEN WANNT SPECIFIEK VOOR AI EN GOEDKOOOP!". En nog steeds zitten al hun datacentra vol met de nieuwste Nvdia GPU's

[Reactie gewijzigd door Osiummaster op 22 juli 2024 17:07]

[ten99]

Ik denk dat het tijd wordt om eens opnieuw te kijken. De ontwikkelingen volgen elkaar snel op.

https://www.mosaicml.com/blog/amd-mi250

https://www.lamini.ai/blo...-gpu-rich-enterprise-llms

AMD timmert met ROCM aan de weg. Het wordt al volop ingezet voor trainen en inference. De MI300X komt deze maand uit en de software is er klaar voor.

Ja Nvidia had een voorsprong qua software maar dat is aan het verdwijnen. Niet in de laatste plaats omdat klanten niet afhankelijk willen zijn van alleen Nvidia.

[Osiummaster]

Nee het is zeker geen tijd om opnieuw te kijken. AMD's deep-learning heeft al 3 jaar lang elk jaar nieuwe updates waarna het "out of the box" gaat werken en telkens verdoet AMD mijn tijd compleet en werkt alleen en demo als je 20x zoveel moeite doet om drivers te compileren ofrzo. Echt complete bagger. Ik ben daadwerkelijk boos dat AMD telkens belooft dat iets werkt terwijl het zeer duidelijk niet werkt. Zelfs als het nu wel zou werken is AMD de jongen die al 3 jaar wolf schreeuwt (maar waarschijnlijk werkt het niet van de 7000 series is net pas een beetje gaming ready).

Heel even gekeken en zie alleen dat Pytorch op Windows niet werkt met AMD https://pytorch.org/get-started/locally/

Intel deed het beter (Alleen CPU geprobeerd) maar was gelimiteerd tot dingen die ze zelf beschikbaar stelde. Tenzij ik op CPU trainde was de Intel iGPU acceleratie ook niet werkend te krijgen (dit gaat dus om custom pytorch modellen van Github zoals TridentNet, niet om Intels eigen geoptimaliseerde modellen voor hun eigein hardware)

Als AMD en Intel echt goed werkten dan was iedereen allang massaal overgesprongen want AMD geeft je veel meer VRAM voor je geld. Maar het feit dat alle deep-learning datacentra nog steeds Nvidia A100's zijn zegt mij dat mijn ervaringen niet alleen anekdotisch waren

[Reactie gewijzigd door Osiummaster op 22 juli 2024 17:07]

[flurb]

Naar mijn mening ook het key issue van de markt,alleen Nvidia heeft haar spul op orde. Intel en AMD kunnen prima chips produceren maar als er werkelijk geen enkel AI framework lekker op draait valt er geen business case van te maken.

[MSalters]

Je commentaar is valide voor PyTorch. Maar Google heeft voor eigen gebruik wél succesvolle TPU's. Eigen chips zijn een oplossing als je ook een eigen stack hebt. Gebruik je PyTorch of Tensorflow, dan wint NVidia.

Overigens is voor inference op productie-nivo vaak het probleem dat Python niet vooruit te branden is. Wij hebben een eigen AI inference stack, die makkelijk twee keer zo snel is (op CPU) dan Python+GPU voor ons probleemdomein (real-time signaalverwerking).

[Osiummaster]

Probleem is dat alle papers die uitkomen Pytorch gebruiken en sta niet echt op het punt om elk model om te schrijven puur om het eens te proberen

Als je hevig quantized dan kan je inderdaad op int8 supersnel modellen draaien, maar dat gaat vaak wel hevig ten koste van accuracy. Maar je kan vanuit Pytorch vaak ook goed quantizen en zeer hoge FPS op GPU's krijgen op FP16 (hoewel quantizen mij vroeger ook wel eens problemen gaf met nieuwe modellen zelfs op Nvidia).

DLSS is immers ook een goed geoptimaliseerd GPU model wat veel FPS in games aan kan.

[MSalters]

Ja, de shift van Tensorflow naar PyTorch is wel opmerkelijk ja.

Quantization is voor ons niet eens echt hard nodig, opmerkelijk genoeg. FP32 werkt ook prima op moderne ARM's met NEON. Er zijn inmiddels genoeg andere manieren om een netwerk klein te houden.

[TLLRS]

Voor 2 triljard aan marktwaarde kun je best een 20-tal NVIDIA engineers aan nemen.

[geert1]

Ter info: het Engelse "trillion" is "biljoen" in het Nederlands. Wij gebruiken de lange schaal voor grote getallen en zij de korte (wiki).

[Rob Coops]

Ik denk dat het inderdaad erg lastig is om zelf even een AI capable chip te maken de kennis, pattenten en andere noodzakelijkheden die Nvidia gedurende vele jaren heeft weten te verzamelen is niet iets wat je zo maar kunt evenaren laat staan voorbij streven.

Natuurlijk kun je als relatief kleine AI speler echt niet even een chip ontwerp team uit de grond stampen dat een bedrijf als NVidia dat miljarden ophaalt met iedere nieuwe generatie AI chips en dus ook heel erg veel kan investeren in de volgende generaties. Ook blijkt het kijk naar Intel zelfs met miljarden tot je beschikking en een enorm team met zeer getalenteerde ontwerpers en architecten nog steeds erg lastig om even een echt concurrerende chip te bouwen. En als je je dan bedenkt dat de meeste AI bedrijven startups zijn die vertrouwen op venture capitalists en andere dappere investeerders dan snap je meteen waarom dat soort clubs tot op heden geen doorbraak in AI hardware hebben weten te bewerkstelligen.
Maar er is een reden om te denken dat OpenAI anders is dan dit soort bedrijfjes. OpenAI heeft een product dat ze veel geld oplevert ze hebben een erg rijke geldschieter (Microsoft) die zelf al een AI hardware tak heeft en dus is het niet geheel vreemd om te overwegen die zelfde kant op te gaan. Ik neem aan dat men dan met Microsoft samen zal willen werken om de hardware te ontwikkelen iets dat geen van de andere AI hardware aspiranten als optie heeft gehad.

Is het een goed idee, ja en nee. Aan de ene kant is de kans op success klein aan de andere kant is de beloning als het wel lukt extreem groot. Dankzij een bestaand en succesvol product een rijke geldschieter en hoogstwaarschijnlijk een mogelijkheid om samen te werken met een bestaand team is de kans op success een stuk groter dan bij de doorsnee AI startup.
Ondanks dat heb ik er een hard hoofd in, Intel poogt een AI chip te maken en heeft letterlijk miljarden uitgegeven, heeft vele decennia aan kennis en eigen fab's etc en toch is de eerste generatie nog niet goed genoeg om de markt leider te bedrijven. Al is de chip wel veel beter dan de meeste mensen verwacht hadden en zullen de dames en heren bij NVidia echt wel goed opletten wat Intel nog meer wil doen in deze markt. Dus ook Intel zal er nog een paar miljard op stuk moeten gooien voor ze echt NVidia naar de kroon kunnen steken in de AI wereld. Voeg daar aan toe dat Microsoft nu niet echt bekend staat om de processoren die ze maken, geen ervaring heeft op dit gebied en dus ook geen eigen fab's heeft om mee samen te werken en kennis te delen over aankomende nodes en de mogelijkheden/beperkingen die die met zich mee brengen.

Ik denk dat als OpenAI dit echt wil gaan doen en het niet slechts als een idee op tafel heeft liggen om eens om te lachen en weer gewoon verder te werken dan gok ik er op dat het een heel erg duur project zal worden dat waarschijnlijk niet zal slagen omdat het helaas heel erg veel lastiger is om een echt goede AI chip te maken dan de meeste slimme mensen binnen AI startups lijken te denken.

[IanEatsBabies]

Python probleem, geen hardware. Leuk om even iets te proberen python, voor het serieuze werk zijn er betere talen zoals c++ maar dan moet je wat moeite doen...

[Osiummaster]

Zal gelijk ff naar Google bellen zeggen dat ze ophouden met Python te gebruiken. omdat C++ bestaat Goede tip kerel!

[MSalters]

Welnee, en dat zeg ik als iemand die een eigen AI stack in CUDA/C++ heeft geschreven. Python is een prima taal voor "glue" - dingen aan elkaar plakken. Maar 90% van de tijd zit toch in CUDA executie of anders NumPy.

[atthias]

Hopelijk biedt dit kansen voor AMD om meer va hun business chips te kunnen verkopen gezien de honger naar rekenkracht groot blijft

[Reactie gewijzigd door atthias op 22 juli 2024 17:07]

[Cowamundo]

Ik denk niet dat Nvidia, AMD of Intel hun "AI Chip" afdeling gaat verkopen.

En zelf van de grond af aan chips ontwerpen gaat ze sowieso een achterstand opleveren.

[atthias]

ik zal mijn originele bericht verduidelijken maar hoopte dat open AI hierdoor ook AMD GPU zou kopen wat AMD meer budget zou geven voor de concurrentie met Nvidia

[Arjant2]

Vraag alleen is of de consument hierbij gebaat is voor wat betreft gaming GPUs.
Je ziet nu al dat Nvidia zich niet zo druk maakt over de consumenten GPUs aangezien ze hun capaciteit liever inzetten voor de AI markt waar ze veel meer mee verdienen.
Gevolg is dat de consumenten GPUs duur blijven en AMD gewoon een goede kans maakt nu bij de consumenten met goedkopere GPUs. Als AMD ook haar capaciteit bij leveranciers in gaat zetten voor AI kaarten dan is de gaming markt alleen maar de dupe.

[atthias]

dat is terecht een risico ja helaas

[MSalters]

Nee.

Dit bericht is een elegante manier om te zeggen dat OpenAI geen vertrouwen heeft in AMD en ROCm als alternatief voor NVidia en CUDA. OpenAI wil liever nog zelf van 0 beginnen dan wachten op AMD.

[atthias]

Een perspectief wat ik nog niet bedacht had

[tmfh]

Klinkt als de cpu -> gpu -> ASIC stappen die crypto ook heeft doorgemaakt.

[beerse]

De term ASIC ('application specific intergrated cirquit') kan je ook op de GPU zelf plakken. Al zijn er ook meer algemene/generieke ASIC chips die op basis van microcode en/of firmware specificaties krijgen.

Dat doet mij meteen denken aan andere ASICs zoals ooit transputers een belofte waren. Met dergelijke specifieke ASICs is het niet alleen het doel van die chips maar moet je ook kijken naar de markt voor die zaken. Natuurlijk zeggen we nu dat een ai-chip de belofte is omdat ai de belofte is. Maar wat maakt een ai-chip speciaal?

Ter vergelijk: een gpu is speciaal ten opzichte van een cpu in dat het werk van een gpu zich makkelijk laat paralleliseren en op zich niet veel reken werk is. Daarom heeft een gpu veel reken-eenheden die ieder voor zich niet zo heel krachtig zijn. Maar wel veel communicatie bandbreedte, hier letterlijk door veel bits parallel te versturen.

[MSalters]

Lol, nee. De hele term "GPGPU (General-Purpose GPU)" verwijst juist naar het feit dat een moderne GPU alles behalve applicatie-specifiek is. De oude GPU's van 15 jaar geleden waren specifiek voor graphics, vandaar Graphics Processing Unit.

[Pompidompi]

Google gebruikt al sinds 2015 z'n Tensor Processing Units, die voor hetzelfde doel geëigend zijn.

[Coolstart]

Nu gebruikt het bedrijf hier vooral Nvidia-AI-gpu's voor, maar OpenAI is bang voor tekorten en oplopende kosten.

Dat is een verhaal dat je overal hoord. Nvidia-AI-GPu's zijn gewoon heel erg duur en iedereen wil zelf aan AI-Gpu's en NPU's bouwen omdat rekenkracht ook een competitief voordeel heeft tegenover de concurrentie. Dus je stoot al snel op financieële beperking als je een model wil trainen.

[Jan Onderwater]

Ik vraag me al een tijdje af, welke applicatie software maakt sterk gebruik van de NPU? De Industrie schijnt het erg belangrijk te vinden, maar ik kan er weinig over vinden behalve daadwerkelijke AI software en die zijn online gebaseerd en afaik niet lokaal. Toch zet Apple heel erg in op haar Neural Engine ook in desktops en laptops. In een smartphone zie ik toepassingen in de camera voor computational photography en video. Maar in een desk/lap-top?

[A-tot-de-B]

Ik zou toch zeggen gebruik dan openAI om een AI chip te ontwikkelen

[jcnwillemsen]

Allemaal leuk, maar wie gaat de wafers bakken? Et is nou niet alsof men bij TSMC veel overcapaciteit heeft.. Laat staan voor kleinere orders.

[Dark Angel 58]

Ik wil even op de gevaren van AI chips wijzen... Ze moeten echt goed oppassen en echt ervoor zorgen dat AI chips niet in de wapens komen. De gevolgen zijn echt groter als AI chip een vergissing maakt (die door mensenhanden zijn gemaakt).

Ik ben wel voorstander van AI chips, maar niet voor wapens, anders neemt AI een kernbom over en lanceert zelf, zet stoorzender aan zodat andere rakketten het niet kan treffen) en locked out zodat het niet meer overgenomen kan worden... en het valt op Witte Huis of op locatie waar Mark Rutte bevindt... stel je dat voor