Reuters: OpenAI werkt met Broadcom en TSMC aan eigen AI-chip

OpenAI werkt naar verluidt samen met Broadcom en TSMC aan een eigen AI-chip. Het zou gaan om een gespecialiseerde processor voor getrainde AI-modellen. OpenAI heeft de plannen nog niet officieel aangekondigd en er is daarom nog geen releasedatum bekend.

Er gaan sinds deze zomer geruchten rond over een in-house ontwikkelde AI-chip van OpenAI, die in samenwerking met Broadcom gemaakt zou worden. Reuters meldt op basis van anonieme bronnen dat ook TSMC betrokken is bij de ontwikkeling van de technologie. In eerste instantie zou de chipproductie in een eigen foundry plaatsvinden, maar die plannen zou het bedrijf geschrapt hebben. Mogelijk zoekt de ChatGPT-maker naar nog meer partners om technologieën voor de gespecialiseerde processors te kunnen combineren.

OpenAI zou specifiek werken aan eigen gespecialiseerde inference-chips. In tegenstelling tot de meeste huidige processors, is een dergelijke chip niet bedoeld om kunstmatige intelligentie te trainen, maar om op basis van een 'afgetraind' model en nieuwe informatie een resultaat te berekenen. Volgens Reuters zijn dergelijke chips vooralsnog minder populair dan trainingchips, maar naarmate er meer 'voltooide' modellen uitkomen, moeten inferencechips de overhand nemen.

Twintig werknemers, waaronder Google Tensor-ontwikkelaars Thomas Norrie en Richard Ho, zouden aan het project werken. De eerste chips, die dankzij Broadcom bij TSMC gemaakt moeten worden, zouden vanaf 2026 geproduceerd worden. Vooralsnog koopt OpenAI gpu's en andere processors bij andere fabrikanten, waaronder bij Nvidia.

Reacties (18)

[gatlarf]

Hopelijk gaan ze dan meteen voor een analoog ontwerp om het verbruik van al dat AI-geweld wat te temperen. Zoals IBM (en anderen) bijvoorbeeld onderzoekt.
Edit: typo

[amigob2]

natuurlijk gaan ze niet voor iets wat nog in onderzoeks-fase zit. ze gaan voor bewezen technologie, en ik hoop dat ze een goede concurrent worden van Nvidia want die harken op het moment veel te veel geld naar binnen

[copi]

Deze chip is denk ik niet bedoeld als concurrent voor nVidea. De GPU wordt met name gebruikt voor trainen, wat een veel zwaardere belasting is.
Voor scoren / inference kan je vaak met een CPU af. Ik kan me zo voorstellen dat deze chip voor mobiele apparaten is, om goede performance tegen weinig verbruik te krijgen. Iets waar de GPU niet in uitblinkt.

[latka]

Partnership met Broadcom... Met het geld zit het wel goed, maar dan riching Broadcom dus. Broadcom is de OpenAI van hardware: alles zit muurdicht met NDAs en de development kits kun je kopen voor een linker- of rechternier. Liefst beide.

[Powerblast]

Ik zou dat in ieder geval niet van OpenAI verwachten. Die willen juiste de wereld veroveren koste wat het kost met AI dus ik verwacht niet dat ze wakker liggen van het energiegebruik. Dat lijkt me idd meer iets voor specialisten zoals een IBM die nog meer met hardware bezig zijn volgens mij. OpenAI lijkt me vooral een club die softwarematige ontwikkelingen zal doen. Vind deze inhouse chip eigenlijk al een ontwikkeling die ik niet verwacht had van OpenAI.

[Reactie gewijzigd door Powerblast op 29 oktober 2024 20:29]

[Coolstart]

Sinds Nvidia €20k tot €50k per AI kaart vraagt is het niet verwonderlijk dat grote AI-focused bedrijven hun eigen AI-chips gaan bouwen.

Nvidia is sowieso de eerste en de beste op dat vlak en ze hebben hun vel duur verkocht. Of dat duurzaam was weet ik niet maar ze hebben alvast een gigantische oorlogskas opgebouwd.

Het AI tijdperk heeft niet enkel een effect gehad software services maar zeker ook de chipindustrie veranderd. Los van AI, de revolutie in de chipindustrie was al gestart met ARM chips voor laptops en desktops maar nu gaan we ook een AI-chip race zien met andere spelers dan AMD en Nvidia.

Je kan niet anders dan concluderen dat het dominante speelveld van AMD/Intel/Nvidia wordt sinds mensenheugenis verstoord door nieuwe spelers.

Voor tech-liefhebbers onder ons gaat dit echt een spektakel worden. Oude krachten onder druk, nieuwe krachten in de running. Hoelang is dat al geleden dat we zo’ revoluties meemaken op korte tijd. I love it!

[Snowfall]

Sinds Nvidia €20k tot €50k per AI kaart vraagt is het niet verwonderlijk dat grote AI-focused bedrijven hun eigen AI-chips gaan bouwen.

Gaat niet perse om de prijs van hardware. Het probleem van bijvoorbeeld Nvidia chips is dat ze allemaal hetzelfde doen. Je hebt als bedrijf geen invloed op de ontwikkeling of op de instructies die Nvidia toevoegt.
Het grote voordeel aan zelf chips ontwikkelen is dat je zelf je hardware kan ontwerpen voor je software en andersom. Custom instructies en soortgelijke. Beetje zoals hoe Apple MacOS zelf bouwt en ook hun M chips zelf bouwt en ontwerpt en volstopt met Apple specifieke instructies.

[Roel1966]

Toch blijf ik het allemaal maar vaag vinden met die zogenaamde AI chips zeker in een tijd dat er meer dan voldoende rekenkracht is bij de bestaande 'normale' cpu's. Ergens lijkt het weer een beetje naar vroeger te gaan toen je nog aparte chips naast de cpu kon zetten voor pure rekenkracht. Dus ik vind het steeds meer een beetje een verkoperspraatje te worden, made for AI, build for AI etc.. etc....

[sjettepetJR.]

Ja, veel van de AI marketing is niets meer dan marketing, daar ben ik het volledig mee eens. Dit betekent niet dat alle AI marketing gebakken lucht is.

Ten eerste is het concept 'rekenkracht' niet zo simpel uit te drukken. CPUs zijn eigenlijk qua ruwe rekenkracht heel zwak, maar zijn wel heel flexibel in wat ze kunnen. Elke PC heeft in ieder geval een CPU nodig als je er bijvoorbeeld Windows op wilt draaien.

Decennia geleden hebben we de GPU bedacht en deze is ook nog steeds naast de CPU de belangrijkste processor in de computer. Traditioneel worden ze veel gebruikt voor 3D graphics. Ze zijn veel minder flexibel, maar kunnen heel veel simpele dingen tegelijkertijd uitrekenen. Ze zijn naast 3D graphics ook fantastisch voor verwerking van grote datasets.

Een CPU en GPU zijn dus simpelweg compleet andere architecturen die ook in verschillende dingen veel beter zijn. Niet alleen kan je ze sneller maken, maar je kan ze ook efficiënter maken; een architectuur die specifiek gemaakt is voor een bepaalde taak verbruikt potentieel een fractie van de stroom.

Dit geld net zo voor de NPUs die nu ontwikkeld worden. AI is één van de zwaardere taken die tegenwoordig nog op consumenten computers wordt gedraaid. Een AI draaien op een CPU verbruikt veel meer energie dan wanneer je een speciaal ontworpen NPU gebruikt. Het verschil tussen GPU en NPU is kleiner, maar niet verwaarloosbaar.

Dit is ook één van de redenen dat we vooral in laptop-CPUs tegenwoordig ingebouwde NPU-cores zien. Op een desktop is stroomverbruik niet zo belangrijk, en maakt het niet voor de meeste mensen niet uit dat het draaien van een AI op je GPU wat minder efficiënt is.

[Roel1966]

Het verschil tussen GPU en NPU is kleiner, maar niet verwaarloosbaar.

Mooie duidelijke uitleg maar toch ontkom ik er dan niet aan dat een NPU in feite bij een desktop niet echt nodig is en dit met aanpassingen dan ook met behulp van de GPU kan gebeuren. Gevaar bestaat namelijk nu weer dat bestaande desktops dan vervangen moeten worden door gebrek aan een NPU. Slimme zet natuurlijk van fabrikanten want op die manier kunnen ze dus weer nieuwe hardware verkopen.

[gatlarf]

Dit zegt ChatGPT er zelf over:

GPU's zijn sneller dan CPU's voor AI-taken omdat ze duizenden gelijktijdige berekeningen kunnen uitvoeren dankzij hun parallelle architectuur. Ze hebben ook een hogere geheugenbandbreedte en zijn geoptimaliseerd voor repetitieve taken, zoals matrixvermenigvuldigingen in neurale netwerken. Dit maakt ze veel efficiënter voor het verwerken van grote datasets.

[Roel1966]

Dus met andere woorden is er geen aparte z.n. AI chip nodig en kan ook net zo goed de GPU gebruikt worden.

[gatlarf]

Wel, ik heb nu eigenlijk verkeerdelijk (datacenter) GPU’s vergeleken, want draaien ze nu op. Deze nieuwe chips zijn echter vergelijkbaar maar qua berekeningen maar zijn dan eerder geoptimaliseerd voor het verwerken van neuraal netwerk taken, en dus ook met heel wat parallellisatie.

[Roel1966]

Ja oke dat snap ik maar ik doel meer op de gewone consumenten pc's en niet zozeer dan op cloud gebaseerde AI.

[Powerblast]

Vind het statement dat inferencechips de bovenhand moeten nemen wel speciaal. Wanneer is een AI model dan "compleet"? Als een AI model x tijd getrained is maar vervolgens niet meer bijgewerkt wordt verliest het op termijn toch zijn meerwaarde? Ik zou juist denken dat je zo een model continue moet bijwerken met nieuwe info, beslissingen, ontwikkelingen die ervoor zorgen dat je opnieuw moet trainen voor een stukje. Zit zelf niet diep genoeg in die wereld dus misschien zeg ik nu iets dat op niks slaat

[latka]

Trainen doet OpenAI dan voor je en je koopt het nieuwe getrainde model van hen. Waarschijnlijk in een soort van abonnement vorm. Inference mag je zelf doen maar trainen liever niet om dit model in stand te houden.

[gatlarf]

nevermind

[Reactie gewijzigd door gatlarf op 29 oktober 2024 23:41]

[Krommetenen]

Wat is het verschil in chips?
Bron: https://builtin.com/artic...0calculations%20at%20once.

“AI Chips Have Parallel Processing Capabilities
While general-purpose chips employ sequential processing, completing one calculation at a time, AI chips harness parallel processing, executing numerous calculations at once.”

Dit was de financiële bubble begin van het jaar.

Nu lees ik dat men “weer” aan een nieuwe chip begint? Ik lees niet waarom deze chip wel een succes zou moeten zijn in vergelijking met andere AI-chips.