'MediaTek wint aanbesteding van Broadcom voor productie AI-chip van Meta'

MediaTek zal waarschijnlijk de Arke-chip gaan ontwerpen die Meta wil gebruiken voor zijn AI. Volgens DigiTimes gaat het om een 2nm-asic en begint de massaproductie in 2027. Er wordt verwacht dat het bedrijf de aanbesteding, waaraan onder meer Broadcom deelneemt, zal winnen.

De productie van de Arke-chip stond eerder niet op de planning van Meta. Na de Iris-chip, die door Broadcom wordt ontworpen en eind dit jaar in massaproductie moet gaan, wilde het bedrijf zich richten op de Olympus-chip.

Meta heeft echter onder meer uit kostenoverwegingen besloten om de Arke-chip aan de productlijn toe te voegen. Deze 2nm-chip is specifiek voor AI-inference. Dat wil zeggen dat de nieuwe chip niet bedoeld is om AI te trainen, maar om getrainde modellen op basis van hun opgedane kennis toe te passen op nieuwe data. Zowel Olympus als Arke wordt geproduceerd op het N2P-proces van TSMC, beweert DigiTimes.

Meta zou de Olympus-chip nu herpositioneren als een trainingschip om te concurreren met de toekomstige gpu's van Nvidia. Volgens DigiTimes wordt deze asic, waarvan de massaproductie in 2028 moet beginnen, net als Meta's eerdere chips ontworpen door Broadcom. MediaTek en Meta sloten in 2023 een samenwerking om chips te ontwerpen voor de AR-brillen van het socialemediabedrijf.

Reacties (28)

[Rogers]

Met die extreme prijzen van Nvidia verbaast het mij dat het nog zo lang duurt voordat de grote spelers overstappen op custom AI chips.

[djwice]

Als de opbrengst vele malen hoger is dan de investering is er minder drang tot kostenreductie.

[jamesmay]

Maar de opbrengst is niet vele malen hoger dan de investeringen die deze bedrijven doen. Sterker nog, ze verliezen er tot nu toe alleen nog maar geld op.

[djwice]

Oh, mijn indruk is anders. Welke bron heb je daarvoor? Wellicht zit ik in een verkeerde informatie bubble

[jamesmay]

Bijvoorbeeld Meta, Google, Amazon en OpenAI.

OpenAI überhaupt nog niet winstgevend (nog lang niet), maar koopt honderdduizenden Nvidia GPUs.

Meta, Google en Amazon, investeren op het moment 70-100 miljard in 2025, FCF is allemaal naar 0 gegaan door deze giga investeringen. Kijk maar naar hun Q1 en Q2 2025 (Google Q2 is net uit, Meta en Amazon bijna).

De opbrengst van AI voor Meta is nog bijna nul.. Die doen het vooralsnog om zelf niet onafhankelijk te zijn van AI, het gratis kunnen aanbieden van MetaAI zodat mensen hun producten blijven gebruiken en zelf superintelligente te kunnen gebruiken in de toekomst.

Google en Amazon verkopen wel wat meer cloud diensten door AI maar alsnog lang geen 80-90 miljard extra die het ze tot nu toe per jaar kost.


Ze moeten allemaal wel. Nvidia is de enige die ECHT keihard casht, samen met TSMC, maar dat is al een stuk minder.

Of ze al die honderden miljarden in investeringen überhaupt terug verdienen is nog maar de vraag (Deepseek zei dat ze voor 6 miljoen een bijna evengoede LLM gemaakt hadden). Maar ja, je moet wel nu, Meta bijvoorbeeld kan het risico niet nemen om de andere big tech vrijuit superintelligentie te laten bouwen.

En die Chatbots zijn ook best duur om te gebruiken. Dat ze gratis zijn, of zo goed als, komt omdat iedereen anders naar de concurrent gaat. Als ChatGPT geld gaat vragen ben ik naar Gemini..

OpenAI heeft zelfs gezegd dat ze op ChatGPT Plus van zo'n 20 euro per maand nog geld verliezen omdat mensen het zoveel gebruiken...

[djwice]

Google ontwerpt nieuwe chips met hun AI en heeft die succesvol uitgerold.

Microsoft verdient bakken met geld aan Azure, thanks to AI boom.

Google heeft recent deal gesloten met Amerikaanse overheid voor AI.

Om qwen3-coder op prettige snelheid te draaien heb je toch een flink Nvidia bakbeest nodig.
Had Anthropic niet 4 miljard revenue laatst?

Let op de marketing praat, mensen gaat het meer gebruiken als je zegt dat je verlies draait omdat anderen het veel gebruiken.
Net als die scooters die in 10 minuten je boodschap thuis bezorgen, nu ff goedkoop, totdat je niet meer zonder kan en ze de concurrentie weg geprijsd hebben.

Thuis draait een llm en genai modellen gewoon 10H op de laptop zonder stroom stekker. Kleinere modellen, maar toch. Kosten zijn anders dan mensen denken.
Muziek genereren in beste qualiteit gaat op een h100 gaat met 4 liedjes per 10 seconden of sneller (20GB vram per liedje)..

[Reactie gewijzigd door djwice op 24 juli 2025 13:54]

[jamesmay]

Snap eerlijk gezegd niet veel van wat je allemaal hebt geschreven... Allemaal random punten?

De vraag was, verdienen grote tech bedrijven veel geld of niet op de investeringen die ze doen.. Want ze betalen 40k voor een GPU die Nvidia voor 4-5k maakt.. Jij stelde, ja, en dat maakt ze niet zoveel uit als de opbrengst nog velen malen meer is.

Waarop ik uitleg dat dat niet zo is. Ze investeren velen malen meer dan ze verdienen.

Dan kan je wel allemaal random punten gaan schrijven van Microsoft verdiend bakken aan Azure, en ja dat klopt, maar ze investeren meer dan de winst van Azure in AI..

Dus dan hou je weinig over.. En het punt is en blijft, dat ze niet denken van ''ach, 40k per GPU, maakt niet veel uit want de winst is hoog zat nu''. Absoluut niet. Alleen wat moeten ze dan? Ze moeten snel, want anders zit straks iedereen bij je concurrent.

En je punt op thuis bezorgt, tja. Zoals ik al zei, Deepseek heeft plotseling een LLM voor 6 miljoen weten te maken. Je weet totaal niet wat de toekomst biedt. Misschien dat deze big tech nu 100 miljard per man per jaar in AI stoppen, en dat er over 5 jaar nog 10 spelers zijn die het net zoals Deepseek voor een prikkie ook weten te doen. Dan zit je met je MetaAI van 400 miljard, terwijl andere bedrijven ineens met je kunnen concurreren voor 1/10e.

Soms werken giga investeringen, omdat de klant dan zo'n beetje vast zit aan je diensten, en soms blijkt het achteraf allemaal geld verspilling te zijn geweest

Als je wil weten wat er binnenkomt en wat eruit gaat, dan kijk je, zoals ik al zei, even in de financiële rapporten van deze bedrijven. De meeste zijn namelijk beursgenoteerd, behalve OpenAI, maar dat OpenAI veel geld verliest is ook geen geheim.

Het is niet zo moeilijk, OpenAI hoopt dat de 600-900 miljoen mensen die hun app gebruiken blijven, blijven betalen terwijl ze de kosten kunnen drukken, maar helemaal mooi zou zijn een soort ''Google'' service in de ChatGPT app te verwerken. Google verdiend daar namelijk zo'n beetje 80% van hun winst marges aan.

Voor Meta geldt hetzelfde, ze verliezen dik op het gratis maken van MetaAI, maar houden daardoor wel mensen op hun platformen, kunnen de AI zelf gebruiken en die kan hopelijk later werknemers vervangen, en die kunnen later ook een soort Google/search engine dienst verwerken in de chatbot.

Google moet wel, want anders peert iedereen hem naar MetaAI of ChatGPT.... Dus iedereen die ze in hun Gemini app kunnen behouden is een klant minder kwijt.

Microsoft (en Google en AWS) verdienen heel goed aan hun cloud door AI, maar ze investeren meer, dus geen winst.. Even uit m'n hoofd, AWS van Amazon heeft iets van 28 miljard winst gemaakt in de laatste 12 maanden, maar Amazon investeert wel 100 miljard in AI dit jaar. Dus ja, leuke, en veel winst, maar als je bijna 4x zoveel investeert, moet die winst nog wel ff wat hoger voor het echt rendabel wordt.

[djwice]

Microsoft investeerde eenmalig 10 miljard aan Azure credits in OpenAI.

Hoe doet Azure het sinds het AI gebruik daardoor booming werd?
https://finance.yahoo.com...ared-azure-141831890.html

https://www.constellation...venue-run-rate-13-billion

Hoeveel deden ze vorig jaar:

Azure AI business annual revenue run rate of $13 billion.

En ja ze blijven daar uiteraard in investeren: nieuws: Microsoft investeert in Duitsland 3,2 miljard euro in cloudomgevingen...

[Reactie gewijzigd door djwice op 24 juli 2025 21:01]

[jamesmay]

Ik snap je punt niet. Ik had dit al in mijn vorige post vermeld. Cloud groeit als kool, voor alle 3 de tech giganten. Maar ze gaan nu zo'n beetje 100 miljard de man uitgeven aan AI. Dat is zoals ik al zei veel meer dan ze verdienen MET AI. Dus vandaar, dat ze nu nog verlies lijden, en geen winst maken.

Je zei dat als de winst hoog genoeg is er minder drang is tot kostenreductie. Nou, de bedrijven die honderdduizenden Nvidia GPUs kopen, maken op het moment nog geen winst op die investeringen.

Maar, OpenAI verliest BAKKEN met geld. Google, Amazon en Microsoft verdienen 10-20 miljard aan AI maar investeren 80-100 miljard de man in AI...

Makkelijk rekensommetje toch? 80-100 miljard kosten aan AI, 20 miljard opbrengst.

Meta, heeft helemaal amper inkomsten van AI, maar investeert dit jaar ook even 75 miljard...

Vandaar dat de Rogers zei dat het hem verbaast dat het nog zo lang duurt voordat de grote spelers overstappen op custom AI chips.

Als je het simpel wil houden, kan je een bedrijf als OpenAI pakken. Die hebben geen andere takken van het bedrijf, maar zijn puur een AI/LLM/Chatbot bedrijf. Die verliezen mega veel geld, zelfs op betalende klanten...... Dus een dikke vette nee, bedrijven verdienen niet mega veel nu dat die investeringen uit kunnen.


Cloud van Microsoft, Google en Amazon zitten al 10 jaar lang miljarden investeringen in.. Dat die nu een beetje beginnen met cashen heeft ook niks te maken met de investeringen die bedrijven nu allemaal doen in AI, en daardoor dus die mega dure Nvidia GPUs.....

Als Google geen 100 miljard uit Google search verdiende, hadden ze ook dikke verlies geleden dit jaar, of Microsoft met Windows, Office programma's etc..

En winst is ook een accounting dingetje. De mega investeringen vallen onder Capital Expenditures, dat raakt de FCF in het zelfde jaar nog, maar wordt afgeschreven over de volgende 5-7 jaar.

Hoop dat je het nu snapt..

[retrey]

Ik heb begrepen dat een andere chip het probleem niet is.


Nvidia bied een compleet pakket waardoor hun oplossing superieur is tegenover andere merken.

[ColinZ]

Vergeet niet dat Nvidia ook de sofware (CUDA/Libraries/Tooling/Support) en networking (Infiniband/Ethernet/NVLink) levert. Alleen Google heeft enig succes geboekt met hun in-house TPUs, en dan alleen binnen Google zelf.

[Keypunchie]

Omdat ze de kaarten nogal dicht tegen de borst houden (en het software-gedeelte van AI gewoon niet lekker in de vingers lijken te hebben) denk ik dat Apple's Neural Engine wordt onderschat.

[PuzzleSolver]

Apple is op software AI vlak misschien niet zo goed, maar hun hardware lijkt wel de goede kaarten te hebben. Een M3 Ultra doet het best goed met LLM's, e hbben veel ervaring met unified GPU en snelle SOC's ben benieuw wat er uit gaat komen.|

Maar er springen veel meer partijen in deze boot. Er zijn meerdere partijen bezig met edge AI inference zodat AI straks ook beter schaalt als iedereen het wil gaan gebruiken.

[ABD]

Humor. Elke consumenten GPU van Nvidia in de pricewatch, zelfs een GTX3050, blaast de NPU van de M3 Ultra uit de spreekwoordelijke lucht qua TOPS. En dan hebben we het over standaard consumenten GPUs. Wat een GTX3050 kan is niet eens een scheet vergeleken tot de GTX5000 serie, en dan hebben we het alleen over gaming consumenten videokaarten en niet over professionele oplossingen van NVIDIA.

[Reactie gewijzigd door ABD op 23 juli 2025 18:19]

[PuzzleSolver]

Wat is er dan grappig aan? Misschien moet je je eerst eens verdiepen in de materie, genoeg mensen die een M3 ultra aanschaffen voor AI werk. Een 5090 heeft nl niet zoveel geheugen. Een RTX6000 met 96GB is best prijzig. Een M3 ultra met 96GB kost minder dan de helft, voor ongeveer de helft aan LLM performance.

https://www.reddit.com/r/LocalLLaMA/comments/1j4jpij/m3_ultra_is_a_slightly_weakened_3090_w_512gb/

Ik verdiep me nl wel in de materie, en mijn conslusie is dat je nog beter even kan wachten.

[ABD]

Ja, jij verdiept je zo erg in de materie dat je een reddit post aanhaalt, die een apple press release aanhaalt, waarin geen specs staan.... Een wij van "wc eend raden wc eend aan" press release research noemen, jij bent mij er eentje! Nvidia doet niet zo moeilijk, die levert specsheets ipv verkooppraatjes.

M3 Ultra's NPU levert 36 AI TOPS, dat is een lachertje. Een 5090 doet 3352 AI TOPS. Bijna 100 keer de performance voor slechts 2 keer de prijs, dat is ee koopje! Een RTX5050 doet 421TOPS. Toen de RTX3000 serie uitkwam, was de NPU hype nog niet helemaal aangezwengeld, dus die data staat niet in de sheets, maar volgens jouw bron reddit doet een 3050 6GB zelfs meer dan de M3.

NPU coprocessoren zijn momenteel geen partij voor NVidia GPUs. Het is Meta niet gelukt met de Olympia, dat is waarschijnlijk de reden waarom ze het uitbesteden aan MediaTek, maar ik zou niet rekenen op serieuze competitie voor Nvidia. Misschien als ze heel, heel erg zuinig zijn en met miljoenen geschakeld kunnen worden. Maar je commerciele laptop NPUs gaan de komende jaren geen match zijn voor de dedicated GPUs. Ook niet vergeleken met die van AMD. Dit is nuiten de software die Nvidia levert, een zeer belangrijke component.

Hoe dan ook, deze puzzle heb je niet zo sterk opgelost, maar ga gerust door met claimen dat ik onderzoek moet doen. Als je gaat wachten op een ARM SoC met NPU coprocessor die in de buurt komt van de kracht van een dedicated videokaart, kun je wachten tot je dood en begraven bent, vrees ik.


PS: wat betreft dat geheugen, die 96GB van de Apple MacBook die je aanhaalt; je haalt systeemgeheugen en vram door elkaar. Je kunt bij een desktop waar je een GPU in prikt ook 96GB, of zelfs meer, systeemgeheugen prikken. Op een doorsnee moederbord kun je 128GB ddr ram prikken. Dat de NPU van een M3 geen VRAM heeft, maakt het minder snel dan een dedicated GPU met VRAM. Dit geeft bij mij aan dat je er niet zoveel van snapt.

[Reactie gewijzigd door ABD op 24 juli 2025 17:38]

[PuzzleSolver]

Het gaat niet alleen om TOPS probeer, het gaat ook om geheugen BANDBREEDTE voor het draaien van LLM's. En verder gaat het om een betaalbare combinatie. Tuurlijk veegt een discrete GPU de vloer aan met een IGP, ondanks dat Apple best een snelle IGP heeft. Er zijn zelfs Metal implementaties voor het draaien van de LLM's.

YouTube: Ditch 512 GB Monster…this M3 Ultra Just Redefined “Enough”


Ik haal geen Vram en Ram door elkaar het is unfied memory, dus gedeeld met de GPU in de SOC. En verder zijn er veel meer links te vinden en hoef je me niet persoonlijk aan te vallen, kunnen we hier op tweakers ineens ook niet meer normaal reageren. Dis dis dis blerghhhhh.

[Reactie gewijzigd door PuzzleSolver op 24 juli 2025 18:39]

[ABD]

Zelfreflectie is er niet bij. Je 'dist' zelf door te claimen dat ik geen onderzoek zou doen en dan kom je met je eigen 'onderzoek' , een apple persbericht. Gefeliciteerd, ik geef op, jij wint.

[PuzzleSolver]

Ik wou je niet te dissen maar je begin een post met "Humor" alsof ik ozin sta te verkopen. Ik probeer je bewijs aan te leveren met een link naar Reddit user en een dis met doe onderzoek, dat had ik idd niet moeten doen, sorry daarvoor.

Maar de link is geen Apple persbericht, het is een reddit link van een user. De 2e link is van een persoon op Youtube die allemaal testen loopt te doen met LLM hardware, OA de M3 en hoe deze zich verhoudt tot de videokaarten. Ik zou niet opgeven, maar wat proberen te leren van de informatie. Misschien worden we samen wijzer, dat was voor mij de reden om op tweakers te komen de laatste 24 jaar, maar het is hier erg vijandig geworden.

Ik ben overigens net bezig met testen van modellen op m'n PC met 64GB geheugen en een RTX 4090 en op m'n werk laptop een M4 Pro met 48GB geheugen. Als het model in memory past van de RTX4090 dan deze 3 tot 4 keer zo snel als m'n M4 Pro, de M3 ultra is 2 keer zo snel (meer GPU cores). Als het model niet past in de videokaart is de Apple sneller zie ik in reviews, maar er zijn amper modellen die groter zijn dan 24GB en kleiner dan 48GB. De interresante modellen zijn ronde de 200 tot 500GB zoals de recente Kimi k2 en Qwen.

Hiermee had iemand op een Mac studio ook nog best goede resultaten en redeilijke snelheid.
YouTube: Let's Run Kimi K2 Locally vs Chat GPT - 1 TRILLION Parameter LLM on Mac Studio

Wat betreft locale hardware maakt de CPU niet veel uit, ook de speelgoed NPU's voor CoPilot zetten niet veel zoden aan de dijk. We moeten het hebben van een partij die veel geheugen bandbreedte kan combineren met snelle multiply add performance op veel FP4 getallen. Videokaarten zijn veel breder dan dat en kunnen dit ook niet altijd blijven winnen.

Apple heeft op hardware gebied een voorsprong in de geheugen bandbreedte naar de chip en zouden hier best interresant kunnen zijn, ik kijk wel wat er volgend jaar op de markt komt. NVidia komt volgend jaar ook uit met een ARM board met snelle GPU's. Mocht dat allemaal tegenvallen dan lijkt een Epyc of Threadripper met een paar videokaarten de beste oplossing voor locale LLM's. We gaan het zien, misschien veranderd de boel nog heel erg, dat is vast ook de reden dat een dedicated ASIC op zich laat wachten. Maar als deze er voor BitCoin is gekomen dan komt ie er ook wel voor AI.

[ColinZ]

De Neural Engine van Apple kan wat mij betreft op een hoop met de rest de NPUs. Leuk om mee te klooien, maar nog niet klaar voor het echte werk.

Een leuk verhaal dat ik laatst tegenkwam is dat Apple nog steeds een hekel aan Nvidia heeft en daardoor geen GPUs gebruikt voor LLM training. Blijkbaar knopen ze M3Ultra chips met Ethernet aan elkaar voor hun training clusters.

[erwinb]

de Nvidia chips gebruik je meestal om een AI/LLM te trainen.
voor AI-inference gebruiken bedrijven nu vaak het nederlandse Groq (met een q en niet de Grok met een k van elon musk)

Groq heeft datacenters en services die speciaal zijn ingericht en geoptimaliseerd voor AI-inference. AI-inference gaat over wat er uit de AI komt bij bv een prompt.

[Reactie gewijzigd door erwinb op 23 juli 2025 17:06]

[Rogers]

Ik zie niks Nederlands aan Groq als ik op wikipedia kijk?

[erwinb]

ik heb recent een keer een podcast geluisterd waaraan ik de indruk overhield dat Groq nederlands was. Maar als ik wat rond google moet ik toegeven dat dat niet zo is.

(me bad)

[magician2000]

@Imre Himmelbauer


MediaTek wint aanbesteding van Broadcom voor productie AI-chip van Meta

Dus volgens de titel doet Broadcom een aanbesteding voor de productie van een AI-chip van Meta die door MediaTek gewonnen wordt (waarschijnlijk dan).


De titels zijn enorm onduidelijk de laatste tijd hier op Tweakers.

[Recursio]

@Imre Himmelbauer De titel suggereert dat het al een feit is - het is nog speculatie, nietwaar?

[Imre Himmelbauer]

Volgens bronnen van DigiTimes staat het op het punt te gebeuren. Het artikel van DigiTimes suggereerde dat het vrijwel zeker is, maar helemaal 100 procent rond is het dus nog niet.

[Recursio]

Voor mij als lezer is het gebruik van single quotes voor speculatie niet duidelijk, dus ik vroeg het maar even. Dank je voor je antwoord

[Imre Himmelbauer]

Natuurlijk, geen probleem!