Gerucht: Google werkt aan chip met hardwarematig vastgelegd AI-model

Google zou werken aan een AI-chip waarin het bedrijf een AI-model hardwarematig vastlegt. Daarmee moet de chip AI-taken veel efficiënter uitvoeren dan traditionele processors. De chip zou over twee jaar klaar zijn.

De chip heet intern Frozen v2, meldt The Information. Google noemde de chip niet naar de Disney-film, maar naar het ontwerp. Die 'bevriest' het AI-model hardwarematig. Google kan later wel de 'weights' aanpassen, de aangeleerde parameters die bepalen hoe sterk verbindingen in het neurale netwerk meewegen. Het aantal lagen in het neurale netwerk is niet aan te passen. Dat brengt ook een nadeel met zich mee: de chip kan niet mee met nieuwere AI-modellen.

Google richt zich op efficiënt AI-gebruik. Dat bleek al bij de presentatie van Gemini 3.5 in mei. Google schepte daarbij vooral op over hoe zuinig het nieuwe model is. Met Frozen v2 kan Google AI-taken nog veel zuiniger uitvoeren. Het bedrijf heeft niet gereageerd op het gerucht. Google maakt al jaren eigen chips voor AI-taken en zet die in zijn datacenters.

Chip met AI-model als ontwerp?

Het idee om een AI-model in hardware te etsen is niet nieuw. Diverse bedrijven werken hier al langer aan. Taalas heeft al de HC1-chip bijvoorbeeld. Etched werkt aan iets soortgelijks. Groq, waarin Nvidia tientallen miljarden dollars stak, heeft language processing units die taal veel sneller en efficiënter genereren. Deze bedrijven willen met zuinigere AI ook veel goedkopere en snellere diensten mogelijk maken.

Reacties (55)

[Zenomyscus]

Ik zou hier niet te snel in stappen. Met de snelheid waarin modellen vervangen worden zou ik me niet willen vastzetten. Zeker niet hardwarematig.

[pietvelleman]

Het kan ook zijn dat deze chips voor specifieke dingen ingezet gaan worden, bijv vertalen, speech to text, samenvatten, basisfeitjes.

En vergeet niet... er gaat een enorme berg met toepassingen komen die realtime moeten werken en ook als internet uitvalt.

Men denke aan zelfrijdende auto's, en robots.
Een robot een bal laten vangen... kun je niet met latency van 0.3 sec.
Een auto een plastic tas of rotsblok laten onderscheiden...

Of wat dacht je van realtime vertaling, met google glass, etc.etc.

Er komen extreem veel toepassingen aan, waar AI een rol zal gaan spelen en waar je niet perse de laatste/zwaarste versie voor nodig hebt.

[Reactie gewijzigd door pietvelleman op 20 juli 2026 23:58]

[keroner]

Als het betaalbaaren zuinig is, goed is in facial recognition, tts, sst en nog een leuk model kan draaien voor local coding stap ik wel in.
Een serieuze coral 2.0 of zo.

[Jehare]

Jep, Anker doet dit al met de Anker Thus chip, waar een flash cellen direct ook de rekenkracht bevatten. Hardcoded AI modellen voor noise cancelling en dergelijke, dat zou volgens Anker zelf magnitudes stroomverbruik moeten schelen. Lijkt mij op zich best veelbelovend, ook voor grotere modellen en LLMs; telefoons oid hebben erg klein power-budget, en de ram/gpu in een telefoon krijgt toch ook nooit een upgrade, dus het verschil met deze nieuwe chips is niet eens zo groot (immers zijn de parameter-waardes nog steeds te updaten, net als firmware-updates).

[DirtyBird]

Dat gaat nu zo snel omdat al die bedrijven elkaar proberen af te troeven en dé ai standaard van de toekomst te worden zoals google de zoekstandaard is.

Als de bubbel eenmaal gebarsten is en het stof neergedaald, lijkt het me logischer dat de resterende modellen eens per jaar ofzo een update krijgen. Dan loop je met je chip misschien een jaartje of 2 achter, maar het lijkt me niet dat die iteraties dan nog zo groot zijn als nu.

[pietvelleman]

"Als de bubbel eenmaal gebarsten is...."

Die zin ben ik alweer een paar dagen niet tegengekomen...

[wiseger]

Maak je niet druk, die zin ga je binnenkort nog heel veel tegenkomen. De koers van SpaceX blijft maar dalen en heeft vandaag de 120 dollar aangetikt.

Het moment van barsten begint akelig dichtbij te komen.

[pietvelleman]

Ik maak me zeker niet druk.
En die zin ben ik het afgelopen jaar dagelijks meerdere keren hier op Tweakers tegen gekomen. De laatste weken werd het ietsie minder...

"Het moment van barsten begint akelig dichtbij te komen."

Spannend! Vertel, wat denk je dat er gaat gebeuren?
Maak het eens concreet. Dan kunnen we elkaar scherp houden. Want 'akelig dichtbij'... en 'barsten' zijn namelijk nietszeggende termen. Denk je dat NVidia failliet gaat? Of Microsoft of Google? Of gaat OpenAI het moeilijk krijgen?

"De koers van SpaceX blijft maar dalen en heeft vandaag de 120 dollar aangetikt."

Ja, en dan? Stel je voor dat het naar 70 dollar zakt? Of 50 dollar? Is dan de bubbel gebarsten? En weet je welk deel van SpaceX met ai te maken heeft?

[wiseger]

De investeringen in OpenAI zijn allang op astronomisch hoog niveau. Investeerders hebben nu al tegen de 200 miljard geïnvesteerd in OpenAI. Geld dat met dikke winst terug moet komen van de IPO.

Op het moment dat volkomen duidelijk is dat SpaceX als bedrijf absoluut geen 2000 miljard waard is, zal dat ook voor OpenAI gaan gelden. Die kunnen dan zichzelf niet langer op 1000 miljard waarderen voor de IPO. Als hun waardering drastisch naar beneden bijgesteld moet worden, dan blijft er stukken minder over voor OpenAI zelf. Terwijl ze nog altijd jaarlijks tientallen miljarden verlies maken en dat nog jaren verwachten te gaan doen.

Maar OpenAI is wel allerlei gigantische verplichtingen aangegaan. Waar halen ze de miljarden dan vandaan om aan al die verplichtingen te gaan voldoen? Daar zit het risico dat ze dat niet kunnen doen. Maar dan ontstaat het probleem dat die bedrijven op hun beurt hun omzet drastisch moeten bijstellen. Zo ontstaan er een domino effect.

En ja ik weet welk deel van SpaceX met AI te maken heeft, een heel groot deel van het bedrijf. Daar is namelijk de extreme waarde op gebaseerd, de toekomst verwachting van xAI. Want de raketten business kan niet zoveel meer groeien. Die kan niet zijn omzet een factor honderd verhogen, ze lanceren nu 1 raket per twee dag. Hoe kunnen die ooit ineens 50 raketten per dag gaan lanceren? Dat kan helemaal niet.

[pietvelleman]

"Geld dat met dikke winst terug moet komen van de IPO."

Nee hoor, dat moet niet terug komen van de IPO. Microsoft is samen met NVidia - voor zover ik weet - de grootste investeerder van OpenAI. En als die IPO mislukt of OpenAI failliet gaat, zullen ze hun geld gewoon 'afschrijven'. En dan komt er een beurscorrectie, zoals die feitelijk al deels plaats heeft gevonden.

"Zo ontstaan er een domino effect."

Ik denk dat je dat domino effect erg overschat. De investeerders in OpenAI hebben diepe zakken. Misschien gaat OpenAI het niet redden... maar Microsoft en NVidia gaan dat prima trekken. En besef: ondanks de megawinsten van Microsoft en NVidia zijn de koersen gezakt de afgelopen maanden... ze houden dus al rekening met 'afschrijvingen'. Oracle is bijv. gekelderd.

"Daar is namelijk de extreme waarde [van SpaceX] op gebaseerd"

Je weet dat SpaceX slechts 5% van haar aandelen naar de beurs heeft gebracht? En dat de rest in eigendom is van voornamelijk 1 persoon? Als spacex morgen failliet gaat... dan heeft 1 persoon er last van. Er gaan geen banken failliet. Geen pensioenfondsen. Niets van dat alles...

Verder....
Je praat erg in algemeenheden: "Het moment van barsten begint akelig dichtbij te komen." en nu heb je het over "domino-effecten". Wat dan? Gaan banken failliet? Microsoft failliet? Waar bestaat die gebarsten bubbel dan uit? Maak het eens concreet...

Voor zover ik het zie: Er zullen beurscorrecties komen, maar big-tech gaat het prima redden. Of OpenAI of Antropic gaat winnen? Geen idee. Wellicht gaan ze beiden failliet en komt er een andere speler. Wellicht worden ze beiden succesvolle bedrijven...

Facebook/Meta heeft 80 miljard dollar in een paar jaar tijd verbrand in metaverse. Dat soort bedrijven hebben erg diepe zakken. Het zijn geen zeepbellen die zomaar barsten.

Maar mijn vraag aan jou is serieus: maak het eens concreet. Het moment komt akelig dichtbij? En hoe ziet het er uit? Concreet...

[wiseger]

Ik leg het je net uit, de tech aandelen die gerelateerd zijn aan AI zullen sterk in waarde dalen. Wat op de beurs leidt tot grote stop-loss verkopen. De echte grote beurscorrectie moet nog komen.

Een bedrijf als Softbank zit ook voor tientallen miljarden in OpenAI. Hun beurskoers is ook sterk gestegen dankzij hun investeringen in OpenAI, een factor drie in enkele jaren tijd.

Met al die enorme afwaarderingen ontstaan er meteen problemen bij de bedrijven die allemaal in elkaar geïnvesteerd hebben en dikke contracten hebben afgesloten. Een bedrijf als Amazon ontwikkeld zelf geen AI maar heeft wel 200 miljard in data centers voor AI geïnvesteerd. Dus ook daar zal de koers hard dalen.

Al die bedrijven zullen daarna meteen dik gaan bezuinigen, mensen ontslaan, investeringen afzeggen. Wat weer doorwerkt naar andere bedrijven, het domino effect. Kleinere bedrijven zullen gewoon omvallen, andere grote bedrijven zullen flink moeten bezuinigen. Wat dus allemaal direct doorwerkt in de economie. Je krijgt dan een recessie, uiteindelijk wordt de gehele economie geraakt.

Precies wat we zagen in 2001 toen de Internet bubbel klapte. En wie er straks als na het klappen van de rookwolken de grote winnaar wordt, geen idee. Destijds na 2001 bleken de winnaars niet de bedrijven te zijn die we eigenlijk eerder verwacht hadden. Nokia, AOL, Yahoo en Cisco werden de grote verliezers.

Het moment komt akelig dichtbij want steeds meer dalende koers van SpaceX beïnvloed de IPO mogelijkheden van de anderen. En dan worden beleggers steeds zenuwachtiger. Die stappen al uit de tech aandelen, waarna de koersen sneller beginnen te dalen. En zo versterkt het zichzelf, totdat het in een razend tempo gaat en we het een beurscrash noemen.

[pietvelleman]

Oracle is 60% gedaald in beurswaarde in 1 jaar tijd.
Microsoft ondanks goede winsten toch 20% gezakt in een jaar.
NVidia is 15% gezakt in een paar maanden, ondanks astrnomische (!) winsten.

Veel beurscorrecties hebben al plaatsgevonden.

En je vergeet dat deze big-tech bedrijven, niet failliet gaan door slechtere beurskoersen.

Laten we het nog concreter maken: Dit jaar en volgend jaar zal geen van de big-tech bedrijven failliet gaan. Geen van de grote banken. Zelfs als SpaceX naar 50 dollar gaat, zal dat geen gevolgen hebben.
Wel zullen er beurscorrecties plaatsvinden. Niets meer niets minder.
En daarna gaan we weer vrolijk verder...

[wiseger]

Dat is niet correct, de aandeelhouders zullen bij de beurscorrecties wel degelijk een verbetering van de koers eisen. De bedrijven zullen moeten bezuinigen, daar ontkomen ze dan niet aan. De investeringen zullen teruggeschroefd moeten gaan worden, dat zullen de aandeelhouders gewoon afdwingen. De focus komt dan weer op de winst te liggen.

En als alle tech bedrijven hun investeringen terugschroeven, dan heeft dat grote consequenties voor hun leveranciers. Dus nee, daarna gaan we niet vrolijk verder, na de beurs correctie ziet de wereld er gewoon anders uit. En dan kunnen er zomaar bedrijven in hele grote problemen komen.

Precies wat we in 2001 bij het klappen van de dot.com bubbel ook gezien hebben

[pietvelleman]

De forse koersdaling van Oracle heeft ook iets in gang gezet.. een 13% ontslagronde.

Jij kunt dat als bewijs zien van de 'voortekenen' van een bubbel die barst. Ik zie dat als standaard verschuivingen die geheel niets te maken heeft met de dot.com bubbel. Oracle is geen World Online. Op geen enkele manier te vergelijken met elkaar behalve dat ze iets met 'tech' doen.

Dito met de ontslagronde van 10% bij Meta. Kwam dat door falende metaverse investeringen? of iets anders? geen idee.

Dit soort dingen gebeurde meerdere keren de afgelopen decennia. En zullen ook de komende jaren gebeuren. Soms werd er een reden gegeven dat de ontslag ronde doordat efficiency verbeteringen komen (door ai bijv). En een andere keer wordt er een andere reden gegeven. Geen idee wat waar is.

En ja, ze zullen effect hebben op toelveranciers. Geheugen zal wellicht goedkoper worden, GPU's ook. Maar waar onderscheiden we standaard marktbewegingen van een bubbel die barst?

Waar ik elke keer op hamer:
Wij kijken naar dezelfde werkelijkheid we zien dezelfde ontslagrondes en koerscorrecties. Ik zie het als standaard bewegingen. Jij als voortekenen voor een barstende bubbel.
Maar hoe gaan we het onderscheid maken, waardoor jij over een jaar zegt: het valt idd best mee. Of ik: jemig, dit is idd een domino effect dat de hele wereld meesleurde.

Ofwel... hoe kunnen we onze beweringen Falsifiëren. Met algemeenheden krijgt namelijk iedereen gelijk...

[wiseger]

De toeleveranciers moet je echt veel breder zien dan de leverancier van GPU's of geheugen. Elke leverancier van producten of diensten aan een AI gerelateerd bedrijf zal zijn omzet drastisch zien dalen indien tech richting een beurscrash gaat. En dat werkt weer door naar andere, niet tech bedrijven.

Wie er gelijk gaat krijgen kunnen we alleen maar achteraf bepalen. Dalen de koersen hard, gaan de tech bedrijven massaal kosten besparen en investeringen uitstellen of zelfs terugtrekken, pas als het grootschalig gebeurt krijg ik gelijk.

Zitten we over jaar in een gelijke wereld en suddert tech gewoon door, dan krijg jij gelijk.

[Immutable]

Geen woord over Google en AI?

Hoe heeft die bubbel invloed op Google? En heeft Google ook last van een bubbel? Maken ze verlies?

[wiseger]

Voor Google geldt precies hetzelfde. Google maakt geen verlies maar maakt veel te weinig winst voor de huidige beurskoers. Hun koers stond in april 2025 op 147. Begin mei 2026 was het bijna 400. Nu gedaald naar 350, maar ook daar is de verwachting van AI al ingeprijsd. Waardoor de koers winst verhouding opgelopen is naar bijna 27.

Traditioneel wordt een koers-winst verhouding van lager dan 12 als een koopwaardig aandeel gezien.

Verder heeft Google een groot risico dat ze kannibaliseren op hun traditionele inkomsten, de advertenties markt die ze hebben met hun zoek engine.

Dus ja, als er twijfels ontstaan of de verwachtte AI inkomsten bij Google wel gehaald gaan worden, als hun winstgroei niet spectaculair gaat toenemen, dan ontstaan er ook problemen bij Google. Want linksom of rechtsom moeten de inkomsten toch echt omhoog.

[MSalters]

"Traditionele K/W" is een manier om de koers van Unilever of Ahold in te schatten. Dat past niet bij bedrijven die groeipotentieel hebben.

Nu is Google primair een advertentiebedrijf, en daar is het groeipotentieel niet zo groot. Groei moet dus uit de AI hoek komen, maar dat is een redelijke verwachting.

[TheRien]

Ik kan dit interview van VPRO Tegenlicht sterk aanraden:

YouTube: Waarom jij straks het hulpje van AI bent (en niet andersom) | Cory D...

[GeroldM]

Link

Wanneer je er eens rustig voor gaat zitten en eens nadenkt na het lezen van de tekst op deze nieuws site compleet gefocused op AI in al haar facetten. Dus niet alleen de mooie praatjes van AI-bedrijven die je hun diensten aan proberen te smeren, maar ook wat er speelt aan de zijdes die niet graag door de AI worden belicht, cq onder de mat worden geveegd.

Maar goed, de link verwijst naar een artikel waarin staat dat bedrijven als Google, Microsoft, Amazon AWS, Oracle (hyperscalers) nog in dit jaar al hun inkomen moeten investeren in uitbreiding van AI-capaciteit. Dus letterlijk 0,0 winst in 2026. En het word nog erger: in 2027 gaan deze bedrijven verlies moeten draaien voor al hun cloud-diensten en services. Niet alleen hun AI services, maar echt alle clouddiensten en -services.

Puur en alleen vanwege uitbreiding van AI-capaciteit voor de huidige frontier labs uit de VS en hun zeer inefficiente LLMs en hun bazen die zich verlustigen aan weelde voor zichzelf en "f.ck de rest!".

[GeroldM]

Staar je niet al te blind op de kunstjes van de nieuwste modellen. Niet al deze kunstjes zijn even nuttig. De huidige generatie AI-servers genereren met een Llama3.1 8b model zo'n 2000 tokens per seconde. Dit is zeer snel te noemen. Hetzelfde model in de Taalas hardware chip haalt ruim 14000 tokens per seconde.

Een hardware oplossing heeft ook geen superduur en omvangrijk HBM-geheugen meer nodig. Wat de "pret" (lees: woekerwinsten van Micron, Samsung, SkHynix en NVidia) nogal drukt.

Ook bedrijfsmatig zijn die kleinere modellen vaak nuttiger. Want het is een vast gegeven. Dus als je 1 set van instructies hebt gefine-tuned voor dat specifieke model en de stap in dat specifieke bedrijfsproces, dan hoef je niet 's nachts je bed uit omdat de cloud-AI-aanbieder het dan nodig vond om hun model te wisselen. Ook is die hardware niet afhankelijk van het internet zelf, de grillen van diegene achter de knoppen van de cloud-AI-aanbieder enz.

Stel je voor: met een vergaande stroomstoring heb je niks meer nodig dan een aggegraat om AI produktiviteit in processen weer op te starten. En natuurlijk geen maandelijks terugkerende token kosten, alleen nog maar verbruikte electriciteit.

Is een in hardware vastgelegd model ideaal voor het creeeren van (nieuwe) code? Nee, daar heb je gelijk in. Maar met instantieuze AI die voor de meeste gevallen wel voldoende is en (heel) veel goedkoper en op locatie is te installeren...nee, mijn vriend, Taalas en andere bedrijven met soortgelijke LLM-in-een-chip-produkten gaan een groot probleem voor OpenAI en Anthropic vormen.

Niet noodzakelijk een probleem voor het produkt dat deze frontier labs leveren, maar voor hun kans om ooit nog winstgevend te worden. Dat was al voor dat dit nieuws naar buiten kwam al zeer twijfelachtig, maar nu?

Taalas heeft een online en interactieve demo (chatbot) van zo'n 31b LLM-in-een-chip en het is zeer indrukwekkend te noemen.

Dit is een grappige prompt:
In a mysterious town, five unique individuals — a human, a werewolf, a vampire, an alien and an android — are standing in a line. Each has their own style of clothing, a favorite food, a unique hobby, and one particular fear. Perhaps most intriguing of all, one of them is a frightened android. They’re in a line, the puzzle is clear: What is the android’s greatest fear? The one afraid of heights is wearing a tuxedo. The human fears the Heat Death of the Universe. The one afraid of public speaking is eating a hot dog. The one wearing an “I ❤ Jupiter” T-shirt is standing to the left of the one in torn jeans. The one wearing an “I ❤ Jupiter” T-shirt is eating tacos. The werewolf enjoys performing complex equations. The one in a wedding dress stands to the right of the one in a Victorian bathing suit. The one in the middle is eating slime. The one who fears power-cuts is the first in line. The one who enjoys taxidermy stands beside the vampire. The one who enjoys singing stands next to alien. The one who eats batteries enjoys knitting. The one who fears snakes enjoys gardening. The one in a Victorian bathing suit is eating a banana. The one who enjoys taxidermy is standing next to the one eating tacos.

Gebruik deze prompt met chatjimmy.ai en zie een gegenereerd antwoord met 14k tokens per seconde. Dat is dus binnen een oogwenk. Probeer het eerst uit, daarna praat je al heel snel anders dan "software LLM is beter dan hardware LLM". Want dat is zeker niet waar voor elk gebruiksscenario waar je LLMs voor wil gebruiken. En als het ook nog eens veel minder energie nodig heeft...

Of je het beseft of niet, de huidige AI-server in een datacenter verbruikt in 1 uur net zoveel als jouw huis in 1 jaar verbruikt. En dan heb je echt alles in je huis op volle toeren draaien en dat 24/7. De opvolger van Blackwell, Rubin, daarvan word al gezegd dat deze 2 keer meer energie verstookt per server dan een server van de Blackwell-generatie. Want dat is de enige taal die NVidia tegenwoordig nog spreekt: "more power, More Power, MORE POWER!!!" per chip.

En dat is absoluut niet de goede kant op. Efficientie is het enige spel van belang. Hardware is daar veel beter in dan software, laten we eerlijk wezen.

**Edit: moet beter leren lezen, melde in deze post verkeerde specificaties van JimmyAI. Is nu aangepast.

[Reactie gewijzigd door GeroldM op 21 juli 2026 04:11]

[Djerro123]

Of je het beseft of niet, de huidige AI-server in een datacenter verbruikt in 1 uur net zoveel als jouw huis in 1 jaar verbruikt. En dan heb je echt alles in je huis op volle toeren draaien en dat 24/7.

Je reactie was interessant om te lezen, maar hier sla je de plank echt gigantisch mis. Een gemiddelde eengezinswoning doet ongeveer 3500 kWh per jaar, een Nvidea DGX B300 server (2.1TB mem, 8 blackwell GPUs, iets duurder dan een half miljoen euro) heeft een verbruik van 14 kW. Een uurtje zo’n server draaien (op volle kracht!) is dus iets meer dan een dag je huishoudelijk verbruik.

Dat is nog steeds heel veel natuurlijk! Maar niet zo extreem als jij hier schetste.

[demianmonteverd]

Het probleem is niet die ene B300 server en zijn exacte verbruik. Het probleem is dat jevons paradox er voor zal zorgen dat je, als de ontwikkelingen zo doorgaan, je een gigantisch aantal van die B300's of opvolgers/custom chips nodig gaat hebben. Dat gaat een enorme last leggen op de stroomnetten, op schoon water, op energieopwekking, op kapitaal, op de natuur en zelfs op salarissen en sociale cohesie.

[Seth_Chaos]

Dit is vele malen goedkoper te produceren en verkopen. Een groot model draaien op consumenten hardware is niet te doen. Een model on a chip is vele malen goedkoper.

[NoTechSupport]

Huidige modellen van zowel OpenAI als Google en Anthropic zijn goed genoeg voor 99% van de vragen die een gewone gebruiker eraan wilt stellen, zeker als de weights aanpasbaar zijn. Ik ben wel benieuwd naar het context window en de mogelijkheden om te redeneren.

[Atlantis1995]

Als ik zie wat je met de nieuwste modellen nu al kunt, dan is een frozen versie straks veelzijdig inzetbaar. Daarbij, de slimste modellen nu zijn de domste over vijf jaar.

[dooiedodo]

Tja.. als ze beetje als wegwerp PU worden geleverd zal het wel leuk zijn. Maar idd, de groei van modellen en vastleggen in hardware zijn niet de meest logische richtingen op het moment. Daarnaast, pas over 2 jaar klaar, als je weet hoever modellen 2 jaar terug waren en het verschil met nu ziet, kan je bijna niet voorstellen dat die periode de waarde totaal weg zou kunnen zijn

[Apache]

Modellen worden vervangen, maar de verbeteringen zijn al lang niet meer zo spectaculair als in het begin. Een fixed price, energiezuinig model dat dan 2-3 jaar afgeschreven moet worden in hw kan nog altijd prijstechnisch spectaculair interessanter zijn dan een dure saas.

[Tricyrtis]

Waarom niet? Hoe is dit anders dan een GPU waarvan elke twee jaar een nieuwe versie uitkomt? Voor embedded dingen zoals robots kun je prima eens in de zoveel jaar het "brein" vervangen.

Sterker nog, ik denk dat er behoorlijk veel vraag zou zijn naar een soort plug-en-play AI chip die als brein van robots, e.d. kan dienen, en die vrij eenvoudig te vervangen is. Wie weet kunnen op die manier consumenten ooit hun huishoud robots zelf upgraden, net zoals je dat nu met een PC doet.

[Zenomyscus]

Vroeger kochten veel mensen ieder jaar een nieuwe telefoon. Iedere keer kon je er meer mee. Touch kwam op, apps, etc. Nu doe ik steeds 4+ jaar met een telefoon en de verschillen zijn niet bijzonder.

AI zit nog in die eerste fase. Steeds weer kun je meer en meer. De meeste mensen die ik ken wisselen zeker meerdere keren per jaar van model. Misschien zelfs maandelijks. Die transitie gaat nu nog een stuk sneller en biedt ook veel meer dan ieder jaar nieuwe hardware. Dat is ook leuk, maar naar mijn mening niet te vergelijken met de stappen die AI maakt (ook nu nog).

[bzuidgeest]

Als er een beter model is, will dat niet zeggen dat je het moet gebruiken.

Oudere modellen kunnen voor een taak goed genoeg zijn en goedkoper om die taak te doen.

[Stukfruit]

Om een beetje een idee te krijgen bij hoe het snel het kan kun je kijken naar de demonstratie die het aangehaalde Canadese bedrijf Taalas online heeft gezet:

https://chatjimmy.ai

De specs uit hun artikel:

3.1 8B model

Today, we are unveiling our first product: a hard-wired Llama 3.1 8B, available as both a chatbot demo and an inference API service.

Taalas’ silicon Llama achieves 17K tokens/sec per user, nearly 10X faster than the current state of the art, while costing 20X less to build, and consuming 10X less power.

Niet het beste model, wel een leuke demo om mee te laten zien wat er aan gaat komen in de komende jaren. Wanneer je het de eerste keer gebruikt ben je bezig met typen en na het indrukken van de enter-knop is het zo snel dat je nog een beetje verbaasd voor je uit zit te staren omdat je niet verwacht dat de tekst er eerder staat dan dat je er zelf over na kunt denken.

[moonlander]

Dat is echt super snel! Leuk om te zien. En ik zit nu met claude code soms te wachten en te wachten.. Dan denk ik ook wel eens schiet eens op.. Maar goed, als ik het moest typen... Maar de grootste winst zit hem straks denk ik ook in snelheid.

[D0phoofd]

Wow dat is echt snel!
Ik krijg eigenlijk al direct het idee dat de mens nu de vertragende factor is. Of althans, het medium. Het lezen van de reactie duur het langste, terwijl we (het brein) wel sneller zou kunnen processen. Daarbij krijg ik The Matrix flashbacks waarbij Neo als een speer door die training gaat.

[DeDooieVent]

Fantastuleus! Als ik dat ding dus laat draaien, en mijn opdrachtgever ook, dan kunnen we samen bier drinken voor het middaguur!

[ObsoleteWTF]

Zeker heel snel, maar niet echt heel goed. Twee simpele opdrachtjes gegeven en beide krijg ik incorrecte antwoorden terug.

[MSalters]

Klopt, het blijft een klein, oud model. Maar je krijgt die fouten nu wel veel sneller

Het idee dat je met dit soort hardware LLMs geen HBM meer nodig hebt slaat de plank mis. DRAM heeft andere productie-processen dan logica. Daarom zie je bij SoCs met DDR in de package ook altijd separate dies voor het geheugen. Fundamenteel komt dat doordat DRAM een condensator nodig heeft. Dan kun je beter de hele die vol leggen met condensatoren.

[Umbrah]

En daar zijn we. Het ASIC moment. Hetgene wat GPU's en zaken (voor een moment) in de voorlaatste chipcrisis (die toen alleen compute raakte...) toegankelijk maakte voor crypto, komt ook voor LLM's.

Men is er denk ik ook in big tech achter dat één megamodel niet zo veel voordelen biedt. Een model is immers een lookup-vector-matrix wat afhankelijk van een encode een aantal resultaten terug geeft aan de hand van gewichten. De transformer an-sich is goed in hardware uit te voeren, de weights en de bandbreedte NAAR de weights was het grote probleem. Dat en de geheugenbenodigheden was het lastige. Ik simplificeer natuurlijk een beetje, maar die hele keten is ook gelijk het meest energieslurpende.

Nou is een model + weights natuurlijk niks zonder context, en de context wordt elke "depth" complexer, waarbij alle vorige berichten én antwoorden in elke nieuwe prompt moeten worden gestopt naast systeemprompts e.d.; wat een context window van 260k tokens (met 4000 agentic steps) al vrij snel een enorme bandbreedte laat vragen. Dit valt echter te omzeilen door niet één model te draaien, maar meerderen, die elkaar aansturen, met bijvoorbeeld een hiërarchie waar een "dirigent" een stel specialisten aanstuurt (een voor het begrijpen van taal, een ander voor het schrijven van documentatie, een andere die python/bepaalde frameworks goed snapt, weer een die geografische/regionale context goed snapt, etc...). Het lijkt mij vrij logisch als Google dit soort hardware óf als dirigent gebruikt, óf voor de "slob" queries/tokenizer/etc.

Het is misschien niet zo'n dag op nacht dat ladingen crypto GPU's ineens overtallig zijn, maar hopelijk scheelt het enorm veel energie, en hoewel het wéér custom silicon is wat uiteraard waferspace van de foundries betekent, en wederom waarschijnlijk NIETS doet aan de DRAM-wensen, is dit wel een stap naar hopelijk een doorbraak in deze AI-crisis... een crisis met een nieuw soort tooling wat mogelijk té duur is voor "henk en ingrid sinterklaasrijmwoorden taal", maar wel heel krachtig kan zijn (wat ik geleerd van de afgelopen 3jr AI is eigenlijk dat het in retrospectief een stuk gereedschap is wat naar een toepassing zoekt, als specialist ben ik wel overtuigd van de toepassing, zeker voor specialistische doelen, maar het is natuurlijk niet zwart/wit)

[Stukfruit]

Nou is een model + weights natuurlijk niks zonder context, en de context wordt elke "depth" complexer, waarbij alle vorige berichten én antwoorden in elke nieuwe prompt moeten worden gestopt naast systeemprompts e.d.; wat een context window van 260k tokens (met 4000 agentic steps) al vrij snel een enorme bandbreedte laat vragen. Dit valt echter te omzeilen door niet één model te draaien, maar meerderen, die elkaar aansturen

En vooral minder chatty worden. Het is inderdaad een transformer. Dan los je het probleem sneller op door aan de voorkant in meer en kortere stappen een groter deel van de benodigde context bij elkaar te krijgen.

[pietvelleman]

De GPU's blijf je nodig houden voor het trainen van modellen. Ze zijn inefficient maar wel flexibel.

[PjotterP]

Een GPU is al een asic

[davidberkouwer]

Dit zijn hele mooie ontwikkelingen. Als we nu bijvoorbeeld een snelle chip hebben die Sonnet 5 en Opus 4.8 kunnen draaien, dan zou ik daar best wel wat geld voor over hebben. De modellen zijn nu al zo goed dat we voor de meeste taken al heel veel kunnen doen. En als dat dan ook nog bloedsnel gaat...

Je zal dan misschien wel elk "jaar" een nieuwe chip moeten kopen..

[sdziscool]

Herrinert iemand hier zich nog de bitcoin ASICs? Hyper efficient en elke 2 jaar konden ze allemaal de prullenbak in omdat er een efficientere variant op de markt kwam. Kon niets behalve bitcoin minen.

[thunderbird2k]

Een goede zet van Google en voorspelbaar. De vuistregel was vroeger altijd: een processor kan alles, maar slecht. Verplaats je het algoritme naar een FPGA dan is het 10x sneller en 10x zuiniger. De stap daarna was ASIC en die maakte nog een 10x stap.

Het is lastig hoe je een GPU moet zien in de bovenste vergelijking aangezien deze een hoop gespecialiseerde blokken heeft. Maar een besparing van wellicht 10x zou zo maar kunnen. Uiteraard geef je flexibiliteit op.

[MehHuntah]

Is denk ik een beetje afgekeken van Asics miners die alleen een bepaald blockchain algoritme ingebakken hadden en dat heel snel konden doen. Acics Bitcoin miners bijvoorbeeld.

Op zich kan je dit makkelijker combineren met AI, Je kan je een basis agent hebben die heel erg snel is, en snel antwoorden kan geven op subjects die niet vaak veranderen, zoals natuurkunde, wiskunde

En dan delta checker agents om te controleren of er niet iets nieuwers is wat de conclusie invalidate..

[Stukfruit]

En natuurlijk een beetje afgekeken van een periode die we al hebben gehad voor videogames. Polygonen werden nog in software gerasterized voordat de eerste 3d-kaarten voor consumenten op de markt kwamen

[Peoplen]

Of hardwarematig vs softwarematig encoden en decoden van bijvoorbeeld video's.

Of de PhysX chip in videokaarten destijds.

[Quacko]

Heeft niets met afkijken van bitcoin asics te maken. Gespecialiseerde chips, asics bestaan al sinds het begin der digitale tijden en worden telkens ontwikkelt wanneer:

1) er voldoende kost mee kan gecut worden vs de investering of snelheidswinst voor competitive advantage.

2) er bepaald werk is dat lang genoeg hetzelfde blijft dat de investering kan terug verdiend worden.

En Google gaat dit waarschijnlijk niet gebruiken voor zijn grote chat en coding modellen, want die veranderen momenteel nog heel vaak. Maar al die AI dat het in zijn workspace, foto bewerking en what not steekt, dat kan veel stabieler blijven. Of als een bepaalde specialized low intelligence agent bij coding kan het misschien ook wel.

[satoer]

Google kan later wel de 'weights' aanpassen, de aangeleerde parameters die bepalen hoe sterk verbindingen in het neurale netwerk meewegen.

Uiteraard moeten ze natuurlijk wel voor de eerste benchmarks het model op 100% kunnen zetten, om het in de maanden daarna stilletjes terug te schroeven

[Quacko]

De weights van het model bepalen niet hoeveel het verbruikt. Eerder hoeveelheid parameters of hoeveel het mag redeneren (opnieuw door het model in stappen loodsen) bepaalt dat.

Aanpassen van weights gebruik je eignelijk enkel om beter te tweaken of bijvoorbeeld jailbreaks er uit te halen.

[STV]

En in in je hoofd plaatsen!

[Madelijn]

De grootste winst is te halen in een analoge waarchijnlijkheidskiezer. Digitaal zorgen dat met kans p optie 1 wordt gekozen en met kans (1-p) optie 2 (en dat dan uitgebreid naar de miljoenen of miljarden opties die de modelgrootte voorschrijft) is razend duur - maar analoog kan dat heel goedkoop. Al die kennis die Philips over boord heeft gezet toen ze over gingen op digitale versterkers blijkt nu weer waardevol.

(Mijn "leermeesteres" in dezen, Ria Matsijs, heeft nog geleerd analoge computers te "programmeren", vertelt ze. Snel integreren, of tijdsmodellen van differentiaalvergelijkingen uitwerken, door de juiste bedrading aan te leggen.)

[Reactie gewijzigd door Madelijn op 21 juli 2026 02:18]

[MSalters]

Het nadeel van analoog is dat we inmiddels digitale schakelingen op 2 nm kunnen maken, tegen 20000000 nm voor klassiek analoog. Je prijsvoordeel is deze eeuw verdampt.

Nu is het denkbaar dat we analoge schakelingen op nanometer schaal gaan ontwikkelen, maar voordat TSMC die dingen per duizend wafers produceert zijn we zo 10 jaar verder. Dat is behoorlijk fundamenteel onderzoek.