Nvidia: AI-modellen hebben tot 100x meer rekenkracht nodig voor redeneren

AI-modellen hebben in de toekomst veel meer rekenkracht nodig, omdat redeneren nu een standaardfunctie aan het worden is, zegt Nvidia-directeur Jensen Huang. Redeneren zorgt ervoor dat een AI-model veel meer stappen doorloopt.

Het is uiteraard duidelijk dat redeneren meer rekenkracht vraagt dan een vraag simpelweg gelijk beantwoorden, maar de Nvidia-directeur kwantificeert het nu voor het eerst. "Redeneermodellen kunnen 100x meer rekenkracht gebruiken. Toekomstige redeneermodellen kunnen nog veel meer rekenkracht nodig hebben. DeepSeek-R1 heeft wereldwijd enthousiasme gewekt -- het is een uitstekende innovatie. Maar nog belangrijker is dat het een redenerend AI-model van wereldklasse heeft geopend. Bijna elke AI-ontwikkelaar past de technieken toe van chain of thought en reinforcement learning zoals R1 om de prestaties van hun model op te schalen."

Waar OpenAI nu nog de reguliere AI-modellen en redeneermodellen van elkaar heeft gescheiden, zal dat bij de volgende generatie niet langer het geval zijn. Ook andere AI-modellen zullen vermoedelijk die functies combineren en aan de hand van de prompt bepalen of ze moeten redeneren. Nvidia is daar als bedrijf bij betrokken, omdat de gpu's van het bedrijf in gebruik zijn voor het trainen en draaien van AI-modellen.

Reacties (108)

[TigerXtrm]

Halve wereld staan aan de rand van een energie crisis, maar gelukkig verspillen we letterlijke gigawatts aan gestolen plaatjes en feitelijke onjuistheden.

Ik zie best de voordelen van machine learning hoor, maar de kant die het nu op gaat is echt compleet belachelijk gezien de klimaat uitdagingen die we proberen te halen. Alle vooruitgang in groene energie wordt in 1 klap teniet gedaan omdat AI ineens 1000 keer zoveel energie nodig heeft.

Geef het 10 jaar en Microsoft, Google en Meta hebben hun eigen kerncentrales draaien. Niet om de maatschappij te helpen of het energienet te ondersteunen, nee nee. Puur en alleen om winst te maken op AI render farms.

Het is belachelijk, en we staan erbij en kijken ernaar.

[Jefrey Lijffijt]

Ja dit is zo, maar tegelijk is het raar om AI als gebruik van energie anders te behandelen. Grondstoffen zijn te goedkoop want de eindigheid en de impact van het gebruik zit niet in de prijs verwerkt. Dat heeft verder echt helemaal niets met AI te maken en de oplossing is ook niet om specifiek AI t verbieden gebruik te maken van grondstoffen.

[useruser]

Grondstoffen zijn te goedkoop want de eindigheid en de impact van het gebruik zit niet in de prijs verwerkt.

Dit is de kern van het probleem, de kosten voor fossiele of niet duurzame energie is veel hoger dan we vooraf betalen wanneer we er gebruik van maken maar dat zien we niet dus is het er niet.
Groene energie is helemaal niet duur, als je de kosten van milieuvervuiling en opwarming zou meerekenen in grijze stroom dan stapt morgen iedereen over op duurzame energie.

[elteck]

Helemaal mee eens. Nu woon ik het zonnige Californie, maar heb zonnepanelen op het dak, met een backup batterij. Zelfs in de winter is het ruim voldoende energie voor zowel thuis-gebruik als voor onze EVs.
Ik heb uitgerekend dat onze investering zich in 6 jaar terug verdiend, ondanks de goedkope fosiele energie hier.
Nu zouden we die panelen en batterijen ook met groene energie moeten gaan maken, maar het is fantastische energie bron.

[majetta]

De kosten vallen mee, de winst die erop gemaakt wordt en de belasting die erboven op komt, dan drijft de eindprijs omhoog.

[Bas-w]

Helemaal mee eens!

Geef het 10 jaar en Microsoft, Google en Meta hebben hun eigen kerncentrales draaien

Ik lees dit als een hypothese, maar ze zijn er al daadwerkelijk mee bezig: YouTube: Why Big Tech's Betting Billions on Nuclear (Not Renewables)

[Argantonis]

Ik denk dat je onderschat hoeveel energie transport en industrie gebruikt ten opzichte van computers. En ook de enorme capaciteit aan solar power die we nog kunnen krijgen. Zo’n statement als dat alles teniet wordt gedaan mag je best wel onderbouwen. Hint: nee dat gaat nooit gebeuren door AI.

[IamPeacock]

Om je post in perspectief te plaatsen, maar Google gebruikt jaarlijks meer energie dan sommige kleinere landen opgeteld. En dan praten we enkel nog maar over Google.

[Argantonis]

Nee, je hebt het over STROOMverbruik dan, niet ENERGIEverbruik. Een enorm verschil want behalve in wat landen waar EV is doorgedrongen is stroomverbruik absoluut irrelevant voor de transportsector. En voor de industrie al helemaal niet.
Niet dat het zo relevant zou zijn als het wel daadwerkelijk om energieverbruik ging. Er zijn een hoop micro-staatjes waarbij dat helemaal niet raar is. Er werken ook meer mensen bij Google dan er in zo’n landje wonen.
Maar daarnaast, er zijn ook een hoop landen waar zelfs nu nog niet overal elektriciteit is (ik kan het weten want ik woon in Indonesië). Dat heeft allemaal weinig te maken met het totale energieverbruik van het internet ten opzichte van de rest van al het energieverbruik. En al helemaal niet met wat ik zei over dat de capaciteit van solar zó ontzettend hard groeit dat AI dat gewoon nooit bij gaat houden.

En begrijp me niet verkeerd, we mogen dit soort dingen best proberen te limiteren. Maar het voelt altijd wel een beetje hypocriet van mensen om dan specifiek hierover te ageren, terwijl de meesten hier gewoon in een rijk ontwikkeld land wonen met al het dagelijks verbruik dat daarmee gepaard gaat, spullen importeren vanuit iets dat zo ver weg is als China, meestal geen EV’s rijden, en wél vlees eten wat ook een enorme impact op klimaat is. Dan voelt het voor mij meer iets als protesteren tegen iets waarvan men zelf denkt dat ze er geen last van hebben als het verdwijnt, maar zonder daadwerkelijk zelf iets te willen veranderen.

[Reactie gewijzigd door Argantonis op 1 maart 2025 08:13]

[GeroldM]

En jij onderschat wat het kost om bitjes over en weer te sturen. Niet alleen hebben datacenters switches nodig van 250.000 USD, die vreten zoveel stroom... dan kom je echt te kort met een 3x25A aansluiting. En deze staat 24 uur per dag op volle kracht te draaien.

Ook hangen er enorme kosten aan het produceren van de hardware om computers en netwerk-apparatuur mee te bouwen. En de kosten voor het behandelen/opwerken van de grondstoffen voor die hardware, diezijn ook niet mals.

Mensen beseffen ook niet dat als alle zon- en windcapacieit op deze aardbol op volle kracht zou kunnen draaien op elk moment van de dag, dat het nog steeds niet voldoende om het internet in zijn geheel van 5 (tot 10) jaar terug van prik te voorzien.

[Argantonis]

Je kan wel wat zeggen over dure switches en wat deze nodig hebben, maar dat is totaal irrelevant. Het gaat hier om wereldwijd verbruik. En wat je verder zegt klopt ook gewoon niet. Het internet gebruikt volgens deze schatting bijv 800 TWh (al zeggen ze dat inschattingen wijd uiteen lopen):

https://thundersaidenergy...sumption-of-the-internet/

En deze site zegt dat de voorspelling van renewables naar de 17000 TWh gaat end van dit decennium, en nu op ongeveer 10% daarvan zit:

https://www.iea.org/energy-system/renewables

> Global renewable electricity generation is forecast to climb to over 17 000 terawatt-hours (TWh) by the end of this decade, an increase of almost 90% from 2023. This would be enough to meet the combined power demand of China and the United States in 2030.

Dus hoe dan ook zou die huidige 10% van 17000 al ruimschoots het internet dekken, en die capaciteit van renewables gaat alleen maar keihard omhoog vanaf nu.

[PaulHelper]

De andere dingen ga ik niet op in. Maar die laatste alinea gaat mijn fact check radar af.
Met 51 miljard panelen of ongeveer de oppervlakte van half Frankrijk om de wereld nu te voorzien van energie. Alternatief is 50% van all daken.
Dat is alleen zonne energie en voor vandaag.
Dus dat laatste koopt echt niet.

[satya]

Je bent al vergeten dat streaming video diensten voor een grotere uitstoot zorgen dan al het vliegverkeer bij elkaar. Gaat nergens de goede kan top helaas.

[blorf]

Het is alleen maar gebrek aan wetgeving en echte handhaving. Er is geen technische noodzaak voor die uitstoot behalve het kosten-plaatje. Daar kunnen bedrijven en uiteindelijk de consument gewoon voor opdraaien. De realiteit is dat de hele energiemarkt is vervalst en er alles aan wordt gedaan om dat zo te houden. Windmolens, zonne-energie, bodemwarmte, allemaal mooi. Wat ze geen van allen ooit gaan mogen doen is de energieprijs drukken met aanbod. Ook niet als die schoon is en geen uitstoot veroorzaakt.

[Reactie gewijzigd door blorf op 28 februari 2025 09:58]

[BasHouse]

Het zou fijn zijn als we daar overtollige wind en zonne energie voor zouden kunnen gebruiken. Als het keihard waait en de lucht is blauw produceren we veels te veel energie. Mooi moment om AI effe aan te zetten.

[Reactie gewijzigd door BasHouse op 27 februari 2025 23:47]

[Llopigat]

Ja maar zo'n datacenter vol met snel verouderende hardware is veel te duur om stil te laten staan. De afschrijving gaat door een het levert niets op, het kost zelfs geld als het stilstaat.

[Reactie gewijzigd door Llopigat op 28 februari 2025 02:35]

[BasHouse]

Ja dat klopt. Maar een datacenter kan meer dan alleen A.I. Het zou fijn zijn als ze de intensieve rekentaken bewaren voor de periode van overschot.

[BlaDeKke]

Dus dan toch het datacenter op een laag pitje zetten en de hardware met weinig nut laten verouderen?

[Tweeks]

Misschien dat dit interessant kan worden als energie dan ook (op schaal) spotgoedkoop is tijdens die overschotten.

Er zal mogelijk wel een sweetspot in zitten verwacht ik.

[BlaDeKke]

Ik denk dat stroom kosten niet opwegen tov van een investering van een miljard die je op een paar jaar afschrijft.

[aadje93]

die energie is dan ook gewoon goedkoop, net als jijzelf kopen datacenters ook gewoon op spotmarkt in als ze dat willen of vaste lever contracten....

[Blokker_1999]

Op zo een moment zou je die energie liever opslaan voor de veel meer voorkomende momenten waarbij dat dat niet het geval is. We hebben vandaag geen groene opwekcapaciteit die continue te veel levert, en als we die wel zouden hebben, dan hebben we simpelweg te veel capaciteit en moeten we net nadenken om dat af te schalen en zeker niet verder uit te breiden want het bouwen van die capaciteit heeft ook weer een grote impact op de mens, milieu en klimaat.

[Argantonis]

Die bouw van overcapaciteit kost een fractie van de impact op mens, milieu en klimaat als wat het NIET hebben van overcapaciteit in de winter zou hebben en er dan fossiele brandstoffen voor moeten verbranden. Zelfs zonder opslag is overcapaciteit in de zomer een absolute must om er wat aan te hebben in de winter.

[aicaramba]

Dat zou heel mooi zijn, maar ook niet realistisch. Het is simpelweg niet hoe de wereld werkt.

Dat betekent dat wanneer het windstil en grauw is er geen AI gebruikt kan worden. Mensen zijn dan mogelijk zo gewend geraakt aan het gebruik ervan dat het wegvallen ervan niet te verkopen is. Net zoals je nu ook niet zou accepteren dat licht of internet zou wegvallen bij windstil en grauw weer.

Sowieso is het niet iets wat de aanbieders van AI zouden accepteren. En aangezien ze meer geld te besteden hebben dan de meeste consumenten zal marktwerking ervoor zorgen dat er aan de AI energiebehoefte eerder voldaan zal worden.

[Reactie gewijzigd door aicaramba op 28 februari 2025 09:03]

[Martijntjeh]

Je hebt zeker een punt.

Echter als kernenergie eindelijk weer eens van de grond komt zou dan wel weer goed zijn.
Al hoop ik zelf wel op duurzame vormen van kernenergie zoals thorium en kernfusie.

[Guus Leeuwis]

Kernenergie is vooral goed als je het afval wegdenkt en CO2 slecht vindt. Dilemma's. Mijn algemene maatstaf zou zijn: is de samenleving geholpen met A.I. consumptie en verregaande automatisering?

[PaulHelper]

Sorry maar dit is echt een oude gedachte. Het is al meerdere keren bewezen dat kernenergie erg groen/duurzaam is, en daarnaast erg veilig (ja inclusief al die rampen). Heeft het kernafval ja, is daarmee om te gaan ook ja. En of je CO2 slecht vind, vind ik een beetje een wappie uitspraak sorry. Maar het verhoogde broeikaseffect is gewoon een feit en dat komt door schadelijke emissies zoals CO2.

[Reactie gewijzigd door PaulHelper op 28 februari 2025 08:25]

[PolkaDanser]

De prijs van energie uit een kerncentrale is redelijk stabiel maar hoog vergeleken met energie uit wind en zon. De trend is bovendien dat hernieuwbare energie goedkoper wordt en kernenergie juist duurder. Voeg daarbij dat kernenergiecentrales moeilijk (lees traag) te regelen zijn.
Ik vraag me dan af of er een business case is voor kerncentrales. Het is niet voor niets dat in alle kernenergie projecten de overheid moet bijspringen.

Het punt van het afval is dan nog niet meegenomen. In Borsele ligt het nodige opgeslagen waarvan we eind van deze eeuw beslissen wat we er mee aan moeten. We gaan wel heel ver over ons graf regeren.
En stel we vinden een goede opslag, hoe bereiken we dat over pakweg 10.000 jaar onze onze opvolgers weten dat ze daar weg moeten blijven? Gaan we er een bordje neerzetten, "Verboden Toegang (art 361 WvS)"? Hoe weten we dat mensen over pakweg 5000 jaar dit bordje nog snappen (laat staan over 10000 jaar).
In elke business case die tot nu heb gezien (ik kan er uiteraard wat gemist hebben) is deze opslag van afval niet meegenomen omdat niet in te schatten is. Kortom, kosten die naar de (verre) toekomst worden doorgeschoven.

Op zich lijkt kernenergie een mooie energievorm maar ik heb toch oprechte twijfels of dit de weg is die we op moeten gaan...

[soepkipper]

Wat is het alternatief? Stoppen en eerst het energieprobleem oplossen?
Ik ben bang dat dit niet te stoppen is en het de mensheid erg veel kan brengen. Het is wrang dat het momenteel zoveel energie verbruikt voor vrij eenvoudige chatbot functies... maar met de potentie op zak om grote innovaties te doen en doorbraken te forceren (incl. energieprobleem) is de huidige fase echt een tussenfase. Door het uiteindelijk in te zetten op zelflerend AI onderzoek, kan iedere vorm van onderzoek een gigantische boost krijgen.
Nu nog een aantal leiders vinden die de mensheid met de juiste doelen willen dienen...

[NoThankYou]

De potentie van AI is wel duidelijk. Maar het is een probleem dat AI Google aan het vervangen is, dat mensen het gebruiken om na te denken ('brainstormen') en om miljoenen keren Snake na te maken.

Het zou beter zijn om het gebruik van AI te beperken tot wetenschappelijk doelen en het vervangen van saai werk. Overheden kunnen daar zelf in investeren.

Energieproblemen oplossen met AI is een beetje als geldproblemen oplossen door naar het casino te gaan.

Overigens hoeft energiegebruik niet het meest negatieve effect van AI te zijn. Mobiele telefoons zijn dramatisch geweest voor ons welzijn (depressie, eenzaamheid, concentratieproblemen, etc.) en AI kan die problemen vermenigvuldigen.

[rickhol]

Of we moeten gewoon weer allemaal terug op kern energy.. voila genoeg energy en het is groen.

[D.J.P.]

Mooi gezegd en een realistisch scenario. Deze schaduwkant van AI is veel te weinig belicht.

[ColinZ]

10 jaar? De hyperscalers zijn nu al bezig met het opstarten en/of opkopen van kerncentrales.

De hele datacenter markt floreert door de AI boom als nooit tevoren. Kijk voor de gein alleen al naar de frontpage van datacenterdynamics. De hoeveelheid geld die nu in deze markt wordt gepompt is bijna niet voor te stellen.

[stefanhendriks]

Sja, hoe zit het met alle 'inefficiente' die nu gaande is zonder AI? Wellicht dat we met AI nu taken 1000x efficienter kunnen uitvoeren - want mensen kunnen andere dingen gaan doen. Dan neemt de energiebehoefte toe - maar hoe de energie gebruikt wordt is efficienter/slimmer.

Overigens, hoezo zitten we in een energie crisis? We gebruiken nog geen enkele procenten van de energie die dagelijks op onze aardbol bereikt wordt door de zon...

[TigerXtrm]

Je gelooft dit misschien niet, maar er zijn dus ook momenten dat die zon niet schijnt. Nog even los van het oppervlak wat je nodig zou hebben om de energievraag van de hele planeet te dekken met alleen zonnepanelen.

[stefanhendriks]

Joh... maar je kunt niet ontkennen dat onze manier van energie opwekking zeer inefficient is en nog lang niet op zijn max potentie. Een crisis zou ik niet omschrijven als nu. Of heb jij laatst het licht niet aan kunnen doen omdat de stroom eruit lag?

[RemcoID]

Ik zag gisteren een infographic die daarmee te maken heeft (en die eigenlijk meer informatie verhult dan zichtbaar maakt, met vreemd selectieve vergelijkingen):
https://www.businessenergyuk.com/knowledge-hub/chatgpt-energy-consumption-visualized/

Ze gaan uit van 200 miljoen actieve gebruikers per week die vijf prompts per dag invoeren (per week? per dag?).
Dat zou per dag net zoveel stroom verbruiken als het laden van 4 miljoen telefoons.

Ik dacht daarbij: maar die 200 miljoen mensen laden waarschijnlijk iedere dag hun telefoon al, dus dan is het 4 miljoen bovenop de 200 miljoen. Dat lijkt dan mee te vallen.

Er staan nog raardere vergelijkingen in (wekelijks gebruik vergeleken met Las Vegas Sphere...)

Misschien maak ik een denkfout, maar dit lijkt alleen maar te willen bewijzen hoe erg het is en laat ondertussen zien dat het wel mee valt.

(NB vooral de vergelijking met het gebruik van landen helemaal onderaan was interessant, met een plaatje erbij dat suggereert dat Australië uit zeven landen bestaat.)

[TigerXtrm]

Ik weet niet hoe je erbij komt dat dit wel meevalt. Eén bedrijf, en één AI model, verbruikt jaarlijks meer elektriciteit dan een heel land (voor WINST, dat is niet geheel onbelangrijk). Hoe vindt je dat niet compleet belachelijk?

[crazylemon]

We staan er niet bij en kijken niet alleen, we consumeren en slokken het op als dolle honden.

[k995]

Tja crypto neem nog meer energie in en doet nog minder, tourisme neemt daar nog eens een veelvoud van in, zowat alles wat we doen verbuikt.

[I5413]

Is het hier wel echt een drogreden? Als iemand zelf geen crypto gebruikt, nooit op vakantie gaat en geen vlees eet, maar AI wel als een verrijking van hun leven ziet, dan is het toch volkomen logisch om in te brengen dat andere sectoren veel meer energie verbruiken?

Whataboutisme is een drogredenering als het bedoeld is om kritiek af te weren zonder inhoudelijk op de kwestie in te gaan. Maar als het punt juist is: waar trekken we de grens van acceptabel energieverbruik? en waarom wordt AI eruit gepikt?, dan is dat geen ontwijking, maar een legitieme vraag naar consistentie.

Het zou pas een jij-bak zijn als het argument was: "Nou en, crypto en toerisme zijn erger, dus AI mag ook gewoon energie slurpen zonder discussie." Maar dat is niet wat hier gebeurt. Het punt is eerder: "Als we AI ter discussie stellen om klimaatredenen, moeten we dan niet eerlijk naar het bredere plaatje kijken?"

[Mic2000]

Ik zit eigenlijk meer te wachten op een NPU van Nvidia, ipv een gpu, gericht voor bedrijven / particulieren zonder dat het duizende euro's hoeft te kosten... dit moet toch in de toekomst wel een product worden dat te verkopen valt?

[latka]

De belangrijkste reden dat een GPU gebruikt wordt is de sloot geheugen die erop zit en tig keer sneller is dan die paar dimms op je moederbord. Dus een NPU zou een GPU zijn zonder HDMI en Displayport uitgangen. En die hebben ze. En die kosten veeeel meer dan de GPUs die ze verkopen omdat er dan geen 24GB/32Gb op het topmodel zit maar een veelvoud hiervan.

[Mic2000]

Precies, een veelvoud aan gddr geheugen, zonder andere fancy processing units.

Zou leuk zijn als dat een gangbaar en betaalbaar iets wordt, dan kunnen we lokaal ook meer zulke dingen draaien.

[latka]

Gangbaar zijn ze. Betaalbaar per definitie niet. Je wilt 64Gb of meer VRam. Dat is zowiezo duur. Een MI300 (AMD) kost rond de 20k en heeft 512Gb VRAM. Je wil echt heel veel ram op die kaart en geheugen prijzig in dat soort hoeveelheden (en die snelheden).

[Llopigat]

Nou wat tensor processors helpt ook hoor. Maar ja, voor inferentie is de geheugen snelheid meestal de bottleneck. De TPU's zijn meestal snel genoeg om het bij te kunnen houden. Betekent niet dat je ze helemaal niet nodig hebt.

[Rudie_V]

Waarvoor moet zo'n NPU dan gebruikt gaan worden? Voor inference taken lijkt de CPU de plek van een NPU te worden. Voor machine learning heb je veel rekenkracht nodig en als het geen duizenden euro's mag gaan kosten krijg je ook niet veel rekenkracht die nodig is voor machine learning.
Ik verwacht/hoop ook dat nVidia aparte chips gaat maken met alleen cuda cores voor gpgpu taken en aparte chips met tensor cores voor AI taken met misschien daarin nog een scheiding met aparte chips voor machine learning en inference taken. Maar deze zullen wel nooit goedkoop zijn.

[gaskabouter]

Ik ben eigenlijk wel benieuwd naar de efficiëntie. Het menselijk brein verbruikt om en nabij de 25 Watt. Wat verbruikt en dergelijk systeem eigenlijk voor vergelijkbare taken?

Kan me voorstellen dat de vergelijking nog niet valide is. Maar als je beseft dat AI inmiddels net zoveel energie verstookt als Nederland....

En ter relativering. Vogels hebben veel efficiëntere hersenen dan de meeste zoogdieren, ook wij, omdat evolutie duwt naar gewichtsbesparing voor vliegen

[dez11de]

Ik denk dat een menselijk brein wel meer dan 25 watt gebruikt als het 1000en idiote vragen van miljoenen mensen tegelijk moet beantwoorden.

[bursche]

Die vergelijking is sowieso niet valide: een AI is een domme technologie dat niet kan denken.
Dat komt ook door de misleidende marketingterm 'AI' , dat suggereert dat er iets intelligents aan zou zijn (wat er niet is).

[Qin]

Aan de andere kant, 1 hersenen alleen is natuurlijk niet het hele rekensommetje.

Ze moeten gemaakt worden en getraind dat kost tijd, en andere hersenen, ze moeten gevoed, gekleed etc worden.

Een paar hersenen dat vrij is om een probleem aan te gaan heeft een grote support groep nodig.

[jumbos7]

Dat zou Nvidia natuurlijk goed uit komen, maar het zou denk ik wel goed zijn als ze het uitgebreid kunnen onderbouwen en dat deskundigen dit vervolgens zouden kunnen toetsen. Dat zou ook voor de waardering van Nvidia van belang zijn.

[Mellow Jack]

Het grootste belang voor Nvidia lijkt me asap geld binnen halen. Ze hebben jaren lang hierin geïnvesteerd en moeten nu zoveel mogelijk binnenhalen. Natuurlijk moeten ze zich met de langere termijn bezig houden maar daar zit op dit moment de waardering niet perse in.

Tot nu toe is NVidia de enige partij die echt geld verdient binnen die hele AI hype

[DrVic]

'Don't search for gold, sell pickaxes'

[grrfield]

Ondanks het overdadig gebruik van termen zoals "Artificial intelligence" en nu "redeneermodel", bedenk ik mij altijd dat we nog altijd spreken over Von Neuman-machines. Er is geen redering, De tijd tussen het opladen van byte uit de ALU en het terug wegschrijven, kun je vergelijken met een staat van perfecte "amnesie". Wat in het "geheugen" zit is ook niet echt geheugen zoals wij dat kennen, maar het is eerder een bibliotheek waar je iets kan opzoeken of wegschrijven.

Oh ja, en CUDA cores werken perfect parallel, maar de ene weet niet van de andere (bij wijze van spreken).

Meer rekenkracht doet alles wel sneller gaan, maar het brengt de computer nog geen stap dichter bij "redeneren".

[Reactie gewijzigd door grrfield op 27 februari 2025 21:01]

[A Lurker]

De tijd tussen het opladen van byte uit de ALU en het terug wegschrijven, kun je vergelijken met een staat van perfecte "amnesie". Wat in het "geheugen" zit is ook niet echt geheugen zoals wij dat kennen, maar het is eerder een bibliotheek waar je iets kan opzoeken of wegschrijven.

AI is dan ook geen emulator van de mens, dus hoe geheugen geïmplementeerd wordt is niet bijster relevant.

Het is dan ook een tekortkoming op basis van verschillen met de hersenen te concluderen dat er geen sprake is van redeneren.

Constructiever zou zijn als je een definitie levert en laat zien dat het menselijk redeneren er wel onder valt en compterredeneren niet.

[grrfield]

Als het geen Von Neuman-machine is?

Dat was flauw van mij, want je hebt wel een punt. Ik heb geen pasklare definitie, buiten bovenstaande.

[k995]

Von Neuman-machines hebben hier niks mee te maken?

En nee meer rekenkracht alleen doet niks, je hebt software nodig , niemand zegt iets anders.

[closefuture]

Ze geven wel een interessante draai aan het Deepseek verhaal.

Infeite heeft Altman (OpenAI) eerst de wereld voorgehouden dat er 1 triljoen dollar nodig zou zijn omdat alles in training zou moeten gebeuren, waar heel veel capaciteit voor nodig zou zijn. Vervolgens kwam Deepseek en die liet zien dat als je een stuk van "training" naar "inference" (het moment dat je een vraagt stelt) verplaatst je grote stappen kunt maken. Dit was waarom er wat paniek op de beurs was en NVidia omlaag ging.

Nu zegt NVidia dus dat het eigenlijk betekend dat er meer NVidia nodig is. Ik kan ze geen ongelijk geven dat ze het zeggen. Ik zou het ook zeggen als ik hun was, want ja, wat moet je anders? Maar of het echt zo is?

[Reactie gewijzigd door closefuture op 27 februari 2025 21:04]

[Llopigat]

Nou deepseek heeft dat niet uitgevonden. OpenAI deed al exact hetzelfde met GPT-o1. Alleen ze verbergen de chain of thought.

Wat deepseek zo schokkend maakte was juist het goedkopere trainen. Niet het verplaatsen naar inference time.

[Reactie gewijzigd door Llopigat op 28 februari 2025 02:45]

[Jefrey Lijffijt]

Volgens mij is het iedereen met een technische achtergrond in dit onderwerp wel duidelijk dat veel meer inference-time compute nu de stap is om te zetten en dat NVidia dus gekijk heeft dat er vraag is naar oneindig veel compute (dwz. er is geen limiet aan de vraag).

[k995]

zo simpel is het niet. Geen idee waarom je hier iets duister van wil maken maar mensen zoals altman weten ook niet direct alles. Dat bedrag was trouwens om fabs voor gpu's mee te bouwen .

Daarbij is de basis van deepseek R1 : openai o1, zonder openai o1 was er geen deepseek r1.
Dus ja, deepseek is geen mirakel, je zal niet plots op je microgolf deepseek r1 vol kunnen draaien.nvidia gpus zullen nog masaal nodig zijn.

[djwice]

Net als nu bij Phi-4 multimodal waar het verwerken van plaatjes, geluid en tekst in een keer gaat, zoals ook in ons brein. Zal redeneren ook steeds meer in one go gaan, net als bij ons.

Je innoveert, realiseert door nieuwe context, vult aan, realiseert door weer een andere context, vult aan en uiteindelijk heb je een onweerstaanbaar resultaat.
En herschrijft de stukjes naar het mooie eindproduct.

Alles waar geen nieuwe context bij komt kan in een stap. Slechts een kwestie van tijd tot het model daarvoor klaar is.

[Reactie gewijzigd door djwice op 27 februari 2025 22:18]

[imqqmi]

Men is al aan het experimenteren met latent space reasoning, wat erop neer komt dat het 'denken' binnen de vector space blijft, ie tokens. Nu is reasoning nog een soort van herhalen van de eerste vraag met de voorgaande reasoning als input wat telkens weer van tokens naar leesbare karakters en weer terug gaat. Dat is ook wat het traag maakt en zoveel input/output tokens vergt. In wezen is het een soort 'ruis' onderdrukking, signal to noise verbeteren door het signaal uit te middelen. De kans wordt dan steeds groter dat de LLM de juiste pad vindt in z'n LLM trainingsdata en het juiste antwoord geeft. Beetje vergelijkbaar met brute forcen, niet erg elegant. Er zullen vast wel manieren bedacht worden om dit efficiënter te maken.

Maar diffusion LLMs zijn ook interessant, die obv ruis steeds verfijnen naar tekst, en dat lijkt ook goed te werken en lijkt 6x sneller te zijn.

[djwice]

Ja, die latent space is super gaaf, Sony gebruikt het om muziek van 48kHz naar 12Hz latente ruimte te converteren én weer terug.

Het gave is dat een ander team bij Sony dat weer gebruikt heeft om liedjes in de late te ruimte van stijl de veranderen, en dan komt er daarna dus een goed klinkend muziekstuk uit . Super gaaf. Dus gewoon van hardrock naar klassiek of metal of rock 'n roll. Met behoud van zanger, die dan ineens gewoon anders zingt, en dat met simpel weg de decoder, dus geen intensieve rekenkracht voor nodig.

Echt heel gaaf.
https://github.com/SonyCSLParis/music2latent

Helaas dat andere team mocht het model niet vrij geven i.v.m. copyright op de bron muziek.

[Reactie gewijzigd door djwice op 27 februari 2025 23:52]

[imqqmi]

Interessant, ben wel benieuwd naar de voorbeelden die je noemt. De reconstructies klinken al heel behoorlijk. Geen hifi maar heeft potentie.

[djwice]

De grote van je trainingsdata neemt hiermee grofweg met een factor 4000 af, met behoud van de oorspronkelijke data features.
En het zelfde geldt voor je transformatie matrix (het model); minder berekeningen per parameter. En met x miljard parameters - zoals de huidige taal modellen - is dat impactvol.

Dus ik denk dat NVIDIA met deze uitspraak ook gewoon wil inspelen op de inspectie van investeerders / inkopers op dit moment.

Ik ken grote partijen die voor 3 jaar GPU's ingekocht hebben, maar door optimalisaties van hun AI-ontwikkelaars niet eens meer de helft van hun farm gebruiken en iedereen opzoek is naar use cases voor de grotendeels idle GPU farm.
Toen hij werd neergezet werd ie vol belast.

[GeeBee]

AI heeft vooral meer verstand van wiskunde en de onderliggende fundamentele logica nodig.
We gebruiken alleen nog maar tools die op taal zijn gebaseerd.

[Reactie gewijzigd door GeeBee op 27 februari 2025 21:08]

[gatlarf]

Ik vermoed dat dat met de huidige technieken niet gehaald zal worden. Licht-gebaseerde processoren en/of analoge processoren zullen mijns inziens hier meer met minder vermogen kunnen bereiken. Maar daar zijn we nog niet helemaal.

[Rudie_V]

Met het zicht op silicon-verspilling en de honger naar rekenkracht verwacht ik meer scheiding tussen de cuda cores en tensor cores naar aparte chips. En voor AI misschien ook aparte chips voor machine learning en inference.
Als je alleen gpgpu doet waarom zitten de tensor cores nog op de chip en omgedraaid als je alleen AI doet waarom zitten de cuda cores nog op de chip, dat is eigenlijk een soort van silicon-verspilling.