Google-onderzoekers tonen Titans-architectuur die AI continu laat bijleren

AI-onderzoekers van Google belichten in een wetenschappelijke publicatie een nieuwe architectuur waarmee AI-modellen tijdens gebruik informatie blijven bijleren. Huidige AI-toepassingen zijn beperkt tot de informatie die is meegenomen in hun trainingsfase.

De Google-onderzoekers bouwen voort op eerder gepubliceerd werk, waarin zij een nieuwe architectuur, Titans, poneerden voor continu 'bijlerende' AI. Daardoor kunnen AI-toepassingen een langetermijngeheugen hebben én actuele ontwikkelingen meenemen. De door Google-wetenschappers ontwikkelde Titans-architectuur komt nu samen met een nieuw raamwerk, MIRAS. Deze combinatie biedt een mogelijk pad naar AI-modellen die up-to-date blijven met nieuwe informatie en actuele ontwikkelingen, schrijft The Decoder.

Dit omvat ook het realtime integreren in het kennisbestand van AI-modellen informatie die gebruikers aandragen in bijvoorbeeld chatgesprekken met een AI-toepassing. Tot op heden is het toevoegen van nieuwe informatie aan AI-modellen een kostbare zaak. Het opnieuw trainen van AI-modellen vereist veel rekenkracht en tijd.

De nieuwe aanpak van de Google-onderzoekers combineert bestaande AI-technieken, zoals recurrent neural networks en transformermodellen, om snelheid te combineren met nauwkeurigheid. In tests zou Titans niet alleen beter presteren dan traditionele AI-modellen op basis van de klassieke transformer-aanpak. Ook AI op basis van nieuwe hybride modellen zoals Mamba-2 zou worden voorbijgestreefd door de nieuwe Google-opzet.

Een overzicht van de Titans-architectuur ontwikkeld door AI-onderzoekers van Google

Reacties (33)

[HyperioN]

In tests zou Titans niet alleen beter presteren dan traditionele AI-modellen op basis van de klassieke transformer-aanpak.

Enigszins offtopic, maar het is toch waanzinnig dat in de context van machine learning al gesproken wordt over “traditioneel” en “klassiek”.
Bubbel of niet, de ontwikkelingen gaan onvoorstelbaar snel.

[InsanelyHack]

Inderdaad. Het contrast wordt alleen maar groter als je ziet hoe traag het gesprek over de maatschappelijke consequenties van AI op gang komt. Terwijl technische ontwikkelingen binnen enkele jaren al als traditioneel worden bestempeld, bewegen we op maatschappelijk en normatief vlak nog steeds in slow motion. En nauwelijks iemand lijkt dit echt te willen oppakken, zeker niet zolang de druk vanuit de VS zo sterk blijft. Daardoor laten we ons vooral leiden door wat technisch mogelijk is, zonder eerst vast te stellen wat wenselijk, veilig of maatschappelijk houdbaar is en hoe onze denkpatronen moeten meebewegen. Kijk alleen al naar het onderwijs. AI geeft in feite een democratischer toegang tot kennis en dat vraagt om een ingrijpende herziening van hoe we onderwijs vormgeven. Dat zou op termijn nog behoorlijk ongemakkelijk kunnen worden.

[Reactie gewijzigd door InsanelyHack op 7 december 2025 14:01]

[Coolstart]

AI geeft in feite een democratischer toegang tot kennis en dat vraagt om een ingrijpende herziening van hoe we onderwijs vormgeven. Dat zou op termijn nog behoorlijk ongemakkelijk kunnen worden.

Ik weet niet exact waar je op doelt maar AI kan leerlingen met verschillende snelheden ondersteunen. Nu vallen veel leerlingen uit de boot opdat de leerkracht geen tijd heeft om hij of zij individueel op te volgen.

Het heeft geen nut om te zeggen ‘zoek het op via ai als je het nodig hebt’. Een ‘domme’ cgeneratie maken zou pas dom zijn.

Zelflerende AI is wel waanzin. Dat wil zeggen dat AI net zoals een kind live kan bijleren en dat jij het onbewust continu kan bijsturen net zoals je een stagiaire zou opleiden. Maar het zou ook kunnen leren om een stem na te bootsen.

Het aantal kwalitatieve lijnen code dat de mensheid produceren had een limiet. Namelijk aantal hoogopgeleide senior devs x hun beschikbare tijd. Op wereldschaal is dat heel weinig.

Maar nu komen we op een kantelpunt. AI gaat zo snel gaan dat het aantal kwalitatieve aantal lijnen code zo gaat toenemen. 200 jaar digitale evolutie gaan we nu in een versneld tempo in 20jaar meemaken. En dan heb je nog de agents die alles aan elkaar verbinden. Die hun IS stijgt ook elk jaar.

Tot op het punt dat enkel AI, AI kan verbeteren omdat wij het simpelweg niet meer beter kunnen.

20jaar van nu ziet de wereld er compleet anders uit. Elk mogelijk job met een servicelaag gaat er aan. Het is nog maar de vraag welk bedrijf eerst 1miljard omzet zal draaien zonder 1 personeelslid. Dus 100% AI.

[fenrirs]

Rewind 50 jaar. Exact hetzelfde narratief over robots en automatisering

Rewind 150 jaar. Exact hetzelfde narratief over de stoommachine en industrialisatie

Rewind 400 jaar, zelfde narratief mbt opkomende wetenschap uit oogpunt van religie.

Dingen veranderen nu eenmaal en laat nu net de mensheid daar goed mee om kunnen gaan. Ik durf er eerder op te wedden dat onze kleinkinderen supergave dingen doen met AI die we nu niet eens kunnen voorspellen, dan dat het een enorme distopie wordt.

[Glashelder]

Ik denk dat je je daarin vergist.

Er is nauwelijks een vakgebied te bedenken wat niet door AI geraakt zou kunnen worden. Het gaat echt niet alleen over software ontwikkelaars of mensen die de administratie doen. AI biedt in de toekomst ongekende mogelijkheden tot automatiseren. Denk bijv. aan automonteurs waarbij AI robots vele malen sneller kunnen troubleshooten dan mensen. Controle van je boodschappen. Etc.. In combinatie met robots (en die ontwikkeling gaat ook zeer snel) valt bijna al het menselijk werk wel te automatiseren.

Als samenleving is het naar mijn mening onze collectieve verantwoordelijkheid om te zorgen dat we als mensen een zinvol leven kunnen leiden. Met de enorme potentie van automatisering van AI gaat dat naar mijn mening vroeg of laat in het gedrang komen. Veel mensen gaan een zinvol bestaan verliezen ten koste van enorme winsten van multinationals. En dat gaat vroeg of laat tot een enorme recessie leiden als de middeninkomens niet meer meedoen. De onderlaag is al een tijdje afgehaakt. Het midden gaat volgen.

[Coolstart]

Dank voor je visie, zo kijk ik er ook naar. Maar er is wél een “maar”: disruptie slaat soms keihard toe. We vergeten vaak hoe pijnlijk een snelle revolutie eigenlijk is. Een miljoen doden door hongersnood is historisch gezien niet uitzonderlijk. Uiteindelijk komt het meestal ‘goed’, maar dat ene leven vol ellende wordt gemakkelijk vergeten.

Leef maar eens onder Stalin. Ook dat was “vernieuwing”, maar dan op de meest brute manier. Arbeiders tijdens de industriële revolutie gingen door dezelfde molen.

Met AI gaan we hopelijk ook een nieuw evenwicht moeten vinden.

De echte vraag is: hoe hard komt de klap, en hoe diep raakt ze de mensen die net in dat tijdvak leven? Snelheid is alles. Hoe sneller de shift, hoe zwaarder de impact. Regimewissels, oorlogen — allemaal voorbeelden van hoe verandering meedogenloos kan toeslaan.

Het verschil is nu: zowel productie als intellect verschuiven naar AI. Waar een machine vroeger een IQ van 0,001 had, spreken we nu over systemen met een potentieel IQ van 150+. De schaal van dat affect is gewoon exponentieel groter op machine én intellect.

Puur filosofisch zitten we in een uniek tijdperk want mens en machine zijn gescheiden. Je kan er gif op innemen dat, dat paradigma ooit anders zal zijn. AI is een ‘ras apart’. Letterlijk en figuurlijk.

Ik hoop uiteraard dat we er een goede uitweg voor vinden. Paniek helpt niet, maar laten we niet doen alsof dit geen historische breuklijn is. Het is misschien wel de meest extreme transformatie in de menselijke geschiedenis.

Honderdduizend jaar bijna niets, dan de industriële revolutie ×1000, en nu iets dat nóg exponentiëler gaat. Het idee dat mensen moeten werken en produceren is vandaag logisch, maar wordt op termijn gewoon niet meer realistisch.

De betekenis van mens-zijn zal veranderen — en dat wordt misschien wel de echte uitdaging. De lijn gaat flinterdun worden. Maar dat zijn mogelijk zorgen voor andere generaties.

[InsanelyHack]

In het kort? We hebben een onderwijssysteem dat draait op schaarste (kennis, tijd, cognitieve capaciteit), terwijl AI juist overvloed creëert.

Maar ik bedoel eigenlijk iets anders dan individuele ondersteuning of differentiatie in het klaslokaal. Onderwijs is van oorsprong gebouwd op het idee dat kennis paraat hebben en zelf verbanden kunnen leggen het bewijs vormt van je competentie. Een diploma staat daarmee symbool voor een nominaal niveau binnen een Gaussverdeling, van minder tot meer cognitief vaardige leerlingen, maar altijd met een onderliggende aanname dat kennis en redeneren vaardigheden zijn die je zelf moet bezitten.

AI doorbreekt precies dat fundament. Feitenkennis is niet langer schaars, en het vermogen om verbanden te leggen kun je aan een model vragen dat dat sneller en vollediger doet dan jij. De toetsing verandert daardoor volledig. Als AI in realtime feiten, interpretaties en redeneringen kan genereren, dan is de waarde van een diploma als bewijs van jouw kennis ineens veel minder vanzelfsprekend. Niet omdat leerlingen dommer worden, maar omdat het hele criterium waarop we bekwaamheid meten verschuift.

Wat betekent ‘leren’ nog als externe cognitieve capaciteit vrijwel onbeperkt beschikbaar is? Ik denk dat dit het onderwijs de komende decennia fundamenteel gaat veranderen. Niet alleen het tempo of de hulpmiddelen, maar het hele concept van wat we meten, waarderen en certificeren.

[86ul]

[...]

Enigszins offtopic, maar het is toch waanzinnig dat in de context van machine learning al gesproken wordt over “traditioneel” en “klassiek”.
Bubbel of niet, de ontwikkelingen gaan onvoorstelbaar snel.

Er kan net zo goed gesproken worden over versie x en versie x+n. Dus over eerder over een upgrade, waarbij er vooral 'onder de motorkap' is gewerkt. Dit al verzwakt/relativeert de snelheid (enigszins). Het is gewoon een piece of shit stukje software...

offtopic:
Oh, en Skynet, die bestaat al lang, hoe we krijgen anders gepersonaliseerde advertenties?

[Reactie gewijzigd door 86ul op 7 december 2025 14:27]

[R_Zwart]

Ja en nee. "Klassiek" bestaat al tientallen jaren alleen is het pas de laatste ca. 10 jaar mogelijk om daar praktische toepassingen mee te maken. Vanuit de gemiddelde eindgebruiker is het nog steeds nieuw, maar voor wetenschappers is het niets nieuws meer.

[Thonz]

Precies. Één begrip dat laat zien dat AI ouder is dan ChatGPT is de ai winter

[Reactie gewijzigd door Thonz op 7 december 2025 21:19]

[Amanoo]

Valt mee. Ik heb een boek uit 2011 waarin deze "klassieke" methoden al worden uitgelegd. En dat boek is nog weer een vertaling en zoveelste editie van een origineel uit 2009. Zo nieuw is dat allemaal niet eens. Was gewoon onderdeel van mijn bachelor. In bepaalde kringen was dat toen al een beetje gemeengoed aan het worden.

Wat wel nieuw is, is hoe ver al die methoden nu worden genomen. In 2011 was het veel meer een onderzoeksdingetje. Een enkele keer hoorde je misschien over een OpenAI die een AI had getraind om Dota te spelen. Of een chatbot die daadwerkelijk wel wat leerde maar die ook enorm voorspelbaar was en binnen mum van tijd in een nazi veranderde. Dat was toen nog geen LLM. Oh, en schaakmachines, maar de eerste met machine learning kwam ook wat later, ik geloof dat dat AlphaZero was in 2017.

Dat het echt hard is doorontwikkeld, is wel iets van vooral de afgelopen ±5 jaar. De modellen die we nu bouwen zijn veel geavanceerder dan in de jaren ervoor. En het heeft ook veel algemene bekendheid gekregen sinds de introductie van LLM's en generatieve AI. Maar op de achtergrond is er al veel langer iets aan het spelen geweest. En er bestaan ook best indrukwekkende AI technologieën die niet generatief zijn, en die worden nu behoorlijk ondergesneeuwd door de meer generiek toepasbare generatieve AI.

[markg85]

Voor de doom denkers en dystopische toekomst angst.

Deze verbetering, of überhaupt het continu zelflerende aspect verandert nog niet veel met betrekking tot ASI en AGI. Ze kunnen dan hetzelfde kunstje als ze nu ook al kunnen alleen met actuele kennis. Voor sommige benchmarks zal dit baanbrekend zijn die ineens met gemak helemaal gehaald worden.

Maar het blijft een mechanisme wat in kennis patronen probeert te vinden voor zijn oplossingen. Zolang een model niet uit zichzelf nieuwsgierig is en andere aanpakken probeert zal ook deze innovatie uiteindelijk een plateau hebben. Dit wordt geen AGI. Maar ja, het is wel een van de vele puzzelstukjes die opgelost wordt naar dat AGI pad toe. Overigens een stukje dat ook nog steeds door mensen is bedacht, niet door AI zelf.

We zijn nog even veilig 😁 ik geef het nog een jaartje of 5 voor het eng wordt en ai echt kan innoveren, dan gaat het hard.

[grrfield]

Moeten we dan wachten tot het moment waarop het echt eng begint te worden?

[jellybrah]

De echt goede vraag. We gaan gewoon dat topje over, en dan dondert alles en iedereen de helling af.

[markg85]

"Echt eng" is jouw angst voor deze techniek, niet de mijne. Laat AGI maar komen, graag zelfs! Denk aan alle enorme technologische vooruitgang die we dan in no-time krijgen! Ziektes, kunnen in een sneltreinvaart opgelost worden. Klimaat problematiek, kan zo opgelost worden.

Elke fundamenteel nieuwe uitvinding die de beschaving op zijn kop zet is vooraf eng en "het einde van de wereld". Maar het wiel was toch best revolutionair. Het vuur was toch best handig en je kan stellen dat het de mens uberhoupt mogelijk heeft gemaakt. Stoom machines waren ook eng, paard en wagen was tenslotte betrouwbaar. En zo zijn er nog wel een paar historische ontwikkelingen die de beschaving helemaal op zijn kop hebben gezet, hebben we allemaal overleeft. De samenleving zal fundamenteel veranderen met AGI maar niet verdwijnen.

Of ik heb het helemaal fout en dit zijn de laatste paar jaren van de mensheid en is AI gaat het "great filter" moment worden wat ons einde wordt. Neh, vast niet.

[Barsonax]

Het is sws geen great filter moment lijkt mij anders hadden we allerlei AI beschavingen moeten vinden.

[markg85]

Het idee van dat filter is juist dat je er niet voorbij komt. Dus dan vindt je ze juist niet. Of snap ik het nou fout?

[Barsonax]

Als AI ons uitroeit stopt het daar natuurlijk niet bij. Stel dat het doel van die AI is almaar meer rekenkracht te vergaren zal die zich verspreiden over het zonnestelsel en verder.

[markg85]

Droom verder

[tw_gotcha]

misschien hebben we straks niet de energie en grondstoffen om deze groei te steunen en dan wordt een plateau om hele andere redenen gehaald. Tenslotte is hert pure roofbouw en krijgen we er niks voor terug dat echt waarde heeft.

[Reactie gewijzigd door tw_gotcha op 7 december 2025 20:06]

[markg85]

Of we ontdekken alternatieven die AI veel efficiënter maken. Wat een enorm veel grotere waarschijnlijkheid is dan jouw linear doortrekken van het huidige probleem. Dat is het denken van "zo door en dan gaat het fout", dat is geen realiteit. Het gaat altijd anders dan "meer van hetzelfde". Lampen gingen heel vroeger ook op olie, doen we toch al een tijdje niet meer. De hoeveelheid lumen die we nu per joule halen is vele malen hoger dan bij de ontdekking van vuur. En zo zal in AI ook steeds een verbeterslag zitten die het efficiënter maakt.

[wilco19]

Ik kan het niet laten, gooi hem er toch in. Weer een stapje dichterbij richting totale besturing en beslissingen vanuit een alles overheersende AI met verstrekkende gevolgen, gebaseerd op een internetstructuur vol met aannames, onwaarheden etc. Best uitdagend.

Hoe noemen ze dat ook alweer, iets van : wordt vervolgd(in de breedste zin van het woord)😉

[Darun]

ik zal het beter zeggen: check eclipse phase, waar de aarde wordt vernietigd door titans (AI) en de overlevenden in het zonnestelsel behalve op aarde zit.

Ik houd van techniek, maar er zijn duidelijk grote vraagtekens in hoe we het moeten gebruiken in de maatschappij. Ik vrees voor de banen van veel mensen.

[Azenomei]

Nu ik AI een tijdje op de werkvloer heb geobserveerd, ben ik niet echt bang voor de banen van veel mensen. Wel ben ik bang voor de grote groep mensen die blindelings alles accepteert dat een AI voorkauwt zonder er verder bij na te denken. Misschien moet de prompt "geef me antwoord in straattaal" standaard erin gezet, dan nemen mensen het een stuk minder serieus.

[Pasteis]

Nu ik AI een tijdje op de werkvloer heb geobserveerd, ben ik niet echt bang voor de banen van veel mensen. Wel ben ik bang voor de grote groep mensen die blindelings alles accepteert dat een AI voorkauwt zonder er verder bij na te denken. Misschien moet de prompt "geef me antwoord in straattaal" standaard erin gezet, dan nemen mensen het een stuk minder serieus.

Ik ben vooral bang voor de negatieve gezondheidseffecten die het kan hebben op termijn en die bijvoorbeeld onze smartphone en social media nu aantoonbaar ook veroorzaken.

Technologische vooruitgang vraagt steeds meer van mensen op het gebied van mentale gezondheid. Er moet hier beter over geinformeerd. Je ziet nu al met AI dat mensen steeds minder actief nadenken, maar de simpelste vragen aan AI stellen. Het blijft en is een hulpmiddel, geen vervanging van je zelfstandig denk vermogen.

[Powerblast]

AI is op dat vlak niks anders dan social media. Wordt ook gewoon zonder nadenken als waarheid aangenomen. Hoeveel ik kinderen hoor zeggen dat ze een zogezegde influencer in een filmpje wat hebben horen zeggen en dat vervolgens als waarheid aannemen omdat het een "bekend" iemand is, valt ook al niet meer op één hand te tellen. Meestal volgt dan een discussie waarin ik het tegendeel letter moet bewijzen en dan vallen ze uit de lucht .

Moraal van het verhaal, het is mijn inziens nu meer dan ooit de taak van scholen en opvoeding om kinderen (en volwassenen) kritisch te leren zijn en voor zich te leren denken. Stel alles in vraag en vorm daar je mening uit. Neem niks (of toch zo goed als ) als waar aan zonder je bronnen te checken.

[themadone]

Deze lijkt overhyped:

https://arxiv.org/html/2510.09551v1

[olafmol]

Dit heeft meer met een beter geheugen-model te maken dan met zelflerend. Er lijkt ook geen enkele validatie in te zitten wat betreft de correctheid van de input van de gebruiker. Dus dat "continue bijleren" haal ik absoluut niet uit de paper die aangehaald wordt.

[RobbertBink]

Ik ben misschien wel de grootste AI doemdenker hier, maar toch begin ik wat barstjes te zien in het verhaal. Misschien ben ik mezelf aan het geruststellen, maar ik zie steeds vaker van deze lovende nieuwsberichten, die vooral bedoeld lijken te zijn om de miljardeninvesteringen te rechtvaardigen. Gaat het allemaal dan toch minder hard dan gedacht?

[P8ter]

Sluit mooi aan op het bericht van gisteren: nieuws: Grok genereert mogelijk op verzoek nauwkeurige adresgegevens

Met deze techniek kent AI meteen je nieuwe adres als je verhuist, en als je in de krant een geboortebericht plaatst komt de blije doos next day.

[fenrirs]

Als je in de krant…. Krant, dat ding moest ik in een geschiedenisboek ai chat opzoeken.

[Ma_rK]

Wat vet dat deze ontwikkeling door blijft gaan.

Dit klopt allen niet helemaal in het artikel.

Tot op heden is het toevoegen van nieuwe informatie aan AI-modellen een kostbare zaak. Het opnieuw trainen van AI-modellen vereist veel rekenkracht en tijd.

Voor hertrainen is inderdaad veel rekenkracht nodig, maar voor het toevoegen van nieuwe data niet. Dat doen je op dit moment alleen op een andere manier met RAG (Retrieval-Augmented Generation). Daarbij voeg je relevante informatie toe aan je prompt (het enige dynamische deel) welke je mee geeft aan een taalmodel. Het model zelf blijft echter ongewijzigd. Dat doen Titans compleet anders.

RAG gebruikt vaak een vector database. Hoe dat werkt is trouwens echt tof. Tekst wordt opgeslagen als numerieke vectoren (embeddings), zoeken gebeurt op semantische nabijheid in plaats van keywords. Dat maakt het hele elegante tech, maar wel een workaround want je prompt groeit (en dat kan niet onbeperkt want context window), en het model zelf blijft statisch. Niet altijd de beste oplossing dus.

Wat Titans doet is fundamenteel anders: het past de interne weights van het model aan tijdens inference. Dat is echt nieuw. Bij RAG "weet" het model niks nieuws, het krijgt alleen extra context mee. Bij Titans leert het model daadwerkelijk bij terwijl je ermee werkt.

[JorneB]

Klinkt als een mooie ontwikkeling. Dit is precies wat ik voor ogen heb, maar dan voor op mijn eigen thuis pc, in eigen beheer, zonder pottenkijkers. Weg met het kostbare hertrainen van je model en vooraf geconfigureerde agents, en over op een prive databank (kennisbank) vol met images van diverse kennisgebieden. 48GB RAMdisk om je LLM en te gebruiken images op te parkeren en knallen maar. Blij dat ik afgelopen Maart reeds geupgrade heb, want het lijkt erop alsof het niet de bedoeling is dat consumenten dit soort performance gewoon thuis hebben staan en de HEDT-markt nu effectief de nek om gedraaid gaat worden.

[Reactie gewijzigd door JorneB op 7 december 2025 23:07]