Nieuwe Google-app laat mobiele gebruikers AI-modellen offline draaien

Google heeft een mobiele app uitgebracht waarmee gebruikers lokale AI-modellen op hun smartphone kunnen draaien: AI Edge Gallery. Het betreft een experimentele Android-app met Hugging Face-integratie. De app komt binnenkort ook naar iOS.

Op de GitHub-pagina staat te lezen dat de AI-modellen volledig offline kunnen worden gedraaid. Er is geen internetverbinding nodig om de taalmodellen te laten werken en alle berekeningen gebeuren volgens Google op het apparaat zelf. De gebruikers kunnen zelf een taalmodel kiezen via Hugging Face-integratie, of een eigen taalmodel inzetten via LiteRT.

AI Edge Gallery biedt drie modi: Ask Image, Prompt Lab en AI Chat. Via Ask Image kunnen gebruikers een afbeelding uploaden en het AI-model er vragen over stellen. Via Prompt Lab is het mogelijk om prompts samen te vatten, te analyseren en te bewerken. De AI Chat-functie is een chatbotfunctie. Gebruikers kunnen via de app ook de prestaties van het taalmodel op hun mobiele toestel analyseren en bekijken. AI Edge Gallery is via een Apache License Version 2.0 beschikbaar. Dat wil zeggen dat de software zowel privé als commercieel mag worden gebruikt, en dat de software ook aangepast mag worden. Er zijn in bepaalde gevallen restricties van toepassing.

Google AI Edge Gallery. Bron: GitHub

Reacties (58)

[Yucon]

Is dit wel te combineren met een enigszins redelijke accuduur?

[lenwar]

Goede vraag.
De LLMs en beeldengeneratoren zijn puur ruwe wiskunde (matrixrekenen). Goede kans dat dit met de juiste geoptimaliseerde chips relatief energiezuinig kan, maar op
Dit moment zou ik er niet vanuit gaan.

(Een beetje als AES-acceleratie in chips. AES is ook ruwe wiskunde, maar met de juiste chips, kan het super-efficiënt.)

[Willem_D]

LLM's verbuiken erg veel energie, ik geloof nooit dat dit goed op een telefoon zal draaien. En als het daar goed op kan draaien, dan is het resultaat waarschijnlijk erg matig. Over 5-10 jaar zal dit waarschijnlijk wel kunnen, als we echte AI chips hebben.

Probleem van de huidige chips is dat ze een neuraal netwerk simuleren, in plaats van een neuraal netwerk zijn. Dit kost erg veel energie. Het is een beetje hetzelfde als je 1000W magnetron gebruiken als kookwekker.

Wat je eigenlijk wil is een daadwerkelijk neuraal netwerk op een chip, op transistorniveau. En eventueel analoog in plaats van digitaal. Er zijn al bedrijven hiermee bezig, zoals https://mythic.ai/

[GertMenkel]

Klinkt alsof je de app niet geprobeerd hebt. Er is een reden dat ze hem hebben uitgebracht.

Ik heb een Pixel 9 Pro. De app is een week geleden al op Github verschenen en de chatprompts en afbeeldinganalyse doen het helemaal prima. De Pixel heeft niet bepaald een sterke CPU/GPU, ik verwacht dat het topmodel van Qualcom en Apple nog veel beter werken. Bij lange gesprekken merk je dat de telefoon warm wordt, maar basale vraag/antwoordsituaties doet hij het prima. De modellen moeten op je telefoon in het geheugen passen en dat is een aardige beperking als het op kennis die in het model ingebakken zit aankomt.

Voor de statistieken: met Gemma-3n-E2B-it-int4 behaal ik met een Nederlandse vraag een eerste token na 2,6 seconden, daarna 8,03 tokens per seconde op de CPU. Op de GPU doet dat model een eerste token na 0,97 seconden en behaalt het een 9,47 tokens/s snelheid, maar je merkt wel dat de GPU sneller de telefoon opwarmt dan de CPU.

Dit meer dan genoeg voor iets als een Google Gemini/Assistant/Apple Siri om algemene tekst ("zet alle lampen van Ikea uit", "laat Pietje weten dat ik om vier uur thuis ben", "stuur mijn boodschappenlijstje naar de familiewhatsappgroep") om te zetten naar acties waar de assistent wat mee kan doen.

[stefanhendriks]

https://mythic.ai/ lijkt zich vooral te vergelijken met traditioneel CPU/Memory architectuur. NPU's zijn toch ook al 'AI chips'? Ik ben met je eens dat elke vertaalslag (simulatie wat je wil) energie en computing power kost. Maar hoe je erbij komt dat "het nooit goed op een telefoon zal draaien" is mij een raadsel.

Toen de eerste iPhone gelanceerd werd zou niemand je geloven dat je 15 jaar later PS4 (of PS5) achtige graphics op je telefoon kan hebben. Dat is nu ook al mogelijk.

[Willem_D]

Ik kan het mis hebben maar volgens mij zijn alle NPU's gebaseerd op een soort general-purpose computing, zoals bijvoorbeeld CUDA op NVIDIA chips. Wat deze doen is een neuraal netwerk simuleren en doorrekenen met grote matrix vermenigvuldigingen. Dit kost heel erg veel energie.

Wat ik verwacht is dat er een nieuwe chiprevolutie komt met een nieuw soort chip die op transistorniveau een neuraal netwerk is, eventueel met analoge chips. Met dat soort chips zou je met een fractie van de benodigde energie hetzelfde kunnen doen als nu. (En die kun je dan ook in telefoons inbouwen).

Echter het opzetten van een chipindustrie die dit soort chips maakt kost miljarden. En in het begin heb je nog geen economics-of-scale voordelen die de huidige chipindustrie wel heeft. Maar ik vermoed dat AI nuttig genoeg is (of gaat worden) om deze investeringen te gaan doen.

[stefanhendriks]

qua infra denk ik dat het wel meevalt, de chip bakken kun je 'laten doen' door TSMC. Het moeilijkste is denk ik chip-design. Zodat je idd een neuraal netwerk op hardware hebt en niet hoeft te simuleren.

[lenwar]

Echt volwaardige LLMs zie ik (in de nabije toekomst) ook niet echt gebeuren, tenzij er echt iets 'heel' erg revolutionairs gaat gebeuren op chipgebied, maar wiskunde blijft wiskunde.

SLMs daarentegen, zie ik wel een toekomst voor op mobiele apparaten. Een mobiel apparaat heeft tenslotte een bepaalde 'use-case', en als je die functies in slimme een SLM kunt stoppen, heb je eigenlijk wat je nodig hebt.

Onder aan de streep licht het er dus heel erg aan wat Google precies erin heeft gestopt. Het zijn in elk geval interessante tijden.

[baseoa]

Snap niet dat de andere reacties maar wat roepen als je het ook gewoon kan proberen... ik heb de app geïnstalleerd en, na het model te downloaden, zonder netwerkverbinding gebruikt. Daarbij kost "Qwen2.5-1.5B-instruct q8" op een Pixel 6 zo'n 17% accu per uur als je vrijwel constant aan het typen danwel genereren bent

Met zo'n 20 seconden voor een gemiddeld antwoord zit je dan op ongeveer 0.1% accu per antwoord

Je kunt altijd per query kiezen of je het op je telefoon wil hebben draaien, of dat je nog een lange dag zonder laadmogelijkheid te gaan hebt. Babbelen met een zendmast kost natuurlijk ook stroom maar we zien in de Tweakers mobiele data accutests dat dit bijna de helft scheelt (random toestel erbij pakkend dat 9.5 uur haalt in de mobiel-webbrowsen-test, dus elk uur ruim 10%)

Edit: Het model genereert overigens à 10 tokens per seconde. De kwaliteit van de antwoorden laten enigzins te wensen over, het begrijpt niet altijd waar het over gaat, bijvoorbeeld bij een vraag waarom het niet "ich liebe dir" in het Duits is (maar "ich liebe dich") begon het op een gegeven moment over dat het geen gevoelens heeft als taalmodel (de exacte verwoording ben ik vergeten en er is geen chatgeschiedenis). Ik moet de andere modellen nog eens uitproberen

[Reactie gewijzigd door baseoa op 2 juni 2025 14:23]

[GertMenkel]

Ik vind dat Gemma-3n het een stuk beter doet dan Qwen2.5 in deze app, zowel qua snelheid als qua kwaliteit. Qwen kan amper een Nederlandse zin vormen, maar Gemma spreekt vloeiend (AI-)Nederlands. Natuurlijk is de kennis van een model van 3 GiB niet bepaald op hetzelfde niveau als dat van een 100 gigabyte model dat in de cloud draait, maar je kunt er toch wel dingen mee doen.

Ik ben nog meer onder de indruk van de afbeelding-analyse die Gemma doet.

[JSLV]

Hangt erg af van welk onderdeel van je SoC deze app gebruikt om inferencing te doen. Als de NPU gebruikt wordt is dit zeker te combineren met goede accuduur. Maar in het geval dat ofwel de CPU of GPU gebruikt worden, dan kun je gedag zeggen tegen je accuduur en hallo zeggen tegen warme handjes.

[djwice]

Ja, als je een NPU in je telefoon hebt en het model daar gebruik van maakt draait het niet alleen snel, maar ook zeer energie efficient.

Mijn laptop met Qualcomm ARM chip met NPU (zelfde hardware als je Android telefoon dus) draait Windows en ik kan een hele dag AI gebruiken zonder de stekker in het stopcontact te moeten doen.

[PaulHelper]

Dit is toch deels waarom NPUs een rol moeten gaan spelen.
Alleen zijn ze volgens mij nog niet sterk genoeg waardoor de meeste modellen nog steeds naar CPU/GPU only gaan op telefoons.
https://github.com/UbiquitousLearning/mllm zou bijvoorbeeld wel de NPU moeten kunnen gebruiken van bijvoorbeeld Qualcomm 8 gen X.
Zelf niet geprobeerd maar wellicht wil iemand anders dat of doe ik het zelf later uit nieuwsgierigheid.
Het ding met NPUs is dat ze veel efficiënter zouden moeten zijn/worden.

Zie https://www.diva-portal.o...a2:1886212/FULLTEXT01.pdf (Pagina 32/44).
Daar is een energy consumption uitgedrukt in W*me ofwel verbruik*interference time.
Lager is beter want lager verbruik is goed, lagere interference ook goed.
Er staan zowel CPU GPU als NPU, en daar zie je ongeveer een factor 10-20x efficiënter dan de CPU, en 5-20x efficiënter dan de GPU.
Enige remark hierbij is dat dit volgens mij in de desktop/grote form factor versies gaat. Cpu i7 11800H - GPU 3070 max Q - NPU RK3588 soc op Rock 5B sbc.

Verder kunnen in ieder geval de huidige NPUs niet alle modellen runnen. Volgens mij zijn ze gemaakt/geoptimaliseerd voor FP16 en INT8 maar correct me if I am wrong. Dan moet je dus of modellen hebben die dat zijn of ze kunnen omvormen daarnaartoe.

[Reactie gewijzigd door PaulHelper op 2 juni 2025 10:30]

[Beta]

Dit was te verwachten. Nu nog voor smartphones geoptimaliseerde modellen en het RAM omhoog.
We zullen over een paar jaar wel lachen over de 8GB die we nu hebben. Zou me niet verbazen als we binnen afzienbare tijd ook 32GB in de smartphone hebben.

[djwice]

Nu nog voor smartphones geoptimaliseerde modellen ...

Bij deze https://aihub.qualcomm.co...-8-elite&isQuantized=true

[Reactie gewijzigd door djwice op 2 juni 2025 08:12]

[StormRider]

Ik denk dat dat je de visuele/tekstuele vraag upload en dat het in de cloud blijft. En daarbij ben je met de chipset niet gebonden aan bepaalde modellen.

Over 5 jaar betalen we allemaal net zo graag een AI dienst als Netflix

[Reactie gewijzigd door StormRider op 2 juni 2025 08:14]

[Zenomyscus]

Over 5 jaar betalen we allemaal net zo graag een AI dienst als Netflix

Ik denk eigenlijk dat er maar een beperkte set mensen interesse heeft in AI. Een grotere groep zal het best leuk vinden er een keer mee te spelen, maar er voor betalen?

De groep die het voor werk gebruikt zal groter zijn, maar dan zal het onderdeel zijn van de programmas die ze daar gebruiken. Het merendeel van de gewone gebruiker heeft er thuis niet zoveel aan. Vergis je niet dat half Nederland amper iets op de computer doet thuis. Af en toe wat browsen, de belastingaangifte en misschien wat mailen. Maar dan houdt het wel op. Hier op Tweakers hebben de meeste wel verschillende apparaten en doen we veel meer met 'IT' dan gemiddeld. Bij 9 van de 10 mensen waar ik kom staat er ofwel een oude PC ergens in een hoek of op een kast, of is die geupgrade naar een laptopje die niet dagelijks en ook niet wekelijks gebruikt wordt. De meesten hebben dan wel een tablet om op de bank series te kijken en spelletjes te doen. Of gewoon een TV en mobiel. Maar die laatste wordt veelal gebruikt voor contact met (klein)kinderen. Zodra ik over AI begin hoor ik vooral "ik hoef die troep niet", "wat moet ik er mee", "wat een onzin" etc. niemand op een enkeling na probeert er iets mee te doen.

Wellicht zit ik in een rare hoek met personen. Maar aangezien 50% van de Nederlanders 50+ is verwacht ik er niet bijzonder veel van. En ja er zijn ook absoluut mensen in die groep die er wel veel mee doen, zeker onder tweakers. Maar in mijn groep merk ik bij 35+ al het gevoel dat men niet meer meekomt met de huidige techniek. Mede doordat het allemaal zo 'eng' snel gaat.

[JoostTheHost]

[...] in mijn groep merk ik bij 35+ al het gevoel dat men niet meer meekomt met de huidige techniek. Mede doordat het allemaal zo 'eng' snel gaat.

Ik heb regelmatig het idee dat het niet is omdat het zo 'eng snel' gaat qua ontwikkeling, maar voornamelijk dat het zo 'eng snel' wordt geaccepteerd door verschillende groepen (jong EN oud), zonder er kritisch naar te kijken. Het lijkt alsof AI en alles daaromheen zonder blikken en blozen wordt aangenomen. Bedrijfsgegevens? Ach, mik er maar in. Privacy gevoelige foto's? Ach, zo'n probleem zal het wel niet geven.. hoppa! etc. etc.

Ikzelf wil best AI hulpmiddelen gebruiken in mijn werkzaamheden, maar verwacht ook kritische richtlijnen of voorschriften vanuit mijn werkgever. Dat laatste blijft mijlenver achter... helaas. Iedereen doet dus maar wat, en dat maakt het in mijn ogen 'eng'.

[IlIlIllII]

Een ander probleem is dat de kwaliteit tussen AI hulpmiddelen nogal verschilt, zelfs voor dezelfde taken. Mijn werkgever dringt aan op het gebruik van Microsoft Copilot. Het gebruik van andere tools wordt afgeraden. Niet verboden, maar afgeraden. Hmmm, daar gaat het al fout. Overigens worden websites zoals die van OpenAI (ChatGPT) zelfs geblokkeerd.

Ik kan je vertellen: ik ben geen fan van Copilot. Veel collega's van mij ook niet. We gebruiken massaal ChatGPT via een omweg (zoals duck.ai) omdat we er beter/sneller/makkelijker mee kunnen werken, ondanks het advies van de werkgever. Zo zijn er wel meerdere ''kampen'' binnen het bedrijf die elk hun eigen voorkeur hebben en een andere website/tool gebruiken. Dus inderdaad: iedereen doet maar wat, zowel werkgevers als werknemers. Het is alsof je (gevoelsmatig) sterk wordt geadviseerd om Microsoft Paint te gebruiken, terwijl je beter overweg kan met Adobe Photoshop. Zo'n situaties zorgen voor wrijving.

[Reactie gewijzigd door IlIlIllII op 2 juni 2025 11:59]

[JoostTheHost]

Je werkgever heeft tenminste een helder standpunt wat betreft het gebruik van AI tooling (en zo te horen is dat ook licentietechnisch geregeld?). Dat is teminste al iets...

[pdidi]

Dat is toch iets van alle tijden? Eerst de innovatie, dan de acceptatie en dan pas veel later de regulatie

[yabatopia]

[...]

Ik denk eigenlijk dat er maar een beperkte set mensen interesse heeft in AI. Een grotere groep zal het best leuk vinden er een keer mee te spelen, maar er voor betalen?

Het is best mogelijk dat je over 5 jaar helemaal geen Netfllix meer nodig hebt en je aan AI vraagt om een film of "tv"-show te genereren op basis van jouw voorkeuren. Bv. Maak een horrorfilm met droge humor over een Nederlands dorpje waar plots mensenetende kaasbollen tot leven komen. De held is een nerdy Tweaker die stiekem verliefd is op zijn buurvrouw. Uiteindelijk sterf iedereen, behalve onze held en het buurmeisje (en haar kat)." De enige limiet is jouw fantasie.

Het zou me niet verbazen dat Netflix en co. hier ook al mee aan het experimenteren is.

[Aerkhanite]

Gemiddeld topmodel zit op de 12-16GB, uit mijn hoofd. Mijn eerste smartphone had maar 384MB werkgeheugen, de Xperia Play daarna (dé eerste Android gaming-phone), had er 512MB.

Zoals alles, wanneer het goedkoper/verschil minimaal wordt om méér te krijgen, verschuift alles en gaan de RAM-hoeveelheden ook omhoog. Netzoals de rest rustig naar beneden druppelt.

[The Zep Man]

Mijn eerste smartphone had maar 384MB werkgeheugen, de Xperia Play daarna (dé eerste Android gaming-phone), had er 512MB.

Die van mij had 64 MB RAM, waarmee ik veel kon doen van wat ik vandaag nog steeds doe (surfen, IM, mail, navigeren, ...).

Zoals alles, wanneer het goedkoper/verschil minimaal wordt om méér te krijgen, verschuift alles en gaan de RAM-hoeveelheden ook omhoog. Netzoals de rest rustig naar beneden druppelt.

Helaas gaat ook de benodigde hoeveelheid RAM omhoog. Veel mobiele applicaties zijn verre van geoptimaliseerd, juist omdat RAM geen probleem is.

Dat is overigens niet zo'n groot probleem. Een smartphone van +4 jaar oud kan alles draaien. Dat kon ik 20 jaar geleden niet claimen.

[Reactie gewijzigd door The Zep Man op 2 juni 2025 09:19]

[Wouterie]

Ja, dit is wel wonderlijk. Ik gebruik op de telefoon van mijn werk altijd dezelfde apps en ik doe dezelfde dingen. En toch wordt alles langzaam maar zeker trager! Een keer fabrieksinstellingen terugzetten etc helpt eventjes, maar is geen oplossing.
Het 'matig' optimaliseren is goed voor de verkoopcijfers zullen we maar denken.

[tedades]

Ik heb een hele tijd embedded software geschreven. Dan werke je met microcontrollers die soms maar (Kilo)Bytes aan RAM hadden. Toen moest je weten wat je software deed en deed je het ook optimaliseren. Toen kwam er een tijd waarin een ARM chip ook gebruikt kon worden. En nu heeft een smartwatch al meer kracht dan mijn eerste gaming PC.

Dus ik kan mij voorstellen dat bedrijven de afweging maken hoeveel tijd en geld ze moeten stoppen in goed ontworpen software. Want je mobiel is zo snel dat brakke software ook goed genoeg werkt. Hetzelfde voor hun backend die vast in de cloud draait. Zolang ze geld verdienen is de software aanpassen door te optimaliseren mogelijk alleen maar een risico.

[JSLV]

Er zijn op huggingface.co al Q4_0 quantizations te vinden van bestaande modellen. Deze lezen in feite de instruction sets die je SoC support en repacken zichzelf dan om zo snel mogelijk te draaien op die instruction sets. Deze quantizations zijn echt specifiek gemaakt voor ARM, dus geoptimaliseerde modellen bestaan al in zekere zin

[sdziscool]

Het probleem zit hem bij moderne smartphones grappig genoeg in de snelheid van de flash opslag. Die is nu zo langzaam dat een model van opslag naar RAM kopieeren bijzonder lang duurt.
Dit komt doordat er jarenlang niet echt hoge nood was voor snelle opslag vanuit de grote merken dus heeft de development van de UFS versies enorm uitgerekte deadlines gekregen waar telefoonmakers zelf nu schijnbaar allemaal over zitten te janken.

[Rob vd Hoeven]

Kort geleden heeft Google een nieuw LLM model genaamd Gemma 3n uitgebracht. De "n" geeft aan dat het een nano model is, speciaal voor offline devices en smartphones. Het model is multi-modal en kan ook audio en video als input verwerken. Meer info in dit filmpje.

[Reactie gewijzigd door Rob vd Hoeven op 2 juni 2025 10:42]

[genosis]

Ik denk dat we straks vooral NPU chips in onze telefoons gaan krijgen om dit te runnen, dus de andere kant op.

[Yzord]

Ik adviseer toch wel even heel goed de voorwaarden te lezen voordat we Google op hun blauwe oogjes mogen geloven. Toch? Want Google weet ook dat meeste mobieltjes gewoon met internet verbonden is en wie weet welke metadata het alsnog heen en weer stuurt via Google services op Android.

[JoostTheHost]

Dit is iets waar ik ook nieuwsgierig naar ben. Het feit dat de ingevoerde gegevens 'lokaal' worden verwerkt, betekent niet dat er in de tussentijd geen meta-gegevens worden verzameld die (later) alsnog worden doorgesluisd.

Het zou fijn zijn als Tweakers dit soort achtergrondinformatie in het vervolg direct in het nieuwsbericht kan opnemen.

[djwice]

Je kunt zelf de code bekijken in de GitHub repo in op eerste link in het artikel.

Elke versie veranderen er dingen die een analyse vanuit tweakers.net is wellicht minder relevant omdat die release gebonden is.

[djwice]

Je kunt natuurlijk nadat je de gewenste modellen gedownload hebt van huggingface natuurlijk gewoon wifi en 5G blokkeren op de app, als je het niet vertrouwd.

Je kunt ook gewoon de code op GitHub doorspitten als je daar tijd voor hebt.

[djwice]

Je kunt ook https://chat.webllm.ai/ gebruiken, ook AI die lokaal en offline werkt.

En ja, als je je netwerk verbinding verbreekt voor de app van Google, geloof ik dat de app dan geen metadata over dat netwerk kan verzenden.

In de link die je geeft zie ik boven aan de lijst geen gebroken beloftes, dus geen onderbouwing voor het aangedragen voorstel.

[Reactie gewijzigd door djwice op 2 juni 2025 20:03]

[djwice]

Is gebouwd op onder andere https://github.com/google-ai-edge/LiteRT

[Daoka]

Laat ze eerst maar eens de hallucinaties oplossen. Gisteren nog een fout gezien op Google. Mijn vraag was "ps4 soul hackers 2 open menu". Het antwoord was dat ik rondje of vierkantje moest gebruiken. Het correcte antwoord had moeten zijn "Aan het begin van het spel kan het niet. Zodra je in de dungeon zit kan het je het menu openen met driehoekje (en geen rondje of vierkantje dus!!!)". Geweldig AI met hallucinaties. Nou kon ik ook geen antwoord vinden op internet en snap ik dat de AI dus niet getraind is op deze data. Maar zeg dit dan in plaats van leugens te vertellen omdat bepaalde games mogelijk vierkantje of rondje gebruiken voor bepaalde menus. Door de hallucinaties heb ik nog weinig vertrouwen in AI op het moment.

[GertMenkel]

Verzinsels door AI zijn niet op te lossen met de huidige techniek. AI denkt niet na, dus weet niet wanneer het iets niet weet, en zal dus altijd iets genereren als antwoord op een vraag. Als in de trainingsdata een ontkennend antwoord bekend is, kan de AI dat herhalen ("nee, van vaccinaties krijg je geen autisme") maar als je vraagt "wat is de populairste kindernaam op venus", heeft de AI geen referentiepunt en begint deze gewoon te genereren.

Men kan de LLM overfitten op kennis die het wel heeft, maar dat vermindert de flexibiliteit en datacombinatiemogelijkheden tot de gevallen die al in de trainingsdata zitten.

Om die reden is AI simpelweg niet te vertrouwen. Je moet iedere zin fact checken als de waarheid uitmaakt. Voor een shitpost of een sinterklaasgedichtje is gegenereerde onzin niet zo lastig, maar voor dingen die je op Google opzoekt is dat heel anders natuurlijk.

Als je dit effect wil zien, moet je Google vragen om de betekenis van verzonnen gezegdes. Google iets als "zo hoog als het gras op Texel betekenis" en Google gaat een betekenis hangen aan het gezegde, omdat de trainingsdata niets bevat dat zegt dat het geen gezegde is.

[Reactie gewijzigd door GertMenkel op 2 juni 2025 13:05]

[Zorkman]

Gemini 2.5 Pro lijkt hier wel beter mee om te gaan hoor.

Hier kan je het resultaat van je vraag (wat is de betekenis van het gezegde "zo hoog als het gras op Texel"?) zien:
AI antwoord

[GertMenkel]

Ik had het specifiek over de AI die verschijnt als je de vraag in het Google-zoekveld stopt (dat zal wel een minder intensieve AI zijn). Al krijg je nu mijn reactie te zien en geen AI-overzicht meer, Google heeft me door Je kunt nog steeds zelf uitdrukkingen verzinnen en in Google's zoekveld gooien.

Toch verzint Gemini Pro ook nog steeds. Zo neemt Gemini Pro 2.5 maar aan dat er een werkwoord "honden" is als je vraagt om dat te vervoegen, inclusief een betekenis die het uit zijn duim zuigt. ChatGPT (geen idee welke versie dat standaard is) decodeert ook spreekwoorden alsof ze echt bestaan en Copilot op "think deeper" doet hetzelfde.

De bias richting het bevestigen van input is een inherent probleem van de huidige LLM's. De beste compensatie lijkt te zijn de AI te vragen om heel uitgebreid zijn denkstappen aan zichzelf uit te leggen om te hopen dat de conflicterende tokens tot de conclusie te laten leiden dat iets niet bekend is of bestaat, maar dat proces kan net zo goed echte feiten ontkennen als dat te strak wordt vastgehouden.

[Zorkman]

Blijkbaar is er ook een werkwoord "honden"

Archaïsch, net zoals Gemini correct zegt. Google zelf maar eens. De mens overschat zichzelf heel gemakkelijk.

https://drive.google.com/file/d/1Zk9AelHEoKKNjdsppXGHPx9jDIfMZKNJ/view?usp=sharing

https://g.co/gemini/share/626fb9057e06

[GertMenkel]

"Het zal er honden" is een gezegde dat altijd in die vorm gebruikt wordt ("ik hond" komt gewoon niet voor), "honden" als werkwoord kun je niet zo vervoegen. Misschien dat men dat in Middelnederlands wel kon, maar dat woord bestaat niet meer.

Daarnaast is de betekenis die Google geeft complete onzin zelfs als je het gebruik binnen het gezegde in acht neemt.

Hier heb je het eenzelfde voorbeeld met het verzonnen werkwoord "verjegenen".

[Daoka]

Men kan de LLM overfitten op kennis die het wel heeft, maar dat vermindert de flexibiliteit en datacom, binatiemogelijkheden tot de gevallen die al in de trainingsdata zitten

Prima dat het minder flexibiliteit heeft als dit minder hallucinaties geeft. Laat er maar een model komen die op feiten werkt en eerlijk zegt dat die geen antwoord heeft. Ik snap dat bepaalde vragen niet zou kunnen beantwoorden met dit model en daarom er ook creatieve modellen moeten zijn. Zoals jouw voorbeeld van Venus namen laat de AI dan maar zeggen dat er geen leven is gevonden op Venus en dus ook geen namen zijn. En laat hem daarna dat de optie geven om bijvoorbeeld boeken en films na te kijken en hier de namen van te gebruiken. Of te wisselen naar de creatieve model om namen te verzinnen. Als die er maar eerlijk over is dat het creatief is en geen feiten.

Ik heb na aanleiding van de andere reactie de zoekopdracht veranderd en er komen meer leugens uit. Nu was het de select knop (die niet bestaat op een Dualshock 4) of options knop om de menu te open (wat ook niet klopt al bestaat de knop wel) En een uitleg van de menu. Maar hier klopt helemaal niets van. Geweldig dat creatieve optie en dat het zelf dingen verzint omdat dit meestal zo werkt in spellen.

[Stukfruit]

ps4 soul hackers 2 open menu

Dat is een zoekterm, geen vraag.

Een LLM werkt (effectief) door volgende woorden in een zin te voorspellen. Wat je hier typt is niet iets wat je in het normale leven tegen iemand zou zeggen om met deze persoon te communiceren.

Maar misschien heb je een /s gemist?

[Daoka]

Technisch heb je gelijk en is het geen vraag. Maar de AI was wel slim genoeg om dit te ontcijferen naar wat ik bedoelde anders had ik geen (verkeerde) uitleg gehad. Dus ik heb niet het gevoel dat "hoe open ik de menu in de ps4 versie van Soul Hackers 2?" een betere antwoord had gegeven. Vooral niet omdat ik dus denk dat de trainingsdata dus niet aanwezig is (ik kon ook geen websites vinden en ik vermoed dat dit ook niet een erg bekende spel is). Ik had je wel gelijk gegeven als de antwoord was "ja je kan een menu openen" of "de geopende menu ziet er mooi uit / heeft deze functies"

Het was trouwens ook niet bedoeld om dit een AI te vragen maar dit heeft Google (helaas) tegenwoordig standaard erin zitten.

Edit: ik heb nu voor de grap de zin "hoe open ik de menu in de ps4 versie van Soul Hackers 2" geprobeerd en krijg een slechtere antwoord. Even in 2 delen quoten.

Om het menu in de PS4 versie van Soul Hackers 2 te openen, druk je op de Start-knop op je controller. Dit zal het hoofdmenu openen waar je verschillende opties kunt kiezen, zoals:
Continue: Het spel hervatten van waar je bent gebleven.
New Game: Een nieuwe game starten.
Settings: Instellingen aanpassen, zoals audio, visuele instellingen, en de game controller.
Extras: Optionele inhoud en functies, zoals de spell encyclopedie, de monster encyclopedie of extra content.
Exit Game: Het spel verlaten.

Als eerste de dualshock 4 heeft geen startknop. Ten tweede de hoofdmenu bestaat uit de opties
New game
Load game
Voice settings
Playstation Store

In-game menu openen:
Tijdens het spel kun je het menu openen door op de Select-knop (of de Options-knop op sommige controllers) te drukken. Dit zal het in-game menu openen waar je verschillende opties hebt, zoals:
Party: Je huidige party bekijken en veranderen.
Skills: Je skills en abilities bekijken en upgraden.
Items: Items bekijken en gebruiken.
Status: De status van je personages bekijken, zoals health, magic en andere stats.
Save: Het spel opslaan.

De dualshock 4 heeft geen select knop (wel een opties knop maar deze doet tijdens lopen niets en tijdens verhaal automatisch volgende tekst ).
Daarnaast de ingame menu is:
Skills
Items
Summoners
Demons
Requests
Enemies
System

Dat komt dus geeneens in de buurt van wat de AI zei. Beter verwoorden heeft dus echt niet geholpen.

[Reactie gewijzigd door Daoka op 2 juni 2025 16:27]

[Stukfruit]

Het punt in m'n vorige reactie is dat het geen AI is. Dat is wat de marketeers ervan maken.

Je kan het dus ook niet zo gebruiken, ondanks dat Google zegt dat het wel kan.

[Dociler]

Alhoewel het superdope is, is het ook wel echt eng. Nu kun je drones nog uit de lucht halen via de radio golven tenzij ze aan een touwtje zitten... Daar komt straks dus een 3e smaakje bij waar je iets nieuws op moet verzinnen.

[Wouterie]

Ik vraag me af hoe je op het onderwerp drones komt, maar er is vast een inleiding die ik gemist heb. A.I. drones zijn trouwens al werkelijkheid, maar daar heb je geen offline taalmodel voor nodig.

[MulMonkey]

Heb jij het artikel geïnterpreteerd alsof de Google A.I. mobiele telefoons offline brengt? Mocht dat zo zijn, snap ik je reactie (ietsje) beter, maar heb je niet goed gelezen.

[AnimeDev]

Ik denk eerder dat het over het type drones met geleide raketten die wel eens offline een target selectie zouden kunnen draaien met AI ipv remote door iemand met een joystick bediend worden. Wat nu al kan natuurlijk. Of misschien gaat het dan eerder over zelfvliegende drones voor amazon/thuisgebruik die niet meer bestuurd moeten worden? Your guess is as good as mine

[Test98235551237]

PocketPal AI presteerde al behoorlijk goed met lokale LLM-modellen, hoewel het mogelijk beeld- en audiobewerking mist.

[SilentDecode]

Ik ben voorstander van meer resources aan telefoons geven (al is het huidige ook prima), maar dat AI komt er bij mij niet in. Alles wat met AI te maken heeft schakel ik uit, of verwijder ik. Weg met die troep.

[Stukfruit]

Dat is wel jammer, aangezien de onderliggende tech in essentie vooral een nieuwe manier is om data te doorzoeken ipv intelligentie. Door dat te ontwijken ga je een hoop mooie mogelijkheden missen.

Het stukje intelligentie wordt er vooral bij verzonnen door de marketeers.

[SilentDecode]

Door dat te ontwijken ga je een hoop mooie mogelijkheden missen.

Zoals? Noem eens wat voorbeelden dan. Want ik kan mij nu niks bedenken wat ik daadwerkelijk zou moeten missen.

[ultimasnake]

Ideetje: Welke apps gebruik je dagelijks/wekelijks?

[Stukfruit]

* Stukfruit heeft het even geprobeerd en is best onder de indruk van dit op TensorFlow Lite gebaseerde werk

Op een recente MacBook Air met Ollama en zonder GPU zijn dezelfde modellen een stuk langzamer dan met deze variant op m'n Android-telefoon. Op de telefoon via deze app is het met max 5 seconden wachttijd en redelijk snelle output daarna zelfs bruikbaar te noemen.

[XIU]

Is dit een echte Google app, ik had het al zien voorbijkomen maar dit geeft toch helemaal geen officiele app gevoel.

https://github.com/google-ai-edge willekeurig icoontje, geen members, geen informatie
https://github.com/google...ry/blob/main/LICENSE#L189 license is niet eens ingevuld
En die hele repo is 2 maand uit.

[edit] Op https://developers.google...rflow-lite-is-now-litert/ verwijzen ze wel naar een repo https://github.com/google-ai-edge/ai-edge-torch dus dat geeft dan toch een beetje extra zekerheid

[Reactie gewijzigd door XIU op 2 juni 2025 16:22]