Google brengt Gemini Nano-model als preview uit voor niet-Pro-versie Pixel 8

Google heeft zijn Gemini Nano-model uitgebracht voor de Pixel 8. De Pixel 8 Pro heeft Gemini Nano al maanden draaien. Het gaat voor de Pixel 8 vooralsnog om een bètaversie in de Pixel Feature Drop.

Google Recorder samenvatten met AI

Gemini Nano op de Pixel 8 maakt twee functies mogelijk: Smart Replies in Gboard en het samenvatten van transcripties in Recorder, zegt Google. De Pixel 8 Pro heeft meer functies. Dat is volgens Google mogelijk, omdat de Pro 12GB aan werkgeheugen heeft, tegenover de 8GB van de Pixel 8.

De functies zijn als Developer Preview te proberen op de Pixel 8 na een upgrade naar de nieuwste Feature Drop. De functies werkten al maanden op de Pixel 8 Pro. Google bracht beide telefoons vorig najaar uit.

Reacties (7)

[RalphM.]

Wat context betreffende de RAM: mijn Pixel 8 Pro gebruikt tussen de 6,5 en 7 GB aan RAM zonder dat er een app open staat (en alles in de multitasker is afgesloten). Dat 8 GB mogelijk te klein is voor het draaien van alle AI modellen naast jouw daadwerkelijke apps zou dus best waar kunnen zijn.

[watercoolertje]

Waarschijnlijk staat er gewoon een hoop gecached in je RAM, dat doen OSen zodat apps sneller starten . Ongebruikt ram is gewoon zonde dus die vullen ze gewoon deels zodat bepaalde apps/processen sneller kunt starten.

Android zelf gebruikt hier maar 2.5GB (en dat is dan volgens veel tweakers ook nog de bloated samsung versie ervan!) op de S24+.

Als je developer options activeert in settings kan je daar de bij 'running services' zien waar je RAM voor gebruikt wordt, OS, apps of cache (dat kan je zien door daar op 3 puntjes te klikken en kiezen voor show cache oid).

edit: spuit 11

[Reactie gewijzigd door watercoolertje op 22 juli 2024 22:11]

[seapip]

Hier op een Pixel 8 krijg ik dan 2.1gb OS en 399mb System UI. Dus ook exact 2.5gb, waarschijnlijk is de meeste bloatware op een Samsung tegenwoordig een app ipv onderdeel van het systeem.

[morphje]

Pixel 7a met CalyxOS. 4.3G average usage. 1.9GB door Android OS, de rest door de diverse apps en services.

Al die kleine dingen zoals 171 MB voor de sim manager (esim), telt wel op. Waarom het keyboard trouwens 127 MB nodig denkt te hebben is mij een raadsel, zelfs voor stock android klinkt dat wel als erg veel in de oren.

[joost00719]

Ik gok dat er veel RAM gebruikt word voor caching. Unused RAM is wasted RAM.

[kabelmannetje]

LLM kosten bakken met RAM. Blijkbaar heeft Google deze iets kunnen beperken.

[Creesch]

Het is iets complexer dan dat, de hoeveelheid RAM die nodig is, hangt samen met hoeveel parameters een model heeft. Hoe meer parameters in het model, hoe beter het model om kan gaan met complexe taal.

Grofweg genomen zie je vaak dat "simpele" modellen tegenwoordig rond de 7 miljard parameters zitten. Deze modellen zijn op relatief bescheiden hardware al te draaien.

Gemini Nano beschikt zover ik kan achterhalen over grofweg 1,5 tot 4 miljard parameters. Dus Gemini Nano zal hierdoor ook lagere memory eisen hebben, maar hierdoor ook minder capabel zijn.

Overigens zit daar ook de kanttekening bij dat e.a. ook afhangt van hardware en Pixel telefoons komen met extra hardware op dit gebied. In hoeverre Google dat ook daadwerkelijk weet te benutten voor LLM gebruik weet ik niet.