Google voorziet Gemini van Live-voicechat en een contextuele Android-overlay

Google introduceert Gemini Live voor Android en later iOS. Dat is een 'conversatie-ervaring' die gebruikers in real time een gesprek laat voeren met Gemini. De AI-dienst krijgt ook een overlay voor Android, waarmee de chatbot kan reageren op dingen die op het scherm worden getoond.

Google stelt dat Gemini Live gebruikt kan worden om vloeiend verlopende gesprekken te voeren met zijn AI-chatbot. Gebruikers kunnen vragen aan de AI-dienst stellen, waarna ze een gesproken antwoord krijgen. Ze kunnen daar vervolgens weer vervolgvragen over stellen. De techgigant zegt dat de feature ook handsfree gebruikt kan worden en ook kan werken wanneer de telefoon vergrendeld is. Google stelt voor de feature tien nieuwe stemmen beschikbaar, die praten met een verschillende toon en stijl.

Gemini Live komt vanaf dinsdag in meer dan 150 landen beschikbaar voor Gemini Advanced-abonnees. Dat gebeurt in eerste instantie alleen in het Engels en voor Android-gebruikers. In de komende weken wordt de feature uitgebreid naar iOS en komt deze beschikbaar in meer talen, hoewel Google niet vermeldt om welke talen dat precies gaat. De functie werkt alleen op smartphones.

Android-overlay en meer integraties

De Gemini-AI-dienst krijgt daarnaast een 'contextuele overlay' voor Android, die beschikbaar komt voor 'geselecteerde telefoons, talen en landen'. Gebruikers met een compatibel toestel kunnen die feature activeren door de aan-uitknop van hun telefoon ingedrukt te houden of 'Hey Google' te zeggen, waarna Gemini verschijnt.

De AI-dienst kan vervolgens vragen beantwoorden over de dingen die op het smartphonescherm worden weergegeven. Daarvoor verschijnt volgens de techgigant een 'Ask about this screen'-suggestie in beeld. Wanneer gebruikers een YouTube-video bekijken, kan Gemini vragen beantwoorden over de video in kwestie. Gemini kan volgens Google ook interacteren in apps waar de dienst in is geïntegreerd. De chatbot kan bijvoorbeeld afbeeldingen genereren en die direct invoegen in Gmail. De feature komt in de komende weken beschikbaar.

Verder wordt Gemini geïntegreerd in meer Google-diensten. Er komen in de komende weken extensies beschikbaar voor diensten als Google Keep, Tasks, Utilities en Calendar. De functionaliteit van Gemini binnen YouTube Music wordt ook uitgebreid, bijvoorbeeld voor het maken van playlists. Deze features komen in de komende weken beschikbaar.

Bron: Google

Reacties (19)

[singingbird]

Heeft iemand goede ervaringen met Gemini? Is het al beter geworden dan dat het eerst was? Ik gebruik al een tijd Claude naar alle tevredenheid en heb geen tijd gehad om me hier in te verdiepen.

[kiang]

Ik heb onlangs op "ok" geklikt toen mijn telefoon me vroeg of ik Gemini wil gebruiken ipv de klassieke assistent, en ik ben enorm teleurgesteld.

Ik dacht iets heel simpel te vragen: "hoe laat gaat de zon onder?", en het antwoord dat ik kreeg was onzin: de factoren die bepalen wanneer de zon ondergaat, namelijk locatie en datum. Ik verduidelijkte de vraag: "hoe laat gaat de zon vandaag onder op de locatie waar ik nu ben?" En het antwoord? "Dat weet ik niet, ik heb je locatie niet, maar je kan anders een app installeren, of (hou je vast) het vragen aan een assistent zoals Siri, Alexa of de Google Assistent". Toen vroeg ik Gemini natuurlijk "jij bent toch de nieuwe Google assistant? Jij weet mijn locatie toch?" Antwoord: "nee ik weet je locatie niet uit privacy overwegingen"

Gemini is een slechte grap.

[PaulHelper]

Ik snap je wel. Maar dit viel wel te verwachten, vandaar dat ik het zelf met een korreltje zout neem. Google assistant had een heel andere logica die dus dat soort vragen wel kan/kon beantwoorden. Gemini is echt een LLM op het moment die afhankelijk van hoe en waar je het gebruikt soms Google (Assistant) gebruikt om sub taken te doen.
Maar over het algemeen ben ik het met je eens dat Gemini wel ondermaats is op het moment.

[victor1701]

als je google assistent niet weet waar je nu bevind hoe kan de assistent dan opzoeken hoelaat de zon bij jouw locatie onder gaat. Of je had in je privacy instellingen je stad of dorp moeten invullen waar je woont. Of anders wat logisher lijkt in je vraagstelling moeten vermelden waar je nu bevindt.

Bij mij meld google gemini netjes hoe laat vandaag de zon onder gaat bij melding van verschillende steden.

[TV_NERD]

Dit overzicht geeft een redelijke indicatie van de staat van de verschillende LLMs.

[PaulHelper]

Hmm ik heb al meerdere overzichten gezien in het verleden maar kan hier persoonlijk niet heel veel van bakken.
Daarnaast vind ik altijd directe vergelijkingen erg lastig met LLMs vanwege de grote variaties die je in input en output kan hebben dat op heel veel van die indicatoren weer invloed heeft

[TV_NERD]

Ik weet het allemaal ook niet, ik heb wel een aantal enthousiaste maar kritische LLM gebruikers in mijn kennissenkring, volgens hen is dit momenteel het beste leaderbord. Maar zo snel als AI verandert, verandert het beste leaderbord waarschijnlijk ook. In de "about" sectie kun je wel meer info vinden over de gebruikte testmethoden.

Ik gebruik zelf amper LLMs, en de laatste keer dat ik Chat-GPT4o probeerde kon het nieteens een lijstje van 1-10 maken op basis van 2 gescreenshotte databronnen. Kaartje links met gemiddeld uurloon per land, lijstje rechts met de gemiddelde bierprijs per land.

De "biertjes per gewerkt uur per land" berekening ging nog goed, maar om het van 1 tot 10 te ordenen weigerde het product pertinint en de volgorde was altijd willekeurig. Ik heb daar 15 minuten ingestoken en toen besloten dat ik het in die tijd ook zelf had kunnen maken en dat de volgende 5 minuten maar gedaan.

Ik kijk over een jaar wel weer.

edit:
spelling, woordvolgorde, woordkeus

[Reactie gewijzigd door TV_NERD op 14 augustus 2024 20:45]

[pim]

Het is zo bedroevend slecht.

Er staat op mijn telefoon zodra je het activeerd: "Type, talk or share a photo".
Mijn eerste vraag: "Type, talk or share a photo, what do you mean by share a photo?"

Vervolgens geeft ie een bullshit lang verhaal over wat de betekenis is van het delen van foto's.
Het is zo ontzettend dom. Ik stel een vraag over de functionaliteit van Gemini, en gelijk snapt ie het al niet.
De intelligentie is ver te zoeken.

[mario963]

Ja het is enorm verbeterd sinds de initiële launch. Steeds vaker meer tevreden met de Gemini resultaten dan ChatGPT.

[Kaasje123]

Wat? Gemini is ver ondermaats vergeleken met chatgpt. De simpelste vragen kan hij niet eens beantwoorden. Laat typte ik: stel ik ben nu 24 jaar hoe oud ben ik dan over 5 jaar zei hij dat hij dat niet mocht beantwoorden ivm privacy....

[Oon]

Ik heb het een tijdje uitgeprobeerd maar Gemini is gewoon ruk.
ChatGPT en Claude staan voorlopig nog wel bovenaan, en die hebben allebei specifieke dingen waar ze beter of minder goed in zijn. Het feit dat de live demo van Gemini tijdens dit evenement al heel erg fout ging zegt ook wel genoeg over Gemini.

[PaulHelper]

Dit inderdaad. Zelf vind ik Claude vaak nog net iets beter maar was ook vanwege grotere context window volgens mij. Weet niet of Claude nog steeds groter is of dat Chat gpt 4o nu ook eenzelfde grote context window heeft.

[spaceboy]

Ik begon met ChatGPT maar ben toch overgestapt naar betaald Gemini. Moet wel zeggen dat dit vooral komt omdat je er ook 2 TB webspace bij krijgt. Kwalitatief vind ik Claude op dit moment (vooral als hulp bij development) op afstand de beste. Minste hallucinatie, schoonste code, meest gericht. Gemini (en ook ChatGPT) kunnen echt totaal verdwalen in hun eigen redenatie lijkt het soms. En de code die Gemini oplevert is vaak echt crap qua structuur en logica. ALS het al werkt. Misschien is het voor huis-tuin-en-keuken-werk prima, maar als developer zijn er betere alternatieven dan Gemini imho.

[PaulHelper]

Goede ervaringen als in goed getest of goede uitkomsten? Haha maar ik test regelmatig LLMs voor de grap hoe ze het doen op dingen die ik zelf mogelijk zou kunnen gebruiken. Voor mijn use cases vaak rondom tekst verwerking, samenvatting of coderen komt hij er niet super uit. Chat gpt4o is voor mijn gevoel sws net iets consistenter en op best wat vlakken toch wat beter. En voor mij de almachtige Claude, die me elke keer weet te verbazen over de grote context die hij kan bevatten en iets nuttigs mee kan doen. Geloof me ik heb er wel de limieten van gebruikt van de gratis varianten wel allemaal. Dus doe met die info wat je wil.
Ook volgens mij in benchmarks doet Claude het het beste en gebruik Gemini alleen op mijn telefoon omdat het nu verbonden is met Google Assistant en omdat eerder Claude niet echt op mobiel werkte. Inmiddels hebben die volgens mij ook een app maar gebruik het niet vaak genoeg op mobiel om nu al over te stappen.
Ik zou ze dus zetten in rijtje beste: Claude, matig maar consistent chat gpt4o, en Gemini als laatste omdat het en vaak traag is (of dat ligt aan mij, door internet of apparaat maar geen last van met andere LLMs online) en dus niet erg hoge kwaliteit antwoorden geeft.

[Reactie gewijzigd door PaulHelper op 14 augustus 2024 12:34]

[_fool]

Ik heb vooral zorgen over de energie-impact van dit soort naadloos geintegreerde AI. Gegenereerde afbeeldingen in je Gmail? Allemaal onzin-data die eerst gegenereerd moet worden, en vervolgens tot in de eeuwigheid opgeslagen.

[oCe]

Ik heb een Gemini Advanced abbo op mijn werk Google account. Om te testen en vergelijken met concurrerende diensten. En guess what, de meeste functies zijn continu "(nog) niet beschikbaar voor Workplace accounts". Heel irritant en ik vraag oprecht af waarom...

[RielN]

Verwerking gegevens.

[voxilla]

Te veel risico van ongewenste data mining van confidentiele informatie van uw bedrijf bv

[tpeters]

Zou dit nu ook al beschikbaar moeten zijn voor Nederlandse gebruikers met een Gemini advanced abbo? Ik kan het in de Gemini app niet terug vinden