Google werkt aan meer AI-features en nieuwe stem voor Home-platform

Google heeft de komst van een aantal nieuwe AI-features in zijn Home-platform aangekondigd. De nieuwe mogelijkheden komen later dit jaar als preview beschikbaar voor een selecte groep gebruikers die een Nest Aware-abonnement bij Google afnemen.

Dat Google juist met deze gebruikers gaat testen, ligt voor de hand, omdat een aantal nieuwe features betrekking heeft op beelden van Nest-camera's. Om te beginnen zullen multimodale Gemini-modellen worden ingezet om de inhoud van de beelden te analyseren en vervolgens beschrijvingen te maken. Google geeft als voorbeeld dat een video nu nog als beschrijving 'dier gedetecteerd' heeft, terwijl dat met de nieuwe software 'de hond is in de tuin aan het graven' zou worden.

Daarbovenop wordt het voor gebruikers mogelijk om de inhoud van de beelden te doorzoeken of om vragen te stellen. Zo moet het bijvoorbeeld mogelijk worden om te vragen: "Is de postbode vandaag langs geweest?" of: "Is de hond in de buurt van de koekjes geweest". De app laat dan enkel de relevante momenten uit de opgenomen beelden zien met daarbij een samenvatting.

Gemini AI in Google Home-camerabeelden (GIF, klik om af te spelen)
Gemini AI in Google Home-camerabeelden (GIF, klik om af te spelen)

Google past Gemini ook toe op de automatiseringen binnen het Home-platform. Daarmee moet het mogelijk worden om met natuurlijke spraak een opdracht te geven of vraag te stellen, waarna de software een suggestie voor een automatisering doet. Google geeft als voorbeeld dat een gebruiker kan vragen: "Herinner de kinderen om hun fiets weg te zetten als ze thuiskomen van school", waarna de app een suggestie geeft om een audiobroadcast over de speakers te doen als iemand in de middag thuiskomt.

Google Home-automatiseringen via AI (GIF, klik om af te spelen)
Google Home-automatiseringen via AI (GIF, klik om af te spelen)

Verder wordt Gemini dieper geïntegreerd in Google Assistent. Momenteel luistert het nog nauw op welke wijze opdrachten en vragen aan de Assistent gesteld worden en door de inzet van de taalmodellen achter Gemini moeten gebruikers dat in de toekomst op veel meer manieren kunnen doen. Daarbij moet de Assistent ook beter kunnen omgaan met vervolgvragen en tot slot moet de Assistent natuurlijk gaan klinken. Later dit jaar zal Google de nieuwe features en stem testen onder Nest Aware-abonnees met een bredere uitrol in 2025. Of er ook een verbeterde versie van de Nederlandse stem komt, kon Google nog niet zeggen.

Door Wout Funnekotter

Hoofdredacteur

06-08-2024 • 15:00

14

Reacties (14)

14
14
9
2
0
5
Wijzig sortering
Ben heel benieuwd. Op dit moment heb ik juist het gevoel dat de assistant steeds minder opdrachten begrijpt / kan uitvoeren. Soms krijg ik de melding dat een bepaalde opdracht niet langer beschikbaar is, en soms begrijpt Google een opdracht domweg niet. Zelfs het stoppen van een timer als deze af is gegaan is al moeilijk tegenwoordig.
100% Dit herken ik ook, de speech recognition performance is merkbaar achteruit gegaan.
Interessant artikel over dit fenomeen: https://sherwood.news/tec...stant-is-bad-now-but-why/
Helaas heel herkenbaar. Even de lampen aan en uit doen is echt een gedoe tegenwoordig. Of hij begrijpt het niet of zegt ineens dat zulke apparaten niet aanwezig zijn. Of even simpel een timer instellen kost me teveel moeite tegenwoordig dat ik wel weer eerst mijn handen was tijdens het koken en dan zelf een kookwekker bedien.

First world problems weet ik, maar het gemak voorheen was groot dat ik het nu wel mis dat het gewoon werkte.
Ik heb / had dit ook en dan vooral op bepaalde Home devices in me huis

Laatst noodgedwongen alles een keer op nieuw moeten installeren en configureren en daarna ging het meteen weer een stuk beter, echter merk ik (voor mijn gevoel) wel dat het weer langzaam achteruit gaat

Net of de kwaliteit en de herkenning langzaam degradeerd
Het is de laatste tijd dramatische slecht en dat weten ze . Stel je een eenvoudige vraag, dan krijg je als antwoord "daar kan ik NIET MEER mee helpen". Daarnaast verstaat hij je inderdaad vaak al ook al niet meer.

Ik ben serieus aan het overwegen iets met lokale spraakherkenning te gaan inrichten met home assistent.
Het lijkt op handig tijd besparen. Tot je bedenkt dat google dus geautomatiseerd constant maar alles en iedereen aan het analyseren is omdat er misschien een vraag gesteld kan worden. Wat ook nog eens niet zomaar andermans rechten respecteert en verspilling van energie is.

Als Google nu gericht op duidelijke vragen gaat analyseren en de ai gaat inzetten zijn we eens stuk beter af.
Dit dus, ik gebruik eigenlijk voor mijn zoek opdrachten alleen DuckDuckGo, heel specifiek google.nl.
Ik zat laatst met mijn vriendin in de auto en we spraken over een overkapping maken/laten plaatsen.
Mooi dat dit in mijn google nieuws feed(gebruik ik hoofdzakelijk voor f1 en crypto) tevoorschijn kwam als "reclame"
Ik had een gesprek met mijn zusje over een dagje Preston Palace met de kids. Wat denk je... rij ik vanmiddag over de A10 zie ik een metershoog reclamebord voor Preston Palace hangen. Google wordt ECHT steeds beter 😉
Ik durf ook niet meer met mijn zusje te praten, stel je voor dat google mij en mijn vriendin heeft gehoord...
Om te beginnen zullen multimodale Gemini-modellen worden ingezet om de inhoud van de beelden te analyseren en vervolgens beschrijvingen te maken.
Word dit lokaal gedaan of in de cloud? Ik heb toch liever dat de video ge-encrypt in de cloud staat en ik alleen kan inzien.

Coral iemand? :)
Als je gebruikt maakt van de diensten van één van de machtigste bedrijven in de wereld die niet verlegen zit om wat schandalen, is het goede hoop om je af te vragen of het niet in de cloud staat :P

Over een paar jaar zullen LLM’s pas on-device zijn, verwacht men. De techniek is nog niet daar om het op dit moment op grote schaal uit te rollen.
Ik hoop dat ze ook eens AI gaan inzetten om, zoals in mijn geval, de "Sonos Slaapkamer" te koppelen aan de "slaapkamer" op de nest hub. In de app staat alles correct gekoppeld maar op de hub is het elke weer een raadsel wat nu weer de status is die je zelf niet kan aanpassen. Met als gevolg dat "stop de muziek" elke ochtend weer een ander resultaat oplevert. Je zou zegge dat zoiets simpel op te lossen moet zijn maar zelfs na meerdere keren contact, met antwoord terug, nog altijd geen oplossing hiervoor.
Stop of stop (apparaat-naam) werkt beter voor mij dan stop muziek
Liever dat ze hun resources inzetten om de Home app wat beter in te richten qua UX, routines te laten ondersteunen voor camera's, maar vooral; de kwaliteit van de camerabeelden stabiel te houden. Van de ene op de andere update kan de kwaliteit opeens niveau "aardappel" zijn. Het is dan wachten totdat er iets langs komt dat dit fixed. Heel vervelend.

Op dit item kan niet meer gereageerd worden.