Google heeft de komst van een aantal nieuwe AI-features in zijn Home-platform aangekondigd. De nieuwe mogelijkheden komen later dit jaar als preview beschikbaar voor een selecte groep gebruikers die een Nest Aware-abonnement bij Google afnemen.
Dat Google juist met deze gebruikers gaat testen, ligt voor de hand, omdat een aantal nieuwe features betrekking heeft op beelden van Nest-camera's. Om te beginnen zullen multimodale Gemini-modellen worden ingezet om de inhoud van de beelden te analyseren en vervolgens beschrijvingen te maken. Google geeft als voorbeeld dat een video nu nog als beschrijving 'dier gedetecteerd' heeft, terwijl dat met de nieuwe software 'de hond is in de tuin aan het graven' zou worden.
Daarbovenop wordt het voor gebruikers mogelijk om de inhoud van de beelden te doorzoeken of om vragen te stellen. Zo moet het bijvoorbeeld mogelijk worden om te vragen: "Is de postbode vandaag langs geweest?" of: "Is de hond in de buurt van de koekjes geweest". De app laat dan enkel de relevante momenten uit de opgenomen beelden zien met daarbij een samenvatting.
Google past Gemini ook toe op de automatiseringen binnen het Home-platform. Daarmee moet het mogelijk worden om met natuurlijke spraak een opdracht te geven of vraag te stellen, waarna de software een suggestie voor een automatisering doet. Google geeft als voorbeeld dat een gebruiker kan vragen: "Herinner de kinderen om hun fiets weg te zetten als ze thuiskomen van school", waarna de app een suggestie geeft om een audiobroadcast over de speakers te doen als iemand in de middag thuiskomt.
Verder wordt Gemini dieper geïntegreerd in Google Assistent. Momenteel luistert het nog nauw op welke wijze opdrachten en vragen aan de Assistent gesteld worden en door de inzet van de taalmodellen achter Gemini moeten gebruikers dat in de toekomst op veel meer manieren kunnen doen. Daarbij moet de Assistent ook beter kunnen omgaan met vervolgvragen en tot slot moet de Assistent natuurlijk gaan klinken. Later dit jaar zal Google de nieuwe features en stem testen onder Nest Aware-abonnees met een bredere uitrol in 2025. Of er ook een verbeterde versie van de Nederlandse stem komt, kon Google nog niet zeggen.