Home Assistant kan nu ook huis besturen met llm-assistenten

De smarthomesoftware Home Assistant kan voortaan ook apparaten in huis aansturen aan de hand van grote taalmodellen, of llm's. Daarmee wordt het mogelijk om complexere spraakcommando's te geven.

Home Assistant gebruikt net als andere smarthomesoftware een spraakassistent op basis van AI die spraakcommando's begrijpt, de gevraagde actie kan uitvoeren en een reactie kan geven. Home Assistant gebruikt hier standaard zijn 'conversation agent' voor. Daarnaast is het al sinds het begin mogelijk om een gesprek te voeren met een spraakassistent die op een llm gebaseerd is. Maar gebruikers konden die assistent niet gebruiken om apparaten in hun huis aan te sturen.

Daar komt met de nieuwe versie van Home Assistant verandering in, schrijft het bedrijf in een aankondiging. Voortaan bestaat er ook een conversation agent op basis van een llm, die veel complexere commando's aankan. Denk bijvoorbeeld aan: "Ik ga een videovergadering in, kun je zorgen dat mensen mijn gezicht kunnen zien?" De nieuwe spraakassistent kan de intentie achter dit soort commando's begrijpen en de bijbehorende actie ondernemen, zo claimt de organisatie.

Gebruikers kunnen zelf kiezen of ze de traditionele spraakassistent gebruiken of de spraakassistent die op een llm gebaseerd is. Wie voor een llm-assistent kiest, kan vervolgens ook zelf bepalen welk llm dan gebruikt wordt. Home Assistant heeft al integraties met OpenAI, de maker van ChatGPT, en Google AI. Ook is er een mogelijkheid om lokale llm's te draaien, maar die kunnen vooralsnog geen huizen aansturen. Home Assistant werkt met Nvidia samen om dat op een later moment alsnog mogelijk te maken.

Home Assistant werd in 2013 opgericht door de Nederlander Paulus Schoutsen. Tweakers sprak hem afgelopen mei tijdens de State of the Open Home-stream.

Reacties (63)

[Psycho_Mantis]

Misschien moet ik ook maar is gaan kijken om Voice te gaan gebruiken in HA. Weet iemand wat voor apparaatje gebruikt daar als "Jarvis"?

[XenoniaN]

Vaak zie je hiervoor de M5Stack Atom Echo of ESP32-S3-BOX gebruikt worden i.c.m de OpenWakeWord plugin.

[whiner]

Is er ook een (bijna) kant en klare variant met beter geluid?

[Malarky]

Ben ook heel benieuwd. Net als veel anderen zoek ik een kant-en-klaar minimalistisch apparaat wat ik in bulk kan kopen en in elke ruimte kan plug-and-play aansluiten.

Begrijp ik goed dat de apparaten van Google en Amazon dus niet werken met de spraakbesturing van Home Assistant zelf?

[Polderviking]

Begrijp ik goed dat de apparaten van Google en Amazon dus niet werken met de spraakbesturing van Home Assistant zelf?

Jawel kan wel.. Iig google.
Maar veel mensen die voor home assistant kiezen willen zo'n spraak assistent lokaal op hun eigen hardware doen.
Die assistenten van Google en Amazon hebben nogal wat privacy gerelateerde implicaties waar niet iedereen even comfortabel mee is.

[Reactie gewijzigd door Polderviking op 22 juli 2024 15:55]

[ASNNetworks]

Hiermee werkt Google Assistant niet met de spraakbesturing van HA zelf, zoals diegene vroeg. Hiermee kan je je apparaten van HA integreren in Google Home en bedienen met Google Assistant. Is een wezenlijk verschil.

Je kan dus niet Google Nest speaker inzetten om gebruik te maken van de voice functies (zoals deze nieuwe LLM optie) van HA. Er zijn wel projecten waarmee ze een Google Nest speaker helemaal 'gutten' en zo ook voor HA kunnen gebruiken rechtstreeks (dus niet via Google Assistant).

[Malarky]

Wat @ASNNetworks zegt, mijn Google Home speakers werken met Home Assistant, maar ondersteunen uitsluitend de Google commando's en dat is zeer beperkt. Ik wil graag de gehele HA LLM vocabulaire kunnen inzetten als spraakbesturing.

[Vinnie.1234]

Dit vraag ik me ook af. Ik vind het leuk om te prutsen en qua moeilijkheid valt het ook wel mee als ik de tutorials zo kijk. Daar en tegen heb ik er niet echt de tijd voor en een wat meer plug en play variant zou top zijn. Het beste zou nog zijn als ik mijn google speakers kan flashen of zo. Daar heb ik er nu 6 van staan

[whiner]

Precies. een google home mini maar dan met een ESP32-S3 zou perfect zijn.
Dan heb je een apparaat dat klaar is voor AI stembesturing waar je ook nog muziek op kan afspelen.

[BHeremans]

bekijk dit eens : YouTube: HOW TO - Replace Google For an ESP32 (Onju Voice)

[Vinnie.1234]

Ow dat is wel gaaf! Daar heb ik er 2 van. Maar ook 3 Google Home Speaker en 1 Google Nest Hub

[TV_NERD]

Ik ontkom voornamelijk vanwege de WAF niet aan de Google producten. Ik heb er maar een apart Google account voor aangemaakt zodat het in ieder geval niet teveel persoonlijke data aan ons kan koppelen. En mijn naam vragen blijft altijd een leuke voor de verjaardagsfeestjes. "Your name is Lord Thunderd*ck"

[Reactie gewijzigd door TV_NERD op 22 juli 2024 15:55]

[mariomario]

hihi,

jouw ip adres, jouw telefoon op 10 meter afstand.

Ik ben bang dat dat die koppeling tussen jou en je Google-producten al gemaakt is voordat je uberhaupt een account had aangemaakt.

[TV_NERD]

Valt denk ik nog wel mee. Onze telefoons en desktops/laptops gaan naar buiten over VPN1 met encrypted DNS, PiHole, etc. Google home devices zitten in een apart V(W)LAN op VPN 2. Ze zouden wellicht via Bluetooth nog wat kunnen, maar dat staat op mijn toestel nooit aan.

Het is uiteraard niet alles, maar uit de ervaring blijkt dat de advertenties op de Google Nest Hub véél generieker zijn dan die op mijn telefoon en desktop/laptop wanneer dat domme ding weer eens zegt "I don't know, but I found these results on search". Je krijgt dan een Google Search browser window met de bijbehorende ads. Tevens woon ik in een appartement, dus er zijn dozijnen telefoons binnen 10 meter.

Ook op mijn persoonlijke toestellen heb ik nog geen advertenties gekregen n.a.v zaken die ik aan de Google Home Mini of Google Nest Hub heb gevraagd. N=1 en mijn geheugen is niet perfect uiteraard, maar het lijkt redelijk te werken tot nu toe.

De opsporingsdiensten kunnen dit vast koppelen, Google lijkt er wat minder goed in Hihi.

edit:
Paar edits ter verduidelijking

[Reactie gewijzigd door TV_NERD op 22 juli 2024 15:55]

[MrXen0]

Daar zijn ze mee bezig. Ik verwacht ook dat de release van deze functionaliteit meer voor de mensen is die de DIY variant al hebben draaien, die dan hopelijk al het e.e.a. zijn tegen gekomen om op te lossen voordat ze met hun eigen plug en play variant komen.

[XenoniaN]

De S3-Box zou een stuk beter moeten zijn dan de Atom Echo, maar deze heb ik zelf nog niet kunnen proberen helaas.

De Atom Echo is inderdaad niet echt overweldigend

[MoonRaven]

Het geluid van de S3-Box is helaas ook niet echt goed. Ik zou het zeker niet voor muziek gebruiken.

[Llopigat]

Wat is er niet bijna kant en klaar aan die opties dan? Want dat zijn ze toch wel aardig, vind ik. Moet alleen nog een speaker bij.

[whiner]

Je geeft zelf het antwoord al.

Maar gelukkig is het een kwestie van tijd nu. Ik ben vast niet de enige die op een kant en klaar esp device zit te wachten.

[daft_dutch]

wacht geduldig op de voice satilite van nabu casa. Die heeft een speaker array dus veel beter.

Of je kan een pi hat speaker array nemen met een pi zero 2 en de linux client er op zetten.

[jctjepkema]

Home Assistant is al een poosje bezig met het ontwikkelen van dit. Als je heel even wacht zou je die kunnen aanschaffen. Die van hun is gebaseerd op ESPHome dus ook op een ESP32, en heeft dacht ik ook open-source software

edit: in de genoemde podcast waar ze Paulus interviewen noemt hij het ook.

[Reactie gewijzigd door jctjepkema op 22 juli 2024 15:55]

[Bliksem B]

Ik ben benieuwd. Ik gebruik nu Google home icm Home Assistant. Maar Google Home is best dom in het begrijpen wat je wilt. Lampen aan en uit gaat prima. Maar het combineren van commando's gaat niet: doe de lampen aan en speel muziek af.

Volgens de podcast zit er nu meer aandacht in de anc, zodat het wake woord werkt in de gehele kamer, net zoals bij Google Home.

Maar Google heeft net Gemini uitgebracht, dus zeer benieuwd wie de beste uitwerking gaat hebben.

[Reactie gewijzigd door Bliksem B op 22 juli 2024 15:55]

[jctjepkema]

Ja ik verwacht dat ze eerst het gedeelte van de spraak/duidelijke audio voor elkaar willen hebben. Het zal daarna een keer worden gekoppeld aan een LLM of iets in die trant, of ze dan kunnen concurreren/mee komen, ik hoop het.
Op dit moment is het natuurlijk al mogelijk om een LLM te verbinden of te gebruiken op het Home Assistant Platform. Dus dat zou relatief eenvoudig zijn. Hoe goed de lokale presteert ben ik niet up to date mee.
Als het lokaal gedraaid kan worden ben ik helemaal blij!!

[Virtua]

Dan maak je toch gewoon een scene,als ik bv vraag beamer aan gaat de beamer aan,rolt het scherm naar beneden en alle lampen worden zo automatisch gezet als gewenst,dat natuurlijk samen met de betreffende audiobsource en de versterker die dan aan gaat.
Dit bestaat echt al heel lang.

[Bliksem B]

Dat snap ik. Maar je moet alles voor definiëren. Soms heb of wil je niet alles voor definiëren. Nog beter zou zijn dat je via een spraak llm een scène kan maken.

[Reactie gewijzigd door Bliksem B op 22 juli 2024 15:55]

[Virtua]

Foutje

[Reactie gewijzigd door Virtua op 22 juli 2024 15:55]

[Llopigat]

Ja, hij zei ook dat bij de S3-Box de microfoons niet ver genoeg uit elkaar zitten.

Ik heb nu de raspberry pi zero 2's genomen met de respeaker 2 hat (van minder dan een tientje), hoop dat het daarmee ook lukt met lokale wakeword. Maar ik moet het nog een keer instellen.

[pentode]

@Psycho_Mantis @whiner ik heb daar de ReSpeaker voor gebruikt. Al weer een tijd terug.
Een zwarte hockey puck zo ziet het eruit met een microfoon array. Daar een goede speaker aan gekoppeld.
Het draait lokaal geen cloud. Je moet wel zelf de intents en dergelijken maken/programmeren. Ja ja.

Heb nog steeds erg veel lol als ik 's avonds roep het wakework daarna lichten uit.
Een Belgische stem zegt dan "Alle lichten uitgedaan" ;-)
Zie ook in het hier in het forum en op YT en Github

Verdere in-depth info
"ReSpeaker is an open modular voice interface to hack things around you. Let you interact with your home appliances, your plant, your office, your internet-equipped devices or any other things in your daily life, all by your voice. The ReSpeaker project provides hardware components and software libraries to build voice enabled device."

[Reactie gewijzigd door pentode op 22 juli 2024 15:55]

[Llopigat]

Echt jammer dat dit met ollama (uitstekende lokale LLM) niet kan maar wel met cloud GPT. Hopelijk komt dat nog. Ik moet zoiets niet in de cloud. Zeker niet zodra ik het voor veel prive dingen ga gebruiken.

Ik heb speciaal een server met goede GPU voor ollama.

[Reactie gewijzigd door Llopigat op 22 juli 2024 15:55]

[DrPoncho]

Misschien handig als je voortaan de release notes leest:

Local LLMs have been supported via the Ollama integration since Home Assistant 2024.4. Ollama and the major open source LLM models are not tuned for tool calling, so this has to be built from scratch and was not done in time for this release. We’re collaborating with NVIDIA to get this working – they showed a prototype last week.

[Llopigat]

Ja heb ik gelezen (bedankt voor de bijdehante opmerking) maar daarom vind ik het juist jammer dat ze dit niet doen.

Ik heb geen problemen met keywords voor tool calling trouwens, ik heb zelf diverse scripts draaien. Nvidia collaboratie heb ik niet veel aan want ik gebruik AMD hardware voor ollama.

[DrPoncho]

Je zei:

Hopelijk komt dat nog

Dat is exact wat in het stuk staat.

Dus dit:

jammer dat ze dit niet doen

Gaat niet op.

[vinx77]

Deze misschien? Deze staat op mijn lijstje, zodra aansturing van het huis zou kunnen, dus zelf nog niet getest. https://github.com/ej52/hass-ollama-conversation

Als je hun cloud voor een maandje gebruikt, zie je dat ze zoeken naar een business-model. Aansluiting op voice assistants lijkt nu de nadruk te krijgen.
Dus net zolang ze geen beter inkomstenmodel kunnen vinden, hoe kleiner de kans dat Ollama draait zonder HACS en hacks.

[Reactie gewijzigd door vinx77 op 22 juli 2024 15:55]

[AJediIAm]

Deze kan het huis al wel aansturen vanuit een locale LLM: https://github.com/jekalmin/extended_openai_conversation

[edeboeck]

quote: Uit het artikel

Ook is er een mogelijkheid om lokale llm's te draaien, maar die kunnen vooralsnog geen huizen aansturen.

Kan iemand me uitleggen wat het nut is om lokaal een LLM te draaien als je er jouw huis niet mee kan aansturen? Allicht is er een use case, maar ik zie die niet.

[Llopigat]

Gewoon, alle dingen die je met LLM's doet.

Je kan zoveel met LLM's. Samenvatten, herschrijven van teksten, lichte beredeneringen enz. Wat je in de cloud kan, kan je ook thuis, zij het in wat mindere mate (want ChatGPT is niet lokaal beschikbaar en vereist sowieso teveel hardware).

Het voordeel is ook dat je er erg prive dingen in kan stoppen die je liever niet in een cloud LLM wil hebben (ondanks "garanties" dat ze niks met je data doen). Bovendien zijn er ongecensureerde modellen beschikbaar dus je kan wat meer het randje opzoeken zonder steeds dat gezeur.

[edeboeck]

Bedankt voor jouw antwoord, maar ik had me niet goed uitgedrukt: ik vroeg me af wat het nut is dat je een LLM lokaal in Home Assistant kan draaien als je er jouw huis niet mee kan aansturen. HA draait toch volledig rond het aansturen van jouw huis, of is dat een verkeerde aanname?

[Llopigat]

Ah maar die LLM draait niet in Home Assistant. Als je iets als ollama draait, is het iets dat op een andere server draait en Home Assistant mee kan communiceren.

Het is eigenlijk dat je gewoon je eigen ChatGPT server draait, inclusief API.

Een LLM in HA zelf draaien zie ik nog niet zo gauw gebeuren. Dan moet je toch weer zware hardware hebben en veel snel geheugen. Je kan beter een licht servertje pakken voor HA en de LLM apart houden zodat je die voor veel meer kan gebruiken dan alleen home assistant. Zo draait de mijne ook.

[Reactie gewijzigd door Llopigat op 22 juli 2024 15:55]

[edeboeck]

Dit is compleet duidelijk en zinvolle info, spijtig dat ik jou niet kan modereren.
Thx!

[Coolstart]

Het zou helemaal cool zijn dat je in een volgende release uw HA kan instellen en zelfs testen via een conversatie met een LLM dat focust op HA.

[CAPSLOCK2000]

Het zou helemaal cool zijn dat je in een volgende release uw HA kan instellen en zelfs testen via een conversatie met een LLM dat focust op HA.

Ik vind het best een goed idee, heel veel applicaties beginnen nu met een "wizzard" waar nieuwe gebruikers door heen moeten. Dat is vaak een lastig compromis omdat je vragen stelt aan iemand die de software nog niet kent, en zonder configuratie heeft de software geen idee wat de gebruiker wil.
HomeAssistant is zo'n stuk software omdat het super flexibel is en op talloze manieren kan worden ingezet. Je kan bijna geen aannames doen over wat de gebruiker wil, HA doet wat autodetectie van hardware enzo en laat het dan aan de gebruiker over. Een AI kan de gebruiker ondervragen over wat de bedoeling is en daar een passende config bij maken. Overigens kan GPT nu al hele configuraties voor HomeAssistant ophoesten als je daar om vraagt. Je moet alleen wel weten wat er mogelijk is voor je de juiste vraag kan stellen. Daar kan een gespecialiseerde AI goed bij helpen.

[Reactie gewijzigd door CAPSLOCK2000 op 22 juli 2024 15:55]

[Coolstart]

Idd de mogelijkheden zijn eindeloos.Je kan dan ook via een conversatie de scene of flow tijdelijk aanpassen. Stel uw garagedeur gaat standaard toe na x-tijd dan zou je kunnen vragen om die regel tijdelijk op te heffen omdat je in de tuin gaat werken.

Je zou ook kunnen vragen wat de dagopbrengst is van de zonnepanelen en of het zinvol is om meer battrijen te plaatsen of net een batterij etc om uw energiekost te laten zakken. Zodra het LLM uw huis kent kan het ook aanbevelingen doen wat isolatie of warmtepompen betreft. Of het kan je informeren over een nieuwe integratie die mogelijk nuttig kan zijn bij een scene of een tegel.

Eindeloze mogelijkheden via een llm-voice

[Vinisz]

Wat kan ik hier nu concreet mee ? Ik heb een iphone, voor de “woning app” kon ik tegen siri gewoon zeggen “lamp uit in huiskamer” , kan dat nu ook voor HA ?

[CAPSLOCK2000]

Ja. In ieder geval op Android, ik neem aan dat het ook op iPhone kan.

[Winduss]

Dit kon enigszins al met een community project. Ben er zelf eens mee bezig geweest eerder dit jaar maar kreeg hem niet aan de praat.
Deze lijkt wel wat complexer te zijn

[Vinisz]

Kan je voorbeelden geven hoe dit dan te regelen ? Ik zit niet te wachten op “een knopje” (dat zit al in home assistant app) wat ik in moet drukken voor spraak, het moet dus naardloos integreren met Siri zodat ik gewoon “hey siri zet lampen in de keuken uit” kan zeggen

[Winduss]

Dit verreist wat werk, daar kan je het beste de documentatie voor lezen. Ik kreeg hem niet aan de praat uiteindelijk terwijl hij wel goed communiceerde met de locale LLM. Dus het is wel een projectje om een dag de tijd voor te nemen

[XenoniaN]

Ik vraag me af of/wat de opties zullen zijn om dit lokaal te gebruiken. Een kleiner model op een accelerator á la Hailo-10H zou hier een mooie toepassing zijn denk ik.

Mij lijkt het in ieder geval ontzettend cool, zolang het maar niet cloudgebonden is

[onuro]

Ik denk dat hij MicroWakeWord gebruikt voor lokale wakerword detection, heb ik ook draaien en werkt super goed met een esp32-s3. Veel sneller dan met OpenWakeWord, en dus minder belastend op je netwerk en HA-server.

Voor de geïnteresseerden; Heb deze guide gevolgd, werkt als een trein: https://smarthomecircle.c...-assistant-home-assistant

[pietje63]

Heb nu een paar weken HA. Het fijne van HA vind ik dat ik alles kan volgen / begrijp wat er gebeurt.

Ik heb veel vertrouwen in LLMs, maar zet het vooral in als "controle" of "voorbereiding" tool (zakelijk, maar ook bijvoorbeeld voor het schrijven van de YAML voor HA). Wat ik nog wel spannend vind is om de AI/LLM het beheer van mijn huis in handen te geven. Toch vervelend als de AI/LLM ten onrechte denkt dat het alarm aanmoet tijdens een gezellig etentje of belangrijke vergadering, of als klachten als "het is hier warm" worden geïnterpreteerd als "ik zet de WPB wat lager".

Ik kijk het nog even aan , maar wel mooi dat de optie wordt geboden

[magnifor]

Ik heb dit al een tijdje draaien, ChatGPT 3.5 model gekoppeld aan HA icm de extended OpenAI conversation plugin. Zolang je de juiste entities exposed en beetje handig omgaat met aliases kan je echt machtig mooie dingen mee maken. Zoals voice als text kan je dingen zeggen als: doe de Office lamp uit, doe de tosti apparaat aan, doe lamp in de schuur uit etc. Maar ik kan ook vragen naar de verkeerssituatie vanuit huis naar werk of vraag de actuele vertrektijden van de tram/bus/trein. Daarnaast vraag ik wat mijn zonnepanelen hebben opgewekt en wat de verwachting is. Echt mooi.

Het enige probleem wat ik ervaar is dat Pi 3 met de ReSpeaker HAT veel false positives geeft op wake Words. Soms is hij te gevoelig gaat hij vanzelf op actief terwijl op andere momenten je overduidelijk het wake Word opnoemt en gewoon niks doet, dat probeer ik momenteel op te lossen..

[Reactie gewijzigd door magnifor op 22 juli 2024 15:55]