Nabu Casa neemt ontwikkelaar aan voor offline stembediening in Home Assistant

Smarthomesoftware Home Assistant krijgt diepgaande integratie met Rhasspy, een offline opensourcestemassistent. Door de integratie moeten stemcommando's van Rhasspy zonder configuratie gaan werken in het systeem.

Rhasspy-oprichter Michael Hansen treedt in dienst bij Nabu Casa, het bedrijf achter Home Assistant. Daarmee kan de ontwikkeling van de software sneller gaan, want tot nu toe was het een project dat hij in zijn vrije tijd erbij deed. De bedoeling is dat hij de integratie van Rhasspy in Home Assistant gaat doen. De integratie moet beide kanten op werken. Zo moet Home Assistant automatisch Rhasspy-basisstations en -apparatuur gaan herkennen, terwijl Rhasspy op zijn beurt apparatuur met Home Assistant moet gaan herkennen.

De bedoeling daarbij is dat gebruikers kunnen beginnen met stemcommando's zonder daarbij vooraf een configuratie te hoeven doen. Zo moet het mogelijk worden om gelijk te roepen dat de lichten in de woonkamer uit moeten zonder daarbij vooraf iets in te hoeven stellen. Het is nog onbekend wanneer de integratie moet zijn voltooid.

Nabu Casa kondigde de stap aan op zijn State of the Open Home-keynote zondagavond, waarin het zijn aankondigingen doet. Nabu Casa is een door de Nederlander Paulus Schoutsen opgericht bedrijf. Tweakers interviewde hem enige tijd geleden.

Reacties (46)

Dit is goed nieuws, Rhasspy werkt bijzonder goed en bied ongeëvenaarde personalisatie.

Nadeel is dat het out of the box niets kan op dit moment, maar met een beetje sleutelen kun je elk denkbaar commando toevoegen.
Nieuws laten voorlezen? Programmeer dat een stemcommando een M3U stream doorzet naar je mediaspeler in huis.
Notificatie bij regen? TTS naar de speaker met de vraag of je de bovenlichten wilt sluiten, en dan via Rhasspy wachten op de bevestiging.

Voordeel is dat je de engine die de herkenning doet los van het ontvangststation (sattelite) kunt installeren. Dus je kunt de engine op een snelle pc of VPS hosten en een eenvoudige raspberry pi (zero) of zelfs ESP32 als ontvanger/zender in de ruimte hebben met microfoon en speaker. Als microfoon is de respeaker populair, maar een goed alternatief zijn usb speakerphones die vaak voor voip vergaderingen gebruikt worden.

Alles lokaal zonder dat je data naar de cloud gestuurd wordt zoals bijv bij mycroft.

De ontwikkeling leek een tijdje stil te liggen en er kwamen, maar geen updates, dus dit nieuws is zeer welkom.

[Reactie gewijzigd door eltweako op 14 november 2022 09:54]

Nadeel is dat het out of the box niets kan op dit moment, maar met een beetje sleutelen kun je elk denkbaar commando toevoegen.

Dit is sowieso voor mij een heel groot probleem met domotica op het moment, Home Assistant heeft hier ook een behoorlijk handje van. Aan de ene kant vind ik het geweldig dat zoveel customization mogelijk is, maar de hoeveelheid tijd die het kost om alles op te zetten (zeker als je niet kan programmeren) is een ramp, en als iets stopt met werken kan je soms wel even bezig zijn met troubleshooting en oplossen.

En het is zó jammer, wacht Rhasspy en HA bieden zo veel vette dingen als je die tijd erin kan en wil stoppen.

Zeker waar, het is wel ook zo dat ze afgelopen jaar (jaren) heel veel verbeteringen hebben gemaakt. Vooral apparaten toevoegen is heel simpel geworden (voor de meeste dingen). Ook automations hebben een betere UI gekregen maar het is nog steeds behoorlijk ingewikkeld voor (nieuwe) gebruikers inderdaad. Vooral wanneer er opeens voor een onderdeel nog geen UI is en de yaml-editor tevoorschijn komt.

Ik vind het wel erg gaaf dat dit prio lijkt voor home assistant, dat geeft het veel kansen voor de toekomst ipv dat het een hobby/techneutenproject blijft.

Laatst wou ik het IP adres van een integratie veranderen.... je moet dus de integratie verwijderen en daarna weer opnieuw toevoegen.

Les: gebruik altijd dns.

Ja dat zou ook wel makkelijker mogen. Het is wel met een omweg mogelijk want uiteindelijk staat dat IP ergens in een configuratiebestand

Bijwerken van IP address zou standaard moeten zijn. Het kan wel eens gebeuren dat deze veranderen...

Ook is het goed als sommige integraties (zoals b.v. Shelly merkte ik) het IP address elke keer bij het verbinden resolven. In plaats van 1-malig bij het opstarten van HA.
esphome doet dat wel weer goed, waarschijnlijk omdat ze nogal gewend zijn dat mDNS niet beschikbaar kan zijn of dat het IP address regelmatig veranderd.

Gewoon adres reservatie gebruiken in je router/firewall en daar de omzetting doen.

Werkt voor mij uitstekend.

Adresreservatie werkt helaas niet voor WAN Ip's.

Waarom wordt die dan hard in een config geplaatst? Je wil toch niet elke x weken dit opnieuw gaan instellen. Zelfs al zou het gemakkelijk gaan.

Ik liep er voor het eerst tegen aan in 10 maanden, sinds dat ik glasvezel van T-Mobile heb. Als het vaker gaat gebeuren zal ik wat anders verzinnen

Duck DNS addon gebruiken?

Bedankt voor de tip. Moet nog even kijken wat de oplossingen zijn.

Dat is inderdaad wel irritant. Ik gebruik idealiter de hostname in plaats van het ip, zodat het wat robuuster is, dan van een ip uitgaat. Helaas gaat niet elke integratie hier goed mee om.

Voor automations kun je Node-Red gebruiken. Vind ik iets gebruikersvriendelijker.

an de ene kant vind ik het geweldig dat zoveel customization mogelijk is, maar de hoeveelheid tijd die het kost om alles.....

Op dit moment is dat nog zeker waar, maar het begint wel echt beter te worden. Je kan sinds de laatste paar grote updates steeds meer in de GUI doen, en die GUI wordt ook steeds beter/mooier/overzichtelijker*

Echt mooi is hij natuurlijk niet. Hij is voornamelijk functioneel en de logica ervan is iets dat je door moet krijgen. Hij lijkt niet altijd even intuïtief, maar als je hem eenmaal door hebt is er prima mee te werken. Althans. Dat is mijn ervaring. Minpuntje is, dat als je met sjablonen gaat werken, dat het dan snel ophoudt met de GUI. Ik zou ook niet weten hoe ze dat moeten oplossen hoor, maar er moet toch wel iets op te bedenken zijn?

Mijn grootste probleem met HA, is om een 'mooi' maar 'functioneel' dashboard te maken. Ik ben op dit moment aan de slag met de 'mushroom' componenten uit HACS. Dit ziet er in elk geval al wat beter uit.

maar de hoeveelheid tijd die het kost om alles op te zetten (zeker als je niet kan programmeren) is een ramp,

Een ramp zou ik het ook weer niet noemen. Dan is het gewoon niet voor jou, dan kan je beter iets als homey nemen.

Home Assistant heeft hier ook een behoorlijk handje van

Dit is wel een beetje een mening uit 2020. Tegenwoordig is in HA alles via de GUI in te richten. Zeker zijn er nog zaken die je met code kunt/moet aanpassen, maar dat gaat met name over aanpassen van bijvoorbeeld date formats en getalnotatie.

Volgens mij is dat grotendeels te danken aan de leveranciers van de producten. Tegenwoordig wordt er echt alles aan gedaan om een 'slim' product alleen nog te laten verbinden met de cloud van de leverancier. Dit is natuurlijk een nieuw verdienmodel geworden dat helaas door de kopers van de producten wordt gestimuleerd wanneer ze hun producten ook werkelijk verbinden. Home Assistent doet er alles aan om producten ook zonder cloud te laten werken. De fabrikanten maken het er niet makkelijk op en daarom zijn integraties niet altijd eenvoudig in te stellen en valt de werking nog wel eens om. Als consumenten nu eens producten zouden eisen die zonder cloudabonnement zouden werken, dan zou het de wereld een stuk mooier maken. Ook zouden producten dan niet meer door de leveranciers naar de grote afvalschoothoop kunnen worden gezonden als ze het tijd vinden voor een nieuw exemplaar en de support opheffen.

theorie en praktijk. Het is mij nog niet gelukt om dit werkend te krijgen via Rhasspy .
Maar je hebt nu een grote kans dat dit een stuk makkelijker is op te zetten met officiële ondersteuning van home assistent.

Wanneer je op de server waar Rhasspy op draait ook de microfoon aansluit. Dan werkt alles prima en is het zo ingericht.
Maar ik wil dat de microfoon van mijn telefoon of pi gebruikt worden (statelites) en dat de speakers van een sonos speaker of TV het antwoord geven. Het is mogelijk en er is documentatie over. Ik krijg het alleen niet voor elkaar.

Ik heb het wel werkend in huis, en kan me eerlijk gezegd niet herinneren dat het echt uitdagend was.
Wellicht is het een bepaalde combinatie van hardware waardoor het wel of niet werkt?

Zo heb ik een server draaien op een NUC en een viertal sattelites door het huis heen. Meldingen komen binnen in de ruimte waar volgens HA op dat moment mensen zijn.

Hopelijk gaat nu alles beter ondersteund worden nu het een fulltime project wordt zodat het voor iedereen meteen werkt.

Ik moet wel zeggen dat het minimaal 2 jaar geleden is dat ik dit geprobeerd heb.
Ik werkte toen met pi-zero's als satelites.

Is dit een slechte mop ofzo? Denk jij bij een hastable ook eerst aan drugs? Als het gaat om open-source software staat "py" bijna altijd voor Python.

Dus als ik het goed begrijp is die rhasspy een apart stuk hardware met eigen software dat de stemherkenning doet. Dan is het heel mooi als daar een goed koppeling op komt naar de thuis automatisering. Hopelijk wordt het een betrekkelijk open interface tussen die rhasspy en de homeassistant. Dan kunnen andere thuisautomatiseerders daar ook gebruik van maken.

Rhasspy is alleen de software. Je zult zelf een (USB) mic en speaker toe moeten voegen. En die koppel je dan aan HA via een integration.

Rhasspy werkt ook al met de paar andere home automation platforms, het open Hermes protocol, MQTT en vele andere. Dus los van dat de integratie met Home Assistant nu nog eenvoudiger gaat worden, is het op prima bruikbaar op andere platformen.

Dat is dan jammer. Bij de HomeyPro heb ik begrepen dat die origineel was voorzien van een microfoon maar die hebben ze weggelaten omdat ze de spraakherkenning niet voor elkaar kregen. Dat had ook met de benodigde resources en hardware beperking te maken.

Daarmee leek het mij leuk als deze spraakherkenning op een apart stuk hardware (Een RPi?) kan draaien en daar vandaan dan koppelen aan de thuisautomatisering. Aan de andere kant: er is meer software dat een eigen image voor een RPi heeft gekregen.

Het is mogelijk om Rhasspy op een raspberry pi3 te installeren voor het stukje spraakherkenning. Die heeft net genoeg rekenkracht aan boord om dat aan te kunnen.
Toevallig had ik afgelopen week zitten kijken naar de documentatie van Rhasspy, niet wetende dat dit nieuws kwam haha.

https://rhasspy.readthedocs.io/en/latest/

Weten dat de nieuwe HomeyPro gebaseerd is op de nieuwste RPi compute module snap ik dat daar geen spraakherkenning in past. Maar een extra compute module (of hele RPi) voor dat doel is wel te doen.

Ik heb hier zeker al een aantal keer naar gekeken, maar tot nu toe nog niet geimplementeerd.
het toevoegen van microfoons in mijn woning staat me een beetje tegen.
Ik hoop dat het binnenkort mogelijk wordt om dit via de app te gebruiken, waarbij de dan mag zeggen he rassphy.

Of "He Ha" :-)

Het is opzich wel een leuk project.. maar totdat je ergens een "satellite" kan kopen zonder te solderen oid. is het wel extreem alpha niche..

Volgens mij komt het neer op RaspberryPi ergens plaatsen e USB speaker/mic inpluggen en je bent klaar. Dus solderen lijkt me echt niet nodig. Een klein beetje technisch inzicht is wel handig natuurlijk maar dat heb je voor Home Assistant ook wel nodig.

Misschien is de ReSpeaker een goede kandidaat? Ik heb er zelf geen ervaring mee, maar ik zag hem in de reacties onder dit bericht voorbij komen.

Een interessante feature die al in Home Assistant zit is de conversation integratie. Door te luisteren naar specifieke zinnen kan Rhasspy heel accuraat Home Assistant aan sturen.
Overige spraak commandos kunnen vrij geïnterpreteerd worden.
Overige voice assistants doen alles met vrije interpretatie. Rhasspy heeft dus de potentie om meer accuraat te zijn.

Ik weet niet of het te doen is om voice via een ESP32 op te nemen. Mocht het mogelijk zijn zou dit een mooi compleet ecosysteem vormen met ESPHome.

In the short term, my plans are to add Whisper and Coqui STT for speech to text, Mimic 3 and Coqui TTS for text to speech, and upgrade many of the existing services (like Porcupine).

Ik wist niet van het bestaan van Rhasspy af, maar was al een klein beetje begonnen met rondprikken in Almond om het met Whisper van OpenAI samen te laten werken.

Whisper is een AI-model dat gesproken teksten in vrijwel elke taal kan uitschrijven, én ook nog eens naar het Engels kan vertalen. Los van dat het met een groot aantal talen overweg kan, zorgt het vertalen naar Engels er ook nog eens voor dat het makkelijker is om in het Engels geschreven intents in elke beschikbare taal te hergebruiken zonder dat iemand het opnieuw hoeft te definiëren.

Ik kijk hier wel naar uit, zeker als er losstaande smartspeakers beschikbaar komen die kunnen draaien op Rhasspy zodat je geen Alexa of Google Home meer nodig hebt die altijd nét niet helemaal doen wat je zelf wilt.

Dit valt of staat voor mij hoe ik dit thuis kan gebruiken met hardware om mijn gesproken commandos te ontvangen. Gebruik nu thuis Sonos in de woonkamer en Google speakers voor de slaapkamer en werkkamer.

Zeker voor de woonkamer zit ik niet te wachten op een extra device. Dan blijf ik liever werken met Google Assistant op de Sonos. Al werkt dit niet altijd soepel en worden sommige commandos naar Home Assistant niet goed begrepen.

Ik juicht dit toe, ik hoop dat ze de weg van "versimpeling" kunnen aanhouden zodat HA ook steeds meer voor de doorsnee gebruiker te gebruiken zal zijn. Mijn donatie ontvangen ze in ieder geval!

Spraakcommando's, Leuk maar voor mij in de categorie Gadget.
Op mijn TV afstandbediening zit ook zo'n feature, blijven we toch de knopjes gebruiken.

Belangrijk punt bij de thuisautomatisering is en blijft hoe de andere huisgenoten de bediening kunnen uitvoeren.
Mijn Hue verlichting, sinds 2012, kan met diverse handmatige apparaten bediend worden. Wel redelijk geautomatiseerd door groepen lampen die op tijdstippen aangaan, gezamenlijk gedimd of van een andere lichtkleur voorzien.
Maar de wifi op onze nieuwe magnetron heeft nog geen meerwaarde.

Inmiddels circa 4 maanden onderweg om HomeAssistant "eigen" te maken. Niet het eenvoudigste maar op Internet voldoende hulp te vinden en als belangrijkste dat de partner op haar iPhone middels de HA app nu ook wat andere zg. SmartHome apparaten weet te bedienen.

De "spraakbediening" waar ze voorheen gebruik van maakte is daarmee van mij afgewenteld.

Spraak is wat mij betreft nog niet volwassen genoeg en nog niet breed genoeg geaccepteerd om echt serieus ingezet te kunnen worden. Uitzonderingen daargelaten natuurlijk. Maar als zelfs de grote Google en Apple het nog niet feilloos kunnen laten werken dan vraag ik me toch sterk af waarom Home Assistant het wel zou lukken. Athom (Homey) heeft het destijds ook geprobeerd, maar dit is ook gestaakt.
Waar ik me meer zorgen om maak zijn de vele mensen die aangenomen worden bij Nabu Casa. Die mensen moeten ook betaald worden en dat geld moet ergens vandaan komen. Ik hoop dat ze dicht bij hun idealen blijven en de subscription dienst voldoende geld in het laatje blijft brengen om te voorkomen dat ze andere radicale ideeën krijgen om het bedrijf commercieel aantrekkelijker te maken.
Het blijft een geweldig platform en out of the box ook erg interessant voor nieuwkomers.

Google en Apple willen het veel te breed inzetten. En dei voice assistent van Google is ook echt dom, ben ik met je eens.

Maar puur voor Home Assistant kun je de commando's uitstekend trainen. En als je voor 1 actie meerdere commando's configureert, gaat het wel werken. Zelfs met Google op HA werkt dit best goed. "Hey Google, doe alle lampen uit" resulteert netjes in een donker huis. Maar als je zelf de commando op kan geven, lijkt me dit koud kunstje.

De vraag is alleen of je alles met je stem moet willen doen. Ik gebruik het alleen als ik iets voor elkaar wil krijgen en terwijl ik mijn handen vol heb. Anders gebruik ik wel knoppen of mijn control paneel / app.