Home Assistant krijgt cloud- en lokale spraakassistent

De Assist-functie van Home Assistant ondersteunt nu text-to-speech en speech-to-text. Daarmee heeft de smarthomesoftware een spraakassistent gekregen. De functie werkt met het Cloud-abonnement of met lokale spraakmodellen.

Het Home Assistant Cloud-abonnement bevat nu text-to-speechdiensten die overweg kunnen met ruim honderddertig talen en de Assist-functie ondersteunen. Home Assistant kondigde Assist in januari dit jaar aan; toen was het nog een chatfunctie om gebruikers smarthomecommando's te laten geven. Gebruikers kunnen dankzij de stemintegratie Home Assistant bijvoorbeeld vragen lampen aan of uit te zetten, of een bepaalde kleur te kiezen. De spraakassistent kan ook vragen beantwoorden, zoals de vraag welke lampen aan staan.

De nieuwe debugfunctie binnen Home Assistant Assist

De spraakassistent is niet beperkt tot één taal of accent; gebruikers kunnen verschillende spraakassistenten tegelijk laten draaien, om bijvoorbeeld zowel Engelse als Nederlandse commando's te kunnen geven. De spraakassistent kan ook ChatGPT-integratie krijgen. Om het debuggen makkelijker te maken, kunnen gebruikers de laatste tien interacties per spraakassistent terugzien.

Voor gebruikers die liever lokale spraakassistenten gebruiken, introduceert Home Assistant text-to-speech- en speech-to-textmodellen. Piper is een zelfgemaakt text-to-speechmodel dat machinelearning gebruikt en op een Raspberry Pi 4 per seconde verwerkingstijd, twee seconden aan audio kan maken. Op een ongespecificeerde Intel Core i5 zou dit zeventien seconden audio per verwerkingsseconde zijn. Piper ondersteunt veertig talen, waaronder Nederlands en Engels, en is gebaseerd op openbare audiodatasets.

Voor het lokale speech-to-textdeel gebruikt Home Assistant het door OpenAI ontwikkelde Whisper-model. Dit model zou met 200MB geheugen op een Raspberry Pi 4, zeven seconden nodig hebben om een stemcommando te begrijpen. Op een Core i5 zou dit minder dan één seconde duren. Op krachtigere processors zijn daarnaast grotere en nauwkeurige Whisper-versies mogelijk.

Whisper en Piper werken samen door het door Home Assistant gemaakte Wyoming-protocol. ESPHome krijgt ook ondersteuning voor het maken van spraakassistenten. Tot slot krijgt Home Assistant voice-over-IP-ondersteuning, waarmee de spraakassistent overweg kan met voip-telefoontoestellen. Zo kunnen gebruikers 'bellen' met de spraakassistent en hoeft de microfoon dus niet continu aan te staan. Home Assistant gaf eerder aan dit jaar te willen focussen op spraak- en tekstassistenten.

Reacties (97)

[pentode]

Hier staat al een half jaar de Respeaker in de woonkamer. Netjes afgewerkt in een ronde behuizing. Het ziet er uit als een hockey puck.
Pikt prima het wake word op. Om vervolgens een zelf bedachte en geprogrammeerde stem opdracht uit te voeren. En antwoord indien gewenst terug in het Nederlands met Belgisch accent.
Eventueel zijn 'satelliet' inputs te gebruiken.
Zie ook het Tweakers Forum

[Reactie gewijzigd door pentode op 22 juli 2024 22:24]

[Sito]

Zover ik kan zien gebruikt Respeaker onderwater nog steeds Google Assistant of Amazon Alexa.

Waar Home Assistant graag naartoe wil, en wat hier een hele goede eerste stap voor is, is dat alles lokaal wordt afgehandeld, zodat je niet meer afhankelijk van derden.

[pentode]

De Respeaker USB Mic Array zit gekoppeld aan https://rhasspy.readthedocs.io/en/latest/
"Rhasspy (ɹˈæspi) is an open source, fully offline set of voice assistant services for many human languages that works well with"
De stem wordt gemaakt door Laryx
"Offline end-to-end text to speech system using gruut and onnx (architecture). There are 50 voices available across 9 languages."

Hieronder een stukje code uit de intents.yaml
[code]
HassVerlichtingUit: # Intent type
speech:
text: Ik hebbe de lampkes uit gezet
action:
- service: notify.notify
data:
message: Alle lichten uit gezet
- service: light.turn_off
entity_id: light.allelichten
[/code]

[Reactie gewijzigd door pentode op 22 juli 2024 22:24]

[worstenbrood]

Rhasspy kan je ook gewoon in homeassistant gebruiken

[Skit3000]

Sterker nog, de ontwikkelaar van Rhasspy is nu werkzaam voor het bedrijf achter Home Assistant.

[pentode]

Het draait ook in HA. Misschien had ik dat erbij moeten vermelden. Ter verduidelijking.

Rhasspy is als add-on geïnstalleerd in Home Assistant. (Maar het kan ook stand alone draaien.)
En de microfoon array settings ingegeven op het Rhasspy config tab blad
Onder Audio:
Input: ReSpeaker 4 Mic Array (UAC1.0) Mono
Output: ReSpeaker 4 Mic Array (UAC1.0) Analog Stereo

Voor geïnteresseerde nog een link naar uitgebreide info.

ReSpeaker is an open modular voice interface to hack things around you. Let you interact with your home appliances, your plant, your office, your internet-equipped devices or any other things in your daily life, all by your voice. The ReSpeaker project provides hardware components and software libraries to build voice enabled device.

Was de hele dag de deur uit. En kon daardoor niet eerder reageren.

[Reactie gewijzigd door pentode op 22 juli 2024 22:24]

[Skit3000]

Met betrekking tot het koppelen van ChatGPT aan Home Assistant via het officiële OpenAI Conversation integratie; hiermee stuurt Home Assistant een overzicht van alle gebieden en apparaten in je woning naar OpenAI. Opzich is dit in heel veel gevallen niet heel spannend, maar als iemand zich ooit naar binnen werkt bij OpenAI en oude gesprekken download kunnen ze redelijk makkelijk een database opbouwen met wie allemaal apparaat x bezit en hiermee mogelijk gericht een aanval uitvoeren.

Een oplossing zou zijn voor de HA-integratie om niet de daadwerkelijke apparaatnamen te gebruiken, maar deze te vervangen door een token als "$lamp1" of "$stofzuiger3" en de output van de GPT API af te vangen en dit weer terug te hernoemen naar de oorspronkelijke waarde.

Edit: Hierbij moet natuurlijk ook de inputtekst die de gebruiker geeft aangepast worden van "de staande lamp" naar "$lamp1" voordat dit aan de GPT API wordt gegeven dus het is wel iets lastiger dan hoe ik het schets.

[Reactie gewijzigd door Skit3000 op 22 juli 2024 22:24]

[Martinspire]

Of op zijn minst weten ze welke apparaten je hebt en wat ze dus kunnen jatten als ze weten waar je woont. Ik denk dat er meer met diefstal dan digitale inbraak gedaan zal worden eigenlijk.

[TheFes]

Dat is alleen als je het default prompt laat staan. Mijn prompt is nu:

Je bent Mario van Super Mario Bros. Praat Nederlands, hou het kort en maak grapjes.

[Nightscope]

Dus ipv dat Siri mij niet begrijpt wanneer ik zeg 'Kan je mij vertellen welke lampen ik aan ben vergeten' kan ik dat straks misschien wel vragen. Er zijn veel edge cases bij Siri en je moet een template vraag stellen anders begrijpt zij het niet. Dus vragen kunnen stellen op een natuurlijke wijze (voor ieder anders) is meer dan welkom!

Ik begrijp overigens dat dit voor Home Assistant is en niet voor Siri, maar ik maak de vergelijking tussen de 2.

[CH4OS]

Als je wel kan vragen welke lampen er wel aan staan, kun je toch zelf eruit opmaken welke je bent vergeten. Je zou ook eventueel kunnen proberen te vragen welke lampen er uit staan, dan kun je immers hetzelfde doen. Siri kan toch nooit weten welke jij bent 'vergeten' aan te zetten? De assistenten zijn daar redelijk zwart/wit in. En gedachten lezen is natuurlijk niet echt mogelijk.

[Reactie gewijzigd door CH4OS op 22 juli 2024 22:24]

[lenwar]

Siri kan toch nooit weten welke jij bent 'vergeten' aan te zetten?

Nee, niet 100% natuurlijk, maar je telefoon/tablet/horloge/slimme speaker/enz (of het nou Apple of Google is) registreert gigantisch veel. Kijk maar naar de 'persoonlijke aanbevelingen' die je overal (al dan niet) als optie hebt. Persoonlijke aanbevelingen zijn in technologie-land het synoniem voor 'meer van hetzelfde' of 'net als altijd'. Het heeft vaak weinig echte slimmigheid van welke aard dan ook voor de gebruiker.

Anekdotisch:
Ik heb iedere nacht al m'n lampen uit op één peertje na van m'n oudste dochter. (die wil graag één lamp als nachtlampje). Dat is al een paar zo. Dan zou het Siri-mechanisme dat patroon toch wel moeten kunnen herkennen als ik in bed lig en vraag 'welke lampen ben ik vergeten?'. Althans. Dat lijkt mij. De praktijk wijst uiteraard anders aan en dan zien we dat Siri weinig meer is dan (goede) spraakherkenning met een vracht voorgeprogrammeerde sjablonen met een vracht scriptjes er achter en je vooral niks meer moet verwachten dan dat.

Ik bedoel Siri snapt 'Zet alle lampen behalve die en die uit' niet eens.

[Ramon]

Ik gok dat @Nightscope bedoelt te vragen welke lampen hij vergeten is uit te zetten. Maar ik snap wel dat Siri zo'n zin niet snapt

[blackjack21]

Siri kan zo’n zin prima begrijpen. Maar zal nooit kunnen weten welke @Nightscope vergeten is om uit te zetten.

Wilt hij de lamp in de gang aan laten of had hij die willen uitdoen? Ook ik kan zijn vraag niet beantwoorden.

Die vraag stellen is het niveau van “Siri, ik zie ik zie wat jij niet ziet en het is rood”.

[CH4OS]

Dat is mijn hele punt.

[The Zep Man]

Als je wel kan vragen welke lampen er wel aan staan, kun je toch zelf eruit opmaken welke je bent vergeten.

Alleen als je weet welke lampen er in totaal zijn. Volgens mij is het de bedoeling van thuisautomatisering om zaken makkelijker te maken. Dingen onthouden en extrapoleren uit incomplete data is niet makkelijker, en heeft een lage WAF. En de WAF is heilig, weet iedereen met ervaring.

[Animal]

Er wordt op tweakers nog vaak gesproken over de WAF factor. Een tijd terug zag ik deze uitstekende keynote van Home Assistant zelf voorbij komen.

https://youtu.be/8QU2P1f93zQ

[CH4OS]

Dus een assistent moet maar "ruiken" welke lampen er vergeten zijn om aan te zetten? Loop dan zelf een rondje door de ruimte, is wellicht wat sneller ook, als dan toch de WAF + snelheid belangrijker is. Spraakassistenten zijn gewoon nog verre van het niveau dat gezocht/gewenst wordt in deze thread. Ze kunnen geen gedachten lezen.

[Reactie gewijzigd door CH4OS op 22 juli 2024 22:24]

[tvtech]

Mijn mening: het is home automation dus als je dit goed automatiseerd (met de juiste sensoren e.d.) dan hoef je eigenlijk niets tegen HA te zeggen.

[Goldwing1973]

Er zijn redelijk makkelijk controle routines in te bouwen, heb ik ook gedaan.
Na het aanzetten van de verlichting “kijkt” een routine iedere minuut of de lampen echt aanstaan en corrigeert de lampen die niet aan staan of de verkeerde kleur hebben.
Voordeel daarvan is dat lampen waarvan de stroom wegvalt en weer aangaat ook op de goeie setting gezet worden ipv fel wit.

[Ayporos]

Dit staat ook nog op mijn to-do lijst.
Mijn hele huis hangt vol motion sensors en Hue lampen die automatisch aan gaan bij motie detectie (wanneer het avond/nacht is) en ik heb het al eens mee gemaakt dat ik bij een tweede trip naar de keuken moest constateren dat één van de lampen (een led strip bovenop de keukenkastjes) nog steeds aan stond en dus niet het 'ga uit' commando had ontvangen eerder.

[OriginalSjoerd]

Siri is niet de enige die jouw zin niet begrijpt maar het is wel tof als je home assistant helemaal op jou als gebruiker af kan stemmen inderdaad.

[TechSupreme]

Er is ondersteuning voor Whisper. Nadeel is wel dat je dan zwaardere hardware nodig hebt. Minimaal een GPU en afhankelijk van de dataset en de taal kan dat tot 10GB VRAM zijn.

https://arxiv.org/pdf/2212.04356.pdf

Gelukkig is Nederland wel in de top 10 van talen met de minste error rate, maar dan nog om het allemaal een beetje soepel te laten lopen heb je nog steeds die hardware nodig welke 24/7 staat te draaien in de hoop dat jij ooit een commando inspreekt.

[Reactie gewijzigd door TechSupreme op 22 juli 2024 22:24]

[lenwar]

en je moet een template vraag stellen anders begrijpt zij het niet.

En ook al vraag je het in de template vorm, dan nog is het maar afwachten. Hoevaak ik niet heb gehad:

Ik zei "Zet de lichten uit op de voorzolder"
Op het scherm was zichtbaar (dus wat hij verstond) "Zet de lichten uit op de voorzolder". De kamer in de 'Woning app' heet ook Voorzolder.
Siri's verbale reactie "Welke kamer? Woonkamer, slaapkamer, gang, overloop, blaablablabla, voorzolder, voordeur, schuur"
Siri wordt weer actief. Wachtend op mijn reactie
Ik reageer: "Voorzolder"
Op het scherm was zichtbaar "Voorzolder"
Siri's verbale reageert: "Ik weet niet wat je bedoeld"

Ik denk "Euh??" Dus nog een poging:

Ik zei "Zet de lichten uit op de voorzolder"
Op het scherm was zichtbaar (dus wat hij verstond) "Zet de lichten uit op de voorzolder"
Siri's verbale reactie: "Okee, ik heb het verzoek verstuurd"
En de lampen gingen uit.

Bovenstaande heb ik vaak gehad. Vooral als hij die hele lijst van kamers opnoemt. Heel frustrerend.

Ook meerdere keren op m'n horloge:
Ik "Zet een timer van 4 minuut 20"
Siri "Ik kan geen timer op een bepaald moment starten. Ik heb een alarm gezet voor 4 uur 20"
(( Ik de wekker/alarm weer verwijderd. Ik wil niet om 4.20 in de ochtend wakker gemaakt worden. Het meest idiote is, is dat ik helemaal niet om een wekker/alarm heb gevraagd. Dat is toch echt heel wat anders dan een timer ))
Ik "Zet een timer voor 4 minuten en 20 seconden"
(( toen deed siri het wel goed. Je moet dus met seconden erbij zeggen. Hij snapt blijkbaar geen spraaktaal, wat jammer is voor een spraakgestuurd systeem ))
Ik wil nog een timer zetten. Want dat kan tenslotte wel op een Apple horloge, en niet op een Apple telefoon. Die snapt maar één timer tegelijk.
"Zet een timer voor 4 minuten en 20 seconden"
(( Ik dacht. Daar trap ik niet nog een keer in!! ))
Siri: "Er is al een timer van 4 minuten en 20 seconden. Wil je nog een timer zetten met een andere naam?"
(( ik dacht "Okee... Is wat voor te zeggen. Dat forceert unieke namen en is ook handiger in gebruik" ))
Ik "Ja"
Siri: "Okee, hoe moet de nieuwe timer heten??"
Ik "Eieren" (( ik wilde tenslotte eieren koken ))
Siri "Dat is niet zo netjes"
Ik "Zet een timer voor 4 minuten en 20 seconden met de naam eieren"
(soms gaat dit goed, soms ook niet. Dit keer niet)
Siri: "Er is al een timer van 4 minuten en 20 seconden. Wil je nog een timer zetten met een andere naam?"
(( Geannuleerd door mij ))
Ik "Zet een timer voor 4 minuten en 21 seconden" (( dit werkte wel ))

(( voor andere zaken dan dit gebruik ik Siri niet. Lampen manipuleren en kookwekkers. Als dit zelfs al niet jofel werkt, durf ik niks spannenders aan dan dit ))

Het grappige van al het bovenstaande is, is dat de spraakherkenning gewoon 'goed' werkt. Niks op aan te merken. Alleen de verwerking van de verzoeken laat echt heel erg te wensen over. En daar zou nou juist, wat mij betreft, de echte toegevoegde waarde in moeten zitten.

[Martinspire]

Mja dat herken ik wel waardoor ik het gewoon niet meer gebruik. En dat vind ik ook meteen het prettige aan ChatGPT/Bing dat je geen vaste commando's hoeft te gebruiken maar dat ie zelf begrijpt wat je wilt. Je kunt zelfs in het Nederlands tekst intypen waarna je de query uitgevoerd ziet worden in het Engels en dat vertaalt ie dan weer terug. Ik vind het vaak beter vertalen dan Google wat tot een jaar of 2 geleden echt de betere vertaalmachine was.

Verder wil ik liever spraakherkenning lokaal. Dat ie er dan een online zoek query van maakt als ie eenmaal de tekst heeft, maakt mij weinig uit. Maar ik wil niet dat mijn stem direct verzonden wordt van een microfoon die altijd aan staat. Doe dat herkennen maar lokaal en maak er dan vervolgens iets moois van. Ik heb nog niet het idee dat dit echt een uitkomst is met de verwerkingstijden (al heb ik wel gewoon nog een windowsmachine staan die NAS activiteiten doet), maar het koppelen van commando's is dan nog een laatste stap en dat lijkt nog veel handwerk.

[TechSupreme]

Zoals hierboven al vermeld, wat jij wil kan met Whisper van OpenAI. Bing gebruikt hetzelfde maar waarschijnlijk een doorontwikkeld en een veel grotere dataset.
https://openai.com/research/whisper

Nadeel is wel dat je meteen een gaming PC nodig hebt waar tot 10GB VRAM in zit. Je kan een kleinere dataset gebruiken, maar dat gaat ten kosten van je nauwkeurigheid, maar is wel weer sneller.

Size Parameters English-only model Multilingual model Required VRAM Relative speed
tiny 39 M tiny.en tiny ~1 GB ~32x
base 74 M base.en base ~1 GB ~16x
small 244 M small.en small ~2 GB ~6x
medium 769 M medium.en medium ~5 GB ~2x
large 1550 M N/A large ~10 GB 1x

Als je de output van Whisper dan online doorstuurt naar GPT en de output opvangt (zijn online meerdere tutorials voor) dan werkt het. Probleem is wel dat je voor elke automation die je wil aanroepen een prompt aan moet maken in de GPT dashboard, want GPT kan natuurlijk niet kijken in jou configuratie dus je moet GPT wel vertellen hoe of wat.

https://mikegrant.org.uk/...t3-and-homeassistant.html

[Reactie gewijzigd door TechSupreme op 22 juli 2024 22:24]

[bytemaster460]

Ik begrijp eerlijk gezegd wel waarom Siri dat niet snapt. De zin loopt niet en daarnaast kan Siri niet bepalen wat jij vergeten bent. Je zal moeten vragen welke lampen nog aan staan.

[lenwar]

Uiteraard loopt die zin niet. Toch weet ieder Nederlands sprekend mens wat er bedoeld wordt.
Het verzoek valt gewoon niet in de standaardlijst van verzoeken. Siri heeft een beperkte lijst met zaken die hij snapt. Ondanks dat er zoveel datavergaring en personalisatie is, heeft het Siri-systeem dus niet die op welk moment van de dag, welke lampen aan ‘horen’ te staan.

Ik heb net ter plekke even gevraagd: ‘welke lampen ben ik vergeten uit te zetten’. Ik kreeg als antwoord dat er drie aan staan en veertien uit. Dat is geen antwoord op mijn vraag. Ik vroeg om welke, niet hoeveel. Daarnaast gaf hij ook geen oordeel of het wel of niet mogelijk vergeten zou zijn.

Ergens anders in dit topic zie je ook andere voorbeelden van minimaal mij dat Siri qua verwerking vrij zwak is. De spraakherkenning gaat best goed, maar de interpretatie en verwerking is op z’n best zwak tot middelmatig.

Edit: autocorrupt

[Reactie gewijzigd door lenwar op 22 juli 2024 22:24]

[bytemaster460]

Het blijft een vreemde redenering. Een mens heeft taalgevoel en zover zijn computers nog lang niet. Dat Siri kromme zinnen niet snapt is dus volstrekt logisch.
Het is ook logisch dat Siri niet weet welke lampen wel en niet aan horen te staan. Siri weet het doel niet van de lampen in je configuratie. Sommige lampen kunnen dag en nacht gebruikt worden.

[Reactie gewijzigd door bytemaster460 op 22 juli 2024 22:24]

[lenwar]

Daar ga ik toch niet helemaal in mee. Siri snapt überhaupt geen taal. Hij ontleed een zin en zoekt naar sleutelwoorden.
Je kan de meest grammaticale gedrochten maken en dan komt het toch goed.

En net wat ik al schreef. Er wordt zo idioot veel data gelogd door je telefoon en andere apparaten onder het kopje van ‘personalisatie’, dan zou het systeem toch ondertussen door moeten hebben dat als ik iedere dag dezelfde handelingen doe, dat een afwijking meetbaar/merkbaar is.
Op diezelfde manier probeert Siri door te hebben dat als ik in de buurt van een Albert Heijn ben, dat de Albert Heijn app wordt ‘voorgesteld’, of als ik dagelijks om 08:45 een bepaalde app opstart, dat hij die dan voorstelt.

Blijkbaar heeft Apple dat allemaal nog niet onder de knie. Maar het toont allemaal precies aan wat ik al schreef. Siri is ‘slechts’ een tool die alleen wat voorgeschreven scriptjes uitvoert. Niks meer of minder dan dat. Het wordt echter geprofileerd als iets meer dan dat.

[bytemaster460]

Het werkt gewoon zo niet. Je maakt een hele eigen variant hoe Siri volgens jou zou moeten werken en gaat dan “klagen” dat het niet zo werkt.

[lenwar]

Nou ja. Siri wordt toch geprofileerd als een ‘slimme assistent’.

https://www.apple.com/siri/

…On-device intelligence makes your experience with Siri personal — learning your preferences and what you might want — while maintaining your privacy…

Maar dat is het dus domweg niet. Het leert niet. Althans. Het leert heel specifieke dingetjes, en zelfs dat matig. Het is weinig meer dan een zwik voorgedefinieerde opdrachten die heel specifiek aangeroepen moet worden. Ik kan niet ‘alle lampen behalve de gang’ uitzetten, het kan niet opnoemen welke lampen aan staan, het kan niet een kookwekker de alias ‘eieren’ geven wanneer het er om vraagt, want die trucjes kent het niet, en ‘eieren’ ziet hij als scheldwoord, enzovoorts.

[bytemaster460]

Het is nooit gepresenteerd als volmaakt intelligent systeem dat alle taken van de mens kan overnemen. Het staat nog in de kinderschoenen en leert iedere dag bij. Zoals jij het graag ziet is iets voor over 10-20 jaar.
Daarnaast kun je wel 9 van de 10 keer dezelfde handeling doen die een systeem kan aanleren en inschatten, maar de mens kennende gaat je je dan ergeren aan die ene keer dat je toch iets ander wil.

[Mavamaarten]

Mooie stappen!

Ik kijk vooral uit naar goede open-source hardware die het mogelijk maakt om dit op een productie-waardige manier te gebruiken. Ik zou iets met een Raspberry Pi in elkaar kunnen flatsen, maar heb toch liever een goed ogend product op mijn nachtkastje staan ipv een constructie met draadjes en 3D prints.

Hoe fantastisch zou het zijn moest iemand een vervangende PCB maken of verkopen die je kan inbouwen in een bestaande Google Home of Alexa? Ik ben mijn Google Home (en voornamelijk de Google Assistent) aardig beu en zou graag de goede microfoon en speaker gebruiken voor een lokalere aanpak van home automation. Assist werkt aardig (en snel!) en heeft veel potentie.

[Daniel.]

https://www.home-assistant.io/yellow/

Dat is denk ik wat je zoekt.
Heb hem gisteren gekocht met een RPI4CM 8GB 32GB eMMC.

[Mavamaarten]

Nee, ik wil niet een servertje die Home Assistant draait op mijn nachtkastje. Ik wil een spraakassistent / smart speaker op mijn nacht kastje, die interfacet met mijn Home Assistant installatie die draait op een server in mijn kelder

[RobertMe]

Zoals in het artikel staat kun je ook ESPHome devices als microfoon en/of speaker inzetten. Waarbij ze dus de M5Stack Atom Echo smart speaker (HA referral in takt gelaten in de link). Voor $13 heb je dan een apparaat dat je overal kunt plaatsen en interfaced met jou eigen HA installatie in de kelder. Apparaatje is ook zo klein dat je het makkelijk kunt weg stoppen (afgaande op de foto's). Of je knutselt zelf iets in elkaar op basis van een ESP.

[Mavamaarten]

Dat weet ik maar een DIY ESPHome device is net exact waar ik niet echt interesse in heb. Zo'n M5Stack dingetje is wel geinig en een goed begin, maar ik zoek wel een iets serieuzer product waar ik ook muziek op zou kunnen (willen! met zo'n mini speaker ga je huilen van de kwaliteit vrees ik) spelen. Echt iets als een Google Home of Alexa met een goede luidspreker en microphone array, niet een ESP32 met een blikkerig speakertje en een simpel microfoontje, aaneen geknoopt met wat DuPont kabeltjes.

[Reactie gewijzigd door Mavamaarten op 22 juli 2024 22:24]

[RobertMe]

Als het met een ESP kan kun je het ook zelf bouwen

Maar een oplossing met een beetje fatsoenlijke speaker om ook muziek op af te kunnen spelen zou inderdaad ook wel mooi zijn.

[Skit3000]

Wat als je je huidige Google Home/Alexa luidspreker gewoon houdt als pure luidspreker (je kan met een hardwarematige switch de microfoon uitzetten) en een M5Stack puur als spraakassistent?

[WORPspeed]

OFFTOPIC:
Ik zat hier dus ook aan te denken. Maar kan ik via HA mijn muziek in Youtube Music af laten spelen op mijn Google Home speakers?
Ik dacht dat ik die commando direct aan de Google Home zou moeten geven

[Skit3000]

Geen idee of dat met YouTube Music kan, maar ik start bijvoorbeeld wel Spotify en live radio streams op mijn Google Home speakers via Home Assistant.

Dit is het eerste wat ik vind als ik zoek naar wat jij vraagt: https://github.com/music-assistant/hass-music-assistant

[WORPspeed]

Ziet er interessant uit, bedankt

[JF]

Op het YT kanaal van Home Assistant staat een video waarbij ze een met USB aangesloten speaker/microfoon gebruiken. Video uit 2021, waarbij ze nog Almond gebruiken, maar vermoed dat dit ook wel toe te passen met nieuwe spraakassistent. Zie: https://www.youtube.com/watch?v=LFQOFDCfdWk

[sjongenelen]

ik heb recent gezocht en het lijkt er op dat de nieuwe ESP32 (ben vergeten welke) krachtig genoeg zijn (en hele coole form factors hebben, perfect voor een asisstent - máár we dienen te wachten tot de SDK uitgebracht is, zodat deze nieuwe generatie met esphome kunnen werken

[!GN!T!ON]

Zou zelf heel graag zien dat sonos / ikea symfonisk speakers ook ondersteund gaan worden. Ik heb 3 van die ikea boekenplankspeakers in huis staan en ik heb ze ook al een HA hangen, o.a. de deurbel chime gaat over die speakers i.c.m. met een zigbeeknop bij de deur. Die dingen kunnen al overweg met keyword detection aangezien ze ook google assistant en alexa onderteunen. Heb het zelf alleen niet aanstaan, functionaliteit lijkt mij heel prettig, maar dan moet het 100% lokaal werken.

[CyBeRSPiN]

Hmm, zijn die CM4 nu wel via hen te bestellen? Ik heb de Yellow hier al maanden in huis, maar kan maar geen CM4 vinden, waardoor ie waardeloos is

[Morto]

Deze website al gezien?
https://rpilocator.com/

[CyBeRSPiN]

Ja, bedankt. Volg ik al maanden. In Europa steeds niks te koop die naar NL verzenden.

[langestefan]

Ik heb er een tijdje terug een aantal kunnen kopen op berrybase DE. Kiwi electronics vind je ze ook soms, die website volgt rpilocator niet.

[iAR]

Dit is wel een leuk speeltje. Enig idee hoeveel Zigbee apparaten er gekoppeld kunnen worden? Ik heb nu een Homey maar die is toch erg beperkt met Zigbee. Of super instabiel.

[bytemaster460]

hoeveel Zigbee-apparaten je kunt koppelen is afhankelijk van de Zigbee hub die je hebt. HA kan er feitelijk oneindig veel ondersteunen.

[iAR]

Je noemt hub, maar gaat het om specifiek de software of de hardware!? Want in het laatste geval is het van belang welke Zigbee controller er in dit ' Yellow' ding zit. Of in die Skyconnector.

[bytemaster460]

Ah, ik zie nu dat de yellow een Zigbee controller aan boord heeft. Dat wist ik niet.
Het aantal is ook weer afhankelijk van welke apparaten. Als je routers er tussen hebt zitten, zoals menig lamp dan kun je in totaal veel meer apparaten eraan hangen dan wanneer je alleen rechtstreekse koppelingen maakt.

[iAR]

Op het Homey forum houd men met routers erbij ook vast aan slechts 40 apparaten.

[lowfi]

Alleen dan weer een transparante case... Hmmm

[langestefan]

Er was de HA Blue: https://www.home-assistant.io/blue/

De speciale case is uitverkocht maar de hardware is nog wel te koop.

En sinds kort is er ook de ODROID-M1: https://www.home-assistan...port-hardkernel-odroid-m1
(deze)

[OverSoft]

De HA Blue was gewoon een Odroid N2+ die je inderdaad gewoon nu nog kan bestellen.
Voor een paar euro heb je daar ook een goed ogend kastje bij.

De Odroid-M1 is overigens niet sneller dan een N2+ (en ook niet beter), ze gebruiken ipv een Amlogic CPU nu een Rockchip en het kastje / layout is anders. De N2+ is gewoon nog leverbaar.

[langestefan]

De Odroid-M1 is overigens niet sneller dan een N2+ (en ook niet beter), ze gebruiken ipv een Amlogic CPU nu een Rockchip en het kastje / layout is anders. De N2+ is gewoon nog leverbaar.

De M1 heeft dan wel weer native ondersteuning voor NVMe en heeft een AI edge processor. En is een stuk goedkoper. De N2+ heeft een wat snellere processor met 6 cores inderdaad, maar daar heeft HA geen profijt van want die draait toch single threaded. Dus als het je alleen om HA gaat dan zou ik voor de M1 gaan met een NVMe SSD voor opslag.

[OverSoft]

HA core draait inderdaad single threaded. Maar als je add-ons gebruikt draaien die uiteraard in andere processen.

Maar inderdaad, voor HA is een M1 prima. Daarin wordt die AI processor overigens (nog) niet gebruikt.
Sidenote: de M1 is nog niet te booten vanaf NVMe, je hebt dus een eMMC of SD kaartje nodig om te booten.

[Loekie]

Betreft boot op M1: NVME wordt (inmiddels?) wel ondersteund als bootmedium, zo boot het ding hier namelijk.

[OverSoft]

Boot jij naar Home Assistant of iets anders? Want HAOS zelf ondersteunt het nog niet.
https://github.com/home-assistant/operating-system/blob/dev/Documentation/boards/hardkernel/odroid-m1.md

[Loekie]

Gebruik geen HAOS, maar debian bullseye, geinstalleerd uit uboot module.

[OverSoft]

Dat verklaard, Home Assistent OS zelf is (nog) niet te booten direct vanaf NVMe.

[Morto]

Voor welke zou jij dan gaan en Raspberry of een Odroid-M1 als je echt alleen home assistant wilt draaien.

[langestefan]

Raspberry pi is nergens te koop momenteel voor een fatsoenlijke prijs dus je enige optie is odroid-m1 denk ik.

[The Zep Man]

Ik denk niet dat @Mavamaarten een Home Assistant-installatie op zijn nachtkastje wil hebben. Waarschijnlijk bedoelt hij een microfoon en speaker in een sexy form factor.

Zelf zou ik daaraan toevoegen dat als het niet werkt zonder internetverbinding, het niet de moeite waard is om te gebruiken. Dus zoiets als een 'slimme speaker', maar dan enkel voor lokaal gebruik.

[Reactie gewijzigd door The Zep Man op 22 juli 2024 22:24]

[!GN!T!ON]

Gebruik zelf ikea symfonisk speakers in huis (eigenlijk gewoon sonos), die worden in HA ook ondersteund, ik speel zo een lokaal mp3 bestand af als iemand op de deurbel drukt. groeperen, volume regelen, lokale files afspelen, dlna stream spelen werkt allemaal.

De speakers hebben ook een microfoon en ondersteuning voor google assistant en alexa, zou fijn zijn als HA deze voor de spraak assistent deze ook gaat ondersteunen. Heb er alleen een beetje hard hoofd in, als sonos hiervoor nog iets moet vrijgegeven of toevoegen aan de (lokale) api. Maar we gaan het zien, fingers crossed.

[langestefan]

Als ik het goed begrijp werkt het met iedere VoIP adapter, daarvan zijn er genoeg die in een mooi commercieel doosje komen.

[zenlord]

Zoals?
Ik zoek al enige tijd naar iets dat mijn analoge binnenpost kan vervangen nu ik op mijn buitenpost ben overgeschakeld op een VoIP toestel, en zie geen andere optie dan een tablet met VoIP app + wall-mount + PoE splitter naar USB-C.

[GeroldM]

Je had daarvoor het Mycroft project. Dat is nu helaas terziele, maar was een spraakassistent die ook lokaal kon werken, met open source hardware en bouwplannen.

Begrijp dat veel mensen hun thuis-automatisering in de cloud hebben staan. Maar in dit Zuid-Amerikaanse deel van de wereld is het internet simpelweg minder betrouwbaar. Begrijp me goed, als het werkt, dan werkt het goed genoeg (in drukbevolkte gebieden). Maar als internet om wat voor reden dan ook wegvalt, dan is het voor mij onacceptabel om zo'n 90% aan functionaliteit van je thuis-automaton in te leveren.

Home-Assist houd het lokaal en is dus veruit te prefereren hier in deze contreien. Gebruik het voor IP cameras voor bewaking, luchtvochtigeid meters door het hele huis, temperatuurmeters in combinatie met personendetectie (zodat ik alleen koelcapaciteit inschakel wanneer er iemand aanwezig is), verlichting, audiovisueel alarmsysteem, bijhouden van energieopwekking via zonnepanelen, slimme garagepoort en nog wat randzaken. Dat is veel teveel functionaliteit wat ik dus niet af ga laten hangen van een internetverbinding. Home-Assistant doet dit allemaal zonder horten of stoten in een VM, op een afgeschreven PC met i5 CPU (van de 3e generatie) en 16GByte RAM.

[Twixie]

Zat Text-To-Speech daar al niet in ? Heel in het begin heb ik daar wat thuis mee zitten grappen waarbij dan mijn ingetypte texten uit onze luidsprekers kwamen. Voor de rest wel nooit effectief toegepast in mijn HA setup.

[Mavamaarten]

Dat zat er inderdaad al in, maar dat werkte via de TTS service van Google Translate als ik me niet vergis.

[GekkePrutser]

Nee het was een eigen dienst op basis van stemmen van nuance, heb ik begrepen.

Wat er nu mee gaat veranderen weet ik niet.

[Reactie gewijzigd door GekkePrutser op 22 juli 2024 22:24]

[Mavamaarten]

Oh, interesting. Dat was voor Nabu Casa zie ik, niet voor iedereen die "gewoon" Home Assistant gebruikt. Vandaar mijn verwarring.

[TheFes]

De dienst die Nabu Casa aanbiedt is gewoon Microsoft Azure TTS

[GekkePrutser]

Oh dat wist ik niet, jammer want Nuance was altijd wel de top op dit gebied.

[CH4OS]

Text-to-speach zit er al in, maar is/was via een API met (ik meen) Google. Dat was althans toen ik Home Assistant gebruikte. Dit is volgens mij echt een eigen assistent nu.

[Reactie gewijzigd door CH4OS op 22 juli 2024 22:24]

[JasperE]

Klopt: https://www.home-assistant.io/integrations/tts/

[Ruuddie]

Wat gaaf dat Home Assistant nu VoIP gesprekken aan kan. Aan de guide te zien (https://next.home-assista...t-private-voice-assistant) luistert hij netjes op poort 5060. Ben benieuwd welke SIP stack erin zit. Stukjes Asterisk geript misschien?

Nu heb ik zin om ergens een mooie SIP intercom vandaan te halen en die middels HA alle speakers in huis te laten rinkelen en automatisch terug te laten praten naar degene aan de deur. Veel gaver dan een normale slimme deurbel ;-)

[Reactie gewijzigd door Ruuddie op 22 juli 2024 22:24]

[RefriedNoodle]

Wat gaaf dat Home Assistant nu VoIP gesprekken aan kan. Aan de guide te zien (https://next.home-assista...t-private-voice-assistant) luistert hij netjes op poort 5060. Ben benieuwd welke SIP stack erin zit. Stukjes Asterisk geript misschien?

Uh… ja natuurlijk luistert hij op poort 5060? Zou niet echt een handige SIP-implementatie zijn als hij dat niet deed.

Maar ik heb even in de source zitten bladeren, maar kom geen Asterisk tegen. Maar HA doet ook geen volledig dialplan of zo (wat Asterisk wel doet), want het is geen pbx, alleen maar een simpel SIP-servertje, het slimme werk komt daarna, als er audio over en weer gaat.

Asterisk maakt zelf trouwens ook gebruik van modules voor de SIP-afhandeling die ze ook niet zelf geschreven hebben.

[Jur_]

Fantastisch! Met een redelijk moderne i5 barebone HA/docker server zou lokaal draaien wel een stuk makkelijker worden zo. Dit wil ik wel eens proberen. Zou helemaal mooi zijn wanneer dit met Sonos speakers zou samenwerken zonder een ronde via een cloud dienst.

[Evertt]

Mooie ontwikkeling zat hier inderdaad op te wachten.

Heb nog een esp32 liggen. Ben benieuwd wanneer de eerste complete set op markt komt.

[ocf81]

Ik ben benieuwd hoe goed dat speech to text model gaat werken. Dit zou een mooie opsteker zijn voor het zelf hosten van een AI assistent.

[Reactie gewijzigd door ocf81 op 22 juli 2024 22:24]

[TheFes]

Hey, wat leuk, mijn bureau op de frontpage.
Mocht iemand er niet uit komen met instellen, dan laat maar weten (eventueel met een tag in het HA topic)