Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Je kunt ook een cookievrije versie van de website bezoeken met minder functionaliteit. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , reacties: 108, views: 31.060 •
Submitter: kramerty88

De Franse app-ontwikkelaar Applidium heeft het protocol achter de Siri-spraakherkenning van de iPhone 4S ontrafeld. Het bedrijf heeft code vrijgegeven waarmee de Siri-servers vanaf een willekeurig apparaat benaderd kunnen worden.

Het bedrijf zegt dat met de vrijgegeven tools en programmacode een willekeurige audiostream naar de servers van Apple gestuurd kan worden en dat deze vervolgens omgezet kan worden naar tekst. Hierdoor zouden in theorie naast Siri op de iPhone 4S ook andere applicaties gebruik kunnen maken van de text-to-speech-algoritmes die op Apples servers draaien.

Hoewel de tools van Applidium het mogelijk maken om vanaf elk willekeurig apparaat audiostreams naar de Siri-servers te sturen, is een iPhone 4S of in ieder geval de unieke code van dat apparaat, vereist. Elke audiostream die naar Apple verstuurd wordt, moet namelijk voorzien zijn van een specifieke header. Onderdeel van deze header is de variabele 'X-Ace-Host'; een waarde die voor elke iPhone uniek is.

Het Franse bedrijf doet in een blogpost uit de doeken hoe het protocol in elkaar steekt. Door tcp-verkeer van een iPhone 4S af te luisteren werd achterhaald naar welke server Siri de audiostreams verstuurt voor analyse. Daarna zette het bedrijf lokaal een server op en spoofde de dns-gegevens zodat Siri hiermee communiceerde in plaats van met de officiële Apple-servers. Hiervoor moest het bedrijf wel zelf een ssl-certificaat aanmaken voor de lokale server, en de iPhone 4S laten denken dat deze legitiem was.

Toen de server eenmaal operationeel was, kon begonnen worden met ontcijferen van de datapakketjes die Siri verstuurde. De software comprimeert ingesproken commando's met de Speex-audiocodec alvorens deze te verzenden. De Apple servers sturen daarop een extreem uitgebreid antwoord met niet alleen de tekstuele versie van de audiostream, maar ook een score die aangeeft hoe secuur de conversie is en de timestamp waarop de individuele woorden werden uitgesproken.

Reacties (108)

Reactiefilter:-11080100+160+26+30
het is toch enkel wachten tot er anderen met hetzelfde soort systeem komen? google is ook al aardig lang bezig met spraakherkenning onder android. en het werkt al vrij goed in google maps bijvoorbeeld.
Voor Google is er al een soortgelijke app te downloaden: Iris.
Heb je die ook daadwerkelijk geprobeerd? Ik vind dat echt een rampzalig programma. Als ik de demofilmpjes van Siri zie, is dat wel echt een totaal andere beleving.

edit: Heb het hier over gebruikersfilmpjes natuurlijk ;)

[Reactie gewijzigd door MikeyMan op 15 november 2011 09:50]

Demofilmpjes, als in door Apple opgenomen, of door de gebruiker.

Ik moet zeggen dat ik verbaast sta hoe goed spraakherkenning werkt op android.

Maar demofilmpjes van de fabrikant werken altijd goed.
Het is Apple, wat denk je dan? Er worden dan meer gebruikersfilmpjes gemaakt dan welke fabrikant dan ook.
Al dan niet door "professionele" reviewers...

http://obamapacman.com/20...ne-4s-open-pod-bay-doors/

http://www.youtube.com/results?search_query=siri&oq=siri
Zoekresultaten voor siri
Ongeveer 102000 resultaten
Check op 4:17 eens de tekst die hij 'ingesproken' heeft.

Wel iPhone herkennen en mooi met een hoofdletter P, maar dan wel van 4S '4 ass' maken! :+
iris is een anagram van siri

afwachten of elppa een rechtzaak tegen elgoog begint
als iris hetzelfde zou kunnen of doen, dan kan je over een rechtzaak gaan nadenken (als daar überhaupt ruimte voor is).

voorlopig doet iris niks wat siri wel doet.
voorlopig doet iris niks wat siri wel doet.
Echt wel (lang niet alles maar iris kan een hoop wat siri ook kan) :) Niet dat ik het ga gebruiken, als het ter was al had ik het nog niet gebruikt tenzij jdat zou inhouden dat ik niet hoef te praten tegen me telefoon maar de app direct hersengolven aftapt :)

[Reactie gewijzigd door watercoolertje op 15 november 2011 09:40]

Soort gelijken systemen hebben alle grote bedrijven recentelijk gekocht.
Amazon heeft er 1 http://www.geeksailor.com...st-apples-siri-assistant/
Ook google bought aardvark (in april already)
daarnaast heeft apple siri niet gemaakt maar is ook een gekocht bedrijf. zijn er alleen het eerste echt mee naar buiten gekomen
Siri
Is een combinatie van speech to text en natural language processing.

Misschien een verrassing voor velen,
http://www.chatbots.org/nl
een lading chatbots die hetzelfde doen. Weliswaar een stuk beperkter, het is dienstverlening, maar het principe is hetzelfde. Apple heeft een concept leuk herverpakt, en goed neergezet,
maar het bestaat al langer.

In mijn optiek is het ook vreemd dat grote bedrijven hier al gretig gebruik van maken, maar dat het voor de consument maar mondjesmaat beschikbaar was.
Apple heeft een concept leuk herverpakt, en goed neergezet, maar het bestaat al langer.
Dat is toch de hele mantra van Apple? Iets nemen wat al bestaat maar zo verschrikkelijk om te gebruiken dat niemand het gebruikt.
Een eigen versie maken welke WEL zo goed werkt dat het WEL gebruikt wordt?

Zij zijn bekend met hu mp3-speler, dan een telefoon, een tablet, nu spraakbesturing.

Ik hoop ook dat eens een tv kan neerzetten, hoef ik mijn ouders van 70 tenminste niet meer uit te leggen hoe ze moet overschakelen naar HDMI2 om tv te kijken....
Het feit dat ze zonder uitleg mijn iPad al kunnen gebruiken...
Dat is toch de hele mantra van Apple? Iets nemen wat al bestaat maar zo verschrikkelijk om te gebruiken dat niemand het gebruikt.
Een eigen versie maken welke WEL zo goed werkt dat het WEL gebruikt wordt?

Zij zijn bekend met hu mp3-speler, dan een telefoon, een tablet, nu spraakbesturing.
Vergeet de muis en de GUI niet ;) Anderzijds waren die oorspronkelijk niet zo verschrikkelijk, maar kon Apple ze makkelijk oppikken omdat Rank Xerox er niet zoveel in zag.
als iris hetzelfde zou kunnen of doen, dan kan je over een rechtzaak gaan nadenken (als daar überhaupt ruimte voor is).
Daar is geen ruimte voor, omdat apple technologie van een ander bedrijf gebruikt. Siri is in weze alleen een hele slimme frontend voor dat systeem. De voice2text en text2voice algoritmen zijn niet van apple, echter. (maar van Nuance)
Ten eerste heeft Google deze app niet gemaakt, maar een aantal onafhankelijke developers. Die hadden zich de challenge gezet om een Siri achtige applicatie te maken binnen 8 uur, wat ze gelukt is. Over de kwaliteit van de eerste versie kunnen we simpel zijn, die was niet super.

Ten tweede zit spraakherkenning al langer in Android dan de release van Siri met IOS 5. Dat is ook de reden dat Iris zo snel in elkaar te flansen was, de solide voice recognition basisfunctionaliteit die Google in Android ingebouwd had.

Ten derde heeft Apple deze technologie ook alleen maar ingekocht door het overnemen van een extern bedrijf (http://scobleizer.com/201...ews-siri-bought-by-apple/). Ze hebben dus zelf niks verzonnen (doen ze wel vaker met "magic" technologie).
Niet om het een of ander maar voor Siri zat er ook al spraakherkenning in iOS.
Anagram is de letters wel wat meer door elkaar husselen dan achterstevoren. Of is elppa een bestaand woord en elgoog. Je had er beter pepla of appel van kunnen maken. Kon van google niet meer maken dan gleg.
Leuk om te zien dat Apple Siri ervan gemaakt heeft, wat een lettermengeling hiervan is. :+
Wachten? Het was er in diverse vormen al zo'n 10 jaar geleden.
WP leverde een complete set (software en koptelefoon met microfoon) mee met naar mijn mening versie 7.
Nogal oude telefoons konden op uitgesproken naam nummers draaien en ander basisfuncties uitvoeren.
Er is dus niets nieuws onder de zon, hooguit dat de herkenning wat beter is geworden.
Ja, spraakherkenning is er inderdaad allang. 10 jaar geleden ook al eens mee gespeelt maar het stond toen nog in de kinderschoenen.

Het is mij ook niet helemaal duidelijk wat de ophef over siri veroorzaakt maar misschien kan ik het ook niet goed beoordelen(ik heb geen iphone).
Is het slechts een volgende stap in de ontwikkeling die af en toe met horten en stoten gaat of is het een breakthrough?
Ik begrijp wel dat het alleen werkt als er een 3G verbinding is dus dan is het al weer minder. Met de huidige abbo vormen wil je alle nodeloze 3G vermijden
Er is een heel groot verschil tussen spraakherkenning "dial number work" en AI dat natuurlijke tekst kan interpreteren "is it going to snow tomorrow"

http://obamapacman.com/20...ne-4s-open-pod-bay-doors/

[Reactie gewijzigd door kmf op 15 november 2011 09:17]

Het verschil tussen wat er 10 jaar geleden gebruikt werd (voice dialing en/of voice command) is dat je telefoon niet weet wat je zegt, maar herkent dat je iets hebt gezegd dat bij een nummer/commando hoort.

Siri is veel uitgebreider: Het converteert je spraak naar tekst en maakt er een commando van. de conversie gebeurt op een server (cloud-principe) en je telefoon krijgt iets eenvoudigs terug.
Ja, spraakherkenning is er inderdaad allang. 10 jaar geleden ook al eens mee gespeelt maar het stond toen nog in de kinderschoenen.

Het is mij ook niet helemaal duidelijk wat de ophef over siri veroorzaakt maar misschien kan ik het ook niet goed beoordelen(ik heb geen iphone).


Volgens niet de minste is Siri toch wel een goede innovatie.

Apple's Siri is a significant development-a voice-activated means of accessing answers through iPhones that demonstrates the innovations in search.
Google’s Eric Schmidt
http://gizmodo.com/585683...schmidt-is-scared-of-siri

Al de andere spraakherkenning kunnen alleen losse opdrachten snappen:
Call 123-245-555
Text contact xxx

Siri snapt:
Hoe koud wordt het vandaag?
Text my girlfriend.
Remind me to do xxx when i leave work
etc
etc
Dat is toch wel ff iets anders dan woorden zoeken.

Maar terug ontopic:
Goede ontwikkeling.
En ja, tuurlijk mikt Apple op overstappers door Sire.
Ze zijn een hardware bedrijf.
Anders hadden ze niet de harde koppeling tussen software en hardware gedaan.
En sommige Tweakers zijn misschien heel jong, maar toen Apple in de jaren 90 kloons had gelicenceerd, kocht niemand meer Apple's
De eerste iPhone kon ook een 3rd party apps aan en de eerste apps mochten ook geen mail functionaliteit hebben.
Dat is allemaal verandert.
Even geduld kinders, over een jaartje kan je op elke iPod/iPhone heel veel apps aanspreken met Siri.

[Reactie gewijzigd door weeraanmelden op 15 november 2011 09:53]

Er is dus niets nieuws onder de zon, hooguit dat de herkenning wat beter is geworden.
hooguit dat je het kunt vragen zoals je het aan aan mens kunt vragen.
we spreken over een aantal jaren nog, kijken of je er hetzelfde over denkt.

[Reactie gewijzigd door bakman op 15 november 2011 10:04]

Pardon, het bestond al voor de Texas Instruments Professional Computer, in 1983!

En het werkte perfect! Ik heb er diverse demo's mee gedaan. 't Was alleen een "beetje duur" - mijn huis destijds was goedkoper dan de PC...
Daar had je dan wel alle software - inclusief developement s/w - voor, maar toch.

Edit: Het heette Speech Command System

[Reactie gewijzigd door The Van op 15 november 2011 15:52]

Windows 7 spraakherkenning is anders ook behoorlijk goed.
Het gaat hier dan ook niet om spraakherkenning, maar om de interpretatie van wat er gezegd wordt. Als jij b.v. zegt, Maak me over een uur wakker, dan zal Siri dit begrijpen. Bij alleen spraakherkenning moet je zeggen: zet alarm 10:23 uur. Jij - de gebruiker - moet de handleiding van de spraakherkenning weten. Siri werkt net andersom: die leert jouw handleiding kennen. Na een tijdje weet Siri bijvoorbeeld het juiste contact te selecteren als je het over je moeder hebt. Uiteraard staat dit nog allemaal in de kinderschoenen, maar eh, laat dit soort systemen maar doorbreken en ik ben zeer benieuwd waar we over 5 jaar staan :9
Helaas, dit werkt alleen als Siri weet wie je moeder in de contact lijst is. Dus dat zal hij moeten vragen en vastleggen. Uiteindelijk doet Siri niks anders dan vragen wat je bedoeld en dit vastleggen zodat je uiteindelijk met het eerste commando de actie kunt starten. Een schil om spraakherkenning dus.
Als hij het niet weet kan je het gewoon via spraak vertellen en onthoud hij het.
Klopt, ik gebruik op Android Speaktoit, werkt echt fantashtisch. En als TTS engine gebruik ik SVOX klinkt veel beter dan de standaard PICO TTS engine.
Dus eigenlijk wil het zeggen, dat je het op elk willekeurig apperaat kan draaien. Maar wel een iPhone 4s nodig hebt, voor de unieke code?
Ja klopt. En het gaat hier alleen over de communicatie met de servers van Apple, niet over de afhandeling van de opdracht nadat je commando is omgezet naar tekst..
Voor het begrijpen van je opdracht en het uitvoeren ervan is natuurlijk ook nog een aardig stukje kunstmatige intelligentie nodig, en dat gebeurt nu blijkbaar wel lokaal op je iOS apparaat.
Ze hadden toch ook al Siri geport naar de iPhone 4 en 3Gs?
Klopt, maar dat was alleen zorgen dat de App die Apple levert voor de iPhone 4S ook draait op de 4 en 3GS na een aantal minimale aanpassingen, daarvoor heb je geen kennis van het Siri protocol nodig.

Dit nieuwsbericht heeft het over het helemaal zelf in elkaar zetten van een app die hetzelfde werkt als Siri, men heeft het protocol dat Siri gebruikt namelijk ge-reverse-engineerd.
Klopt, maar dat was alleen zorgen dat de App die Apple levert voor de iPhone 4S ook draait op de 4 en 3GS na een aantal minimale aanpassingen, daarvoor heb je geen kennis van het Siri protocol nodig.
Wat ReTechNL misschien meer bedoeld,
De 4 & 3S hebben ook geen geldige 4S-identifier. waardoor het er meer op gelijkt dat er momenteel een geldig (Apple)-ID nodig is.
En volgens deze ontwikkelaars/hackers is er enkel communicatie mogelijk met een geldig 4S-ID.

Apple kan hier op hun servers natuurlijk nog een extra lock/check voor inbouwen.
Bij die port was bewezen dat er geen hardwarematige beperking was om siri op de oude toestellen te draaien. Wel was toen duidelijk geworden dat je geen response van de server kreeg, omdat er geen correcte ID meegestuurd kan worden.

Dus wel een 4S-dD
Voorzichtig omgaan dus met je X-Ace-Host header value. Ik denk dat Apple hier een stokje voor gaat steken?

Ik lees overigens niet dat dit zo maar mogelijk is wat in de titel beweerd word. Het certificaat dat bij Apple geïnstalleerd staat moet dan aangepast worden? Of bedoelen ze hier dat ze een eigen Siri server gaan opzetten?

Edit: inmiddels zie ik dat de Topic titel is aangepast. :)

[Reactie gewijzigd door dacken op 15 november 2011 09:03]

Dit was enkel nodig voor het uitvogelen van het protocol. Omdat de verbinding via SSL wordt opgezet is het normaal niet mogelijk om de gegevens uit te lezen.

Wat ze dus hebben gedaan is een eigen certificaat aanmaken voor het domein wat siri gebruikt, dit importeren in de iPhone, zodat deze het vertrouwd. Vervolgens de DNS omgeleid zodat het naar hun eigen server gaat en de eigen server het verzoek weer laten forwarden naar Apple.

Eigenlijk dus gewoon een MITM attack.
Leuk, maar dus niet nuttig voor Iphone 4, 3s of android gebruikers.
Wel jammer, want voor wat ik gezien heb werkt dat Siri wel erg netjes.
Ik vraag me af of Apple het door zal hebben als er siri requests van meerdere ips tegelijk binnenkomen met dezelfde X-Ace-Host header.

Als dit veel gebruikt gaat worden (en dus veel van hun resources gaat vragen) zou ik me kunnen voorstellen dat ze deze 'niet officiele' requests gaan blokkeren.

Het is natuurlijk altijd zo dat een iphone dit zowel via 3g als via wifi kan versturen, waardoor meerdere ips in korte tijd achter elkaar mogelijk zijn.
Ik ben er zeker van dat Apple dit niet lang zal dulden...
nu nog die code omzeilen en ik kan Siri draaien op mn Iphone 4 :)
En men zich dan afvragen waarom Apple de juridische honden loslaat? Deze manier van werken riekt enorm naar kopieergedrag.

Ga er maar vanuit dat Apple het gehele proces heeft gepatenteerd, wat applicaties die op dezelfde manier werken nimmer uitgebracht zullen worden...
En men zich dan afvragen waarom Apple de juridische honden loslaat? Deze manier van werken riekt enorm naar kopieergedrag.
Die ontwikkelaars uit het bericht hebben niks met grote bedrijven te maken en dus ook niet met de oorlog tussen bedrijven. Dus dit heeft niks te maken met de 'juridische honden' die Apple los laat op HTC, Samsung of nokia :)
Apple kan het moeilijk patenteren als de technologie van Nuance komt :)

Hetzelfde bedrijf dat indertijd L&H opgekocht heeft (spraaktechnologiebedrijf van West-Vlaanderen) en zowat elk innovatief bedrijf opkoopt in de sector van Spraaktechnologie om geen concurrenten te laten groeien.

Combineer spraaktechnologie met Wolram Alpha en dan heb je Siri (simplistisch gezegd)

See you in an hour

[Reactie gewijzigd door NicoJuicy op 15 november 2011 09:57]

Begrijp ik het nu goed en werkt Siri
a) alleen met actieve dataverbinding. En dus niet in het buitenland zonder roaming? Zelfs al is het maar om een afspraak te maken in je eigen agenda?
b) niet op de telefoon, maar op de servers van Apple? Dat zou willen zeggen dat het argument van 'te weinig rekenkracht' voor de iPhone 4 of 3 niet meer op gaat.
Interessant!
Je begrijpt het bijna goed....
De conversie van spraak naar tekst gebeurt op de servers van apple... die data wordt gedetailleerd teruggestuurd.
Die gedetailleerde data wordt wel lokaal verder verwerkt zo lijkt het. En ik kan me ook voorstellen dat daar een aanzienlijk stukje rekenkracht voor nodig is; Een zin analyseren, ontleden en vervolgens een vraag of opdracht daaruit filteren....

Ik weet niet zeker of dat zo is, maar uit het bovenstaande experiment begrijp ik dat alleen de spraak online omgezet wordt naar tekst en verder alles offline gebeurt.
Je hebt dus wel die dataverbinding nodig ja, maar een request is nog geen 100KB dacht ik.
het zit 'm in de natural language en het leren van dialect wat meer zal vereisen dan je iphone aan zal kunnen.
De conversie van spraak naar tekst gebeurt op de servers van apple... die data wordt gedetailleerd teruggestuurd.
Die gedetailleerde data wordt wel lokaal verder verwerkt zo lijkt het. En ik kan me ook voorstellen dat daar een aanzienlijk stukje rekenkracht voor nodig is; Een zin analyseren, ontleden en vervolgens een vraag of opdracht daaruit filteren....
Ergens vind ik dat wel een beetje creepy, al jouw persoonlijke afspraken, gedicteerde mails, communicatie met de buitenwereld wordt geanalyseerd door Apple :/ Vind ik wel jammer dat dit niet lokaal draait eigenlijk, ik kan begrijpen dat je data nodig hebt om wolfram alpha te benaderen, maar om een agenda-afspraakje te maken? :s
Inderdaad. Hoewel de afspraken vervolgens toch (ook) in iCloud worden opgeslagen in mijn geval, waardoor ze dat toch wel doen. En dit is niet uitsluitend een Apple 'probleem'. Wat dacht je van de mails in GMail/GCal of Hotmail? Of het een privacy-issue is? Vast. Is het nieuw? Nee, totaal niet.
Nou ja, bijna. Je moet nog wel "real-time" de spraak comprimeren en ik denk dat daarvoor ook de achtergrondruis eruit gefilterd wordt. Het is namelijk een van de weinige spraak applicaties die het redelijk goed doet in een rumoerige omgeving.
a) correct.
b) kan correct zijn. Gezien de audio compressed word vereist dit wat kracht, aan de andere kant is dit dezelfde compressie die word gebruikt voor VOIP, zou geen probleem moeten zijn.

Apple zal waarschijnlijk device-id's blacklisten om misbruik te voorkomen.

Op dit item kan niet meer gereageerd worden.



Populair:Apple iPhone 6Samsung Galaxy Note 4Apple iPad Air 2FIFA 15Motorola Nexus 6Call of Duty: Advanced WarfareApple WatchWorld of Warcraft: Warlords of Draenor, PC (Windows)Microsoft Xbox One 500GBTablets

© 1998 - 2014 Tweakers.net B.V. Tweakers is onderdeel van De Persgroep en partner van Computable, Autotrack en Carsom.nl Hosting door True

Beste nieuwssite en prijsvergelijker van het jaar 2013