Microsoft-ontwikkelaars over spraakherkenningsfunctie

Afgelopen donderdag liep een demonstratie van de spraakherkenningsfunctie uit Windows Vista behoorlijk mis. Waar de software 'Dear Mom' had moeten herkennen, werd dit geïnterpreteerd als 'Dear Aunt'. Ook enkele pogingen de schade te herstellen, liepen op niets uit. Video's van de fout verschenen al vrij snel op internet en verschillende sites duiden deze problemen aan als Microsofts zoveelste onmogelijkheid goede software te bouwen. De zaak ligt echter een stuk genuanceerder dan door andere nieuwssites is weergegeven. Afgelopen zaterdag verscheen een artikel op het weblog van Rob Chambers, werkzaam bij Microsoft op de afdeling die spraakherkenningssoftware ontwikkelt, waarin hij aangaf wat het probleem was vorige week donderdag: moeilijkheden met de voorversterking van het microfoongeluid. Onder normale omstandigheden wordt alle inkomende audio zodanig verwerkt dat het geluid goed bruikbaar is voor het herkennen van woorden.

Door de aanwezigheid van bugs in het audiosubsysteem, was het voor de software niet mogelijk om controle te krijgen over de voorversterking van het geluid, die via de 'Microphone Setup Wizard' was ingesteld. Toen dat vervolgens wel lukte, liep men tegen een tweede bug aan. Deze zorgde ervoor dat de binnenkomende audio te maken kreeg met clippingproblemen en er alsnog geen goede herkenning kon plaatsvinden. De bugs waren een maand geleden al opgelost in Windows Vista, aldus Larry Osterman die verantwoordelijk was voor dat deel van de software. Tijden de demonstratie werd echter gebruikgemaakt van een oudere build waarin de bugs nog wel aanwezig waren. Men was hiervan op de hoogte en had dan ook maatregelen genomen om het optreden van de problemen te voorkomen. Tijdens de proefsessies liep men dan ook nergens tegenaan. Op het moment suprème ging het echter mis. Osterman sloot zijn weblogposting hierover dan ook af met een 'Mea Culpa'.

Reacties (45)

[Maximus]

Dan vraag ik me af waarom Microsoft een oudere build gebruikt bij een presentatie voor de pers. Mede omdat je dan voor de gehele wereld dingen presenteerd. Was de mea culpa niet nodig geweest.

[berend_engelbrecht]

Ik kan me daar wel wat bij voorstellen. Wij programmeurs roepen vaak dat de bugs in de laatste build zijn opgelost, maar sales mensen gebruiken vaak liever "the devil they know" in een presentatie omdat het wel eens wil voorkomen dat ... eh ... er weer nieuwe ... eh ... verrassingen in de laatste build zijn geslopen . De problemen die ze kennen valt vaak wel omheen te demonstreren.

[Verwijderd]

Het tegendeel wordt hier bewezen.

[The - DDD]

Punt is dat voor zo'n presentatie de nodige voorbereiding gedaan moet worden, waarin alles gewoon uitgeprobeerd wordt.

In zo'n presentatie zal ook nooit en te nimmer afgeweken worden van het bekende pad. Er zijn altijd factoren die de boel kunnen verzieken, zoald de voorversterking en de clipping.

Wat heb je liever als je zoiets moet doen?
-Als je je aan dit script houdt, dan zou alles moeten werken. Want we hebben alls geprobeerd, maar je hebt wel een build van x weken oud.
-Als je je aan dit script houdt, dan heb ik geen idee of het werkt. Want we hebben het niet geprobeerd, maar je hebt wel de aller aller nieuwste build.

Het is erg makkelijk om iemand op zoiets af te schieten. Maar ga zelf maar is zo'n demonstratie doen. Dan weet je pas hoe lastig het is om een systeem wat in ontwikkeling is, te demonstreren.

[MaxxBass]

Dat is niet zo heel moeilijk, test voor de presentatie, de gehele presentatie, en zie wat je tegenkomt...
Maar ze laten een man dat even lekker 'wingen' , en zie.. hij gaat op zijn plaat.. testen, testen, testen... was het niet gebeurd..

[Cameleon73]

Ehrmm... nee. Testen hebben ze wel gedaan, maar zoals Rob Chambers zelf ook al zegt:

Unfortunately, the nature of this specific audio sub-system bug is that it's intermittent. It worked great every single time. Right up until that one live demonstration -- the one that counted. ;-)

[pasta]

This is a known bug in current builds, and has already been fixed by the audio team in their private builds in preparation for RTM.

De fix zat dus alleen in een gespecialiseerde build van het audio-team.

[Postmen]

Helemaal mee eens. Onbegrijpelijk dat Microsoft op die manier een presentatie laat mislukken. Zeker omdat al bekend was dat in de nieuwste build deze problemen zich niet meer voordoen. Zegt denk ik meer over de nieuwste build als over de hier gebruikte!

[wazzup105]

Heeft Apple nog steeds die spraak-herkenning in het pakket zitten... kan me toch vaag iets van rond de eeuwwisseling herinneren.

Leuk dat MS het nu ook eens probeert.

[Daedalus]

Apple heeft sinds 1993 een vorm van spraak-herkenning in het OS zitten (PlainTalk), alhoewel dat meer is bedoeld voor het aansturen van de computer dan voor het dicteren van teksten, zoals nu bij Microsoft het geval is.

[Verwijderd]

Het zit in ieder geval al standaard in een Mac sinds OS 8.6, dus dat was 1999. Maar Apple begon al met experimenten een jaar of vijf daarvoor.

[catfish]

en het werkt waarschijnlijk ook zo goed dat iedereen het gebruikt! (not)

dergelijke dingen zijn nog steeds vrij experimenteel, leuk dat ze er mee testen, maar niet echt bruikbaar

[YaPP]

De spraakherkenning uit MacOS 10.4.7 geeft bij mij nog steeds teveel problemen, ik heb de functie nu uitgezet.

[Verwijderd]

Microsoft had toch indertijd de Lernhout & Hauspie technologie gekocht ... Waar is eigenlijk al die software gebleven ... want het was indertijd een heel goed pakketje

[saftaplan]

Hier is al die software gebleven

[RM-rf]

Vroeger,
Een best wel redelijk grote kl**tzak van een account-manager waarvoor ik werkte; had op zijn deur een vel hangen met zoiets als:

10 uitvluchten die ik niet wil horen

1. Gisteren deed ie het nog
2. Mischien ligt het aan een speciale hardware configuratie
3. Misschien is het een bug in de software die we gebruiken
4. Ik dacht dat alles het deed
5. Ik dacht dat ik alles getest had
6. Ik dacht
7. die last-minute verandering hebben we niet zo goed getest
8. Waarschijnlijk had je de verkeerde versie
9. dat is mij nog nooit overkomen.

en als laatste
10. Die bug was toch al gefixed?

en ja, soms moest je dan uit zn kantoor stappen en voor de deur gaan staan en die lijst hardop lezen ..
het was een klootzak maar hij zorgde er wel voor dat zn devvers weinig fouten maakten.

[SuperDre]

Tja, bij mij op de deur hangt dan ook een leuke leus:
It's done when it's done

[DannyXP1600]

Ik denk dat het best wel eens zou kunnen zijn dat ik in zo'n geval (het hardop moeten voorlezen van die tekst) me zo machteloos en vernederd zou voelen door die gast die je niet wilt horen, dat ik hem slaan. Ik denk dat het aantal fouten er niet minder om zou worden...

[Brupje]

de meeste heb ik dan ook wel eens gebruikt

[Exploited]

Inderdaad een klootzak, helemaal mee eens. Z'n devvers maakten niet alleen veel fouten, maar hoogstwaarschijnlijk ook weinig progressie.

[RM-rf]

idd, hij was dan ook absoluut niet geinteresseerd in 'leuke' trucjes, innovatieve gadgets en dingetjes...
anderszijds, bij hem gingen presentaties nooit de mist in en nooit stond hij met zijn mond vol tanden bij een klant, daar zorgde hij wél voor....

Geen groot innovator en inspirator, wel een verdomd goede verkoper die veel geld verdiende.

Hoezeer het ook een l*l was, daarvoor had ik wel respect, iemand die zich niet liet ringeloren door gekke devvers met hun eeuwige uitvluchten, maar heel duidelijk zijn devvers voor hem liet werken.

In dit geval van die compleet mislukte speech-presentatie van MS verbaasd het me dat MS met cliché uitvluchten aankomt als: 'in een andere versie was die bug wel gefixed' en 'toen we het testen vooraf lukte alles wél'...

Dat komt over alsof dat onderdeel vooral uit een soort van Hobbyisme ontwikkeld wordt en er qua aansturing en planning dus niet zoveel struktuur achter zit ...
Teveel vrijheid aan de devvers om 'hun ding' te doen, zonder dat men serieus aan hoe verkoopbaar dat is heeft gedacht.
Die 'uitvluchten' wekken niet meer vertrouwen, integendeel, hoe meer moeite ze doen dat 'uit te leggen' des te klunziger begint het te klinken.

[fredmatrack]

Ik snap sowieso niet dat ze dat soort functies al willen demonstreren terwijl het nog met haken en ogen aan elkaar hangt. Waarom wachten ze niet gewoon nog enkele weken tot er een stabiel build is waarin alle audioproblemen van de baan zijn.
Dit soort incidenten wakkert het gevoel dat Vista niet op tijd klaar gaat zijn alleen maar aan.

[gp500]

waarom kopen ze gewoon niet de software van een ander bedrijf wat dat al jaren en jaren 'goed' doet.

Dat belgisch bedrijf wat op de fles is gegaan.
Moeten ze het beslist zelf proberen er in te prutsen en alle elende daarachter.
Hoezo monopolist en niks aantrekken van anderen.

[Cowboy op zee]

Dat Belgische bedrijf was Lernout & Hauspie
Google
Wikipedia

[rtgo]

Met office 2003 werkt spraakherkenning al best goed. Als je al de trainingssessies afmaakt kun je best een verhaaltje 'schrijven'. Het is alleen erg onhandig op kantoor

[Verwijderd]

Het zou wel eens zo kunnen zijn dat ze dit bij M$ expres mis laten gaan zodat er meer over gesproken gaat worden, hetgeen weer leidt tot het nieuwsgierig worden naar, om uitendelijk uit te komen bij het willen hebben van.

Ik kan me ook nog goed herinneren dat ze voor het eerst een usb-printer aansloten om te laten zien hoe goed dat ging....

...Men zegt ook wel eens dat er niet zo iets bestaat als slechte reclame (...)

[siren]

Nee ze laten de aandelen koers naar beneden klappen om daarna met de reserves cashgeld goedkoop hun aandelen terug te kopen.

[Zarc.oh]

Goh dit is vast niet de eerste keer dat zoiets gebeurd

[mabarto]

Word jij niet ouder ofzo?

[Dutch_Razor]

? Ik vat em niet

[Zarc.oh]

Ik ook niet?

[plakbandrol]

ik wel

[Verwijderd]

Ik heb direct na het zien van het filmpje deze functie zelf getest. Eerst moet je een wizard van 20 minuten doorlopen waarbij de software ook getraind wordt om je stem beter te herkennen. In deze wizard gaat de herkenning meer dan perfect en snel, ik was erg onder de indruk.

Echter, toen ik een brief (in het Engels) ging dicteren ging het ook behoorlijk mis. Als ik mijn eigen stem opneem komt alles luid en duidelijk over, zonder clipping en mét voldoende voorversterking.
Bovendien zit ik in een stille omgeving, zodat ook het excuus van feedback niet meer geldig is.

Veel woorden werden niet begrepen, correcties werden gewoon getypt (net als in de presentatie dus), ook is de omzetting langzaam, enz, enz.

Dus... er is nog een hoop werk aan de winkel voor Microsoft.

Stom van MS dat ze de presentatie niet beter voorbereid hadden, als ze tenminste een test in dezelfde omgeving hadden gedaan waren deze problemen waarschijnlijk al lang aan het licht gekomen.

[rtgo]

De omzetting is langzaam vanwege de contextanalyse. Je kunt het beste in zinsnedes praten. Na iedere korte pauze komt er weer een stuk tekst op je scherm. Je moet dus gewoon Kirkiaans praten.

[Verwijderd]

Dit is een gekend probleem dat audio en video apperatuur nog steeds over de oude vertrouwde (met brom en ruis vervuilde) bussen moet voor bijna alle toepassingen waarbij een "vreemde" input of output moet gevoed worden met een feed. Mijn inziens word het nu echt tijd voor een OPEN-standaard digitale bus waarbij meer mogelijk is dan enkel een feed te koppelen maar waarbij bv een endpoint door de virtuele bedrading heen een source DSP (digital signal processor) kan aansturen. Zo gaat er niets verloren aan kwaliteit. De chinch en xlr is hoogbejaard nu.

[araminta]

Hebben we ook een mod 'inzichtvol maar compleet koeterwaals'?

[Cowboy op zee]

@Gersen: goed (en idd grappig) opgemerkt

@WildJim, zou je je commentaar kunnen aanvullen met wat (links met) uitleg voor n00bs like us?

[woutur]

Smoesjes, het was klote wat ze gepresenteerd hebben en daarmee basta. Als je geen goed product kan laten zien moet je het gewoon niet doen. De wereld ziet MS al graag op zijn bek gaan en dit soort dingen dragen daar aan bij. Ziehier een verschil tussen Apple en Microsoft. Apple zou dit gewoonweg niet gebeuren, ten eerste doen ze niet aan dit soort kleine presentaties en ten tweede pakken ze het anders aan. Op een Apple presentatie is alles perfect, mocht er iets falen dan hebben ze er al vantevoren voor gezorgd dat het vrijwel onmerkbaar opgelost kan worden. Interessant artikel hierover:
http://technology.guardia...y/0,16376,1677772,00.html

[Drexz]

bij Apple gaat er nooit iets mis?

http://video.google.com/v...15639077&q=apple+bloopers