Google zet mens in bij meer dan 36 procent van Duplex-restaurantreserveringen

Google zet een menselijke beller in bij meer dan 36 procent van de telefoontjes die Assistant doet met technologie Duplex om tafels bij restaurants te reserveren. Dat zegt het bedrijf in reactie op experimenten van The New York Times.

De krant probeerde meer dan twaalf keer een reservering te maken via Google Assistant, maar dat lukte in minder dan de helft van de gevallen. Van de vier keer dat het Assistant lukte om een tafel te reserveren, gebeurde dat drie keer met hulp van een menselijke beller in een callcenter. Het bleek voor restaurantmedewerkers lastig om menselijk klinkende software te onderscheiden van een echt persoon.

Volgens Google begint het telefoontje naar een restaurant in een kwart van de gevallen met een menselijk persoon. Van de resterende telefoontjes waar de software in eerste instantie belt, neemt nog eens in 15 procent van de gevallen een mens het over, omdat Duplex er niet uitkomt. Daardoor laat Google in totaal meer dan 36 procent van de Duplex-telefoontjes door een mens afhandelen.

Omdat Duplex zo leunt op menselijke bellers, zal het daarom lastig zijn om de functie in meerdere landen en talen aan te bieden. Assistant probeert sowieso altijd eerst online te reserveren en te checken of restaurants telefonisch wel reserveringen aannemen. De software beslist op basis van diverse factoren of een mens moet bellen, zoals wanneer Google bang is dat restaurants Duplex aanzien voor een spambeller.

Google kondigde Assistant-functie Duplex vorig jaar op I/O aan en begon vorig najaar met het aanbieden van de dienst in Amerikaanse steden op Pixel-telefoons. Inmiddels werkt de dienst in meer Amerikaanse staten en op meer smartphones dan tijdens de release.

Reacties (71)

[Dreamvoid]

Oplossing is simpel: robots ook aan de andere kant van de lijn.

[Splorky]

Ik denk dat je daar wel een goed punt heb, en het zal me niet verbazen als Google ook de andere kant van de telefoonlijn wil gebruiken om restauranteigenaren door Google de reserveringen laat afhandelen.

[Zoijar]

Kortom, wat iedereen dus al zei bij de videos waar het leek of je kon zeggen "google, book table" en alles voor je geregeld werd, de zaal een staande ovatie (moest) geven, werkt het eigenlijk voor geen meter

[Chip5y]

In 64% van de gevallen doet de software het wel volledig automatisch. En als dat dan vooral is omdat Google denkt dat het bedrijf dat gebeld wordt Duplex als spambeller aanziet dan lijkt mij dat helemaal niet slecht en iets dat misschien in de toekomst gefixt kan worden.

Slechts in 15% van de gevallen kan Duplex het gesprek zelf niet afronden en dus maw in 15% van de gevallen kan nadat het gesprek succesvol gestart is Duplex geen afspraak maken.

Lijkt mij voor iets dat zo nieuw en ambitieus is helemaal niet slecht.

[monojack]

Het is erger dan dat, we hebben het nu over de problemen met de software maar het stopt daar niet; Acceptatie door zaakeigenaars is redelijk alarmerend. Restaurant eigenaars weigeren de oproepen aan te nemen omdat ze niet weten hoe het werkt en ze denken dat het een robocall is. Robocalls zijn een plaag in de VS en het verschil tussen een AI die belt en bandje dat afspeelt is voor hen niet duidelijk.

One Year Later, Restaurants Are Still Confused By Google Duplex

[RebelwaClue]

Wat ik in het artikel lees (gebaseerd op 2 concrete gevallen) is het vooral het feit dat er Google (assistant) als caller ID staat en bedrijven/mensen weg drukken omdat ze geen zin in spam hebben. Dus ze weten niet eens dat het een AI is die belt, want ze nemen niet op.

Ik weet niet of Google daar verbetering in zal kunnen maken, misschien met marketing campagnes zodat er meer bewustwording komt bij bedrijven/mensen. Misschien moeten ze hun caller ID laten aanpassen naar reservation service agency ofzo.

Het zal nog wel een lange tijd zijn voor Duplex echt uit de beta/test fase komt

[Verwijderd]

Het zou voor de acceptatie al helpen als er "Table booking by Google Assistant" o.i.d. zou staan als caller ID. Oftewel de reden van het telefoontje, als incentive om op te nemen en waar nodig wat begrip te hebben werking van de assistent. Al zul je hierbij waarschijnlijk tegen de beperkte lengte van Caller ID aanlopen. Voor dit soort doeleinden zou het nuttig zijn als caller ID een apart veld subject zou hebben.

[jongetje]

Misschien heb ik het gemist, maar waarom bel je niet zelf het restaurant en geef je dan je reservering door ipv dit eerst tegen je google assistent te zeggen?

[Verwijderd]

Helemaal mee eens

[RebelwaClue]

Omdat je niet altijd in staat bent om te bellen naar een restaurant. En nu kan je tegen je GA zeggen wanneer het jou uitkomt om te boeken en de Assistent handelt het (in de ideale wereld) voor je af. Zo hoef je jezelf ook niet meer te herinneren om te bellen als bv het restaurant gesloten is op het moment dat jij er aan denkt.

[Reactie gewijzigd door RebelwaClue op 23 juli 2024 07:13]

[jongetje]

Ik begrijp je punt wel. Maar 1 minuut tijd vrij maken moet wel lukken toch. Ik krijg een beetje het idee dat we liever de hele dag liever tegen een "speaker" aan willen praten om dingen te regelen en alles via een scherm (smartphone) willen doen. Volgens mij is er niets mis met af en toe menselijk en persoonlijk contact. Daarnaast heb je direct een bevestiging en is voor het restaurant ook wel zo prettig om gewoon iemand aan de lijn te krijgen ipv een computer.

[monojack]

robocall = spam

[nils7]

Ik heb ook een US nummer en wordt dagelijks gebeld door die Robocalls (nummer was voor heen van iemand anders gok ik).
"I am calling you for your prayer" utterly annoying

[swhnld]

En niet vergeten dat AI een leer proces is, hoe vaker het gebruikt wordt, hoe beter het wordt.

[TWyk]

In 64% van de gevallen doet de software het wel volledig automatisch.

In het voorbeeld van de New York Times mislukte ook nog eens ruim 50% van de boekingen.
Als dat onderzoekje representatief zou zijn dan ligt de succesrate van het automatisch boeken (1 op 12) extreem laag.

[Reactie gewijzigd door TWyk op 23 juli 2024 07:13]

[Chip5y]

De steekproef van NYT is veel te klein om representatief te zijn. Die 36% dat Google aanhaalt is op het totaal aantal Duplex conversaties en dus veel representatiever.
Dat is dus waar je je op moet baseren.

[TWyk]

Google zegt niks over de succesrate van hun automatische boekingen.
Dat 64% automatisch wordt afgehandeld heb je weinig aan. Daar zullen ook alle telefoontjes tussen zitten waar er niet wordt opgenomen of je een antwoordapparaat tegenkomt. Of misschien zijn dat vooral on line reserveringen en heeft de NYT juist alleen restaurants uitgekozen die telefonisch boeken om het systeem van Google te testen
De steekproef van de NYT is weliswaar klein maar dat er slecht 4 van de 12 boekingen gelukt zijn en slecht 1 van de 12 volledig automatisch geboekt is, heeft waarde omdat het aanvullende informatie geeft over informatie die Google opvallend genoeg juist niet verstrekt heeft.

[Reactie gewijzigd door TWyk op 23 juli 2024 07:13]

[Caviatjuh]

Volgens het artikel werkt het hele systeem überhaupt maar in 33% van de gevallen, en van die 33% is maar 25% daadwerkelijk volledig automatisch. Dat is dus een succesrate van minder dan een tiende. Hoe kom je aan 64%?

[Chip5y]

De vraag is waar haal jij jouw 33%? Baseer jij dit op die kleine steekproef van NYT? Kan je je niet op baseren, 12 in totaal is veel te weinig om representatief te zijn. Je moet de globale cijfers van Google nemen.

"Daardoor laat Google in totaal meer dan 36 procent van de Duplex-telefoontjes door een mens afhandelen."

Dus bij 36% van de Duplex gesprekken moet een mens ingrijpen. Dat wil zeggen bij 64% niet. Redelijk simpel toch.

Je mag deze niet-representatieve steekproef van NYT (2de alinea) niet doorheen halen met de globale statistische cijfers dat Google hier aanhaalt (1ste en 3rde alinea).

[Reactie gewijzigd door Chip5y op 23 juli 2024 07:13]

[Fidesnl]

Of die andere 64% van de gevallen boekt het systeem via een online reservering. En dan handelt die dus telefonisch vrij weinig af..

[Verwijderd]

Interessant hoe je 66% geslaagd als werkt voor geen ene meter ziet, dan ben ik benieuwd wanneer iets voor jou een doorslaand succes is?
Houd er ook rekening mee dat er zo veel verschillende accenten e.d. zijn. Als mens heb ik soms ook nog wel moeite om Chinees te bestellen, dus laat staan een AI.

[Nerve]

Als een dienst waar je op rekent het niet doet in 34% van de gevallen, dan is deze compleet waardeloos, dat begrijp je toch wel mag ik hopen?

[Gomez12]

De dienst doet het wel, alleen zo af en toe niet direct zelf maar de assistent speelt het dan weer door naar een menselijke assistent...

Denk je dat het mij als klant iets boeit hoe de reservering tot stand komt, mij gaat het enkel dat de reserverig er is.

[Nerve]

Als ik eerst tegen een waardeloze robot mijn tijd moet verliezen om dan doorgeschakeld te worden naar een persoon en mijn uitleg opnieuw te doen, tja, doe mij dan maar gewoon online reserveren, dat gaat vlot genoeg.

[Gomez12]

Als ik het goed begrijp hoef ik als klant alleen maar tegen google home te zeggen dat ik een reservering wil hebben.
Daarna probeert een robot die reservering te plaatsen en lukt dat niet, dan probeert een mens diezelfde reservering te maken.
Oftewel ik als klant merk er niets van, ik als klant heb niets te maken met de persoon...

[Verwijderd]

Ten eerste is dit een beta, dus is het te verwachten dat het niet perfect werkt. Ten tweede, het zal nooit perfect werken. Er is geen systeem dat perfect werkt... Ten derde is het AI/ML. Ieder telefoontje gaat het neurale net weer door en het systeem wordt slimmer. Steeds minder menselijke helpers zullen bij tijd nodig zijn. Die 34% wordt dus steeds kleiner, vooral als er meer data het systeem door gaat.

Met jouw instelling kun je beter ophouden met alles. Alles is dan waardeloos en niets zal ooit beter worden..

[Nerve]

Het gaat wel degelijk over de status zoals het nu is. Wat mij stoort is de opmerking dat 66% toch goed is.

Goed voor een initiele test ja.

[Zoijar]

Als je een assistent in dienst hebt die 66% van je simpele afspraken weet te maken, zou ik dat niet echt een doorslaand success noemen Ik denk dat die er niet heel lang zou werken.

[Verwijderd]

Voor een functie die verder nog nooit gebruikt is? Dit soort dingen trainen zichzelf door gebruik natuurlijk. Kan jij als je de eerste keer iets doet alles perfect? Dan heb ik je vraag als assistent namelijk, plak ik een paar advertenties op je hoofd en dan doe je het wel gratis toch?

[jorn-sleges]

Als je een chirurg hebt die maar 66% van de gevallen succesvol opereert, zou je dit niet een succes vinden. Net als 66% geen succes te noemen is voor een simpele taak computergestuurd af te ronden. Leuk dat er aan gewerkt wordt en de ontwikkeling zal snel gaan en daardoor beter worden, maar die percentages moeten veel hoger als je het echt een succes wilt noemen.

[Verwijderd]

Ja maar je maakt echt een grote denkfout in mijn ogen. Ten eerste is dit verre van een eenvoudige taak, dus die opmerking gaat eigenlijk niet op. Daarnaast is dit gewoon een test en wordt er data verzameld. Er gaan geen mensen dood, er worden geen levens verwoest, het is een programma wat data aan het verzamelen is. Met alle computers is het een feit dat je niet meteen 100% succes kan verwachten. Om het dan meteen en drama te noemen, dan kun je meteen stoppen met alles en gewoon weer lekker je speer slijpen met een steen.

[TWyk]

Hoe kom je erbij dat die 66% succesvol is.
Er is ook nog een groot aantal niet gelukte boekingen. Deze zullen voornamelijk van die 66% af moeten gaan denk ik.

[RebelwaClue]

Het is dan ook een beta/test fase waarin Duplex zich bevindt. Zo komt later nog de optie om afspraken te maken bij een doctor bv. Daarbij is een assistent die in dienst is, niet gratis maar ook een nieuwe zal moeten ingewerkt worden.

[indigo79]

Als je een assistent in dienst hebt die 66% van je simpele afspraken weet te maken, zou ik dat niet echt een doorslaand success noemen Ik denk dat die er niet heel lang zou werken.

Als ik zoveel van die taken heb dat ik er normaal drie assistenten voor nodig heb en nu nog maar één plus een computer, vind ik dat wel een succes.

[aval0ne]

Blij dat je toegeeft dat het wel voor een meter werkt dan.

[Gomez12]

Lees ik het verkeerd, of weet de assistent bijna 100% van de afspraken te maken, alleen bij 33% van de gevallen schakelt hij op eigen kosten een menselijke assistent in.

Voor mij als opdrachtgever is de boeking geplaatst en werkt het toch gewoon? Kijk, voor Google is dit waarschijnlijk verliesgevend. Maar dan moet Google het beter gaan doen...

[vrow]

Ik dacht nou juist dat de AI dat mooi ín het Chinees kon doen voor mij!

[unf0rg0tt3n]

Ik heb al moeite met iemand uit het oosten van het land te verstaan.
Ben van mening dat dit een succes voor google is en dat ze dit erg goed op poten hebben weten te zetten.
Wellicht gebruiken ze de menselijke bellers niet alleen om het gesprek af te ronden, maar ook om de AI te laten leren

[Banix]

het lukte maar in 4 van de 12 gevallen om uberhaupt een reservering te maken. Drie daar van door een mens. dus 1 op de twaalf lukte, wat ongeveer 8 procent geslaagd betekend.....

[pipo de claw]

75% van de gemaakte reserveringen beginnen met een A.I. beller. Hiervan worden er 15% onderbroken door een medewerker in een callcenter omdat de A.I. er niet uitkomt.

A.I. leert d.m.v. trial and error. Deze percentages zullen alleen nog maar beter worden.

[jpsch]

50% Score in een praktijktest. Die krijgt echt mijn agenda niet in beheer.

Edit: 33%; 4 van de 12, werd op 't verkeerde been gezet met minder dan de helft opmerking

[Reactie gewijzigd door jpsch op 23 juli 2024 07:13]

[pipo de claw]

85% succesvol afgeronde pogingen is 50%?
Ik zou jou ook niet te veel verantwoordelijkheden geven.

[TWyk]

Slecht 4 uit 12 pogingen van de NYT om een tafel te boeken waren succesvol.
Volgens mij is dat 33,3%
Slecht 1 poging uit 12 was succesvol met het geautomatiseerde algoritme gelukt

[RebelwaClue]

Als je het originele artikel leest, is dit niet altijd te wijten aan de Assistant. Sommige bedrijven weigeren gesprekken aan te nemen en sommigen namen de reservering niet aan omdat het niet voldeed aan hun criteria

Several restaurants, like Henry’s Hunan in San Francisco and China Village in Albany, Calif., rejected our requests for a table of two to four people because they took reservations only for tables of 10 people or more.

Als er van de 12 pogingen al minimaal 2 zijn die niet te wijten is aan Google maar aan de afspraak informatie zelf, kan je dit moeilijk de assistant aanrekenen. En moet je dit ook verwerken in de 50% score.

[Reactie gewijzigd door RebelwaClue op 23 juli 2024 07:13]

[jpsch]

Misschien moeten ze 'm meer als een computer laten klinken? Weet het restaurant betere antwoorden te geven.

[Mic2000]

Ze geven aan het begin van het gesprek aan dat het een computer van Google is waarmee ze spreken. Alsnog voor een leek verwarrend wanneer de computer ook ademhaling pauzes laat horen en de stem en toonzetting overeenkomt met die van een mens.

[Reactie gewijzigd door Mic2000 op 23 juli 2024 07:13]

[jpsch]

Dat is toch aan te passen? Restaurant lijkt me wel te willen reserveren, dus probleem zit bij Duplex.

[Reactie gewijzigd door jpsch op 23 juli 2024 07:13]

[Accretion]

Restaurant lijkt me wel te willen reserveren.

Ik ken een restaurant waar je enkel en alleen kunt bellen voor een afspraak.

Ze doen dit onder het motto: "Persoonlijker contact met de gast".

Nu kan ik me voorstellen dat ze het dan niet helemaal eens zijn met deze service

[streamnl]

Wat ik nu afvraag...
Er wordt gezegd dat wanneer een afspraak niet mogelijk is, dat Google in je agenda kijkt voor eventueel een nieuwe afspraak. Dat zag er gelikt uit tijdens de I/O.

Maar de mensen bij de callcenter? Zien die dan ook je agenda?

[Verwijderd]

Misschien zien ze dat je een afspraak hebt, maar niet wat de afspraak is. Net zoals je collega in jou agenda kan zien wanneer je beschikbaar bent en wanneer niet, maar niet waarom in Outlook. Dat zou je nog iets beter kunnen maken door aan te geven hoe ver een afspraak reizen is naar het restaurant om daar rekening mee te houden, zonder medewerkers de locatie van de afspraak te laten zien (45 minuten reizen kan alle windrichtingen uit).

[MuddyMagical]

Sorry maar dan ben ik maar dom. Wat is nou een menselijke beller als het geen mens is?

[pipo de claw]

Iets dat lijkt op een mens. Een robot stem bijvoorbeeld.

[Barryke]

Mens-achtig was duidelijk er geweest hier.

[pipo de claw]

Inderdaad, de bron lezende lijkt mijn interpretatie ook niet helemaal te kloppen. In de statement over een kwart van de gevallen dat start met een mens, wordt menselijk toch echt gebruikt om een mens te beschrijven.

Ik zou men wel aanraden de bron te lezen. Zij hebben een mooi audiofragment van een A.I. beller, van google, dat een reservering plaatst.

[jpsch]

Wat is een autopilot als die niet zelfstandig kan rijden?

[The Zep Man]

Wat is een autopilot als die niet zelfstandig kan rijden?

Rij-assistentie, net als bijvoorbeeld cruise control.

[bresjt]

Het bleek voor restaurantmedewerkers lastig om een menselijke beller te onderscheiden van een echt persoon.

Wat is het verschil hier tussen beide? Ik zou verwachten dat hier steeds het callcenter in tussen komt?

[arnoudwokke]

Haha, nu heb ik het wat duidelijker neergezet

[honey]

Misschien nog iets herschrijven, iets meer uitleg in de inleiding wat er nu gedaan is en waartussen vergeleken? Een menselijke beller is dus geen mens, maar een computer met menselijke stem? De comments had ik nodig om het iets beter te bedruipen wat er nu eigenlijk staat.

[pipo de claw]

Denk "humanlike". Hoewel een mens die belt wel een menselijke beller is, hoeft een menselijke beller geen mens te zijn.

[Reactie gewijzigd door pipo de claw op 23 juli 2024 07:13]

[vrow]

Denk "humanlike". Hoewel een mens die belt wel een menselijke beller is, hoeft een menselijke beller geen mens te zijn.

Humanlike zou goed kunnen, dat woord hebben wij ook wel: mensachtig(e).

[StefanJanssen]

Menselijke bellers zijn geen echte personen...

[HooksForFeet]

Het bleek voor restaurantmedewerkers lastig om een menselijke beller te onderscheiden van een echt persoon.

Eerlijk is eerlijk, dat lijkt mij ook vrij lastig.

[AlainnN]

Waarschijnlijk wel. Gaat leuk worden als Google dat dan allemaal uitbesteed en de calls gedaan worden door medewerkers in een penitentiaire omgeving die natuurlijk het minste kosten. Koppel dan een overzicht van je agenda aan een overzicht van je finaciële gegevens en je gaat dan interessante tijden tegemoet.

"Any sufficiently advanced AI is indistinguishable from outsourcing"

Note - Met "medewerkers in een penitentiaire omgeving" bedoel ik in gewoon Nederlands: gevangenen.

[Skit3000]

Ik neem aan dat Google leert van elke keer dat een Duplex telefoontje niét succesvol wordt afgerond en dat ze zo vanzelf een lijst krijgen met de meest voorkomende oorzaken, waarna ze deze één voor één gaan proberen op te lossen. Als ze de functionaliteit nu wereldwijd uit zouden rollen zouden de poppetjes die in moeten vallen wanneer het gesprek niet goed verloopt nergens meer vandaan te halen zijn, maar zolang ze gefaseerd nieuwe gebruikers toelaten speelt iedereen die het systeem gebruikt een beetje voor tester.

Overigens merk je als eindgebruiker dus niks van of de afspraak door een computer of een medewerker van Google wordt gemaakt.

[Sebazzz]

De software beslist op basis van diverse factoren of een mens moet bellen, zoals wanneer het bang is dat restaurants Duplex aanzien voor een spambeller.

Dus de software heeft emoties. Het lijkt mij waarschijnlijker dat er gewoon een kansberekening in zit. 😉

[bazs2000]

Bang is relatief.

"I'm sorry Dave, I'm afraid I can't do that", en we weten allemaal dat deze bot niet bang was

[Scriptkid]

Hoezo als jet het persoon hoort zeggen geloof je hem toch ook. Jij kan niet voelen hoe de ai zich vandaag voelt.