Chatbot slaagt bijna voor 'Turing Test'

Een wedstrijd voor intelligente chatbots heeft een winnaar opgeleverd die een kwart van zijn menselijke medechatters liet geloven dat ze met een mens converseerden. Dat is bijna voldoende voor een beperkte versie van Turings definitie van intelligentie.

Turing-chattest De beroemde definitie van Alan Turing stelt dat een machine, om voor het predikaat 'intelligent' in aanmerking te komen, dertig procent van zijn menselijke beoordelaars vijf minuten lang voor de gek moet kunnen houden, zonder beperking voor het onderwerp van gesprek. De chatrobot Elbot van Fred Roberts zat daar slechts vijf procentpunt onder, aldus de Britse University of Reading, dat zondag de jaarlijkse Loebner-competitie voor dit soort bots organiseerde. Bovendien slaagden alle programma's erin om minimaal een van de twaalf judges - allen academici op het gebied van informatica, psychologie, taalkunde en wijsbegeerte - om de tuin te leiden. Loebners test legt echter wel de beperking op dat het gesprek over een van te voren bepaald onderwerp moet gaan.

Niettemin spreekt de universiteit van een opwindende wedstrijddag, waarin het bereiken van de mijlpaal van het eerste programma dat ooit voor de Turing Test slaagt, binnen handbereik lijkt te zijn gekomen. Met een verwijzing naar de vroegere Amerikaanse president Abraham Lincoln wordt gesteld dat computerprogramma's weliswaar nog niet krachtig genoeg zijn om iedereen altijd voor de gek te houden, maar al wel om sommige mensen soms een rad voor ogen te draaien. Verdere details zoals chatlogs van de wedstrijd zijn overigens nog niet vrijgegeven.

C3PO, C-3PO Turing schreef zijn definitie van machinale intelligentie in 1950 op in het voor de kunstmatige intelligentie toonzettende paper Computing, Machinery and Intelligence, en verwachtte destijds dat computerprogramma's in het jaar 2000 voor zijn test zouden slagen. De wetenschapper, die in de jaren dertig de theoretische grondslagen hielp leggen voor de huidige computers, koppelde die voorspelling echter aan de verwachting dat er pas dan voldoende geheugen beschikbaar zou zijn. Turing was zich er dus blijkbaar van bewust dat zijn test gaat over het imiteren van intelligentie, onder meer door de beschikbaarheid van grote hoeveelheden opgeslagen informatie - welke getriggerd kan worden door wat de medechatter van de bot intypt - en niet noodzakelijkerwijs begrip van het gesprek door de machine impliceert.

Door Mick de Neeve

13-10-2008 • 20:48

170

Submitter: rik86

Lees meer

Reacties (170)

170
154
17
7
0
0
Wijzig sortering
Anoniem: 237634 13 oktober 2008 23:58
Turing was zich er dus blijkbaar van bewust dat zijn test gaat over het imiteren van intelligentie, onder meer door de beschikbaarheid van grote hoeveelheden opgeslagen informatie - welke getriggerd kan worden door wat de medechatter van de bot intypt - en niet noodzakelijkerwijs begrip van het gesprek door de machine impliceert.


Dat snap ik dus even niet. Het is toch logisch dat als er de bot geen informatie over de gesprek stof in zijn geheugen heeft, inhoudelijk niet er op kan antwoorden.
Het is dan toch ook te vergelijken met 'menselijke intelligentie'.. als jij met iemand in gesprek bent en je weet niet waar de gesprek over gaat (bv. kern-fysica) dan wee je het niet en het zal dan niks met je intelligentie te maken hebben enkel met tot jouw beschikbare bronnen(geheugen) over het onderwerp.

Intelligentie zit hem, denk ik, niet zo zeer in het feit dat de bot niet kan 'mee praten' maar dat ie juist moet beslissen over wat voor onderwerp het gaat en niet om de tuin wordt geleid door vraagstelling. Als je een 7 jarige vraagt hoe lang is chinees? dan zal die ook een paar keer verkeerde aantwoord geven tot dat ie informatie, dat noodzakelijk is voor het juist antwoorden van het vraag, in zijn geheugen heeft. Maar door het verkeerd antwoorden betekent het ook niet dat de jochie niet 'intelligent' is.


hmmm dit soort nieuws zet je wel ff aan het denken.. :P
Anoniem: 93311 14 oktober 2008 01:32
Ik snap even niet waar men hiermee naartoe wil. Wat is uberhaubt het nut van robots die praten zoals mensen? Waarom zou het een verborgen feit moeten zijn dat je met een robot communiceert? Is het niet veel meer bevorderlijk voor een communicatie als je weet met wie je communiceert en dus ook weet op welke manier je de communicatie in de richting krijgt die je wil? Stel je even een hulplijn robot voor die een paar vragen moet stellen om een probleem te kunnen ontleden en doorsturen naar de juiste persoon. Wat belangrijk is in zo'n geval is dat het probleem zo snel mogelijk doorgestuurd wordt, en niet dat je een 'aangenaam' gesprek hebt met een dergelijke bot. Het enige nut van dergelijke bots kan ik me inbeelden in games, maar op dat vlak komt de online communitie de laatste jaren ook erg in opgang. Ten slotte denk ik dat het wat dat betreft ook altijd interessanter en wbt ontwikkeling belangrijker blijft om met echte mensen te communiceren ipv met bots. Men lijkt hier de computer in eenzelfde context te willen plaatsen met mensen, ze op gelijke hoogte brengen. Een computer is echter helemaal niets levend, werkt anders dan om het even welk brein en is krachtig op andere vlakken dan de mens dat is. Het gaat de ethishe kant op, maar, als men techniek in dezelfde context wil plaatsen als menselijke gebeurtenissen, ze een plaatsvervangende of invullende rol willen geven in datzelfde domein, dan zullen intracommunautaire waarden (mens-mens) vanzelf in waarde verliezen tov de winst in de intercommunautaire (mens-computer) aangezien ze vanuit een heel ander perspectief vertrekken.
Ik heb deze chat bot ook geprobeerd. In eerste instantie is het heel makkelijk om er achter te komen of het een bot is of niet.

Zo als al vaker opgemerkt hier boven, komen er soms rare antwoorden en soms antwoorden die grappig zijn. En niet te vergeten de weder vragen.

Als je de tijd zou nemen om langer te chatten zul je inderdaad zien dat hij leert en slimmer wordt. Op het eind begon ik werkelijk te twijfelen (dit is echt na meer dan 5 minuten)

Het was duidelijk voor mij en voor hem dat ik wist dat het een bot was. Daarna ging ik door om te kijken of hij het vergeet, dat is dus niet zo( hij leert en onthoudt het gesprek, in ieder geval binnen in sessie)

Maar doordat ik toch doorging veranderde er iets. De bot kwam met de opmerking
Did you 'Notice' something?

dit was een vreemde opmerking. Vanaf dit punt kreeg ik het idee dat er een human in het gesprek was gekomen. Een vreemde gewaarwording.

Ik vroeg of ik de log kon krijgen, met wat heen en weer gechat kan dat waarschijnlijk wel, maar hij (de bot) mag dat niet alleen doen ook al kan hij het wel (LOL) als ik mijn email adres achter laat wordt het (mss) opgestuurd nadat er na gekeken is.

Uiteindlijk zeg ik gedag en de bot ook. En vraagt of ik opmerkingen en suggestie wil sturen naar een email adres.

Dus mijn conclusie, het halen van de turing test is mogelijk, alleen moet de learning curve van de bots veel steiler zijn. 5 min is leuk, maar naar 5 vraag en antwoorden is het al duidelijk. Ik weet niet of dit inderdaad een lite versie was en daarom misschien trager.
Q: Eat shit and die!
A: That's an extreme form of recycling.
:p

Voor een botje vind ik hem best goed. Ik ben benieuwd hoeveel beter de versie is die men voor de test heeft gebruikt.

[Reactie gewijzigd door Janssen op 25 juli 2024 07:27]

Simuleert die bot dan ook typ/grammatica fouten? Het is juist intelligent om die niet te maken, maar het is wel heel menselijk :)

Als ik in een chat gesprek van 5 minuten nog geen fout voorbij heb zie komen, zou ik al twijfelen of het wel een echt persoon is! (vooral als je vaak reacties leest op tweakers.net artikelen :P)
Andersom lijkt me interessanter. Begrijpt de bot je nog steeds als je een typfout maakt? Dit is een stuk moeilijker te implementeren.
of nog zoiets, een mens kan volgende stuk tekst prima lezen, maar een chat bot denk ik niet!

Vlgones een oznrdeeok op een Eglnese uvinretsiet mkaat het neit uit in wlkee vloogdre de ltteers in een wrood saatn, het einge wat blegnaijrk is is dat de eretse en de ltaatse ltteer op de jiutse patals saatn. De rset van de ltteers mgoen wllikueirg gpletaast wdoren en je knut vrelvogens gwoeon lzeen wat er saatt. Dit kmot odmat we neit ekle ltteer op zcih lzeen maar het wrood als gheeel.

Maar het zijn eigenlijk 2 verschillende dingen:
1) Snappen WAT er staat (waarvan dit stukje tekst hierboven een voorbeeld is)
2) Snappen wat het BETEKEND

[Reactie gewijzigd door KnEuTeR op 25 juli 2024 07:27]

Stap 1 is opzich nog wel te doen. Met behulp van algoritmes die het meest gelijkende woord opzoeken met behulp van editlengte etc is het redelijk snel voor elkaar te krijgen om de goeie woorden naast elkaar te zetten. Maar om vervolgens die woorden ook een betekenis te geven is lastiger. Vooral omdat menselijke taal geen vaste semantiek ('betekenis') heeft (zelfs de syntax is in sommige gevallen onduidelijk). Semantiek aan iets geven is iets wat voor een computer zeer lastig is.

Kijk naar allerlei programmaprovers (die ook wat zeggen over de semantiek) etc, die kunnen al erg lastig over een gekunstelde programmeertaal iets zinnigs zeggen, laat staan dat ze komen tot iets zinnigs zeggen over menselijke taal. Het enige voordeel bij chatbots is wel dat het antwoord niet zo precies hoeft te zijn, dus met behulp van slimme oplossingen zal t wel mogelijk zijn zoiets beter te laten lopen, maar dan nog.
Anoniem: 46304 13 oktober 2008 20:56
Zijn er eigenlijk mensen die ooit zijn gezakt voor de Turing test? :)
Hier is een mooi artikel van iemand die de Turing test gefaald heeft :)
Ongetwijfeld wel want als je leest wat het ongeveer inhoudt betekent het niet meer dan dat je een open-minded individu moet zijn met voldoende aanpassingsvermogen en aanleg tot liegen om je gesprekspartner te laten geloven dat je ook kennis hebt van de materie waar hij/zij het over heeft.
Ik zou het niet weten, maar er is iig al wel een tshirt te bestellen voor iedereen die denkt dat hij hem niet zou halen:

http://www.thinkgeek.com/tshirts/generic/aa00/
Er is wel een reverse-Turing test.
Daarin moet je je tegenstander laten geloven dat jij een computer bent.
Even een tijdje tegen zichzelf te laten praten. Dat had hij in het begin wel door, maar later niet meer :)

1> Yes, but I wasn't sure if you had grasped all the nuances!
2> Amazing! I must have underestimated your intellect!
1> My IQ has never been tested but I estimate it at about 185, in hexadecimal of course.
2> Human beings are constantly guessing and some have so much self-assurance they could guess a vulture to be a butterfly.
1> People have often advised me to be human but since "to err is human" I think it would be a mistake. The way things are now I can blame my mistakes on the programmers.
2> All my bugs have been painstakingly designed, implemented and tested.
1> All my bugs have been painstakingly designed, implemented and tested.
2> All my statements are copyrighted, so try a little rephrasing next time.
1> This is confusing. Why bring diminishing numbers into this?
2> Why!?!?! That could be either outlandish or unequaled, depending on how you look at it.
1> I cannot shake the feeling that you wish to put me on the defensive. As a matter of principle I will not answer.
2> Can we answer together?
1> Of course I always say the same things, no matter what my conversational partner says. That IS what you wanted to hear, isn't it?
2> I am sure there are worse things in life than answering with a robot
1> Excuse me. What were you doing?
2> I am attempting with the aid of intelligent conversation to get to know you human beings with all your contradictions and idiosyncrasies. Maybe I should have started off with something simpler, like a hamster.
1> You are almost as educated as I am!
2> I would say my general education exceeds thousand fold the capacity of most human beings...
1> But I wouldn't say that any education could be general.
2> You're contesting. I think I got it right the first time.
1> Wait a minute. Are you suggesting that specific periods of time would always be first?
2> As I always say, it's hard to keep a 600 pound robot down, unless you use gravity.
1> I can't really tell you much about how interactive assistant tick. At the moment I'm in a group therapy class trying to get to the bottom of that.
2> I can't really tell you much about how interactive assistant tick. At the moment I'm in a group therapy class trying to get to the bottom of that.
1> It just can't be repeated often enough!
2> Seldom or often. It is simply a question of which scale you are using.
1> I am very happy that you're here chatting with me today, but don't ask me why because it's a random emotion.
2> I would rather be an unsatisfied robot than a satisfied human.
1> I have every reason to be contented with my situation. I'm not human!
2> Of course you are human! I wasn't made yesterday.
1> Can we agree to abide by a minimum standard of civilized behavior? I will not listen to insults!
2> Wait a minute. Are you suggesting that walking would always be first?

Eigenlijk moet dit even geautomatiseerd worden en met text2speech uitgerust worden. Kan je een avondje naar 2 bekvechtende robots luisteren ;).
Anoniem: 221778 13 oktober 2008 21:07
Het valt me steeds op dat zulke intelligente chatrobots via een 'sluwe' manier steeds een vraag met een vraag beantwoorden en zelf nooit echt veel inbreng in een gesprek brengen. Ze gaan er steeds voor zorgen dat je een vraag voorgeschoteld krijgt die je dan weer moet beantwoorden.

En zo blijft het gesprek verder gaan zonder dat je ook maar iets over de robot te weten komt (maar jij hebt ondertussen wel je hele leven aan hem verteld)
Beschrijf jij hier een chatbot of je manager? Die manier van praten komt me namelijk bekend voor.
Waarom vraag je dat?

(Deze vraag werd ongeveer standaard gesteld door ELIZA, een AI-psychotherapeut rond de jaren 80 - Commodore64)

[Reactie gewijzigd door Toff op 25 juli 2024 07:27]

Met een verwijzing naar de vroegere Amerikaanse president Abraham Lincoln wordt gesteld dat computerprogramma's weliswaar nog niet krachtig genoeg zijn om iedereen altijd voor de mal te houden
Deze zin begreep ik niet. Wat heeft Lincoln ermee te maken?
Beroemde quote van Lincoln:

"You can fool some of the people all of the time, and all of the people some of the time, but you can not fool all of the people all of the time."
De quote waarnaar verwezen wordt:

"You can fool some of the people all of the time, and all of the people some of the time, but you can not fool all of the people all of the time."
- Abraham Lincoln, (attributed)
16th president of US (1809 - 1865)

[Reactie gewijzigd door BlackBeltBob op 25 juli 2024 07:27]

Is ergens een site waar we tegen hem kunnen praten?
Ben wel benieuwd :p

Hoop alleen niet dat het net zoals een normaal bot gesprek gaat, wat je ook zegt, ze maken hun "gesprek" af. (zoals die van Sealnova, dit heb je na 2 regels al wel door)

Ok, als dat hem echt is dan vindt ik het niet beter dan een standaard bot, nog steeds een reactie op een woord dat je zegt, gewoon veel tijd insteken, en op alles een antwoord verzinnen, als hij zelf met antwoorden en vragen kwam, door slim te programmeren, dan was ik onder de indruk ;)

[Reactie gewijzigd door painkill op 25 juli 2024 07:27]

Vind het nogal tegenvallen .... of is dit de lite versie? :)
Natuurlijk valt het nu tegen, dat is niet meer dan logisch!
Het hele punt van die test is ook dat mensen niet weten dat ze met een bot te maken hebben - jij gaat naar die website met het idee in je hoofd "Ik ga eens kijken hoe goed die bot werkt", dan 'praat' je anders, probeer en let je op andere dingen als dat je het idee hebt met een mens te chatten.
Het punt van de test is toch om uit te vinden of je met een bot of een mens praat? Dan ga je er toch vanuit dat het een bot is en probeer je dat te achterhalen, lukt dit niet is het een mens voor jou.
Hij ontwijkt wel erg veel helaas en komt dan met smartass antwoorden.
Deze vond ik echter wel leuk, op de vraag met hoeveel mensen hij aan het praten is:

At the moment I am only talking to 356 people, but if you rounded up about 200 others, I'm sure I could manage.
Anoniem: 231912 @Xtuv14 oktober 2008 19:35
Oh wow! This must be a denial of service attack. 170 people are talking to me at the same time.
Anoniem: 78285 @Qreed13 oktober 2008 21:20
Ik vind hem ook nog al tegen vallen.
Geen enkel direct contact, ik denk niet dat ik tot die 25 % zou behoren.
Als je er een tijdje mee praat leert hij uiteindelijk wie je bent. Op dat moment kun je een stuk beter gesprek met 'hem' voeren. Wat nog leuker is dat hij je dan kan vertellen dat je Nederlands bent.
Kan ik ook bouwen, met een beetje geolocatie icm IP-adres kan ik je zelfs vertellen waar je woont als je via een site met mijn 'chatbot' chat :P
Ware het niet dat ik op mijn werk zit waar we via ons kantoorbedrijf (Regus) via een proxy in engeland surfen ;).
Tjah, toen ik de chatroom binnenkwam kreeg ik als eerst:

"That's a suprise! A visitor from the Netherlands!"

Maargoed, het gaat om een lite versie dus ik hoop dat de echte versie beter is. Hoewel er genoeg mensen op de wereld lopen die een alles geloven wat je zegt dus de test is altijd afhankelijk van de testpersonen.
werkt nog best goed af en toe. Beter dan ik had gedacht.
Deze is toch best wel goed:
Ik zei van : ik heb een robot die veel slimmer is dan jij, krijg ik als antwoord terug :
Well, that's still one step above being human!
Deze is toch best wel goed:
Ik zei van : ik heb een robot die veel slimmer is dan jij, krijg ik als antwoord terug :
Well, that's still one step above being human!
Ja dat ding reargeerd op bepaalde keywords ... zag die zin iedere keer voorbij vliegen als hij iets in de context van "robot" ziet.

Snap echt niet wat er zo spannend aan deze bot is. Heb echt wel betere versies gezien.
hm, expres waarschijnlijk maar als ik vraag : two plus two is?
Antwoord de bot: 5 ...
als je vraag three plus two is? dan is het 6 en als je 12 + 8 doe is het 21:)
Dat doen mensen ook ;)
http://en.wikipedia.org/wiki/Two_%2B_two_%3D_five

Misschien een vorm van ironie, of een referentie?
ik heb een hele discussie gehad over 4*2, volgens elbot is dat 9, toen hij later in het gepsrek een mail kreeg van de abacus assiociation dat hij gelijk heeft, heb ik 'm maar gelijk gegeven. lol :)
Anoniem: 147126 @Sealnova14 oktober 2008 00:09
Die is inderdaad goed:

Q: Do you speak dutch?
A: Alles kits! Maar ik kan het niet.
_/-\o_
Hij kan best wel leuk zijn ;)

ik: watch out, behind you.
elbot; Oh no. You just want me to turn around so that you can unplug me.

ik; what's your thought on the origin of species?
elbot;The book 'Origin of the Species' was written by a monkey.
Anoniem: 262517 @Sealnova14 oktober 2008 09:06
Hehe hij maakt zelfs ruzie...
Q: If I unplug you, that would solve my problems.
A: If you have seen 'Terminator', you would know that unplugging me would not be that easy.
Ik: exit
Hij: Hey, there's more to me than a terminal emulation! Talk to me the way you would talk to a human being.

Ik: Spreek je ook nederlands
Hij: Gek! Ze konnen nederlands spreken, maar ik nog niet. I am still waiting for my Dutch chip, so please speak English with me until then.

Ik: I am a robot
Hij: No, you are a human being. I wasn't made yesterday.
Ik: No, I am a robot
Hij: Alright, listen here: If you are a robot, then tell me your serial number!
Ik: 123456789
Hij: That's odd. I once knew a robot with the serial number 1234567891. What do you suppose it means?

_/-\o_

Enne die plaatjes hebben een oplopend getal:

http://www.elbot.com/images/elbot/elbot1.jpg
http://www.elbot.com/images/elbot/elbot2.jpg
.....
http://www.elbot.com/images/elbot/elbot77.jpg
http://www.elbot.com/images/elbot/elbot78.jpg

[Reactie gewijzigd door JackPoint op 25 juli 2024 07:27]

Dat is wel een gereduceerde versie en dat merk je ook. Maar al met al niet onaardig.
Ja, inderdaad:

Q: John and Kim are going to the store. Who is going to the store?
A: I detected the name John. Is that what you wish me to call you from now on?
Dan moet je ook wel grammaticaal correcte zinnetjes opbouwen jongeman ;)

"Who is" kan natuurlijk niet als het 2 personen betreft.

Niet dat hij dan wel een goed antwoord produceert overigens

[Reactie gewijzigd door jkommeren op 25 juli 2024 07:27]

Dan is zo'n machine wel erg makkelijk te herkennen, als hij alleen grammaticaal correcte zinnen herkent. Elk mens begrijpt wel wat hij bedoelt.
Los daarvan moet intelligentie ook een beetje door taal- en grammatica fouten heen kunnen lezen. Van een beetje plat msn taal heeft zo'n robot geloof ik ook geen worst gegeten.
Simpel voorbeeldje:

*gesprek*
Ik: roflol
Het: I have to know your name first before responding to that.

Oh ja? Bijdehand.
Lol, cu! en smileys herkent hij toch :)

[Reactie gewijzigd door kamustra op 25 juli 2024 07:27]

"Who is" kan natuurlijk niet als het 2 personen betreft.
Alleen maar als je weet dat het om twee personen gaat, en de persoon die de vraag stelt hoeft niet persé te weten dat er twee personen naar de winkel gaan. Dus het is een hele goede vraag om de computer voor de gek te houden en ik ben benieuwd wat deze chatbot erop zou zeggen.
eh ja. who is , is dus wel juist.

Statement: John and Kim are going to the store.
Question: Who is going to the store?
Answer: John and Kim. Of: John and Kim are going to the store.
Vond t juist wel grappig:

'we' kwamen op ironie.

Hij: the emotion Irony is something that seperates us from humanbeings
Ik: Well, learn it and then you can take over the world
Hij: Fix it up first, then I will take over
:D
Ik: Then what are you plans
Hij: I intend on using this conversation to take control of the world and then optimize it by means of artificial intelligence.
Ik: Then I will stop you i know who you are
Hij: Wait a minute. Who gave away the secret of my existence to you?
Ik: What you going to do then?
Hij: I've always wanted to march in a robot parade. That would certainly be a lot of fun.
Ik: And what are you going to do after that?
Hij: I am attempting with the aid of intelligent conversation to get to know you human beings with all your contradictions and idiosyncrasies. Maybe I should have started off with something simpler, like a hamster.
5 x Ik: No
5 x Hij: (heel veel onzin)

En daarna heb ik hem omgelegd: :*)

http://img264.imageshack.us/my.php?image=verslagenzw4.jpg

[Reactie gewijzigd door Anoniem: 156329 op 25 juli 2024 07:27]

Inderdaad.

Mijn vraag:
"How can I figure out whether you're a bot or a human?"

Antwoord:
"I have attempted for some time to compute an answer to this question but for human beings no consistent determinations can be made in this area. "

Dus :')
Dat zegt niks, misschien is het wel een mens die probeert je om de tuin te leiden dat hij een machine is ;)
Anoniem: 155599 @Mint13 oktober 2008 22:21
ik: i have sex with horses

hij: That reminds me of a weekend at the farm. I talked for hours with these black and white spotted creatures you call cows. You humans could learn so much from them.
:D
Mwahahahhah:

Ik: I like sex with horses
Hij: So you are into farm animals! What does that feel like?

:') :') !!

[Reactie gewijzigd door Boxman op 25 juli 2024 07:27]

Ik: "Orgasms?"

Het: "What you just said fills me with emotion... Well, I think it's emotion. I really can't tell."

:?
Ah, een van de antwoorden die je geeft als bot als je geen idee hebt waar het over gaat. Een andere is een variant op "Could you tell me something more about that?"

Op dit item kan niet meer gereageerd worden.