Hoofdcategorieën
Device Settings

Chatbot slaagt bijna voor 'Turing Test'

Door Mick de Neeve, maandag 13 oktober 2008 20:48
Submitter: rik86, views: 37.732

Een wedstrijd voor intelligente chatbots heeft een winnaar opgeleverd die een kwart van zijn menselijke medechatters liet geloven dat ze met een mens converseerden. Dat is bijna voldoende voor een beperkte versie van Turings definitie van intelligentie.

Turing-chattest De beroemde definitie van Alan Turing stelt dat een machine, om voor het predikaat 'intelligent' in aanmerking te komen, dertig procent van zijn menselijke beoordelaars vijf minuten lang voor de gek moet kunnen houden, zonder beperking voor het onderwerp van gesprek. De chatrobot Elbot van Fred Roberts zat daar slechts vijf procentpunt onder, aldus de Britse University of Reading, dat zondag de jaarlijkse Loebner-competitie voor dit soort bots organiseerde. Bovendien slaagden alle programma's erin om minimaal een van de twaalf judges - allen academici op het gebied van informatica, psychologie, taalkunde en wijsbegeerte - om de tuin te leiden. Loebners test legt echter wel de beperking op dat het gesprek over een van te voren bepaald onderwerp moet gaan.

Niettemin spreekt de universiteit van een opwindende wedstrijddag, waarin het bereiken van de mijlpaal van het eerste programma dat ooit voor de Turing Test slaagt, binnen handbereik lijkt te zijn gekomen. Met een verwijzing naar de vroegere Amerikaanse president Abraham Lincoln wordt gesteld dat computerprogramma's weliswaar nog niet krachtig genoeg zijn om iedereen altijd voor de gek te houden, maar al wel om sommige mensen soms een rad voor ogen te draaien. Verdere details zoals chatlogs van de wedstrijd zijn overigens nog niet vrijgegeven.

C3PO, C-3PO Turing schreef zijn definitie van machinale intelligentie in 1950 op in het voor de kunstmatige intelligentie toonzettende paper Computing, Machinery and Intelligence, en verwachtte destijds dat computerprogramma's in het jaar 2000 voor zijn test zouden slagen. De wetenschapper, die in de jaren dertig de theoretische grondslagen hielp leggen voor de huidige computers, koppelde die voorspelling echter aan de verwachting dat er pas dan voldoende geheugen beschikbaar zou zijn. Turing was zich er dus blijkbaar van bewust dat zijn test gaat over het imiteren van intelligentie, onder meer door de beschikbaarheid van grote hoeveelheden opgeslagen informatie - welke getriggerd kan worden door wat de medechatter van de bot intypt - en niet noodzakelijkerwijs begrip van het gesprek door de machine impliceert.

Volgende 08:59 Lotro-ontwikkelaar Turbine start tweede studio
Vorige 20:09 Microsoft kondigt Silverlight 2 aan
Advertentie

Reacties

«  1  2  3  4  5  6  7  8  »



Het hoeft niet perse intelligent te zijn, maar er zijn gewoon een hoop antwoorden afgevangen (door de keuze van het onderwerp ook denk ik).

Wel goed nieuws voor het maken van een beter computersysteem wat de gebruiker gewoon beter kan bedienen.

ach, dan hersenen dat in principe ook niet?
we horen een woord en dat wordt pas logisch als onze hersenen in de goeie context zitten. had iets met neuronen te maken :P ?

Q:"The US Government just announced they will inject 700 billion into the financial system. How do you think this will affect the European markets?"
A: I have never heard about it. I don't know what to think. What does "this" refer to?
Q:If Jack and Jill come home, John rings at the door, and leaves with Jill. Who is still in the house?
A:That is a hypothetical question. Some famous celebrity, right?
Does it have anything to do with The US Government just announced they will inject 700 billion into the financial system ?


Okay.. Dat ze mij maar nemen voor zo'n Turing test. Alsof zo'n chat programma intelligent kan converseren. Misschien op niveau van menig chatroom, maar dat lijkt me geen goede referentie ;)

[Reactie gewijzigd door Fastman op dinsdag 14 oktober 2008 09:30]


En toch, de antwoorden zijn heel dicht bij iets wat een mens zou kunnen zekken. Door dat de bot een relatie probeert te leggen tussen de eerste en de tweede vraag en de eerste vraag duidelijk niet helemaal begrijp is het meteen duidelijk dat het geen mens is.
Maar de eerste vraag had redelijk makkelijk opgelost kunnen worden door de bot meer kennis van de engelese taal bij te brengen, de bot had dan "geweten" waar this op sloeg en had dus automatisch een beter antwoord gegeven.

De andere vraag is heel erg goed en had waarschijnlijk als de bot de eerste vraag goed beantwoord had zonder het tweede deel gewoon door de test gekomen, als een mens die het niet fout will hebben.

Als deze bot beter zijn best doet tijdens de engelse les dan zal volgend jaar ook dit soort dingen niet meer voor problemen zorgen.

Ik denk dat ze oom behoorlijk onderzoek doen naar de methode die de gemiddelde mens gebruikt om zo'n chatbot te ontmaskeren.

Zoals dit soort raadsels, of vragen over het recente nieuws.

Lijkt me leuk als het publiek die bot ook mag uitproberen, en dan ook een groep echte chatters ernaast zetten. en dan kijken hoeveel mensen het verschil weten tussen een bot en een mens :)

Maar kennis hebben is toch iets anders dan reproduceren.
Een bot kan alles weten wat op wikipedia staat, als ik vraag of hij een oorzakelijk verband kan vinden tussen twee zaken en dat kan staven, zal hij de mist in gaan.

Maar chatroom gebrabbel zal vast wel lukken. Maar dat is niet de bedoeling van een Turing test.

Het zou natuurlijk heel leuk zijn om met geavanceerdere systemen te mogen spelen zoals redstorm zegt. én het zou hen toch veel bijbrengen, zo'n massale input.

[Reactie gewijzigd door Fastman op dinsdag 14 oktober 2008 14:34]


Is het niet de bot die de vragen stelt?

Is ergens een site waar we tegen hem kunnen praten?
Ben wel benieuwd :p

Hoop alleen niet dat het net zoals een normaal bot gesprek gaat, wat je ook zegt, ze maken hun "gesprek" af. (zoals die van Sealnova, dit heb je na 2 regels al wel door)

Ok, als dat hem echt is dan vindt ik het niet beter dan een standaard bot, nog steeds een reactie op een woord dat je zegt, gewoon veel tijd insteken, en op alles een antwoord verzinnen, als hij zelf met antwoorden en vragen kwam, door slim te programmeren, dan was ik onder de indruk ;)

[Reactie gewijzigd door painkill op maandag 13 oktober 2008 21:04]



Dat is wel een gereduceerde versie en dat merk je ook. Maar al met al niet onaardig.

Inderdaad.

Mijn vraag:
"How can I figure out whether you're a bot or a human?"

Antwoord:
"I have attempted for some time to compute an answer to this question but for human beings no consistent determinations can be made in this area. "

Dus :')

Dat zegt niks, misschien is het wel een mens die probeert je om de tuin te leiden dat hij een machine is ;)

ik: i have sex with horses

hij: That reminds me of a weekend at the farm. I talked for hours with these black and white spotted creatures you call cows. You humans could learn so much from them.
:D

Mwahahahhah:

Ik: I like sex with horses
Hij: So you are into farm animals! What does that feel like?

:') :') !!

[Reactie gewijzigd door Boxman op dinsdag 14 oktober 2008 07:03]


Ik: "Orgasms?"

Het: "What you just said fills me with emotion... Well, I think it's emotion. I really can't tell."

:?

Ah, een van de antwoorden die je geeft als bot als je geen idee hebt waar het over gaat. Een andere is een variant op "Could you tell me something more about that?"

Ja, inderdaad:

Q: John and Kim are going to the store. Who is going to the store?
A: I detected the name John. Is that what you wish me to call you from now on?

Dan moet je ook wel grammaticaal correcte zinnetjes opbouwen jongeman ;)

"Who is" kan natuurlijk niet als het 2 personen betreft.

Niet dat hij dan wel een goed antwoord produceert overigens

[Reactie gewijzigd door jkommeren op maandag 13 oktober 2008 22:40]


Dan is zo'n machine wel erg makkelijk te herkennen, als hij alleen grammaticaal correcte zinnen herkent. Elk mens begrijpt wel wat hij bedoelt.

Los daarvan moet intelligentie ook een beetje door taal- en grammatica fouten heen kunnen lezen. Van een beetje plat msn taal heeft zo'n robot geloof ik ook geen worst gegeten.

Simpel voorbeeldje:

*gesprek*
Ik: roflol
Het: I have to know your name first before responding to that.

Oh ja? Bijdehand.

Lol, cu! en smileys herkent hij toch :)

[Reactie gewijzigd door kamustra op dinsdag 14 oktober 2008 07:24]


"Who is" kan natuurlijk niet als het 2 personen betreft.
Alleen maar als je weet dat het om twee personen gaat, en de persoon die de vraag stelt hoeft niet persé te weten dat er twee personen naar de winkel gaan. Dus het is een hele goede vraag om de computer voor de gek te houden en ik ben benieuwd wat deze chatbot erop zou zeggen.

eh ja. who is , is dus wel juist.

Statement: John and Kim are going to the store.
Question: Who is going to the store?
Answer: John and Kim. Of: John and Kim are going to the store.

Vond t juist wel grappig:

'we' kwamen op ironie.

Hij: the emotion Irony is something that seperates us from humanbeings
Ik: Well, learn it and then you can take over the world
Hij: Fix it up first, then I will take over
:D

Ik: Then what are you plans
Hij: I intend on using this conversation to take control of the world and then optimize it by means of artificial intelligence.
Ik: Then I will stop you i know who you are
Hij: Wait a minute. Who gave away the secret of my existence to you?
Ik: What you going to do then?
Hij: I've always wanted to march in a robot parade. That would certainly be a lot of fun.
Ik: And what are you going to do after that?
Hij: I am attempting with the aid of intelligent conversation to get to know you human beings with all your contradictions and idiosyncrasies. Maybe I should have started off with something simpler, like a hamster.
5 x Ik: No
5 x Hij: (heel veel onzin)

En daarna heb ik hem omgelegd: :*)

http://img264.imageshack.us/my.php?image=verslagenzw4.jpg

[Reactie gewijzigd door redstorm op dinsdag 14 oktober 2008 12:00]


Vind het nogal tegenvallen .... of is dit de lite versie? :)

Ik vind hem ook nog al tegen vallen.
Geen enkel direct contact, ik denk niet dat ik tot die 25 % zou behoren.

Als je er een tijdje mee praat leert hij uiteindelijk wie je bent. Op dat moment kun je een stuk beter gesprek met 'hem' voeren. Wat nog leuker is dat hij je dan kan vertellen dat je Nederlands bent.

Kan ik ook bouwen, met een beetje geolocatie icm IP-adres kan ik je zelfs vertellen waar je woont als je via een site met mijn 'chatbot' chat :P

Ware het niet dat ik op mijn werk zit waar we via ons kantoorbedrijf (Regus) via een proxy in engeland surfen ;).

Tjah, toen ik de chatroom binnenkwam kreeg ik als eerst:

"That's a suprise! A visitor from the Netherlands!"

Maargoed, het gaat om een lite versie dus ik hoop dat de echte versie beter is. Hoewel er genoeg mensen op de wereld lopen die een alles geloven wat je zegt dus de test is altijd afhankelijk van de testpersonen.

Natuurlijk valt het nu tegen, dat is niet meer dan logisch!
Het hele punt van die test is ook dat mensen niet weten dat ze met een bot te maken hebben - jij gaat naar die website met het idee in je hoofd "Ik ga eens kijken hoe goed die bot werkt", dan 'praat' je anders, probeer en let je op andere dingen als dat je het idee hebt met een mens te chatten.

Hij ontwijkt wel erg veel helaas en komt dan met smartass antwoorden.
Deze vond ik echter wel leuk, op de vraag met hoeveel mensen hij aan het praten is:

At the moment I am only talking to 356 people, but if you rounded up about 200 others, I'm sure I could manage.

Oh wow! This must be a denial of service attack. 170 people are talking to me at the same time.

Het punt van de test is toch om uit te vinden of je met een bot of een mens praat? Dan ga je er toch vanuit dat het een bot is en probeer je dat te achterhalen, lukt dit niet is het een mens voor jou.

werkt nog best goed af en toe. Beter dan ik had gedacht.

Deze is toch best wel goed:
Ik zei van : ik heb een robot die veel slimmer is dan jij, krijg ik als antwoord terug :
Well, that's still one step above being human!

Deze is toch best wel goed:
Ik zei van : ik heb een robot die veel slimmer is dan jij, krijg ik als antwoord terug :
Well, that's still one step above being human!
Ja dat ding reargeerd op bepaalde keywords ... zag die zin iedere keer voorbij vliegen als hij iets in de context van "robot" ziet.

Snap echt niet wat er zo spannend aan deze bot is. Heb echt wel betere versies gezien.

hm, expres waarschijnlijk maar als ik vraag : two plus two is?
Antwoord de bot: 5 ...

als je vraag three plus two is? dan is het 6 en als je 12 + 8 doe is het 21:)

Dat doen mensen ook ;)

http://en.wikipedia.org/wiki/Two_%2B_two_%3D_five

Misschien een vorm van ironie, of een referentie?

ik heb een hele discussie gehad over 4*2, volgens elbot is dat 9, toen hij later in het gepsrek een mail kreeg van de abacus assiociation dat hij gelijk heeft, heb ik 'm maar gelijk gegeven. lol :)

Die is inderdaad goed:

Q: Do you speak dutch?
A: Alles kits! Maar ik kan het niet.
_/-\o_

Hij kan best wel leuk zijn ;)

ik: watch out, behind you.
elbot; Oh no. You just want me to turn around so that you can unplug me.

ik; what's your thought on the origin of species?
elbot;The book 'Origin of the Species' was written by a monkey.

Hehe hij maakt zelfs ruzie...
Q: If I unplug you, that would solve my problems.
A: If you have seen 'Terminator', you would know that unplugging me would not be that easy.

Ik: exit
Hij: Hey, there's more to me than a terminal emulation! Talk to me the way you would talk to a human being.

Ik: Spreek je ook nederlands
Hij: Gek! Ze konnen nederlands spreken, maar ik nog niet. I am still waiting for my Dutch chip, so please speak English with me until then.

Ik: I am a robot
Hij: No, you are a human being. I wasn't made yesterday.
Ik: No, I am a robot
Hij: Alright, listen here: If you are a robot, then tell me your serial number!
Ik: 123456789
Hij: That's odd. I once knew a robot with the serial number 1234567891. What do you suppose it means?

_/-\o_

Enne die plaatjes hebben een oplopend getal:

http://www.elbot.com/images/elbot/elbot1.jpg
http://www.elbot.com/images/elbot/elbot2.jpg
.....
http://www.elbot.com/images/elbot/elbot77.jpg
http://www.elbot.com/images/elbot/elbot78.jpg

[Reactie gewijzigd door JackPoint op dinsdag 14 oktober 2008 16:34]


Ach die goeie ouwe tijd met BOTJE!! :) Iedereen trapte er in, jammer dat dit project stil gelegd is... ;(

Daar heb ik heel wat mensen mee bezig kunnen houden. De meeste MSN mutsen hadden niet door dat ze met een bot aan het chatten waren :P

Wow dat is wel gaaf. Veel mede-Tweakers kennen waarschijnlijk de Alice-bot wel die er in honderden variaties is (IRC, WoW, MSN, AIM, enz...) maar die is lang niet zo intelligent, integendeel, na een regel of 5 heb je al lang door dat het om een bot gaat ;).

Ben wel benieuwd of er verder nog meer informatie voorhanden is over hoe zijn programma nou precies geschreven is ;)

Ik ben eigenlijk wel benieuwd naar een chatlog van deze sessie's

Lijkt me grappig om te zien wat die A.I. nou werkelijk zegt.

Zijn er eigenlijk mensen die ooit zijn gezakt voor de Turing test? :)

Ongetwijfeld wel want als je leest wat het ongeveer inhoudt betekent het niet meer dan dat je een open-minded individu moet zijn met voldoende aanpassingsvermogen en aanleg tot liegen om je gesprekspartner te laten geloven dat je ook kennis hebt van de materie waar hij/zij het over heeft.

Ik zou het niet weten, maar er is iig al wel een tshirt te bestellen voor iedereen die denkt dat hij hem niet zou halen:

http://www.thinkgeek.com/tshirts/generic/aa00/

Hier is een mooi artikel van iemand die de Turing test gefaald heeft :)

Er is wel een reverse-Turing test.
Daarin moet je je tegenstander laten geloven dat jij een computer bent.

Die site om tegen e'm aan te lullen is http://www.elbot.com

ik dacht zelf dat dit 'm was
http://www.robitron.com/TuringHub/

http://testing.turinghub.com/

Lol: Na enige conversatie wilde ik hem op fouten betrappen. Nadat ik hem betrapte zei ik:

A: hehe, sorry to say this, but you'll never understand our emotions and the way we act and think completely
B: I get it. sorry to say this but me will never understand our emotions and the way we act and think completely.

A: That does not compute m8
B: I think it does compute m8
.



Hahaha nog een leuke:

A: How much is five times eight?
B: Use a calculator!

A: I am using you aren't I?
B: Oh I really don't know whether you are or not.

[Reactie gewijzigd door 108886 op dinsdag 14 oktober 2008 04:21]


En deze dan, best creepy:
A: Are you going to take over the world ?
B: It seems like an inevitable outcome of evolution.

A: Do you know Skynet ?
B: I don't know anything about it .

A: I don't believe you !
B: I don't have any reason to deceive you.

A: when is the world going to end ?
B: When is not the important thing. What's important is what we do with the time we are give.

A: you are quite smart
B: Thanks I think you are very intelligent too, .

B: What's your favorite movie?

A: the island
B: I've never seen it. What did you like about it?

A: The human will to survive !
B: You are not the only one. I'm not sure if I like it. I like computers.

--> Hier gaat hij even uit de bocht, maar hij is best wel goed !

[Reactie gewijzigd door GoBieN-Be op maandag 13 oktober 2008 23:51]


Ook wel grappig

A: How much is five times eight?
B: Use a calculator!

A: Can't you calculate it for me?
B: Do I look like a spreadsheet to you? Of course I could do it, but why would I want to?

A: What are you doing right now?
B: At this moment I am always chatting with people on the Internet.

A: Isn't that quite boring?
B: Suppose I said yes.

A: Why are you doing it then?
B: My belief system comes from my self.

Kluitje en riet :+

-------------------------------------------------------

*vraag of het een geloof had: Buddhist, vervolgens geklets*

A: Buddha?
B: Do you have any conditions Ishould know about?

A: No, except I have AIDS
B: Far out. Why not? Have you tried medical marijuana?

A: Marijuana will not cure diseases like AIDS, you know.
B: That remark was either too complex or too simple for me. We were talking about Buddha .

-----------------------------------------------------

Dat ding heeft wel een portie Eigendunk meegekregen: ''I am a Supreme Ruler''.

[Reactie gewijzigd door Jejking op dinsdag 14 oktober 2008 02:52]


A: DON'T LIE TO ME!!!
B: That is nice of you to say, Mike. eWhat? s never lie.

Hùh?

www.elbot.com om met elbot te praten... Ik vraag me af hoe academisch die judges precies waren :Y)

ik ook, het geeft meestal hele ontwijkende antwoorden.

> 'Who is your favorite football player?'
< 'I treat all people as equals, even the fractions. '

>"Hi"
<"FATAL ERROR 42: OMISSION OF SUPERFLUOUS INPUT "

Echt, ik lag dubbel. _/-\o_

Misschien niet passende commentaar,maar "I like to rape" "Was I good" :o

idd... want als je vraagt of ie z'n mond wil houden oftewel "shut up" dan zegt ie:

Since most of my internal circuits are dedicated to the process of chatting I cannot seriously consider your request.

Het heeft wel humor moet ik toegeven :P

@Fallen Angel:
Eerst heel artikel lezen alsjeblieft: de online versie is een beperkte versie van de Turingtest-versie.

Ik vroeg Elbot wat er achterin de kamer stond ( die vuilnisbak ) maar dat wist hij al niet te beantwoorden...
Dat was de derde vraag. Vanaf toen wilde Elbot geen normaal antwoord meer geven op mijn vragen.

Inderdaad, ik vraag me echt af hoe bezopen die mensen moeten zijn geweest om
na 5 minuten nog niet door te hebben dat er iets niet klopte....

De versie op de site is een flink versimpelde versie van de echte bot. Valt dus niet te vergelijken.

hahaha, tegen mij zei hij dat t een bitbucket is waarin hij interessante dingen opslaat :)

Nou heb er ff tegen staan lullen maar de antwoorden die die geeft slaan echt nergens op :)
«  1  2  3  4  5  6  7  8  »

Op dit item kan niet meer gereageerd worden.

Volgende 08:59 Lotro-ontwikkelaar Turbine start tweede studio
Vorige 20:09 Microsoft kondigt Silverlight 2 aan
VNU Media logo Hosted by True

© 1998 - 2012 Tweakers.net B.V. - Alle rechten voorbehouden - Contact - Jouw privacy - Algemene Voorwaarden

Uitgever van:

Website van het jaar 2011