'Chatbot Eugene Goostman doorstaat Turing-test' - update

De chatbot Eugene Goostman heeft naar verluidt de Turing-test doorstaan. Dat meldt University of Reading, waar de test afgelopen weekend werd gehouden. Volgens de universiteit wist de bot een derde van de participanten ervan te overtuigen met een mens van doen te hebben.

De Turing-test komt uit de jaren vijftig en is vernoemd naar de Britse informaticus Alan Turing. Die stelde dat een machine menselijke intelligentie toont als hij tijdens een experiment dertig procent van de deelnemers ervan kan overtuigen dat hij een mens is.

In Londen hield de University of Reading onder toezicht van het Europees consortium RoboLaw een wedstrijd, waarbij wetenschappers verschillende chatbots aan de Turing-test onderwierpen. Behalve Eugene Goostman deden daar ook vier andere bots aan mee, waaronder Cleverbot en Albot.

Volgens de University of Reading wist Eugene Goostman tijdens de wedstrijd, Turing 2014, 33 procent van de menselijke participanten ervan te overtuigen dat het programma een mens was. Dat betekent dat de chatbot de eerste is die de Turing-test in deze vorm heeft doorstaan. Er zijn eerdere varianten geweest en er is dan dus al eerder beweerd dat een programma de Turing-test kan doorstaan. "Het gebeurde niet eerder dat er zoveel tests gelijktijdig werden uitgevoerd, die onafhankelijk werden gecontroleerd. Ook is het cruciaal dat de gesprekken niet werden beperkt; bij een echte Turing-test worden er van tevoren geen vragen of onderwerpen vastgelegd", zo laat de universiteit in een verklaring weten.

Eugene Goostman is een computerprogramma dat een team, onder leiding van de Russische computerwetenschapper Vladimir Veselov, sinds 2001 ontwikkelt. Het programma simuleert het karakter van Eugene, een 13-jarige jongen uit het Oekraïense Odessa. De jongen kent enkele karakteristieke kenmerken. Zo praat hij over zijn cavia en zijn vader, die gynaecoloog is. "Ons idee was dat Eugene kan claimen dat hij alles weet, maar dat zijn leeftijd het perfect logisch maakt dat dit niet het geval is", stellen de wetenschappers.

De chatbot breekt de zinnen die het programma krijgt op in stukjes, zogeheten tokens. Die tokens krijgen een bepaalde rang en aan de hand daarvan geeft de bot een 'relevant' antwoord, waarbij de informatie uit een database wordt opgehaald. Volgens de programmeurs kan Eugene ook informatie terugkoppelen die betrekking heeft op eerdere zinnen in een gesprek. De bot onderscheidt zich daarnaast met een persoonlijkheid, waarover niet alle concurrerende bots als Cleverbot beschikken.

Een onbekende naam is het computerprogramma overigens niet. Bij een soortgelijke wedstrijd van de University of Reading twee jaar geleden wist Eugene 29 procent van de proefpersonen ervan te overtuigen dat het programma een mens is, waarmee het net niet de Turing-test doorstond. Daarnaast stond het team van Veselov eerder in de finale van de jaarlijkse Loebner-competitie, een gerenommeerde wedstrijd op het gebied van kunstmatige intelligentie. Die competitie kent wel de beperking dat een gesprek van tevoren over een bepaald onderwerp moet gaan. De Loebner-wedstrijd werd vorig jaar gewonnen door Mitsuku.

Professor Kevin Warwick van de University of Reading prijst de prestatie van Veselov, die volgens hem gevolgen heeft voor de huidige maatschappij. "Een computerprogramma dat zich kan voordoen als iemand die wij kunnen vertrouwen, betekent een wake-up-call in het kader van cybercrime. De Turing-test is een belangrijk hulpmiddel om dit tegen te gaan. Het is belangrijk om te weten hoe online- en realtimecommunicatie een mens kan beïnvloeden."

Bij het experiment zijn overigens wel enkele kanttekeningen te plaatsen. De University of Reading zegt bijvoorbeeld niet hoeveel participanten bij het onderzoek waren betrokken. Daarnaast is het onduidelijk of zij van tevoren op de hoogte waren van de persoonlijkheid van Eugene, waaraan ze de bot zouden kunnen herkennen. Het is dus mogelijk dat de persoonlijkheid de interpretatie beïnvloedde, maar dit kan niet met zekerheid worden gezegd omdat de onderzoeksgegevens hierover nog ontbreken. Hoe dan ook: de uitkomst van het experiment betekent niet meteen dat computers nu 'slimmer' en 'menselijker' kunnen zijn dan voorheen.

De Turing 2014-wedstrijd werd afgelopen zaterdag in het Verenigd Koninkrijk gehouden. Er waren meerdere chatsessies per bot en voor iedere sessie waren er vijf juryleden. Een van de juryleden was de acteur Robert Llewellyn, die de robot Kryten speelt in de Britse sciencefiction-komedie Red Dwarf. Een ander was Lord Sharkey, die zich inzette voor de gratie die Turing vorig jaar kreeg.

Turing speelde een belangrijke rol bij het kraken van de codes van Duitse Enigma-rotormachines tijdens de Tweede Wereldoorlog en wordt gezien als briljant wiskundige. Hij maakte onder andere faam met zijn onderzoek naar berekenbaarheid, dat hij publiceerde onder de titel On Computable Numbers, with an Application to the Entscheidungsproblem. Op basis van dit artikel ontstond het gedachte-experiment de Turingmachine, die als een mijlpaal in de geschiedenis van de informatica bekendstaat. In 1950 beschreef Turing in een artikel met als naam Computing Machinery and Intelligence de beroemde Turing-test. In 1954, twee jaar na zijn veroordeling en verplichte chemische castratie pleegde hij zelfmoord. Dat was zaterdag, op de dag van de wedstrijd, precies zestig jaar geleden.

Update, 11 juni - Kanttekeningen toegevoegd dankzij feedback.

Reacties (58)

[Kalief]

Die stelde dat een machine menselijke intelligentie toont als hij tijdens een experiment dertig procent van de deelnemers ervan kan overtuigen dat hij een mens is.

Een blinde doofstomme gelobotomiseerde autist is ook een mens, en "hé kijk, hij geeft op geen enkele vraag in de chat een reactie, net echt".
Als je voor die test niet eerst 'mens' definieert weet je niet wat je meet.
Een kind is geen mens. Nog niet voldoende mens voor een mensentest. Tenzij je mens definieert als een kind dat er maar wat uitflapt en verder niet veel weet.

[Reactie gewijzigd door Kalief op 23 juli 2024 09:10]

[rhuijben]

Zeg dat tegen een mens van die leeftijd en hij zal vast een behoorlijk weerwoord hebben. Ik vermoed die chatbot ook

[Verwijderd]

Nou, het punt van Kalief zit hierin:
Als jij niet weet dat je gesprekspartner een kind is van 14, en je begint wat te babbelen, wetend dat je een Turingtest aan eht afnemen bent, kom je vrij snel tot de conclusie dat er nogal wat hapert aan de kennis en interpretatie van het gesprek aan de andere kant van je lijntje.
Het zou zomaar kunnen dat een tiener, die in z'n tweede taal schrijft, sowieso dat gesprek niet doorgekomen zou zijn met een meerderheid van de juryleden die denken dat de tiener een mens is.

[Withaar DH]

Meer hier:
http://www.robolaw.eu/RoboLaw_files/documents/Schedule%20of%20RoboLaw_Virtual%20Robots_TT_7June2014.pdf
http://www.reading.ac.uk/news-and-events/releases/PR583836.aspx

Detais over de testen:
- Simultaneous tests as specified by Alan Turing
- Each judge was involved in five parallel tests - so 10 conversations
- 30 judges took part
- In total 300 conversations
- In each five minutes a judge was communicating with both a human and a machine
- Each of the five machines took part in 30 tests
To ensure accuracy of results, Test was independently adjudicated by Professor John Barnden, University of Birmingham, formerly head of British AI Society

2012 versie (vermoed ik):
http://default-environment-sdqm3mrmp4.elasticbeanstalk.com/
Op mijn in het nederlands gestelde vraag waar hij naar school was gegaan kreeg ik het antwoord:
" We had a cat named Ben. It had a spare Y-chromosome and two tails. We called it Chernobyl Ben." Tja... moet je daar nu van zeggen.

Dan reageer je natuurlijk met: I hope they both are above his ass.
Antwoord: Don't you feel the need to clean your tongue with a "Fairy" cleaning liquid?
FAIL !!!
Oke we proberen het nog een keer:
No it is a normal question
Antwoord: You are so negative just to annoy me, I know! And I forgot to ask you where you are from...

Probeer het zelf eens, maar ik ben niet onder de indruk van deze versie.

[Reactie gewijzigd door Withaar DH op 23 juli 2024 09:10]

[Elcappucino]

Na het lezen van dit artikel en het lezen van het volgend artikel, ben ik toch benieuwd wat nou wel en niet klopt bij deze test?

https://www.techdirt.com/...-should-know-better.shtml

[Verwijderd]

Indrukwekkend maar bedenk dat er maar drie juryleden waren (dus slechts een had het fout) en de bot deed een 13 jarige na die slecht Engels sprak. Dat is nog een heel eind van ee bot die meer mensen kan overtuigen en een volwassene met een opleiding kan imiteren.

Ik heb veel van deze bots geprobeert in de laatste decennia (terwijl ik leerde programeren, en dat is een heeeeeele tijd geleden, er zelf nog een gemaakt), deze is echt een heel stuk beter dan alle anderen.

[blorf]

Het gekke is dat er voor "menselijke" intelligentie een niet-exacte manier van redeneren nodig is. Bij schaken valt me wel eens op dat ik een bepaalde bekende situatie eerder voorzie dan de computer omdat er een relatief grote hoeveelheid stelling-analyse voor nodig is. Anderzijds heb ik tegen elk willekeurig schaakprogramma dat een beetje redelijk geprogrammeerd is en op een computer van na '90 draait geen schijn van kans.

[Reactie gewijzigd door blorf op 23 juli 2024 09:10]

[Kain_niaK]

Je zou deze test elk jaar op internet kunnen doen .... iedereen die mee doet krijgt dan een chat venstertje voor zijn neus. Aan de deelnemer de taak uit te zoeken of hij met een mens praat of een computer programma. De website die de test uitvoert verbind dan 50% van de tijd een deelnemer met een andere deelnemer en 50% van de tijd met een computer programma. Natuurlijk krijg je dan de hele tijd de volgende situatie:

Als er twee mensen met elkaar verbonden zijn gaan die dus alle twee uitzoeken of degene aan de andere kant een mens is of een computer.

Het computer programma dat je turing test moet dit dus simuleren en moet dus ook dezelfde vragen stellen aan de mensen als de mensen aan elkaar stellen.

je krijgt dan leuke situaties waar twee mensen elkaar proberen te overtuigen dat ze geen computer programma zijn. En ook situaties waar een mens het computer programma probeert te overtuigen dat het een mens is. Want het computer programma gaat dezelfde vragen stellen aan de mensen als de mensen stellen aan hem.

Natuurlijk mag er niet vals gespeeld worden ... het zou makkelijk zijn om een programma te gebruiken dat de chats van echte mensen misbruikt als een soort man in de middle chat, Waarbij het de vraag van mens A aan mens B onderschept en doorgeeft aan mens C en dan het antwoord weer terug plakt.

Aan het einde van de sessie moet elke menselijke deelnemer dan aangeven of het denkt met een programma of een mens te hebben gesproken. De website die het organiseert kan dan gemakkelijk aan de data zien hoeveel % van de mensen het computer programma om de tuin heeft geleid.

Maar nu komt de kicker. Mensen zijn niet altijd rationeel en zeker op internet word er veel getrolled.


Als ik aan een mens ga vragen of het misschien een computer programma is dan krijg ik misschien geen serieus antwoord terug. Zo een niet serieus antwoord is makkelijk te simuleren door een computer programma maar dan weet je dus nog niks.

Wanneer computer programma's in mijn test opstelling elke jaar een groter percentage mensen voor de gek kan houden zegt dat niet noodzakkelijk dat de computer slimmer word. Het kan ook betekenen dat de gemiddelde deelnemer aan dit experiment stommer word ....

Da's dus het leuke. Elke computer programma kan succesvol door een turingtest komen als de menselijke deelnemers allemaal debielen zijn. En het internet zit vol met debielen.

Ik kan in minder dan 10 vragen er achter komen of ik met een computer chat of met een mens ... maar alleen als de mens serieus mijn vragen beantwoord.

Een vraag ... "Ik heb 5 eieren en ik eet er 6 op. Op welke dag heb ik de eieren op gegeten" kan momenteel onmogelijk bevredigend beantwoord worden door een computer.

Een mens zou door hebben dat als je 5 eieren hebt je er geen 6 kunt op eten. Hij zou je dit laten weten en eventueel een vraag stellen om achter meer informatie te komen.
En hij zou protesteren dat de vraag over de dag niet beantwoord kan worden.
Volgens mij bestaat er nog een enkel computer programma dat door heeft wanneer het onvoldoende informatie heeft om een menselijke vraag op te lossen en de mens dan een nieuwe vraag stelt om meer informatie te bekomen. Mocht dat er wel zijn dan ga je met dat programma niet mee doen aan een scheef ontworpen turing test. Nee dan word je schatrijk met je software want je kunt nu een interface bouwen waar je je computer gewoon menselijke opdrachten kunt geven en als de computer de opdracht niet begrijpt vraagt de computer door tot hij wel begrijpt. Zo'n stuk software bestaat nog niet. Ook al komt software zoals Siri van Apple wel in de buurt. Dat word steeds bruikbaarder voor hele eenvoudige vragen. Maar een vraagstuk? Er is geen enkele computer programma dat een vraagstuk kan oplossen tenzij het vraagstuk eerst volledig in wiskunde is omgezet. Dat vertalen van taal naar pure wiskunde ... daar zijn de computers niet intelligent genoeg voor.

Een computer kan deze vraag alleen beantwoorden als hij het patroon van de vraag herkent en die vraag in een database zit en er dus een antwoord uit de database kan gegeven worden.

Maar dan stel ik de volgende vraag ... terwijl ik bij het onderwerp blijf. En geen enkele database is groot genoeg om 5 of 6 van dit soort vragen waar de volgende vraag afhangt van het antwoord te bevatten. Want het aantal mogelijkheden neemt exponentieel toe.

Het probleem is opnieuw dat zoiets niet werkt als de menselijke deelnemers het niet serieus nemen of wanneer er een of andere communicatie blokkade is. Bijvoorbeeld wanneer je test in het Engels is maar je veel deelnemers hebt die niet goed Engels praten.

Om een succesvolle test uit te voeren op internet met genoeg deelnemers (zodat n groot genoeg is) dan moet je eerst de intelligentie en hoe serieus je deelnemer is testen. En eventueel ook hoe goed zijn taal is.

Wanneer zo een test word uitgevoerd dan vermoed ik dat het percentage dat een computer programma een mens voor de gek houdt onder de 1% ligt.

In het voorbeeld waar dit artikel over gaat waren het een 5 tal mensen waarvan het er een of twee fout hadden. Ze hadden het fout omdat het computer programma de intelligentie van een 13 jarige jongen uit Oekraïne simuleert. Hebben ze deze 5 mensen dan verteld dat ze gingen chatten met mensen over de hele wereld? En als deze 5 mensen op de hoogte waren van de chat software dan zouden ze toch ook moeten weten dat er een computer programma bestaat sinds 2001 dat een 13 jarige jongen probeert te simuleren?

Met andere woorden het programma is helemaal niet zo slim .. .de deelnemers hebben zich om de tuin laten leiden! Een paar simpele vragen aan een 13 jarige jongen uit Oekraïne moet toch wel genoeg zijn om er achter te komen of ie echt is. Maar wanneer de 13 jarige jongen dan een beetje dom antwoord dan redeneren de deelnemers ... oh het is gewoon een domme jongen. Da's het hele punt. Je verlaagd dan de expectatie van de intelligentie van een 13 jarige jongen. Je redeneert dan ... degene aan de andere kant van de chat sessie is niet echt in staat om goed te antwoorden op mijn vragen ... maar als het een 13 jarige jongen is die niet zo slim is en niet zo goed Engels kan dan begrijp ik dat. Is je computer programma dan echt slim of heb je gewoon je verwachtingspatroon naar beneden bijgesteld tot het programma er aan vol doet ....

[Reactie gewijzigd door Kain_niaK op 23 juli 2024 09:10]

[Withaar DH]

http://default-environment-sdqm3mrmp4.elasticbeanstalk.com/

Testje gedaan:
I had 5 eggs and ate 6 of them
Reactie: It is not my business that you had 5 eggs and ate 6 of them Did I forget it or you really haven't told me about the place you are from?

Nog een keer:
Realy, I had 5 eggs and ate 6 of them
Reactie: ...wait
'How Long?' was schijnbaar te kort.. geen reactie dus toen maar:
How long should I wait?
Reactie: You definitely should - go on right now :-) And I forgot to ask you where you are from...
Ik: Well I had 5 eggs and ate 6.
Reactie: ...Wait
Ik: But that cannot be.
Reactie: Could you tell me about your job, by the way?

[Ossebol]

Nee, dat begrijp je verkeerd. Er waren vijf juryleden per gesprek (bron) en dan heb je nog de wetenschappers die de wedstrijd hielden (bron)

Over het aantal deelnemers heb ik, ook bij de universiteit niet, niets kunnen vinden. Wel zijn er meerdere sessies gehouden. Zie ook het document op deze pagina van RoboLaw.

Edit: moest het zelf ook nog even goed nalezen

[Reactie gewijzigd door Ossebol op 23 juli 2024 09:10]

[airell]

Ik dacht inderdaad ook, je kunt je 'mens-gebrek', ook verbloemen in een '13 jarig Oekraïens jongetje die slecht Engels spreekt'.

Als ze hadden gezegd; dit is een '35 jarige Engels sprekende zakenman uit New York', dan was de Turing test mogelijk wel mislukt...?

[Neus]

Wat gaaf! Ook erg leuk dat ie een eigen personaliteit heeft.
Is er een site waar het mogelijk is om direct met Eugene te chatten ? Deze http://default-environmen....elasticbeanstalk.com/bot schijnt niet te werken.

[Reactie gewijzigd door Neus op 23 juli 2024 09:10]

[Withaar DH]

Misschien eerst even wat achtergrond informatie lezen over de organisator.

https://www.google.nl/web...n%20warwick%20pr%20stunts

[Ossebol]

Dat is de officiële site inderdaad (via deze link), maar door de belangstelling ligt hij regelmatig plat.

[Reactie gewijzigd door Ossebol op 23 juli 2024 09:10]

[Rafe]

Elders op het internet lees ik dat daar een versie uit 2001 draait en dus niet de versie die gewonnen heeft.

[Verwijderd]

https://www.techdirt.com/...-should-know-better.shtml

Soort van hijacking wat ik nu doe, maar aangezien Tweakers.net blijkbaar ook voor deze overduidelijke bullshit valt, toch maar even een linkje. Ik had dit eerder gelezen en had niet verwacht dat Tweakers.net er over zou schrijven en beter zou weten, maar blijkbaar viel dat zwaar tegen.

1: Het is geen supercomputer. (Al maakt de beste reporter van Tweakers deze fout niet.)
2: Er zijn al eerder chatbots geweest die met hogere scores de Turing test geslaagd hebben.
3: De jury werd beinvloed door de aanname en bijbehorende wijziging van mentaliteit door te zeggen dat het om een 13-jarige jongen van Ukraine gaat.
4: Er is geen algemene standaard voor regels van de Turing test.
5: De jury is zelf samengesteld. Geen onafhankelijke controle, geen herhaalonderzoek.
6: De Turing test zelf is bullshit. Een chatbot is leuk als het mensen kan foppen, maar is niet gelijk aan het maken van kunstmatige intelligentie.

En daarbij, Professor Kevin Warwick is een wandelende grap. Hij is al jaren bekend om zijn bullshit claims.
_{"Basically, any reporter should view extraordinary claims associated with Warwick with extreme caution. But that's not what happened at all. Instead, as is all too typical with Warwick claims, the press went nutty over it, including publications that should know better."}
De link geeft een iets uitgebreidere uitleg. Maar het moraal van mijn comment: Tweakers.net, erg teleurstellend dat jullie zo onprofessioneel onderzoek naar verhalen doen. Dat is geen journalistiek, dat is dezelfde waardeloze rapportagekwaliteit die je ook van de tech-sectie van nu.nl zou verwachten.

[Reactie gewijzigd door Verwijderd op 23 juli 2024 09:10]

[Ossebol]

De Turing-test is en blijft een test naar interpretatie, waar inderdaad weinig algemene afspraken over zijn gemaakt. Dit is ook de zwakte van de test, vind ik. Daarover kunnen we een hele interessante, wetenschappelijke discussie houden, maar dat ga ik hier niet doen.

Het klopt dat er in het verleden hogere scores zijn bereikt met de Turing-test. Maakt dat die tests betrouwbaarder dan die werd uitgevoerd door de University of Reading? Ik betwijfel het. Zo doorstond Cleverbot de Turing-test ook ooit, maar werkte de bot tijdens die test lokaal, waardoor het programma veel sneller antwoorden kon opzoeken en ook zo relevantere antwoorden kon geven in vergelijking met de onlinevariant.

Zoals je al aangaf is de zwakte van de Turing-test dat er geen algemene, concrete afspraken over zijn gemaakt. Er staat nergens omschreven hoe bijvoorbeeld de metingen moeten worden uitgevoerd en hoeveel participanten er moeten zijn. Dit maakt de Turing-test naar mijn idee in zijn geheel interpretatiegevoelig. Dat is ook de reden waarom ik het artikel met voorbehoud heb geschreven. Alle feitelijke claims schrijf ik toe naar de universiteit. Daarnaast benoem ik dat er over het aantal participanten niets bekend is.

De reden waarom ik dit, weliswaar onder voorbehoud, toch heb gebracht is het volgende. De University of Reading is aangesloten bij RoboLaw, een consortium waarbij verschillende faculteiten van universiteiten zijn aangesloten. RoboLaw streeft uniform experimenteel onderzoek na. Om die reden vond ik het experiment betrouwbaar genoeg om te brengen. En verder: aan het onderzoek deden meerdere bots mee. Het was een eerste grote test waarbij tegelijkertijd meerdere chatbots aan de Turing-test werden onderworpen, wat mijns inziens de geldigheid van een dergelijk experiment vergroot.

Het is inderdaad goed mogelijk dat de participanten van tevoren werden beïnvloed door het karakter van de chatbot, dat ontken ik ook niet. Anderzijds zou je kunnen zeggen dat – als ze het van tevoren wisten – ze de bot er makkelijker en sneller uit hadden kunnen pakken, waardoor de Turing-test sowieso niet was geslaagd. Hiernaar kunnen we gissen, omdat hierover niets bekend is gemaakt.

Desondanks ben ik het niet eens met het argument dat de bot, door zijn fictieve leeftijd, ‘vals’ kon spelen. Bij de Turing-test komt het neer op interpretatie, zoals ik al eerder aangaf. Als een bot goed kan doen overkomen dat het een tiener is en hij lijkt hiermee realistisch, dan slaagt hij simpelweg voor de test – ongeacht of de antwoorden goed of fout zijn.

De Turing-test is natuurlijk een instrument om de ‘menselijkheid’ van computerprogramma’s te testen, maar is natuurlijk niet heilig. Dat beweer ik ook niet. Desondanks vind ik in het kader van de ontwikkeling van kunstmatige intelligentie dat elk – enigszins betrouwbaar - onderzoek dat de ‘menselijkheid’ van een computer kan meten en kan aantonen, zinnig is en daarom kan worden gebracht.

[Reactie gewijzigd door Ossebol op 23 juli 2024 09:10]

[HansMonasso]

Ik heb ondertussen genoeg onderbouwing gelezen om tot de conclusie te komen dat dit artikel wel ingetrokken mag worden.

[Ossebol]

Dat zal niet gebeuren, maar we zullen dankzij jullie feedback de volgende keer kritischer zijn en meer kanttekeningen plaatsen.

[Rafe]

Kan je beter voor een topic maken in Geachte Redactie zodat je aanzienlijk meer kans hebt dat de redactie het leest en er wat mee doet

[Ossebol]

Heb je een bron?

[Rafe]

Reacties op Hacker News en Reddit - niet sluitend bewijs maar de conversaties die ik er van heb gezien vind ik weinig overtuigend, dus ik hoop er ook een beetje op met een betere versie te kunnen spelen.

[dasiro]

nogal logisch dat je een personaliteit hebt, anders is het nogal moeilijk om overtuigend als mens over te komen.

[eL_Jay]

Waren er een jaar of 4 geleden niet UT2k4 bots die de turing test met glans doorstonden?
(meen dat >50% dacht dat het om echte spelers ging)

[Rafe]

nieuws: Unreal Tournament 2004-bots doorstaan Turing-test was dat ja. 't Is een beetje hoe je Turings werk interpreteert, bij dit nieuwsbericht gaat men uit van de standaard 'party game'-opzet, terwijl voor UT toen de bredere interpretatie is gekozen zonder specifieke vorm om te zien hoe goed computers mensen kunnen imiteren.

Al met al is het wel een leuke ontwikkeling, maar de Turing test zien als iets dat gehaald moet worden is wel een kanttekening bij te plaatsen:

Mainstream AI researchers argue that trying to pass the Turing Test is merely a distraction from more fruitful research. Indeed, the Turing test is not an active focus of much academic or commercial effort—as Stuart Russell and Peter Norvig write: "AI researchers have devoted little attention to passing the Turing test."
[...]
Turing, for his part, never intended his test to be used as a practical, day-to-day measure of the intelligence of AI programs; he wanted to provide a clear and understandable example to aid in the discussion of the philosophy of artificial intelligence. John McCarthy observes that the philosophy of AI is "unlikely to have any more effect on the practice of AI research than philosophy of science generally has on the practice of science."

[Reactie gewijzigd door Rafe op 23 juli 2024 09:10]

[WhiteDog]

Moet je ze dan meer of minder raak laten schieten ? Bots vallen meestal op doordat ze de meest onmogelijke kills kunnen maken.

[gwie]

De computer schoot inderdaad regelmatig mis om andere spelers re laten denken dat het om een echte speler ging.

[styno]

Je kon ook wel merken dat de ene bot beter was in bepaalde dingen dan andere, dat is ook een primitieve vorm van personality. Kon je trouwens zelf instellen meen ik me te herinneren.

[gwie]

Dat bericht heb ik toen ook langs zien komen inderdaad. Toen ging het echter om de manier van spelen en niet om gesprekken.

Ik meen me te herinneren dat toen evenveel mensen dachten dat de computer een echte/neppe speler was als dat dit van echte spelers gedacht werd.

[Reactie gewijzigd door gwie op 23 juli 2024 09:10]

[eL_Jay]

Dacht dat het iets van 53% 47%52% tegen 40% (met dank aan artikel rafe) was in het voordeel van de bots maar het is al weer lang geleden, een maandag morgen en mijn geheugen laat me soms in de steek

[Reactie gewijzigd door eL_Jay op 23 juli 2024 09:10]

[bolke de beer]

Kunstmatige intelligentie is een hol begrip, er zou een test moeten komen waaruit blijkt dat een computer de vraag echt begrijpt, dan pas kan je volgens mij over echte kunstmatige intelligentie spreken.

Zoals het nu is, is een antwoord van de computer gewoon het gevolg van een aantal handelingen die verricht worden door een computerprogramma. Het enige intelligente daaraan is de intelligentie van de programmeur, die zijn programma zo knap in elkaar zette, dat het een proefpersoon om de tuin kan leiden. En daar is niets kunstmatig aan, dus....

[MneoreJ]

Echte kunstmatige intelligentie? Iets met een innerlijke tegenstrijdigheid...

Turing's punt was nu net dat de vraag "kunnen computers denken" veel te vaag en voor velerlei uitleg vatbaar was om er iets nuttigs mee te kunnen doen. Het is per definitie onmogelijk om vast te stellen dat iemand of iets (of dat nu een computer of een mens is ) "echt" begrip heeft, omdat je nu eenmaal niet in iemands geest kunt kijken. Ook ik zou een goed in elkaar gezette chatbot kunnen zijn, maar omwille van beleefdheid nemen we meestal aan dat onze gesprekspartner een persoon is. Anders is het zo lastig converseren.

Zijn idee was simpelweg om de vraag "kunnen machines denken" om te zetten naar een operationele definitie: als de computer erin slaagt om mensen ervan te overtuigen dat het een mens is in een conversatie (mensen die van tevoren weten dat ze mogelijk met een computer te maken hebben) dan mogen we stellen dat de computer denkt. Daar kun je het mee eens zijn of niet -- zoals de "winnaar" die een 13-jarige jongen simuleert met gebrekkig Engels demonstreert zijn er zeker kanttekeningen bij te plaatsen. De bijdrage van Turing hier is dat we afstappen van steeds nieuwe willekeurige stellingen over wat het betekent om "echt" intelligent te zijn, want dan blijven mensen zeggen "nee, dit is niet echt, want het is maar geprogrammeerd". Daar komen we niet verder mee, want het zal altijd geprogrammeerd zijn -- als je zo begint is iets alleen intelligent als je zelf niet begrijpt hoe het werkt, en dat is geen praktische insteek.

[Dreeass]

Hoe wordt deze test dan uitgevoerd? Hoeveel personen doen de test en hoeveel keer doen zij deze dan? Zijn er ook 13 jarige kinderen die meedoen aan de test zodat de helft van de tijd het een kind is en de helft van de tijd het de computer is. De testomstandigheden doen er redelijk wat aan toe, niet?

[Verwijderd]

Dit was een Turing test. Die staat duidelijk omschreven dus hoewel de testomstandigheden er veel toe doen als je wilt weten of de bot een mens kan imiteren gaat het hier om een Turing test en niets anders. Het is geen vergelijk tussen mens en computer! Dat is een andere test, geen Turing test.

[kzin]

Toch vind ik de vraag van Dreeass niet vreemd.
Als je zeker weet dat je met een bot te maken hebt, kun je er niet van overtuigd worden dat je te maken hebt met een 13-jarige jongen. Er moet een kans zijn dat er daadwerkelijk een jongen je vragen beantwoord.

Uit wikipedia: " If the judge cannot reliably tell the machine from the human, the machine is said to have passed the test."

[ro8in]

Jullie hebben ook al jaren niet door dat ik gewoon een comment bot ben

[[Remmes]]

http://www.destentor.nl/p...600_800/image-3650727.jpg

ontopic:
Hoe veel stelt deze Turing test tegenwoordig nog voor?
En wie zijn de testpersonen?
Hoe veel personen zijn er?
Het voordoen als 13 jarige houd in dat de computer wat meer fouten mag maken want dat is te verwachten van een 13 jarige, dus heel spannend is dit naar mijn mening niet.

[Reactie gewijzigd door [Remmes] op 23 juli 2024 09:10]

[Skohsl]

Het is niet echt de Turing-test, maar een heel erg verkapte versie ervan omdat we erg ver af zijn van de echte test.
De eigenlijke Turing-test gaat om tot in de oneindigheid mensen ervan te kunnen overtuigen dat het om een menselijke spreker gaat en niet een programma. Gezien dit nog lang niet mogelijk is zijn er meerdere van deze zwakkere tests, zoals een deel van de mensen gedurende een korte tijd.
Ook zie je dat de 'succesvolle' programma's allemaal truukjes uithalen om succesvoller te lijken. Net doen alsof je een 13-jarig jongen bent zorgt ervoor dat je met veel meer weg kan komen omdat mensen een lagere verwachting hebben van de conversatie en de onderwerpen waar je over kunt praten, daarom zal het inderdaad makkelijker zijn om deze test te doorstaan.

Al met al is het zeker interessant wat ze doen en is het een goede prestatie, maar het is voornamelijk spannend voor mensen die genoeg hiermee werken om in te zien wat wel en niet werkt. Het is zeker niet een revolutionare ontwikkeling.

[Verwijderd]

Ik ken je pas net

[Dj Neo Ziggy]

In 1954, twee jaar na zijn veroordeling en verplichte chemische castratie pleegde hij zelfmoord

Dit omdat hij homo was.
Ongehoord.

[Neus]

Interessant ! Ik snap die zin trouwens niet; wèlke veroordeling? Ik zie niets in de tekst hierover en laat staan iets over een verplichte chemische castratie.

[AibohphobiA BoB]

http://nl.wikipedia.org/wiki/Alan_Turing

Nou, dat was niet zo moeilijk hè.

[Neus]

Daar gaat het niet om; als je in een artikel iets over de beste man wilt vertellen, kan je niet zomaar aannemen dat iedereen van zijn veroordeling en chemische castratie afweet. Als je dan toch een mini bio neerpent, zet dat er dan tenminste bij.