IBM's supercomputer speelt gelijk in eerste Jeopardy-ronde

IBM heeft met zijn Watson-supercomputer maandagavond meegedaan aan een aflevering van het Amerikaanse spelprogramma Jeopardy. De computer neemt het in de quiz op tegen twee menselijke tegenspelers en speelt drie afleveringen mee.

De deelname aan de spelshow is een in het oog springende prestatie voor de Watson supercomputer, die daar specifiek voor werd ontworpen. Watson is echter bovendien een showcase voor de rekenkracht van IBM-producten en de technologische vooruitgang die het bedrijf boekt. In het verleden demonstreerde IBM dat ook met andere zogeheten Grand Challenges, zoals de Deep Blue-supercomputer die het met schaken opnam tegen wereldkampioen Kasparov. Watson moet zich, anders dan Deep Blue, profileren als vraagbeantwoorder. IBM noemt dat Deep Question Answering, ofwel DeepQA.

Watson, vernoemd naar de oprichter van IBM, werd ontworpen om aan Jeopardy mee te doen. De computer zou daartoe in staat moeten zijn door natuurlijke spraak te verwerken en te produceren om de gestelde vragen te interpreteren en te beantwoorden. Het systeem is opgebouwd rond IBM's DeepQA-technologie, dat massively parallel computing mogelijk moet maken. De rekenkracht wordt geleverd door 90 Power 750-servers, die gezamenlijk 2880 Power7-cores bevatten. Elke server heeft 32 cores of vier processors die op 3,55GHz tikken. Het totale geheugen bedraagt 16 terabyte en het tien racks tellende systeem heeft een rekenkracht van 80 teraflops.

De bandbreedte die beschikbaar is voor de communicatie tussen de processors, bedraagt 500GB/s en wordt onder meer door een Apache Hadoop-framework benut om de werklast tussen de cores te verdelen. Op die manier kan Watson de gestelde vragen interpreteren, opzoeken in zijn bibliotheek van ongeveer 200 miljoen 'bladzijdes' tekst en beantwoorden. Het antwoord wordt via een text-to-speech-systeem uitgesproken. Voor de Jeopardy-deelname moest het op Linux draaiende cluster zijn antwoorden binnen drie seconden bepalen.

Maandag vond de eerste ronde van drie avonden Jeopardy plaats. Watson streed tegen twee menselijke spelers, die ieder bijzonder succesvol aan het populaire Amerikaanse spelprogramma hadden deelgenomen. In Jeopardy geeft de gastheer antwoorden over uiteenlopende onderwerpen, waarna de deelnemers de juiste vragen als oplossing moeten geven. Ondanks een aantal vreemde antwoorden van Watson, waaronder het herhalen van een fout antwoord dat een andere deelnemer al gaf, stond Watson aan het eind van de Jeopardy-aflevering gelijk met een van de menselijke tegenstanders. De tweede tegenstander liep achter op het duo.

Na zijn optreden in Jeopardy zou Watson ingezet kunnen worden om grote hoeveelheden data te verwerken voor bedrijven als banken. Ook in de medische sector kan Watson worden ingezet, dankzij het vermogen om natuurlijke spraak te verwerken en te genereren, en dankzij het vermogen om grote hoeveelheden data te ordenen en te verwerken. Daarmee verschilt Watson sterk van Deep Blue, die alleen als schaakcomputer kon dienen. Watson draait op commercieel verkrijgbare hardware en is potentieel breed inzetbaar.

Reacties (80)

Aflevering 1 op Youtube:

part 1: http://www.youtube.com/watch?v=ZLdkJpAtt1I
part 2: http://www.youtube.com/watch?v=FXH7jn2AHAw

_{EDIT: individuele links}

[Reactie gewijzigd door Mr. P op 15 februari 2011 12:22]

Watson is tijd geleden toch al langs geweest in Jeopardy, toen won hij zelfs van de 2 beste Jeopardy spelers. Dus ik volg het nu even niet meer.

Hartstikke mooi natuurlijk dat ze dit al kunnen maken, maar er is nog wel een lange weg te gaan.

Edit: was in januari blijkbaar een oefen ronde:

http://www.pcworld.com/ar...pardy_practice_round.html

In die oefenronde maakte hij trouwens niet echt fouten zoals hij nu wel deed.

[Reactie gewijzigd door MrBlueEyes op 15 februari 2011 12:09]

Niet echt fouten in de oefenrondes?

Als voorbeeld, This trusted friend was the first NON-DAIRY POWDERED creamer
waar watson als antwoord op gaf: What is milk.

En ik vind ook dat het allemaal zwaar overdreven is weergegeven. Er wordt gespeeld tegen de 2 beste spelers ooit, en dat programma loopt al jaren. Oke hij heeft gelijk gespeelt, maar het stond wel 5000, 5000, 2000, terwijl watson alle lage scores in kopte. Overall heeft watson dus meer vragen goed beantwoord en door 2 fouten een hoop punten verloren op dure vragen. Van de 2 foute antwoorden was er maar 1 echt fout, de andere was in de verkeerde taal, maar desondanks niet fout.

En ik vind ook dat het allemaal zwaar overdreven is weergegeven. Er wordt gespeeld tegen de 2 beste spelers ooit, en dat programma loopt al jaren. Oke hij heeft gelijk gespeelt, maar het stond wel 5000, 5000, 2000, terwijl watson alle lage scores in kopte. Overall heeft watson dus meer vragen goed beantwoord en door 2 fouten een hoop punten verloren op dure vragen. Van de 2 foute antwoorden was er maar 1 echt fout, de andere was in de verkeerde taal, maar desondanks niet fout.

Geeft dat niet juist aan dat hij ook nog eens goed is in het bedenken van spelstrategie? Met goedkope vragen en zelfs een paar dure foute nog gedeeld bovenaan eindigen, is niet verkeerd.

Klopt maar de start is gemaakt in ieder geval. Maar vreemd dat hij een fout antwoord dan toch nog opnieuw geeft. Dit zou simpel te programmeren moeten zijn, zodra een fout antwoord gegeven word dat de computer dit opslaat als fout en dus een nieuwe analyse uitvoert. Ik vraag me alleen wel af waarvoor deze commercieël inzetbaar voor zou worden? Bij banken om kredietwaardigheid in te schatten en bij ziekenhuizen om een prognose te stellen ofzo?

Dat dubbel foute antwoord is inderdaad een beetje jammer, maar waarschijnlijk is hier bij het programmeren gewoon overheen gekeken.

Ik vraag me alleen wel af waarvoor deze commercieël inzetbaar voor zou worden?

Wel, een machine die op enigzins intelligent overkomende wijze uiteenlopende vragen kan beantwoorden is natuurlijk ideaal voor honderden toepassingen. Hoeveel mensen zitten nu niet uren op kantoor, dagenlang dezelfde vragen van verschillende mensen te beantwoorden?

Ik heb bijna een jaar bij een telefonische helpdesk gewerkt. Ik zie ervan komen dat we over 20 jaar om zo'n baan lachen, het hele idee dat computers in 2011 nog niet slim genoeg waren om zulk werk te doen, idioot gewoon

Overheen gekeken??? Wat denk je wat voor programma dit is? Geen FreeCell of wat ook.
Je kunt een antwoord van de tegenspeler niet automatisch als goed / fout bestempelen. Als een mens een goed antwoord geeft wat als fout antwoord wordt aangemerkt (door de quizmaster) dan mag Watson dit niet uitsluiten
Dit is best lastig in mijn ogen.

om een simpel voorbeeld te noemen: zoals in de serie House een medisch team gebruikt wordt als informatiebron om mogelijke diagnoses te opperen. Ik weet natuurlijk ook wel dat het in de echte wereld er iets anders aan toe gaat, maar stel je voor dat een systeem als Watson beschikbaar is voor huisartsen:
Je komt bij je huisarts met een probleem, de consultatie verloopt gewoon zoals je hem gewend bent, maar Watson luistert mee. de huisarts kan dan op zn scherm mogelijke diagnoses van jou klachten te zien krijgen. zodra jij de deur uit bent of je testuitslagen binnen zijn, kan de huisarts verder mondeling overleggen met Watson om de diagnose te verbeteren.
De grote winst zit hier in dat een systeem als Watson veel meer kennis kan bevatten dan de literatuur die de huisarts op zn kantoor kan bewaren & doorzoeken, en deze toegankelijk is met minimale training van de huisarts. we willen tenslotte dat de huisarts tijd besteed aan het opdoen van medische kennis ipv verspillen aan het worden van een IT specialist.

[Reactie gewijzigd door rlKoekie op 15 februari 2011 12:21]

koppel er een hologram aan vast en we hebben een:
EMH

wie zegt dat startrek nog ver weg is ;-)

Kan een stuk moeilijk zijn dan het lijkt. het is de vraag heeft watson de vraag fout. of heeft watson de vraag niet goed geinterpreteerd. Het is laatste is natuurlijk een stuk moeilijker te verhelpen dan het eerste.

Dat was een test dacht ik. Niet de officiele ronde.

Tsjah, hoofdvraag blijft; wanneer wil je iets "intelligentie" noemen. In mijn ogen valt dit te scharen onder "heel snel alle mogelijke waardes afgaan", en niet zozeer via een cognitief proces bij het goede antwoord uitkomen.

intelligentie is niet echt te bereiken via technologie. zelfs als je een soort van toekomstige robot die reageert als een mens bedenkt, is het nog steeds alle mogelijke waardes afgaan. de enige manier waardoor mensen echt intelligentie zouden kunnen maken is als ze op een of andere manier een bewustzijn kunnen koppelen aan synthetische hersenen of zoiets. ik denk dat dat allemaal sience fiction is.

Natuurlijk is intelligentie te bereiken via technologie... De menselijke hersenen zijn gewoon een computer. Een analoge biologische, maar het is en blijft gewoon een computer.

'Bewustzijn' als zodanig bestaat niet. Het is gewoon een term waarmee we de complexiteit van onze biologische programmering omschrijven...

Alles wat nog niet science fact is, is science fiction.

En wat nou als het mogelijk is een stuk hardware te maken wat een bewustzijn kan creeren. Als zoiets al bestaat.
Ik geloof dat onze ervaring bewustzijn en gevolg is van de logica in onze hersenen.

De manier waarop Watson die vragen beantwoord is iig niet de manier waarop ik computers bewust zie worden, hoewel de term computer geen vat meer heeft op elektronica met bewustzijn

[Reactie gewijzigd door neoeldex op 15 februari 2011 13:18]

Wij gaan in ons hoofd waarschijnlijk ook heel veel mogelijke waarden af, van de informatie die we ooit hebben opgeslagen, bijvoorbeeld uit boeken e.d.

Is dat niet ook wat wij doen dan?

Wat denk je dat jezelf doet? Naast try-catch heb je merendeel van je kennis 'ontvangen'. Kennis die is opgeslagen op papier of computers, kennis die men heeft vergaard van andere mensen.

Het aanzetten van een computer heb jij ook geleerd van iemand anders, die heeft jou erop gewezen waar de knop zit en dat je deze moet indrukken. In dit geval is de kennis ontworpen (de knop is ontworpen door de mens zelf en is de kennis gecreëerd).

Zo zullen er nog miljarden voorbeelden zijn van kennis die ontworpen is, bij toeval of vergaard is bij ongeluk.

Het gaat me in principe niet om het opdoen van de kennis, maar wel om de manier waarop de reeds opgedane kennis wordt benaderd. Naar mijn idee zit daar het wezenlijke vershil tussen intelligentie en heel hard rekenen.

Wat is volgens jou dan de definitie van intelligentie? Je eigen cognitieve processen zijn ook gewoon heuristieken, functies die via de computer na te bootsten zijn.

[Reactie gewijzigd door Struikrover op 15 februari 2011 13:51]

Dijkstra zei ooit iets met de strekking: "The question of whether a computer can think is no more interesting than the question of whether a submarine can swim."

(vrij naar: http://www.cs.utexas.edu/...tions/EWD08xx/EWD898.html )

Natuurlijk geniaal om te zijn, maar het zou pas echt baanbrekend zijn als hij ook wat inderactiever is in zijn reacties met humor of wat toevoegingen, want dit is gewoon feitelijke een grote querry uitvoeren op een HUGE database. Of dat de vragen ook anders gesteld kunnen worden, zoals zou je met 1 auto een piano kunnen vervoeren(ff 1e dat binnenschiet..) Antwoord is ja, als je hem op het dak bindt . PC kan dat (nog) niet bedenken omdat dat buiten het bestaande denken is.

ik vind het wel grappig dat je deze prestatie die IBM neerzet niet echt super vind, maar dat wel zou vinden als ze er een extra database / algoritme aan toe hadden gevoegd die af en toe een grapje maakt. Dat lijkt me namelijk een stuk eenvoudiger dan wat ze tot nu toe gedaan hebben.

Verder lijkt me een computer juist beter in het denken "out of the box". Mensen zijn meestal gelimiteerd aan wat ze zelf denken dat kan en niet kan en kijken al helemaal niet naar alle mogelijkheden, of negeren zelfs expres opties voor onlogische redenen.

Het is natuurlijk wel lastig om een computer die vraag te laten begrijpen.

Grappig zijn is juist extreem moeilijk. Een grap bestaat meestal uit een heel abstract verband tussen twee objecten. Deze computer kan nu net hele expliciete verbanden leggen, met dus een enkele stomme fout.
Voor een grap moet de software dus nog veel verder ontwikkeld worden. Naast het uberhaupt kunnen leggen van impliciete verbanden moet ook aan timing gewerkt worden en mag de computer ook de sfeer van een gesprek inschatten. (Niet elke grap is altijd grappig)

Blijf het geweldig vinden dat IBM tijd en vooral veel geld in zo projecten blijft steken.

Niet elke fabrikant gaat zo een uitdaging aan.
Ze hebben eerder geschaakt en het nu een aantal niveaus omhoog getrokken door om te gaan met spraak waar het eerder een pion op een schaakbord was en vooruit moest denken.
Ook al loopt het nogal eens spaak, het is en blijft een enorme prestatie

Behalve de technologisch kennis die dit oplevert, is dit natuurlijk ook gewoon heel goede reclame voor IBM. Overal op de wereld komt dit op het nieuws!
Moet je eens uitrekenen hoeveel je moest besteden om zoveel naamsbekendheid via normale reclame te verkrijgen.

Watson is naar mijn mening een enorme stap voorwaarts op technologisch gebied.
De mate van AI dat dit systeem demonstreerd is ongekent in de geschiedenis van computers en data verwerking.
Petje af IBM, een ongekende prestatie!!

[Reactie gewijzigd door brugj03 op 15 februari 2011 15:58]

Ondanks een aantal vreemde antwoorden van Watson, waaronder het herhalen van een fout antwoord dat een andere deelnemer al gaf

Dit laat wel weer zien dat computers met échte intelligentie nog ver weg zijn

Gelukkig vervallen mensen nooit meermaals in dezelfde fout... Mensen met échte intelligentie zijn overigens ook een schaars goed.

BTW: de deelnemers waartegen Watson speelde hadden bewezen bijzonder goed te zijn.

kleine verbetering; bijzonder goed -> top spelers Jeopardy! ooit !

Niet zomaar Jan *** van de straat dus, maar echte kennisvaatjes.


Ik vraag me af wanneer de code van Watson (of iets vergelijkbaars) openbaar wordt/verkocht wordt...

hij zocht intelligent, maar had het foute antwoord nog niet in de database als zijnde foutief aangegeven

Echt ver weg is dit denk ik niet.

Als we er rekening mee houden dat we momenteel met computers werken die meer rekenkracht hebben dan "Dé SUPERcomputers" een kleine 10 jaar geleden.

Onze technologie gaat zo snel vooruit tegenwoordig.
Ik denk persoonlijk dat we binnen 20 jaar intelligente computers kunnen hebben. Al kan ik dit natuurlijk niet schatten, maar als we recht evenredige vooruitgang zouden maken.
20 jaar is in mijn ogen echt niet veel Ik kijk er eerlijk gezegd al naar uit zelfs!

De vragen krijgt Watson via text, maar ik vermoed dat de antwoorden van andere spelers niet doorgegeven worden. Daarom weet Watson niet wat er al gezegd is door andere spelers.

weer een stap verder in de wereld van AI. toch wel grappig dat watson telkens crashte waardoor hij totaal onzinnige antwoorden gaf. ik vraag mij wel af waar watson all zijn bronnen vandaan haalt...

Ik vraag mij wel af waar watson all zijn bronnen vandaan haalt...

De enige logische verklaring is dat er waarschijnlijk heel veel mensen achter de schermen zitten die in encyclopedien zoeken (zoals bij 2 voor 12) en dan met een belletje rinkelen en het antwoord doorgeven aan Watson.

[Reactie gewijzigd door Pb Pomper op 15 februari 2011 12:19]

Ja precies, ik weet wel bijna zeker dat ze hier gewoon 2000 illegale chinezen voor gebruiken, die dataclusters worden alleen gebruikt om de ledverlichting te regelen.

Haha ja natuurlijk, dan had Watson ook een simpel pc´tje kunnen zijn als hij toch ze antwoorden van mensen krijgt.

Wikipedia

Klopt echt wel hoor en onder anderen ook info uit IMDB http://www.imdb.com/.
Ik heb gisteren de NOVA (Engelstalige versie) aflevering gezien die over het ontwerpen en testen van Watson ging. Erg interessant om te zien tegen welke problemen ze allemaal aan liepen.

dat zou dan een grote fout van watson zijn. niet alles wat op wiki staat is waar, en het wordt sterk afgeraden om het te gebruiken als betrouwbare bron.

Menselijke deelnemers aan Jeopardy halen hun kennis misschien ook wel uit niet 100% betrouwbare bronnen.

Je weet dat ik sarcastisch was toch?
effe zeker weten

euh... tuurlijk

Ghoh, dat geldt vast niet voor alle andere boekwerken /flamewar

*hapt*
Nee, de enige betrouwbare bronnen zijn kranten en wat iemand je persoonlijk vertelt

Een 100% betrouwbare bron bestaat (zo goed als) niet.

Tekst niet gelezen ?

"Op die manier kan Watson de gestelde vragen interpreteren, opzoeken in zijn bibliotheek van ongeveer 200 miljoen 'bladzijdes' tekst en beantwoorden. "

wat ik dus bedoel waaruit ze die database opgebouwd hebben. welk hedendaags medium is nou zo groot om 200 miljoen bladzijdes aan pure feiten te bezitten.

Het totale geheugen bedraagt 16 terabyte

Dat dus.

Leuk Maakt je weer even bewust van de gigantische capaciteit die het menselijk brein heeft en waarom het zo vreselijk moeilijk is om het na te bootsen.

Wat zou dat ding zeggen als je naar "the meaning of life" vraagt?

Een slimme supercomputer zou '42' moeten zeggen Dat is immers het antwoord overal op

[Reactie gewijzigd door Keiichi op 15 februari 2011 12:10]

Dan komt hij waarschijnlijk aanzetten met iets als voortplanten. Hij haalt namelijk alles uit bestaande gegevens. Dus dan komt er een theoretisch antwoord als dat gok ik zo.

Als "the meaning of life" een antwoord is op een vraag, wat het spel Jeopardy nl is, dan komen oa de volgende "vragen" in aanmerkingen:
http://en.wikipedia.org/w..._of_life_(disambiguation)

Dat is wel een prestatie van IBM, want Watson speelt tegen de 2e beste Jeopardy-spelers ooit.

Het begint al met het begrijpen van de vraag, want die wordt gewoon mondeling gesteld, en niet op een speciale manier ingevoerd oid, dan moeten ze in 200 miljoen pagina's tekst zoeken naar het goede antwoord, en vervolgens het goede antwoord in vraagvorm (want het is Jeopardy) via text-to-speech geven. En dat alles in 3 tot 5 seconde, anders zijn de tegenstanders je voor.

Fout, Watson krijgt de vragen in tekstvorm aangeleverd op het moment dat de vraag gesteld wordt. Wordt letterlijk in de aflevering verteld.

Wat er in het begin gezedg wordt is dat hij het electronisch aangeleverd krijgt.

"Ladies and gentlemen, this is Watson... Just as I expected that was a very warm reception and I'm sure Watson would have appreciated the applause, except for one thing. Watson can neither hear nor see. It will be receiving all it's information electronically. And as a matter of fact what you're looking at right now is not the real Watson. This is an avatar."

Of Watson dus text aangeleverd krijgt wordt in ieder geval niet helemaal duidelijk.

Aan het begin wordt verteld dat watson de vragen via een text file aangeleverd krijgt op het zelfde moment als de presentator begint met vertellen. De text file wordt ook woord voor woord met de zelfde snelheid aangeleverd zoals ik het begreep.