Hoofdcategorieën
Device Settings

IBM's supercomputer Watson wint eindronde Jeopardy

Door Willem de Moor, donderdag 17 februari 2011 11:30, views: 26.990

De computer die IBM speciaal heeft ontwikkeld om mee te doen aan het tv-programma Jeopardy, heeft het spel na drie dagen gewonnen. De supercomputer versloeg de twee beste spelers die ooit aan het programma deelnamen.

Na de eerste speelronde op maandag stond de IBM supercomputer nog op gelijke hoogte met een van de menselijke tegenstanders. Watson, zoals de supercomputer genoemd wordt, liet in de tweede en derde dag zijn tegenstanders achter zich en eindigde met een bedrag van 77.147 dollar op zijn teller. De twee tegenstanders, Jeopardy's beste deelnemers ooit, stonden op 24.000 en 21.600 dollar. IBM schenkt het prijzengeld dat Watson met zijn optreden verdiende, één miljoen dollar, aan een goed doel.

Watson bestaat uit tien serverracks met daarin in totaal 2880 processors en 16TB geheugen. Apaches Hadoop distributed filesystem bestuurde de vier terabyte aan ongestructureerde data, waarin werd gezocht door middel van Apaches UIMA-framework. De Jeopardy-vragen werden met IBM's DeepQA geanalyseerd en de antwoorden werden via een text-to-speech-systeem ten gehore gebracht.

Met zijn publiciteitsstunt achter de rug wordt Watson naar twee ziekenhuizen gestuurd. In het Columbia University Medical Center en de University of Maryland School of Medicine zal Watson helpen bij de diagnose van patiënten. Het systeem maakt daarbij gebruik van bronnen als medische publicaties en literatuur. De algoritmes van Watson kunnen grote hoeveelheden data analyseren en relevante gegevens eruit filteren. Voordat Watson in de ziekenhuizen echter daadwerkelijk diagnoses kan stellen, zullen technici nog enkele jaren bezig zijn met het afstellen van de software en het geven van medische scholing aan Watson. 

Volgende 12:00 Nikon patenteert opklapbare, halfdoorlatende spiegelconstructie
Vorige 11:26 Sony deelt bans uit aan gebruikers met gekraakte PS3
Advertentie

Reacties

«  1  2  3  4  »

Hulde aan IBM, dat ze in deze tijd nog zo'n dingen doen!

Hoezo 'dat ze dit nog doen'? Hun Deep Blue schaakcomputer die van grootmeester Kasparov won, was gewoon een computer. Een heel slim geprogrammeerde, dat wel, maar werkte nog altijd met wiskundige berekeningen en een eindig aantal stappen en mogelijkheden voor elk schaakstuk.

De Watson moest taal herkennen (wat ondanks veel studies en programmering nog altijd niet onfeilbaar is) en over een haast oneindig aantal onderwerpen toch het goede antwoord vinden in ongestructureerde databases. Watson is in bijna alle opzichten een supercomputer waar Deep Blue nu al bijna een zakjapanner is te noemen. Het zal nog heel lang duren voordat zulke technologie zijn weg naar de consumentenmarkt vindt.

IBM heeft met Watson aangetoond dat het einde nog lang niet in zicht is en dat computers nog vele malen moeilijker werk kunnen uitvoeren dan we momenteel voor mogelijk houden.

[Reactie gewijzigd door Yuregenu op donderdag 17 februari 2011 12:37]


Wat IMB "nog doet" is hier flinke bakken budget voor beschikbaar stellen. Technisch gezien is Watson inderdaad een stuk spannender dan Deep Blue, maar uiteindelijk is het gewoon een groot marketing project, en daar moet toch maar budget voor gemaakt worden. Niet heel veel bedrijven hebben projecten van dit kaliber lopen, en het mag best gezegd worden dat het grote klasse is dat IBM nog altijd deze dingen doet *O*

Uiteraard is het allemaal gericht op positief imago en profit en geld verdienen, maar dan nog mag het toegeluigd worden dat ze geld verdienen op een goede, leuke en spannende manier in plaats van veel slechtere maar veiligere varianten.

[Reactie gewijzigd door Xtrafris op donderdag 17 februari 2011 12:44]


Nee, ik denk absoluut niet dat het alleen maar gericht is op imago en profit.

Met het maken van een dergelijke computer moet je ook een heleboel problemen oplossen. En de kennis die ze daar mee opdoen kunnen ze in de toekomst weer gebruiken.

Het is daardoor een nuttig stuk R&D.

Drijfveer is dus gewoon geld verdienen. Waar overigens niets mis mee is.

Bedrijven doen niet aan R&D enkel en alleen omdat ze het geinig vinden om te doen.

ik denk dat ze dit eerder doen om 'inteligent te leren' programmeren, vroeg of laat is de eerste quantum computer een feit, een enkele cpu die deze 10 server racks overclassed met een factor, zo enorm dat deep blue deze watson eerder een telraam kan worden genoemt dan een zakjapanner.

op een moment dat je zo enorm snel hebt zul je wel met hele andere vragen te maken krijgen (zoals hoe werkt taal, hoe los ik een probleem op waar ik niet uitdrukkelijk voor ben geprogrammeerd etc' eigenlijk de hoogst mogelijke (of naar mijn idee in ieder geval hoogst wenselijke) vorm van AI, als ze dat soort dingen pas gaan proberen op het moment dat die qbits een feit zijn, ben je rijkelijk laat.

Dat vind ik het mooie van dit soort computers, net zo als Deep Blue heeft hij de meeste potjes gewonnen maar niet alle.
Deep Blue rekende niet alle possible moves door, dat doen schaak computers al lang niet, ze hebben data bases van openingen, standaard situaties en end games.

Ik denk trouwens dat deze technologie binnen de kortste keren naar de consumentenmarkt is. Alles gaat nu richting "the cloud". Dit soort diensten heb je binnen 5 jaar op je telefoon. Rekenen doe je niet meer thuis, doe je lekker centraal :) (boeiend als het dan 15 sec duurt (netzoals Shazam op je iphone).

[Reactie gewijzigd door nr12 op donderdag 17 februari 2011 12:52]


Met "nog doen" bedoel ik in een tijd dat in veel bedrijven R&D budgetten zijn teruggeschroefd doet IBM met deze mooi verder. Het is een hele prestatie (imho) en een leuk opzet, terwijl het een mooie r&d oefening en marketing is.

Dus, zoals ik zei: hulde aan ibm voor hun inspanningen en prestaties.

om 1 simpele reden; antwoord geven.

Nu zit jij met een vraag; jij geeft keywoorden in in google, google toont jou 1001 pagina's met relevante(??) info.

Google toont pagina's en daarop moet jij zoeken voor je antwoord. IBM systeem geeft direct antwoord op jouw vraag(ook bij afwijkende formuleringen), hoe stoer is dat?

Stoer? of hoe eng?
Informatie word macht, hoezo is er maar 1 juist antwoord?
Bij google spit je zelf de pagina's door en zoek zo, beetje bij beetje, naar de info. Zo kan je voor en tegens van bepaalde onderwerpen tegen komen. Zo kom je zelf tot een bepaald idee en zicht. Maar hier krijg je maar 1 antwoord, dat vind ik alleen maar eng. Want wie bepaald wat dat ene antwoord is?

IBM's systeem is dan ook niet bedoeld om een web based search engine voor mensen te vervangen. Om een computer zélf te laten beslissen moet een selectie gemaakt worden in de antwoorden. Bij het voorbeeld uit het artikel o.a. (ziekenhuizen) heb je niets aan een lijst van 10.000 mogelijke diagnoses waar je zelf in mag gaan zoeken. Een stuk of 3, liefst zelfs maar 1 -- tenzij het systeem zelf `twijfelt' -- zorgt ervoor dat het systeem écht beslissingen kan maken en dus effectief werk spaart.

Moest dit systeem gebruikt worden voor search engines zou je overigens gelijk hebben, hoor.

Dit systeem wat IBM gemaakt heeft kan ook meer dan een antwoord terug gegeven.
Alleen met jeopardy wordt het antwoord gegeven wat Watson denk wat het meeste juiste is, en Watson moet bepalen of het eventueel een goed iedee is om antwoord terug te geven want als je het antwoord fout hebt verlies je geld.

Het verschil tussen Watson en Google is dat Google nauwelijks een iedee heeft wat de vraag nu is, en probeer met statestieken en hoe mensen door klikken te rangschikken, natuurlijk probeert Google ook wel jouw vraag te interpeteren, en de websites taal te begrijpen, maar dat gaat lang niet zo ver als Watson dat doet.

Watson analyseerd de vraag en heeft alle texten ook ge analyseerd en bepaald daaruit wat het muist juiste antwoord is.

Watson zullen we zeker terug zien in de medische industrie en andere industrieën waar het antwoord bekend zou kunnen zijn uit geschreven text, maar niet wiskundig te bewijzen valt.

er is niet 1 juist antwoordt, er is mogelijk wel 1 meest logisch antwoord, of een meest wenselijk antwoord, wat jij eng vind is het (op dit moment nog imaginaire) probleem dat er iemand aan de slag moet om 'jouw vraag' van parameters te voorzien...

Fantastisch! IBM heeft een prachtig apparaat gebouwd. Het meedoen aan Jeopardy is natuurlijk niet bijzonder nuttig, maar het toont wel de kracht van het apparaat.

Denk je een computer in die je gewoon een vraag kan stellen, en dat je binnen luttele seconden een goed en volledig antwoord krijgt... beats Google :)

dit lijkt er een beetje op. Maar het werkt nog niet helemaal goed
http://www.wolframalpha.com/

Dat lijkt er juist helemaal niet op. wolframalpha werkt uitsluitend met gestructureerde databases.

Het meedoen aan Jeopardy is wel degelijk nuttig: het is een perfecte testomgeving om de algoritmes te testen zonder dat er risico's aan verbonden zijn (afgezien van gezichtsverlies voor IBM, wellicht)

Eh, heb je de afleveringen gezien?
Jeopardy was juist een PRIMA testomgeving.

De manier waarop de vragen worden gesteld zijn vaak heel dubbelzinnig, en woorden kunnen meerdere betekenissen hebben. Dat Watson erin slaagt om dat met hoge accuratesse te doorgronden is best indrukwekkend te noemen.

Machines are taking over Humanity!!

Daarom vind ik programmeren ook zoiets moois :D Echt super dit!

Machines are taking over Humanity!!
Ik kan er ook maar één ding op zeggen:

We lost on Jeopardy!

:Y) :+

Zie het filmpje op 10:14 :D
Who is Stoker? (I for one welcome our new computer overlords)

Voordat Watson in de ziekenhuizen echter daadwerkelijk diagnoses kan stellen, zullen technici nog enkele jaren bezig zijn met het afstellen van de software en het geven van medische scholing aan Watson.
Bestaat het risico niet dat ie tegen dan niet meer relevant is? Als je ziet wat Google Desktop Search en Copernic kunnen met huis-tuin-en-keuken computers op deze moment... Misschien hebben we over "enkele jaren" wel pc's die 10-20-100 keer krachtiger zijn en heeft Google en/of Copernic nog betere (snellere) algoritmes?
Enkel de text2speech zit er bij Google (nog?) niet in, maar verder?

De hardware is uiteraard een 'means to an end': als rekenkracht over pak 'm beet 2 jaar verdubbeld is, heb je nog vijf racks nodig voor zelfde capaciteit. Over een paar jaar kun je dit soort dingen dus ook op je desktop doen. Kan nu ook al (systeem is schaalbaar naar single-cpu), maar dan duurt het allemaal zo lang :)

Deze stunt is toch mogelijk door de toepassing van DeepQA (zoals in het artikel staat).
Dit niet iets waar google zich op dit moment mee bezighoudt (iig niet bij de ontwikkeling van hun algoritm, correct me if i'm wrong).
DeepQA houdt in dat vragen in natuurlijke taal beantwoord kunnen worden. Voor meer info erover:
http://www.research.ibm.com/deepqa/deepqa.shtml

Google desktop search is niet "slim", Watson wel. Watson analyseert een vraagstuk en haalt daarbij het zo correct mogelijke antwoord naar voren. Google desktop search weergeeft enkel de gezochte term.

Om enkel de gezochte termen te weergeven heb je geen Watson nodig. Daarvoor staat de medische literatuur al goed genoeg voor online in databases als UpToDate, Pubmed en Medline.

Echter, staat er ZO veel informatie, dat het steeds moeilijker te behappen wordt. Om het goed bij te houden krijg je een legio aan subspecialisaties binnen artsen welk zich allen met een zeer klein terrein bezig houden, en patiënten veelal gedwongen worden grote afstanden af te leggen om bij de juiste arts te komen.

Als je dit deels kunt verheffen door een "superslimme" computer welk binnen no-time alle beschikbare literatuur kan analyseren aan de hand van de gegegevens bekend binnen je EPD, en vervolgens met een goed, overzichtelijke analyse terugkomt naar de arts, dan kan dit het al weer voor een groot aantal ziektebeelden toch een stuk makkelijker maken om goed te behandelen. De benodigde kennis komt namelijk veel beter binnen handbereik.


Daarnaast kun je Watson uiteraard ook mogelijk inzetten voor zaken waar we hiervoor huisartsen hebben. Niet ieder land kent een huisartsen systeem, waardoor je dus veel patiënten binnen een ziekenhuis krijgt vanwege kleine kwaaltjes. Watson zou een eerste analyse kunnen doen bij patiënten, de resultaten doorspelen naar de arts en aan de hand hiervan beslissen of er nog verdere controle benodigd is, of dit voldoende is.


Uiteraard is dit allemaal nog toekomst muziek, en zal er eerst veel onderzoek gedaan moeten worden om te kijken of zo'n computer goed genoeg in staat is om net als een echte arts / assistent te functioneren. Ik denk persoonlijk, dat als er voldoende geinvesteerd wordt in dit systeem door te ontwikkelen, Watson objectiever en acurater kan gaan functioneren dan artsen wat betreft aanvankelijke diagnostiek. Met name emoties zullen bij Watson namelijk geen storende rol vormen.

Watson is zo slim als de mensen die aan de software voor Watson gewerkt hebben. Watson kan zelf niks leren bijv, alles is door mensen bedacht en geimplementeerd.

Nee, Watson wordt beperkt door zijn algoritmes EN zijn database. Daar zit veel meer informatie in, dan in de combinatie van de kennis van de onderzoekers. Toch een belangrijke nuancering.

Iets wat er wel een beetje op lijkt is google squared. Het werkt dan wel niet met text input en output, maar zoekt data op op het internet zoals Watson dingen opzoekt in de texten in zijn geheugen.

Ik weet niet of ik nu mijn mond van bewondering open moet laten vallen, of dat ik dit doodeng moet vinden. We hebben dus iets gecreëerd dat in staat is om de collectieve kennis die wij mensen in bronnen hebben opgeslagen op een dusdanige manier te raadplegen dat het daarmee effectiever en efficiënter is dan een individu.

Ik denk dat ik het maar vooral eng vindt.

Voorlopig kan het nog niet zonder mensen, het maakte enkele domme fouten namelijk:
-Toronto gaf het als antwoord in de categorie Amerikaanse steden
-Het gaf 1920s als antwoord terwijl dat net verkeerd was geantwoord door zijn voorganger.
Wat vooral de doelstelling was is het "begrijpen" van de vraag (de natuurlijke taal), we weten al lang dat computers goed zijn in het doorzoeken van grote hoeveelheden data..


Het ging erom:

Er werd gevraagd om een Amerikaans honkbalteam.

- Toronto, IL is een Amerikaanse stad
- Toronto, Canada heeft een (bekend) honkbalteam

Deze informatie werd op de verkeerde manier aan elkaar gekoppeld waardoor Watson Toronto als antwoord gaf.

misschien moet je nog maar even het filmpje bekijken wat aan het stukje
is gekoppeld, tip, rond 3.14 jouw antwoord klopt niet echt, de vraag gaat over de stad where the largest airport is renamed to a 2nd word war hero and the 2nd larges is named after a battle in the 2nd word war.

Je hebt gelijk dat dit de vraag was maar zoals in 't filmpje te zien zijn er een klein tiental Toronto's in de VS. Watson had slechts een zekerheid van 13 % bij zijn antwoord en Chicago, het juiste antwoord, had slechts 11% zekerheid. Bij een normale vraag zou Watson nooit geantwoord hebben. Aangezien het hier om de final Jeopardy ging moest hij antwoorden.

Daarnaast om even te reageren op het feit dat Watson hetzelfde foute antwoord gaf als de menselijke tegenstander.

Watson is blind en doof. Hij krijgt zijn input via een tekstbestand op het moment dat het antwoord op het scherm verschijnt voor de menselijke tegenspelers. Watson berekent zijn antwoord en indien voldoende zeker van zijn stuk, drukt hij op een knop net zoals de menselijke tegenspelers.

Er wordt tijdens het spel echter geen spraakherkenning gebruikt waardoor Watson zou kunnen weten wat de andere spelers antwoorden. Het antwoord wordt ook niet door iemand ingetikt zodat Watson dit mee zou kunnen nemen en bijgevolg afzien van het foute antwoord nogmaals te geven.

Hopelijk verheldert dit een en ander.

Michel Van der Poorten
Werknemer van IBM.

Ik ben er juist niet bang voor, aangezien machines wel écht rationeel kunnen handelen, en mensen maar zelden. Of zoals Fresco het zo mooi zei:
If you took your laptop and smashed it in front of 50 other laptops, trust me, none of them would care. People on the other hand...
Verder is leuk leesvoer hierover De Ijzeren Wil van Bas Haring.

[Reactie gewijzigd door Rick2910 op donderdag 17 februari 2011 12:18]


Alleen rationeel beslissingen nemen is ook niet alles en juist regelmatig onwenselijk. Als je rationeel denkt, als een computer bijv, is oplichting lucratief. Toch is dat niet de manier, waarop wij, mensen, met elkaar om willen gaan. Tenminste, op een paar uitzonderingen na dan.

Ik ga er voor het gemak vanuit dat ik een 'computer' niet nodig heb voor sociale interactie, maar voor het nemen van beslissingen in (bijv.) logistiek en wetenschap. En daar is rationaliteit echt een must (en op dit moment bij mensen een gebrek, omdat we deze zaken soms ook met gevoel benaderen).

Wat een rationeel wezen doet is afhankelijk kan zijn doel. Watson heeft als doel snel een antwoord vinden op de gestelde vraag. Maar als het doel je soortgenoot beschermen is, dan weet ik niet hoe veilig je met 50 laptops om je heen bent. Waarschijnlijk zullen ze je al "termineren" voordat je die ene kapot slaat. Het risico dat je één van hun kapot slaat is kleiner als je dood bent namelijk.

Het stomste wat we ooit kunnen doen is machines het doel geven zichzelf te beschermen. Want wij zijn hun grootste bedreiging.

Aan de andere kant weet z'n wezen dan ook dat het zichzelf in gevaar brengt als ie mensen gaat uitschakelen. Uiteindelijk is er een entiteit zoals een erg intelligent persoon, zonder biologisch beperkingen, geen emoties en toenemende macht. Het enige dat we kunnen hopen is dat we geen bedreiging voor het vormen.

Ik hoop dat ik het nooit mee zal maken.

Huisartsen raadplegen nu al hele versimpelde vormen van dit soort systemen. Kan je eng vinden of niet, het scheelt een heleboel tijd/kosten en verkeerde diagnoses.

De nadruk ligt inderdaad niet op een 'perfecte' antwoord machine. Maar op iets dat het beter en sneller kan dan een mens.

Bijkomende eigenschap van Watson die hem erg geschikt maakt voor medische diagnoses en treatment options zijn de risicoanalyse algorithmes. Bedenk dat er aan het stellen van een bepaalde diagnoses risico's verbonden zijn: een false positive is vaak (maar lang niet altijd) minder belangrijk dan een false negative. Dit zijn statistiek greepjes die voor een arts soms moeilijk zijn mee te wegen, maar die Watson prima mee kan nemen.

2880 processors en 16TB geheugen.

Dat is aardig wat om het van een brein van 1400 gram te moeten winnen. Wat dat betreft heeft de supercomputer nog een hele grote slag te maken.

Het is leuk dat die computer dat kan maar als je daar tien serverracks voor nodig hebt vind ik het toch niet zo'n super prestatie.

een grote hindernis was de snelheid die je nodig had.

Hij zou perfect de vragen kunnen beantwoorden met 1 rack, maar zou hiervoor bvb 1 minuut nodig hebben. Nu kan hij de vragen beantwoorden in 3-5sec, om sneller te zijn als de tegenspelers.

That said, die 10 serverracks worden er 5 volgend jaar...

Als Moore's law blijft gelden kan dit binnen 15-20 jaar op 1 simpele desktop CPU. Vind ik toch best een aardig prestatie.

ze verwachten dat moore's Law tot 2015 blijft gelden

Zodra we overgaan op grafeen hoor ik je nog wel een keer :)

Het is leuk dat die computer dat kan maar als je daar tien serverracks voor nodig hebt vind ik het toch niet zo'n super prestatie.
Hoe dat zo? Ik denk dat je de grootte van de computer en de AI apart moet zien. De ontwikkelaars van de AI die Watson gebruikt kunnen er toch ook verder niets aan doen dat we op dit moment nog niet in staat zijn om kleinere, net zo krachtige computers te maken?

Te winnen in de zin van Jeopardy.

Het brein kan uiteraard veel, veel meer dan bovenstaande hardware.

Laten we naast al die fancy hardware ook de software stack niet vergeten, alles is java based en dus een mooi voorbeeld van wat voor mooie snelle dingen hiermee te bouwen zijn.

Geweldige prestatie, hier ligt volgens mij de weg voorwaarts.
Extreem knap hard- en software design ligt hier aan ten grondslag.
Dus respect voor de engineers die dit mogelijk hebben gemaakt.

Ik vind het jammer dat ze niet "het internet" als bron hebben gepakt. Dat opent toch wat meer deuren richting collectief gebruik van kennis.

Je hebt natuurlijk geen tijd om op connection lag te wachten of een webserver die het zowiezzo al druk heeft bij het beantwoorden van een Jeopardy vraag.

Volgens mij mogen menselijke spelers ook geen internet gebruiken, dus hadden ze eerst het internet gedownload. ;)

Nou dat internet als bron vind ik niet zo spannend met inderdaad de lag maar ook de foute informatie op internet. Het lijkt mij zinvoller om wereld wijd of vanuit alle ziekenhuisen via een internet interface vragen te laten stellen. Hij kan meedoen aan Jeopardy en dus binnen een aantal seconden het antwoord vinden. Als hij in een of twee ziekenhuizen gebruikt wordt doet hij het meerendeel van de tijd niets!

Maak dan maximaal gebruik van deze machine door hem continu te laten werken.

Geweldig. Maximaal respect! Dit is zo'n geweldige innovatie. Ik weet bijna zeker dat we in de toekomst hier allemaal mee gaan werken.
«  1  2  3  4  »

Op dit item kan niet meer gereageerd worden.

Volgende 12:00 Nikon patenteert opklapbare, halfdoorlatende spiegelconstructie
Vorige 11:26 Sony deelt bans uit aan gebruikers met gekraakte PS3
VNU Media logo Hosted by True

© 1998 - 2012 Tweakers.net B.V. - Alle rechten voorbehouden - Contact - Jouw privacy - Algemene Voorwaarden

Uitgever van:

Website van het jaar 2011