IBM's supercomputer Watson wint eindronde Jeopardy

De computer die IBM speciaal heeft ontwikkeld om mee te doen aan het tv-programma Jeopardy, heeft het spel na drie dagen gewonnen. De supercomputer versloeg de twee beste spelers die ooit aan het programma deelnamen.

Na de eerste speelronde op maandag stond de IBM supercomputer nog op gelijke hoogte met een van de menselijke tegenstanders. Watson, zoals de supercomputer genoemd wordt, liet in de tweede en derde dag zijn tegenstanders achter zich en eindigde met een bedrag van 77.147 dollar op zijn teller. De twee tegenstanders, Jeopardy's beste deelnemers ooit, stonden op 24.000 en 21.600 dollar. IBM schenkt het prijzengeld dat Watson met zijn optreden verdiende, één miljoen dollar, aan een goed doel.

Watson bestaat uit tien serverracks met daarin in totaal 2880 processors en 16TB geheugen. Apaches Hadoop distributed filesystem bestuurde de vier terabyte aan ongestructureerde data, waarin werd gezocht door middel van Apaches UIMA-framework. De Jeopardy-vragen werden met IBM's DeepQA geanalyseerd en de antwoorden werden via een text-to-speech-systeem ten gehore gebracht.

Met zijn publiciteitsstunt achter de rug wordt Watson naar twee ziekenhuizen gestuurd. In het Columbia University Medical Center en de University of Maryland School of Medicine zal Watson helpen bij de diagnose van patiënten. Het systeem maakt daarbij gebruik van bronnen als medische publicaties en literatuur. De algoritmes van Watson kunnen grote hoeveelheden data analyseren en relevante gegevens eruit filteren. Voordat Watson in de ziekenhuizen echter daadwerkelijk diagnoses kan stellen, zullen technici nog enkele jaren bezig zijn met het afstellen van de software en het geven van medische scholing aan Watson.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (119)

Ik heb watson 2 weken geleden "live" in actie gezien tijdens Lotusphere in Orlando.

Het is een indrukwekkende machine, zeker gezien de algoritmes die hij gebruikt. Hij kijkt niet alleen naar het "beste" antwoord (wat ie het meeste tegenkomt) maar hij gebruikt ook "vertrouwen" (confidence) om aan te geven hoe zeker hij over iets is.

Een van de professoren die hem gebouwd heeft, liet ook zien hoe de evolutie van watson was tov jeopardy spelers uit het verleden. Het heeft heel wat stappen gekost om hier dichtbij te komen. De 2 rijen racks zijn nodig, omdat het op een single machine ong 2 a 3 uur kostte om een antwoord te vinden.

Overigens is hij niet specifiek gebouwd voor jeopardy, maar omdat jeopardy moeilijke vragen heeft, nuances en verwijzingen die wij in onze natuurlijke taal begrijpen, maar die een computer (tot nu toe) niets zegt.

De medische hoek lijkt me de meest interessante hoek om deze machine verder in te zetten om de DeepQA technology echt te testen.

@kbasten: tijdens de wedstrijd is Watson niet verbonden met het web, ervoor/na kan dit wel om nieuwe dingen te leren.

Dat vertrouwen word louter berekend uit het aantal antwoorden, die op hetzelfde resultaat uitkomt of daar dicht tegenaan schuurt. Kortom; het blijft een berekent iets, zonder enig gevoel.

En een menselijk brein werkt niet zo? Iedereen maakt rationele keuzes op basis van zijn/haar herinneringen. Bij mensen speler er alleen veel meer storingsfactoren.
Mensen verdraaien en vervormen herinneringen en hormonen beïnvloeden ook keuzes. Watson heeft hiervan geen last omdat het systeem velen malen simplistischer is. Maar het fundamentele denkwerk gaat op een vergelijkbare manier.
Je kijkt wat je weet (herinnering vs database) en je controleert of je antwoord logisch is. (vertrouwen vs kwantitatief resultaat)

Watson is in enkele opzichten efficiënter en betrouwbaar en in andere opzichten niet. Er zijn zowel verschillen als overeenkomsten met mensen. Mja het blijft man vs machine...

Dag 1:
deel 1: http://www.youtube.com/watch?v=ZLdkJpAtt1I
deel 2: http://www.youtube.com/watch?v=FXH7jn2AHAw

Dag 2:
deel 1: http://www.youtube.com/watch?v=q746cR66FA8
deel 2: http://www.youtube.com/watch?v=Z-SwH__YVNA

Dag 3:
deel 1: http://www.youtube.com/watch?v=n3XrYaxKBJY
deel 2: http://www.youtube.com/watch?v=8W36OuMU0yE

Voordat Watson in de ziekenhuizen echter daadwerkelijk diagnoses kan stellen, zullen technici nog enkele jaren bezig zijn met het afstellen van de software en het geven van medische scholing aan Watson.

Bestaat het risico niet dat ie tegen dan niet meer relevant is? Als je ziet wat Google Desktop Search en Copernic kunnen met huis-tuin-en-keuken computers op deze moment... Misschien hebben we over "enkele jaren" wel pc's die 10-20-100 keer krachtiger zijn en heeft Google en/of Copernic nog betere (snellere) algoritmes?
Enkel de text2speech zit er bij Google (nog?) niet in, maar verder?

Google desktop search is niet "slim", Watson wel. Watson analyseert een vraagstuk en haalt daarbij het zo correct mogelijke antwoord naar voren. Google desktop search weergeeft enkel de gezochte term.

Om enkel de gezochte termen te weergeven heb je geen Watson nodig. Daarvoor staat de medische literatuur al goed genoeg voor online in databases als UpToDate, Pubmed en Medline.

Echter, staat er ZO veel informatie, dat het steeds moeilijker te behappen wordt. Om het goed bij te houden krijg je een legio aan subspecialisaties binnen artsen welk zich allen met een zeer klein terrein bezig houden, en patiënten veelal gedwongen worden grote afstanden af te leggen om bij de juiste arts te komen.

Als je dit deels kunt verheffen door een "superslimme" computer welk binnen no-time alle beschikbare literatuur kan analyseren aan de hand van de gegegevens bekend binnen je EPD, en vervolgens met een goed, overzichtelijke analyse terugkomt naar de arts, dan kan dit het al weer voor een groot aantal ziektebeelden toch een stuk makkelijker maken om goed te behandelen. De benodigde kennis komt namelijk veel beter binnen handbereik.


Daarnaast kun je Watson uiteraard ook mogelijk inzetten voor zaken waar we hiervoor huisartsen hebben. Niet ieder land kent een huisartsen systeem, waardoor je dus veel patiënten binnen een ziekenhuis krijgt vanwege kleine kwaaltjes. Watson zou een eerste analyse kunnen doen bij patiënten, de resultaten doorspelen naar de arts en aan de hand hiervan beslissen of er nog verdere controle benodigd is, of dit voldoende is.


Uiteraard is dit allemaal nog toekomst muziek, en zal er eerst veel onderzoek gedaan moeten worden om te kijken of zo'n computer goed genoeg in staat is om net als een echte arts / assistent te functioneren. Ik denk persoonlijk, dat als er voldoende geinvesteerd wordt in dit systeem door te ontwikkelen, Watson objectiever en acurater kan gaan functioneren dan artsen wat betreft aanvankelijke diagnostiek. Met name emoties zullen bij Watson namelijk geen storende rol vormen.

Watson is zo slim als de mensen die aan de software voor Watson gewerkt hebben. Watson kan zelf niks leren bijv, alles is door mensen bedacht en geimplementeerd.

Nee, Watson wordt beperkt door zijn algoritmes EN zijn database. Daar zit veel meer informatie in, dan in de combinatie van de kennis van de onderzoekers. Toch een belangrijke nuancering.

Iets wat er wel een beetje op lijkt is google squared. Het werkt dan wel niet met text input en output, maar zoekt data op op het internet zoals Watson dingen opzoekt in de texten in zijn geheugen.

Deze stunt is toch mogelijk door de toepassing van DeepQA (zoals in het artikel staat).
Dit niet iets waar google zich op dit moment mee bezighoudt (iig niet bij de ontwikkeling van hun algoritm, correct me if i'm wrong).
DeepQA houdt in dat vragen in natuurlijke taal beantwoord kunnen worden. Voor meer info erover:
http://www.research.ibm.com/deepqa/deepqa.shtml

De hardware is uiteraard een 'means to an end': als rekenkracht over pak 'm beet 2 jaar verdubbeld is, heb je nog vijf racks nodig voor zelfde capaciteit. Over een paar jaar kun je dit soort dingen dus ook op je desktop doen. Kan nu ook al (systeem is schaalbaar naar single-cpu), maar dan duurt het allemaal zo lang

Moore's Law
http://en.wikipedia.org/wiki/Moore's_law

Fantastisch! IBM heeft een prachtig apparaat gebouwd. Het meedoen aan Jeopardy is natuurlijk niet bijzonder nuttig, maar het toont wel de kracht van het apparaat.

Denk je een computer in die je gewoon een vraag kan stellen, en dat je binnen luttele seconden een goed en volledig antwoord krijgt... beats Google

dit lijkt er een beetje op. Maar het werkt nog niet helemaal goed
http://www.wolframalpha.com/

Dat lijkt er juist helemaal niet op. wolframalpha werkt uitsluitend met gestructureerde databases.

Het meedoen aan Jeopardy is wel degelijk nuttig: het is een perfecte testomgeving om de algoritmes te testen zonder dat er risico's aan verbonden zijn (afgezien van gezichtsverlies voor IBM, wellicht)

Eh, heb je de afleveringen gezien?
Jeopardy was juist een PRIMA testomgeving.

De manier waarop de vragen worden gesteld zijn vaak heel dubbelzinnig, en woorden kunnen meerdere betekenissen hebben. Dat Watson erin slaagt om dat met hoge accuratesse te doorgronden is best indrukwekkend te noemen.

2880 processors en 16TB geheugen.

Dat is aardig wat om het van een brein van 1400 gram te moeten winnen. Wat dat betreft heeft de supercomputer nog een hele grote slag te maken.

Het is leuk dat die computer dat kan maar als je daar tien serverracks voor nodig hebt vind ik het toch niet zo'n super prestatie.

een grote hindernis was de snelheid die je nodig had.

Hij zou perfect de vragen kunnen beantwoorden met 1 rack, maar zou hiervoor bvb 1 minuut nodig hebben. Nu kan hij de vragen beantwoorden in 3-5sec, om sneller te zijn als de tegenspelers.

That said, die 10 serverracks worden er 5 volgend jaar...

Het is leuk dat die computer dat kan maar als je daar tien serverracks voor nodig hebt vind ik het toch niet zo'n super prestatie.

Hoe dat zo? Ik denk dat je de grootte van de computer en de AI apart moet zien. De ontwikkelaars van de AI die Watson gebruikt kunnen er toch ook verder niets aan doen dat we op dit moment nog niet in staat zijn om kleinere, net zo krachtige computers te maken?

Te winnen in de zin van Jeopardy.

Het brein kan uiteraard veel, veel meer dan bovenstaande hardware.

Als Moore's law blijft gelden kan dit binnen 15-20 jaar op 1 simpele desktop CPU. Vind ik toch best een aardig prestatie.

ze verwachten dat moore's Law tot 2015 blijft gelden

Zodra we overgaan op grafeen hoor ik je nog wel een keer

Laten we naast al die fancy hardware ook de software stack niet vergeten, alles is java based en dus een mooi voorbeeld van wat voor mooie snelle dingen hiermee te bouwen zijn.

Ik weet niet of ik nu mijn mond van bewondering open moet laten vallen, of dat ik dit doodeng moet vinden. We hebben dus iets gecreëerd dat in staat is om de collectieve kennis die wij mensen in bronnen hebben opgeslagen op een dusdanige manier te raadplegen dat het daarmee effectiever en efficiënter is dan een individu.

Ik denk dat ik het maar vooral eng vindt.

Ik ben er juist niet bang voor, aangezien machines wel écht rationeel kunnen handelen, en mensen maar zelden. Of zoals Fresco het zo mooi zei:

If you took your laptop and smashed it in front of 50 other laptops, trust me, none of them would care. People on the other hand...

Verder is leuk leesvoer hierover De Ijzeren Wil van Bas Haring.

[Reactie gewijzigd door TDeK op 17 februari 2011 12:18]

Alleen rationeel beslissingen nemen is ook niet alles en juist regelmatig onwenselijk. Als je rationeel denkt, als een computer bijv, is oplichting lucratief. Toch is dat niet de manier, waarop wij, mensen, met elkaar om willen gaan. Tenminste, op een paar uitzonderingen na dan.

Ik ga er voor het gemak vanuit dat ik een 'computer' niet nodig heb voor sociale interactie, maar voor het nemen van beslissingen in (bijv.) logistiek en wetenschap. En daar is rationaliteit echt een must (en op dit moment bij mensen een gebrek, omdat we deze zaken soms ook met gevoel benaderen).

Wat een rationeel wezen doet is afhankelijk kan zijn doel. Watson heeft als doel snel een antwoord vinden op de gestelde vraag. Maar als het doel je soortgenoot beschermen is, dan weet ik niet hoe veilig je met 50 laptops om je heen bent. Waarschijnlijk zullen ze je al "termineren" voordat je die ene kapot slaat. Het risico dat je één van hun kapot slaat is kleiner als je dood bent namelijk.

Het stomste wat we ooit kunnen doen is machines het doel geven zichzelf te beschermen. Want wij zijn hun grootste bedreiging.

Aan de andere kant weet z'n wezen dan ook dat het zichzelf in gevaar brengt als ie mensen gaat uitschakelen. Uiteindelijk is er een entiteit zoals een erg intelligent persoon, zonder biologisch beperkingen, geen emoties en toenemende macht. Het enige dat we kunnen hopen is dat we geen bedreiging voor het vormen.

Ik hoop dat ik het nooit mee zal maken.

Huisartsen raadplegen nu al hele versimpelde vormen van dit soort systemen. Kan je eng vinden of niet, het scheelt een heleboel tijd/kosten en verkeerde diagnoses.

De nadruk ligt inderdaad niet op een 'perfecte' antwoord machine. Maar op iets dat het beter en sneller kan dan een mens.

Bijkomende eigenschap van Watson die hem erg geschikt maakt voor medische diagnoses en treatment options zijn de risicoanalyse algorithmes. Bedenk dat er aan het stellen van een bepaalde diagnoses risico's verbonden zijn: een false positive is vaak (maar lang niet altijd) minder belangrijk dan een false negative. Dit zijn statistiek greepjes die voor een arts soms moeilijk zijn mee te wegen, maar die Watson prima mee kan nemen.

Voorlopig kan het nog niet zonder mensen, het maakte enkele domme fouten namelijk:
-Toronto gaf het als antwoord in de categorie Amerikaanse steden
-Het gaf 1920s als antwoord terwijl dat net verkeerd was geantwoord door zijn voorganger.
Wat vooral de doelstelling was is het "begrijpen" van de vraag (de natuurlijke taal), we weten al lang dat computers goed zijn in het doorzoeken van grote hoeveelheden data..

Ik weet niet hoe de vraag exact gesteld werd, maar:

http://www.hometownusa.com/ks/Toronto.html
http://www.hometownusa.com/sd/Toronto.html

Het ging erom:

Er werd gevraagd om een Amerikaans honkbalteam.

- Toronto, IL is een Amerikaanse stad
- Toronto, Canada heeft een (bekend) honkbalteam

Deze informatie werd op de verkeerde manier aan elkaar gekoppeld waardoor Watson Toronto als antwoord gaf.

misschien moet je nog maar even het filmpje bekijken wat aan het stukje
is gekoppeld, tip, rond 3.14 jouw antwoord klopt niet echt, de vraag gaat over de stad where the largest airport is renamed to a 2nd word war hero and the 2nd larges is named after a battle in the 2nd word war.

Je hebt gelijk dat dit de vraag was maar zoals in 't filmpje te zien zijn er een klein tiental Toronto's in de VS. Watson had slechts een zekerheid van 13 % bij zijn antwoord en Chicago, het juiste antwoord, had slechts 11% zekerheid. Bij een normale vraag zou Watson nooit geantwoord hebben. Aangezien het hier om de final Jeopardy ging moest hij antwoorden.

Daarnaast om even te reageren op het feit dat Watson hetzelfde foute antwoord gaf als de menselijke tegenstander.

Watson is blind en doof. Hij krijgt zijn input via een tekstbestand op het moment dat het antwoord op het scherm verschijnt voor de menselijke tegenspelers. Watson berekent zijn antwoord en indien voldoende zeker van zijn stuk, drukt hij op een knop net zoals de menselijke tegenspelers.

Er wordt tijdens het spel echter geen spraakherkenning gebruikt waardoor Watson zou kunnen weten wat de andere spelers antwoorden. Het antwoord wordt ook niet door iemand ingetikt zodat Watson dit mee zou kunnen nemen en bijgevolg afzien van het foute antwoord nogmaals te geven.

Hopelijk verheldert dit een en ander.

Michel Van der Poorten
Werknemer van IBM.

Ik vind het jammer dat ze niet "het internet" als bron hebben gepakt. Dat opent toch wat meer deuren richting collectief gebruik van kennis.

Je hebt natuurlijk geen tijd om op connection lag te wachten of een webserver die het zowiezzo al druk heeft bij het beantwoorden van een Jeopardy vraag.

Volgens mij mogen menselijke spelers ook geen internet gebruiken, dus hadden ze eerst het internet gedownload.

Nou dat internet als bron vind ik niet zo spannend met inderdaad de lag maar ook de foute informatie op internet. Het lijkt mij zinvoller om wereld wijd of vanuit alle ziekenhuisen via een internet interface vragen te laten stellen. Hij kan meedoen aan Jeopardy en dus binnen een aantal seconden het antwoord vinden. Als hij in een of twee ziekenhuizen gebruikt wordt doet hij het meerendeel van de tijd niets!

Maak dan maximaal gebruik van deze machine door hem continu te laten werken.

weet ook niet wat ik er van moet denken .
het belangrijkste is een goed spraakherkennings en verwerkings systeem .
als de hardware dat goed omzet en verwerkt is het best logisch dat die sneller is en meer antwoorden weet lijkt me.
het is heel simpel gezegd niet veel anders dan horen wat de vraag is dat goed omzetten in data en dan gaat de computer in zijn database zoeken waar in principe alle antwoorden in staan dat is alles heel simpel gezegd .
evengoed knap dat dat gedaan is maar ook met het aantal benodigde hardware hebben ze nog een hele lange weg te gaan /
maar in de toekomst die wel aardig dichtbij is nu weet ik niet of ik dat zo fijn ga vinden als er zon machines rondlopen

voor zover ik het begrepen had wierden de vragen nog steeds woord voor woord (zelfde snelheid als de presentator) gevoed door text input, dus nog geen spraakherkenning, enkel de omgekeerde weg (text to speech), maar dat is imho technisch een veel mindere prestatie (dat kan mn kindle of mn gsm ook).

Jij kijkt nooit Jeopardy vermoed ik . De clou is juist dat je het antwoord krijgt en moet raden wat de vraag is.

Ik heb Watson live aan het werk gezien tijdens de closing sessie van Lotusphere 2011. Toen speelde hij tegen 4 conferentiebezoekers, waarbij de twee vrouwen overigens erg veel wisten. Op de monitor zag je steeds de 3 meest waarschijnlijke antwoorden/vragen van Watson. Wat daarbij opviel was dat ook bij antwoorden waarbij de vraag uit 1 van drie opties bestond (bijvoorbeeld welke stad het meest noordelijk ligt), Watson gerust 2 volslagen andere steden als 2e en 3e optie liet zien. Soms zat Watson er ook lachwekkend naast. Vooral met vragen waar een mens iets langer over na moet denken liet Watson echter zijn kracht zien. Ongeacht de vraag was Watson in zo'n 2 1/2 seconde klaar met zijn berekening.

[Reactie gewijzigd door martdj op 17 februari 2011 12:25]

Je moet het antwoord inderdaad formuleren als een vraag, maar uiteindelijk is het gewoon een vraag en antwoord spelletje. Het feit dat je "Wie is ..." of "Wat is ..." voor je antwoord moet zetten maakt het voor een computer natuurlijk niet gek veel ingewikkelder.

[Reactie gewijzigd door Stiegl op 17 februari 2011 13:36]

Spraakherkenning (wat niet gebruikt werd in dese setup) is een heel moeilijk probleem maar bijna triviaal in vergelijking met wat hier achter de schermen gebeurt.

Hij moet namenlijk niet de tekst kunnen herkennen maar hij moet hem "begrijpen". En niet alleen de vraag maar ook nog eens miljoenen(?) pagina's bronmateriaal en dan een antwoord op de vraag extraheren. Dit is een nog nooit vertoond iets en een zeer grote stap.

Kunnen ze de naam dan niet veranderen naar House ipv Watson als ze hem medisch in gaan zetten?

Nee dan moet er nog een extra rack met sarcastische opmerkingen en eentje met manipulatief gedrag aan toe worden gevoegd.

Ik vraag me af of er een delay op die buzzer van watson zit. Dus zodra hij het antwoord weet wacht hij een fractie van een seconde tot hij drukt. Om de reactietijd van de mens te simuleren.

Een robotarm, geloof ik.

Er hoeft geen reactietijd worden gesimuleerd, omdat er geen mens wordt gesimuleerd. Er wordt een computer gebruikt om de vragen en antwoorden te koppelen, dat is het doel van deze supercomputer, niet om te doen alsof deze machine menselijk is.

ik denk dat je bedoeld dat ie even tijd nodig heeft om de 'spraak' te samplen, ze zullen daar ongewtijfeld standaard libs voor hebben gebruikt die doorgaans neit zullen schalen en dus op 1 enkele core draaien. dat kost heel even,

Hmm... nu je dat zo zegt? Hij zal toch niet vernoemd zijn naar Dr.Watson die in het WindowsNT 4.0 tijdperk regelmatig zijn gezicht liet zien?

Nee, hij is vernoemd naar een voormalig CEO van IBM.

Nee, hij is vernoemd naar een voormalig CEO van IBM.

Uiteraard wel met een twist, omdat Watson natuurlijk ook de figuur was die Sherlock Holmes continu met de juiste antwoorden bijstond.

In 1911 werd CTR opgericht, "Computing Tabulating Recording Corporation"; op zichzelf ook een fusie van een aantal bedrijven, maar het wordt gezien als de geboorte van IBM.

In 1914 kwam Thomas J. Watson in beeld, die bij NCR carriere had gemaakt en daar was ontslagen vanwege o.a. een antitrust zaak. Watson doopte in 1914 CTR om in IBM en bouwde in een dikke 40 jaar een gigantisch bedrijf op.

Nog steeds zijn in het hedendaagse IBM de sporen van Watson zichtbaar. Watson's motto (THINK!) is nog altijd in veel IBM gebouwen en uitingen zichtbaar. Maar denk ook aan de THINKpad. Ook het begrip "maintent session" komt uit de tijd van Watson en wordt nog steeds bij IBM evenementen gebruikt.

Hij is natuurlijk vernoemd naar deze meneer

if medicalcondition == "lupus":
return False

Mwa het is nu geprogrammeerd in een omgeving die hier vast niet geschikt voor is, het bevat vast geen optimalisaties (simpelweg omdat dit allemaal te nieuw is). Dus wat krijg je dan? Bloated software die 90% van de CPU's onzinnig benut.

Met andere woorden: niet alleen de hardware zal sneller worden, de programmatuur zal ook beter worden.

Wat je dan krijgt over 5 tot 10 jaar is dat deze functionaliteit in iedere PC mogelijk is.

En over 50 jaar hangt je polshorloge die dit dan kan aan je brein en kan iedereen het...

Dit is een supercomputer die al enkele jaren in ontwikkeling is, waar miljoenen in is gestoken. Dit zit niet in de hardware maar juist in de software. Aangezien de processorcapaciteit de enige limiterende factor voor de snelheid van de berekeningen is, ga ik er juist van uit dat het grootste doel zeer sterk geoptimaliseerde software voor het begrijpen van menselijke tekst is, dus ik ga er van uit dat dat ook aardig goed zit.

Het is natuurlijk nooit onmogelijk om software verder te optimaliseren, maar het is wel belangrijk dat je onthoudt dat dit geen hardware-project is maar juist een software-project. De hardware, hoewel indrukwekkend, is zo goed als off-the-shelf.

Ik verwacht dat er nog veel winst te behalen is met betere algoritmes maar echt niet omdat de huidige inefficïent zijn. Zoals bij elke eerste les algoritmiek uitgelgd zal worden is het niet zo dat je met snellere computers minder efficiënte code nodig hebt. Efficiënte code is zelfs belangrijker aangezien slecht schalende software kan met een 100x snellere computer misschien maar 2x zoveel data kan verwerken, en daar heeft niemand echt iets aan.

De winst komt voort uit verbeterd inzicht niet uit beter programmeerwerk (mag ik hopen van ibm).

[Reactie gewijzigd door martijnve op 17 februari 2011 17:02]