DeepMind-algoritme leert in uren op topniveau schaak, shogi en go

DeepMind heeft het AlphaZero-algoritme ontwikkeld dat zonder enige voorkennis spellen kan leren puur op basis van de spelregels. In enkele uren kan het programma zo beter dan een mens of het beste programma tot nu toe presteren.

Bij schaken wist AlphaZero na 4 vier uur trainen, of 400.000 stappen, beter te presteren dan Stockfish 8. De opensourcesoftware Stockfish staat bekend als het beste schaakprogramma van dit moment. Van de 100 wedstrijden won AlphaZero er 28 en verloor het er 0, de rest kwam uit op remise. AlphaZero doet zijn werk aanzienlijk efficiënter: het programma zoekt 80.000 posities per seconde bij schaken, tegen de 70 miljoen van Stockfish. DeepMinds programma richt zich alleen op de meest veelbelovende zetten, wat volgens het team achter het programma 'menselijker' is.

Maar de software is niet alleen snel in het from scratch leren van schaak. De ontwikkelaars testten de eigenschappen ook bij het Japanse schaakspel shogi. Hierbij waren 110.000 stappen nodig, of 2 uur, om het niveau van het shogi-programma Elmo te bereiken. Hierbij won AlphaZero 90 potjes, met een verlies in 8 partijen.

Ook in go maakt AlphaZero zichzelf in korte tijd heer en meester. De trainingstijd hierbij is met 8 uur, gelijk aan 165.000 stappen, wat langer maar hierna is het programma beter dan de bestaande algoritmes AlphaGo Lee en AlphaGo Zero, eveneens van DeepMind. AlphaGo Zero is de verbeterde versie van AlphaGo, waarmee DeepMind de kampioen Lee Sedol wist te verslaan. Ook AlphaGo Zero heeft geen door mensen geprogrammeerde voorkennis van het spel nodig.

Zelfs na een trainingstijd van drie dagen, tegen de 8 uur van AlphaZero, moest AlphaGo Zero het onderspit delven in 60 van de 100 go-partijen. De Zero-variant won 40 keer. Gedurende de training kon AlphaZero 5000 tpu's van de eerste generatie en 64 van die eenheden van de tweede generatie inzetten. Tpu staat voor tensor processing unit. Deze chips zijn door Google ontwikkeld om rekenwerk voor deep learning af te handelen. Het getrainde algoritme draaide uiteindelijk op een systeem met vier tpu's.

Het Britse ai-bedrijf DeepMind, sinds 2014 onderdeel van Google, publiceert de resultaten van zijn onderzoek in een artikel met de naam Mastering Chess en Shogi by Self-Play with a General Reinforcement Learing Algorithm.

Reacties (65)

[Mr777]

Momenteel is de allerlaatste ronde van de Top Chess Engine Championship bezig, het wereldkampioenschap onder de schaakengines. Grote winnaar is de Belgische engine Houdini, die het in de superfinale haalde van Komodo. Stockfish wist zich helaas niet te kwalificeren om in de superfinale te raken, tot verdriet en ongenoegen van zijn grote schare fans.

Begin 2018 begint het elfde seizoen van TCEC, dan nemen Stockfish, Komodo, Houdini en de andere engines het weer tegen elkaar op. Misschien komt AlphaZero er ooit ook wel bij, wie weet. Hoewel het dan misschien wel wat saaier wordt, want hoe intelligenter de engines worden, hoe vaker de partijen eindigen in gelijkspel, dat is natuurlijk een logisch gevolg van al die brute kracht.

[Reactie gewijzigd door Mr777 op 22 juli 2024 15:51]

[MSalters]

hoe intelligenter de engines worden, hoe vaker de partijen eindigen in gelijkspel, dat is natuurlijk een logisch gevolg van al die brute kracht.

Dat is niet logisch. Er zijn genoeg spellen bekend waarin de beginnende speler een winnende strategie heeft, en er zijn ook spellen waarin de tweede speler een winnende strategie heeft. Van complexe spellen zoals schaken en Go is geen winnende strategie bekend.

[Mr777]

Ik heb het niet over winnende strategieën, ik zei alleen dat twee heel sterke engines de kans op gelijkspel flink vergroten. Wikipedia stelt het zo:

"In chess games played at the top level, a draw is the most common outcome of a game: of around 22,000 games published in The Week in Chess played between 1999 and 2002 by players with a FIDE Elo rating of 2500 or above, 55 percent were draws. According to chess analyst Jeff Sonas, although an upward draw rate trend can be observed in general master-level play since the beginning of the 20th century, it is currently "holding pretty steady around 50%, and is only increasing at a very slow rate".[6]
[...]
In computer chess, the draw rate among top programs is typically between 50 and 60 percent."

Met andere woorden, hoe intelligenter de engines worden, hoe hoger dat percentage gaat worden.

[JeroenED]

AlphaZero zal niet meedoen. Aangezien dat mij niet de stijl van google lijkt (ze zijn meer van Break through and Let go). Ik denk echter wel binnenkort engines te zien die gebaseerd zijn AlphaZero's partijen en speelstijl.

[JeroenED]

De manier waarop AlphaZero Stockfish versloeg is ook om duimen en vingers bij af te likken, zeker als schaker zijnde. Bepaalde zetten waren heel opvallend en als je later het vervolg kijkt zie je hoe een dameoffer toch een enorm voordeel biedt.

Als IT'er zijnde baart het mij wel zorgen. Ondanks de grote beloftes van tal van bedrijven wordt AI steeds beter en beter en vrees ik dat we deze bedreiging enorm onderschatten. Als we rekening houden dat schaken gebaseerd is op oorlog baart het mij al helemaal zorgen.

Kleine sidenote: waarom nu? Met het TCEC tornooi in volle finale word is alle aandacht weggehaalt door google.

[SinergyX]

De kunst van topschakers op dit moment is simpel, die moves allemaal te weten, maar geen hulp mogen gebruiken. Als jij dan vervolgens tegen 'iets' speelt wat simpel al deze dingen kan opslaan en raadplegen (factor weet ik hoeveel grotere opslag dan de mens), hoe 'slim' is dan nu echt een computer?

Wat ik nooit begreep met schaken, het zijn toch maar een fixed set van spelen? Ja, bizar veel, maar elke zet elimineert een enorm deel van al de mogelijke zetten, dat het simpel teruggebracht niet meer is dan een spelletje boter/kaas/eieren? Natuurlijk heb je enorme rekenkracht nodig om alles af te gaan, maar de maximale zetten zijn altijd fixed.

[latka]

Eindig/fixed wel. Maar het zijn er heel veel. "Het aantal reglementaire stellingen op het schaakbord ligt naar schatting tussen 10^43 en 10^50, en de speltheoretische complexiteit is bij benadering 10^123.". Dat is beetje zoiets als zeggen dat AES encryptie niet veilig is want er zijn maar 128 bits.. er zijn minder atomen (10^80) in het universum dan dat er schaak posities zijn. Brute forceren werkt niet meer bij deze aantallen.

[SinergyX]

Ik zeg ook niet brute forceren van elk denkbare set, maar vanuit elke zet zijn er steeds minder uitkomsten mogelijk, dat er vanaf een punt best te berekenen valt wat de beste zet kan gaan worden. als ik nu zie dat computers bij de TCEC al over de 1 mil /sec zetten kunnen nagaan, plus ze dus continue een database van reeds berekende mogelijkheden kunnen opslaan (of zelfs delen), zal er best een breekpunt zijn vanaf waar dat berekend kan worden (en er ws dus een boter/kaas/eieren resultaat komt - reden dat er ook zoveel gelijkspellen zijn).

Natuurlijk werk je met cijfers die vooralsnog veel te groot zijn om 'on the fly' te berekenen, maar er zit een einde aan de reeks, er is een absoluut antwoord te berekenen, praat je dan wel over iets wat 'slim' is? Net als de formules om de combinaties van de enigma machine te berekenen, of alle combinaties van 9x9 Sudoku grids, fixed set van mogelijkheden waar het enkel de kunst is deze optimaal te kunnen bekijken.

[Reactie gewijzigd door SinergyX op 22 juli 2024 15:51]

[CAPSLOCK2000]

Ik zeg ook niet brute forceren van elk denkbare set, maar vanuit elke zet zijn er steeds minder uitkomsten mogelijk, dat er vanaf een punt best te berekenen valt wat de beste zet kan gaan worden.

Dat klopt, momenteel ligt dat punt op alle mogelijke schaakspelen met 7 of minder stukken. Dus als je het spel zo ver weet te brengen dat er in totaal nog maar 7 stukken op bord staan, dan kun in een database opzoeken hoe het verder moet. Die database is 140TB groot.

Natuurlijk werk je met cijfers die vooralsnog veel te groot zijn om 'on the fly' te berekenen, maar er zit een einde aan de reeks, er is een absoluut antwoord te berekenen, praat je dan wel over iets wat 'slim' is?

Wat is slim?
Één van de meer filosofische problemen van AI is dat we niet weten hoe onze eigen intelligentie werkt of wat het nu precies betekent om slim te zijn. We hebben er allemaal wel een bepaald idee bij, maar een exacte definitie blijkt erg moeilijk.
Zelf ben ik van de "als het kwaakt als een eend"-school. Als het zich gedraagt alsof het intelligent is, dan is het wat mij betreft intelligent. Het wordt wel eens geformuleerd als "Kan een duikboot zwemmen?". Het antwoord daarop ligt aan je exact definitie, maar wat het antwoord ook is, een duikboot kan zich door het water van A naar B verplaatsen, en in de meeste gevallen is dat waar het echt om gaat.

[Reactie gewijzigd door CAPSLOCK2000 op 22 juli 2024 15:51]

[Origin64]

Je zou wel kunnen stellen dat het een ander soort intelligentie betreft. Een mense heeft bijv. maar een beperkte hoeveelheid 'werkgeheugen' tov een computer en rekent minder snel en zal zijn intelligentie dus harder moeten gebruiken om hetzelfde resultaat te behalen. Ik vind het een beetje appels met peren vergelijken.

Als dat algoritme nu bij een beperkte kloksnelheid en met ook nog de beperking dat je maar een klein aantal zetten tegelijk met elkaar kan vergelijken in dezelfde hoeveelheid tijd als een mens nodig heeft een betere zet kan doen, dan zou dat indrukwekkender zijn dan een enorm neural network bouwen met weinig beperkingen. Ik acht het ondertussen wel zo'n beetje bewezen dat je op die manier elk spel kunt winnen.

[CAPSLOCK2000]

Je zou wel kunnen stellen dat het een ander soort intelligentie betreft. Een mense heeft bijv. maar een beperkte hoeveelheid 'werkgeheugen' tov een computer en rekent minder snel en zal zijn intelligentie dus harder moeten gebruiken om hetzelfde resultaat te behalen. Ik vind het een beetje appels met peren vergelijken.

Daarom ben ik dus van de "als het kwaakt als een eend"-school. We kunnen lang discussieren over soorten intelligentie en "echte" intelligentie, maar we weten zelf niet eens wat dat is. Zonder duidelijke definitie kan je altijd wel een verschil vinden tussen het een en het ander. Die discussie staat al minstens 50 jaar stil zonder enige echte vooruitgang. Ondertussen wordt de techniek wel steeds beter.

Als dat algoritme nu bij een beperkte kloksnelheid en met ook nog de beperking dat je maar een klein aantal zetten tegelijk met elkaar kan vergelijken in dezelfde hoeveelheid tijd als een mens nodig heeft een betere zet kan doen, dan zou dat indrukwekkender zijn dan een enorm neural network bouwen met weinig beperkingen.

Menselijke grootmeester blinken uit door dat ze ver vooruit kunnen zien en snel zetten kunnen beoordelen. Computers gaan daar dubbel en dwars overeen, maar in wezen is het niet heel anders dan wat mensen doen.
De efficiëntie zit in welke zetten je wel en niet bekijkt. Menselijke grootmeesters hebben daar een enorm instinct voor ontwikkelt, maar hoe het precies werkt weten ze zelf ook niet. Net zoals we van geen enkel deel van onze hersenen precies weten hoe het werkt want dat is één groot neuraal netwerk.

Als je dat soort efficientie belangrijk vindt dan is dit artikel dus enorm goed nieuws. Zoals je hebt kunnen lezen bekijkt DM slechts 80.000 zetten seconde. In deze wereld is dat helemaal niks. Echt totaal belachelijk zo weinig. Alle concurrentie doet duizenden keren meer. Dat kan doordat het neurale netwerkdeel veel beter is geworden, maar eigenlijk is dat een beetje een zwaktebod. Een NN is namelijk grotendeels een blackbox die op z'n eigen manier net zo goed een vorm van brute-force is, er is geen sprake van inzicht op een manier waar wij mensen iets mee kunnen.

Ik acht het ondertussen wel zo'n beetje bewezen dat je op die manier elk spel kunt winnen.

Daar is nooit enige twijfel over geweest. Alle problemen zijn op te lossen met botte kracht. Naar de maan vliegen? Brute force. Zee leeg tanken? Brute force. Berg verplaatsen? Brute force. Voor spelletjes als deze is wiskundig eenvoudig te bewijzen dat je ze inderdaad met botte kracht kan oplossen.

AI gaat over die categorie van problemen die je praktisch gezien niet kan oplossen met botte kracht, daarvoor is er gewoon niet genoeg tijd en energie in het universum. DM lijkt misschien alles op brute kracht te doen maar dat is niet zo. Nog steeds kan niet meer dan een piepklein deel van alle mogelijke zetten worden bekeken. Dat deel is misschien duizenden keren meer dan wat een mens kan doen, maar het blijft maar een piepklein deel van het totaal.

[Origin64]

DM bekijkt maar een paar duizend zetten per zet die het doet, maar het is getraind op veel meer zetten dan dat. Dat is een van de kenmerken van een neural network. Het werk zit in de voorbereiding, niet in de uitvoering. Er zijn miljoenen schaakpotjes tegen een muur aangegooid en wat er is blijven plakken is wat er tijdens een match wordt overwogen.

Imo is het nog niet heel erg spannend. Iedereen met genoeg geld kan anno 2017 een enorm neural network bouwen en er een grote dataset tegenaan gooien.

[Reactie gewijzigd door Origin64 op 22 juli 2024 15:51]

[CAPSLOCK2000]

DM bekijkt maar een paar duizend zetten per zet die het doet, maar het is getraind op veel meer zetten dan dat. Dat is een van de kenmerken van een neural network. Het werk zit in de voorbereiding, niet in de uitvoering. Er zijn miljoenen schaakpotjes tegen een muur aangegooid en wat er is blijven plakken is wat er tijdens een match wordt overwogen.

Net als bij mensen dus, die trainen ook eindeloos veel om hun "gevoel" te ontwikkelen.

Overigens hebben we het hier over een niveau waar mensen niet aan kunnen tippen. In de verste verte niet. Deze schaakcomputers winnen het gemak van ieder mens. Het zou interessant zijn om de computer zo ver te beperken dat mensen weer een kans maken, en dan te kijken hoeveel werk de computer nog moet doen om de mens bij tge houden. Misschien dat de computer dan maar 3 zetten per beurt bekijkt. (In praktijk werkt het niet zo, de computer maakt optimaal gebruik van de tijd, zelfs als de beste zet voor de hand lijkt te liggen zal de computer rustig blijven en ook naar andere zetten kijken zolang er tijd is, je weet nooit wat je over het hoofd hebt gezien).

[Origin64]

Een mens heeft niet de capaciteit om in 1 seconde 1 miljoen schaakpotjes te analyseren.

[latka]

Ah, de meer filosofische kant (overigens zijn er in het begin minder mogelijkheden dan halverwege). Wat ze nu doen (niet alles berekenen maar de meest waarschijnlijke pakken) is hoe mensen werken. Mensen die meer intuïtie op het schaakspel hebben of sneller denken spelen beter en worden slimmer gevonden. Als je dit extrapoleert en een systeem neemt dat alle posities in een oogwenk doorneemt zouden wij dat betitelen als een slimme speler. Aangezien slimheid een label is dat mensen toekennen aan iets zou ik zeggen: ja.

[Origin64]

Mensen die meer intuïtie op het schaakspel hebben of sneller denken spelen beter en worden slimmer gevonden.

Als je dit extrapoleert en een systeem neemt dat alle posities in een oogwenk doorneemt zouden wij dat betitelen als een slimme speler.

Er is toch niets intuitiefs meer over als je alle posities doorneemt?

[latka]

Als ik moet bepalen of jij slim bent laat ik je een IQ test doen. Ik weet niet hoe jij de antwoorden bepaalt, alleen de uitkomst van de test. Of je intuïtie of brute force gewerkt hebt maakt voor de uitkomst niet uit.

[Origin64]

Okay maar je noemt zelf wel intuitie als onderdeel van (de perceptie van) intelligentie. Het maakt wat mij betreft wel uit of iemand iets pas kan nadat het is voorgedaan (leer een aap een kunstje) of dat iemand met een beetje uitleg zelf ook wat in kan vullen zonder van tevoren te weten hoe het moet. Misschien zou je dat verschillende aspecten van intelligentie kunnen noemen.

[latka]

Wellicht, maar probeer dat maar eens te meten

[Origin64]

Dat kan toch, bij mensen iig. Je laat ze een testje voor de eerste keer te laten maken zonder uitleg en daarna met uitleg en dan kijk je hoe groot het verschil is. oid.

[Ubartu]

Als je het inderdaad terugbrengt naar een heel groot 'if this then that' verhaal, dan is dat niet wat we verstaan onder slim. Slim omvat meer dan alleen brute rekenkracht, slim is ook een foefje gebruiken dat je in staat stelt om met minder moeite meer te bereiken, of bijvoorbeeld minder belasting te betalen. En ja het toepassen van een simpele if this then that formule waar een complexe AI meer resources zou gebruiken is slim gebruik maken van middelen, maar dat maakt de formule zelf nog niet slim, terwijl de complexe AI daar wel onder kan vallen.

[Origin64]

De formule zelf niet, maar iemand die een simpele formule gebruikt om hetzelfde resultaat te bereiken als een neural network in heel veel iteraties behaalt, zou ik best slim vinden.

[Quilt]

Ik ben niet zeker dat er telkens minder zetten mogelijk worden. Als het bord zich opent zijn er net meer zetten mogelijk. Je begint met amper twintig mogelijke zetten...

[sxbrentxs]

[...] er zijn minder atomen (10^80) in het universum [...]

Wo-ho... Dat klopt niet. En dat is nog maar het zichtbare deel. Nog niet te spreken over het feit dat het een gemiddelde is, van een hele tijd gelden (Technologisch gezien).

Raar eigenlijk. Je zou van zoiets als een universum een grote verwachten in zulke schaal dat alles topt. Blijkt er toch een hele ruimte of nooit bekeken of simpelweg niet bestaand.

[Reactie gewijzigd door sxbrentxs op 22 juli 2024 15:51]

[Anoniem: 167912]

Waarom zou dat niet kloppen? 10^80 is het algemeen aanvaard aantal dat overal te vinden is en dat gebaseerd is op de gegevens van de Planck satelliet in 2013
Toegegeven, niemand heeft ze exact geteld.

[Reactie gewijzigd door Anoniem: 167912 op 22 juli 2024 15:51]

[Anoniem: 286576]

Ik snap wat je bedoelt, maar je moet nog steeds weten dat om "van zichzelf te leren" er grondige regels moeten kunnen neergeschreven worden waaraan het spel zich moet houden.


Als jij die rule-set kent voor "het echte leven" ipv menselijk bedachte spelletjes met bepertke regels hoor ik hem graag.

[JeroenED]

Probleem is dat iedereen die ruleset kan maken. Als iemand een ruleset maakt voor massavernietiging kan hij die gewoon maken. (en coke verkopen is ook illegaal ;-)

[Anoniem: 936443]

Een ruleset om binnen bepaalde lijnen te blijven maar inderdaad kan er geprobeerd worden ergens omheen te werken als het nut zogenaamd belangrijker is dan groot respect... Daar is de mens ook goed in als ze lak hebben aan de normen en waarden van een ander.

En om die in feiten en praktisch vast te zetten lijkt mij erg lastig.

Met andere woorden de oplossing ligt niet in overkoepeling, bestraffing en enforcement maar aan de andere kant.
Ik geloof niet in een science-fiction apocalyps maar vind het al zorgwekkend genoeg wanneer gebaseerd op enorme datasets, vergeving en menselijke verandering geen factor meer is en plaats maakt voor keiharde absolute koude veroordeling over feiten.

Sowieso gesloten/gelimiteerde systemen, netwerken en datasets en functionaliteit/nut mag ik toch hopen.

[Reactie gewijzigd door Anoniem: 936443 op 22 juli 2024 15:51]

[bbob]

Voor het echte leven is geen ruleset, d.w.z wij hebben wetten en omgangsregels die van land tot land en cultuur tot cultuur verschillen.

Als je het over ai heb is schaken duidelijk er zijn simpele regels, ik 1 zet dan jij 1 zet. Je kan mag niet 2 zetten achter elkaar doen, heel eenvoudig.

in het leven kun je met kaarten door slim met kaarten om te gaan de boel bedonderen, dat is niet eerlijk maar als je doel geld verdienen is, dan dat een weg zijn, Dat betekend wel een risico dat je zelf moet inschatten. Niet zegt dat een ai systeem dat ook zou kunnen doen. Sterker nog poker is mede gebaseerd op bluf. Een ai systeem kan kaarten tellen en beter gecalculeerd kunnen bluffen.

AI is een gevaar dat zwaar wordt onderschat. Je moet namelijk nog veel anders denken als je aan ai denk. Neem biotech, dna modificatie en het samengaan van mens of levend organisme met ai.

Simpel voorbeeld, ze zijn al bezig met aansturen van kunstarmen en benen via de hersenen, dat is al simpel voorbeeld van samengaan van mens en machine.

[Zalustra]

Nou ja simpel, je zou rokade/rochade als een dubbele zet kunnen beschouwen. Er zijn uitzonderingszetten die in bepaalde situaties mogelijk zijn. Dus met de basiszetten als simpele regels of jij 1 zet ik een zet ben je er niet.

Maar goed AI kan nog veel kanten op en als er een vorm komt die samensmelt met ons, dan lijkt het me hoogstwaarschijnlijk dat we het spelregel boek weg mogen gooien.

[Cowamundo]

Echter bij schaken is AlphaZero als enige volledig in controle, een oorlog zal toch gewonnen moeten worden met de hulp en inzet van mensen en die kunnen gewoon weigeren of niet het gewenste resultaat behalen. Ja, kernoorlog kan ook maar als AlphaZero slim genoeg is snapt deze ook wel dat dit dan ook hoogst waarschijnlijk zijn eigen ondergang zal betekenen.

[ari3]

Eigen ondergang... Zelfbehoud is niet voor iedereen het hoogste doel. Het hangt vooral samen met hoe je het programmeert (of bij mensen: indoctrineert). Veel religieuze "geïnspireerde" mensen zijn ook bereid anderen schade toe te brengen om hen een les te leren, ook als dit hun eigen ondergang betekent.

[hooibergje]

Als go-speler zijnde zijn de zetten van AlphaGo en upvolgers ook fascinerend. Het doet zetten die professionals als slecht zou betitelen, en professionals gebruiken nu de Alphago partijen voor hun studie...

[DigitalExorcist]

WarGames (de film, Matthew Broderick - zal ook wel een boek geweest zijn) gaat precies daar over. Alleen is het dan boter-kaas-en-eieren waarbij de AI over de kop gaat.

[robvanwijk]

Als we rekening houden dat schaken gebaseerd is op oorlog baart het mij al helemaal zorgen.

Dat geldt voor wel meer spellen: go, dammen, stratego, ... Maar geen van die spellen heeft daadwerkelijk iets met echte oorlogvoering te maken. Ik heb geen flauw idee hoe goed AlphaZero zou presteren als "Skynet" (en misschien is dat inderdaad iets om je zorgen over te maken?), maar dat staat helemaal los van het feit dat schaken een extreem abstracte vorm van oorlogvoering is.

[andreetje]

Welke bedreiging bedoel je? Dezelfde als toen het wiel, de stoomlocomotief en de computer kwamen?

Ik zie juist ontzettend veel nieuwe mogelijkheden. We krijgen veel meer vrije tijd en luxe. Ik kan niet wachten tot ik een schilderrobot kan huren of slapend naar de camping in Portugal kan rijden.

En laten we wel wezen: je kunt je er zorgen om maken, maar deze ontwikkeling valt niet meer te stoppen.

[Fenzo]

Toch verbaast het mij dat dit al niet veel eerder is gedaan, de kale spelregels als uitgangspunt en dan eindeloos tegen elkaar laten spelen leidt automatisch tot het beste spelgedrag lijkt me en kan ook singulariteiten in de spelregels aantonen.
Volgende stap is de spelregels van de wiskunde zelf eens te nemen. Geheid dat er nieuwe vondsten worden gedaan met een diepte van combinaties die geen mens kon overzien. Als het goed gaat moet DeepMind zo bijvoorbeeld het bewijs van de laatste stelling van Fermat (xⁿ + yⁿ = zⁿ) leveren waar Andrew Wiles in 1994 na 357 jaar het menselijke bewijs voor leverde...

[Quilt]

Dat was ook mijn gedachte, maar misschien heeft het iets te maken met de rekenkracht. Dat ding heeft heel wat dedicated hardware. Mogelijks is de kracht er nu pas.

Op Ars hebben ze de geconsumeerde energie vergeleken met die van een mens. Was meteen een stuk minder indrukwekkend.

[CAPSLOCK2000]

Toch verbaast het mij dat dit al niet veel eerder is gedaan, de kale spelregels als uitgangspunt en dan eindeloos tegen elkaar laten spelen leidt automatisch tot het beste spelgedrag lijkt me en kan ook singulariteiten in de spelregels aantonen.

Het idee is al heel oud, de uitvoering is alleen wat lastiger. Alleen maar laten spelen heb je niks aan, je moet ook leren van dat spelen. Je kan onmogelijk alle mogelijk spelsituaties uitproberen, dat zijn er te veel. Zelfs met de meest brute supercomputer kun je niet meer dan een fractie van alle mogelijke situaties uitproberen. Je moet dus op de een of andere manier generaliseren om zo een strategie te leren.

[Anoniem: 286576]

Ja, ipv schaak/dammen/StarCraft dacht ik echt dat dat de volgende stap zou geweest zijn.

Als hij tegen zichzelf "wiskunde" kan oefenen, kan hij dan ook theorieën bevestigen of misschien zelfs fouten in onze denkpatronen?

[ro8in]

Ik vind AI zo enorm interessant. Mijn probleem is dat ik wel kan programmeren, maar mijn kennis van wiskundige formules is erg laag. Helaas kom je die veel tegen bij Tensorflow tutorials, waardoor ik dan weer snel afhaak.

Toch zou ik enorm graag de basics van Tensorflow onder de knie willen krijgen. Het is super cool dat zo een AI binnen een paar uur als de beste kan schaken!

[- peter -]

Ik heb t zelfde probleem. Ik ben developer, maar de wiskunde bij Tensorflow en Machine Learning/Deep learning is niet mijn ding, het is echt een vak apart.
Ben nu met mijn vader dit online boek aan het doornemen, dat wel goed de basis van Deep Learning weergeeft. Wel ook met wiskunde, maar dat kan je ook overslaan.
http://neuralnetworksanddeeplearning.com/

Als je een data scientist wil worden heb je toch echt een wiskunde knobbel nodig heb ik wel ontdekt helaas...

[Reactie gewijzigd door - peter - op 22 juli 2024 15:51]

[mjpeters]

Persoonlijk ben ik bezig met cursussen op de site datacamp.com, vrij laag drempelig en er wordt rustig opgebouwde naar basis statistiek.

[tweegroenethee]

Misschien via Khan Academy de eerste wiskunde stappen zetten? Wiskunde vaardigheden komen op veel gebieden van toepassing.

[Cowamundo]

Tijd om een cursus wiskunde op niveau te gaan volgen dan?
Als je het echt graag wil heb je het zelf in de hand om er stappen voor te maken.
You can do it!

[oks]

Wordt goed in conceptueel denken. En moddeleren. Dat is mijn tip aan je, dan kom je ook een heel eind. Wiskunde is meestal vrij star in zijn conceptualisering. Als je de verkeerde conceptualisering kiest dan loop je vast. Zie het als gereedschap wat faalt en dan moet je een andere kiezen. Omdat wiskunde niet anders is dan een variant van taal en meestal een variant die te weinig gesproken wordt. Heeft het als nadeel dat het moeilijk is als leek te bepalen of je er de energie in moet steken om het te leren. Mijn tweede tip is leer te spelen met taal. Latijn is bijvoorbeeld zinnig om te leren vertalen. Hier valt nog meer over te zeggen, maar voor nu laat ik het erbij.

[fmhc]

Als ik naar de grafiekjes kijk dan zie ik dat de prestaties afvlakken na een aantal steps. Het lijkt alsof het algoritme zich in eerste instantie optrekt aan de andere (software)spelers, maar er uiteindelijk niet echt bovenuit kan stijgen (wet van de remmende voorsprong?). Wordt deze afvlakking nog ergens beschreven?

[city17]

Ik weet niks van AI, maar ik kan me voorstellen dat dit gewoon door ELO komt. Op een gegeven moment zijn er geen betere tegenstanders meer waar hij het tegen kan opnemen, en als je een hogere ELO hebt krijg je dan nog maar zeer weinig punten door mindere tegenstanders (iedereen dus) te verslaan. Dus op het moment dat hij nummer 1 is zal het altijd afvlakken, hoe goed de AI ook is.

[Cloud]

Dat klopt niet. Deze AI speelt tegen zichzelf en doet helemaal niets met ELO. Wat je ziet is gewoon een standaard leercurve, aan het begin gaat het snel en na verloop van tijd wordt die snelheid lager omdat de grootste fouten verholpen zijn. Bekijk het zo: uiteindelijk als de perfectie benaderd wordt (alles is bekend) moet de snelheid van leren per definitie afnemen, omdat er gewoon niet veel meer te leren valt. In dit geval is dat plafond de limiet van het neurale net wat er achter zit.

Zoals @MSalters hieronder ook beschrijft.

[Reactie gewijzigd door Cloud op 22 juli 2024 15:51]

[MSalters]

Nee, dat is een algemeen effect met neurale netwerken. Neurale netwerken leren door te kijken naar de fouten die ze maken, en die fouten terug te rekenen naar de individuele verbindingen in het netwerk.

Aan het begin heb je grote fouten, die je snel kunt verbeteren. Maar naarmate je verdert traint, ben je steeds kleinere fouten aan het terugrekenen, die dus ook kleinere correcties met zich meebrengen.

[city17]

Zou iemand kunnen uitleggen hoe het komt dat ze in zulke korte tijd zulke grote stappen vooruit maken? Van eerst de beste speler in Go verslaan met veel oefenen, dan de best in Go zijn met zelflerend/extreem weinig oefenen, en nu schaken, extreem grote vooruitgang. Tot wat voor inzicht (in termen die een leek begrijpt) zijn ze bij DeepMind plotseling gekomen? En is dat beperkt tot zulke spelletjes of is dat een meer algemeen AI principe dat op veel meer situaties toegepast zou kunnen worden?

[DarkUnreal]

Omdat de ontwikkeling hiervan exponentieel is. De industriele revolutie had bv Exponentiële groei, dat stagneerde aan het einde (alle stoommachines waren geoptimaliseerd, en enige manier van verbeteren was vernieuwen).

[SinergyX]

Hoofdzakelijk algoritmes. Numberphiles op youtube heeft een paar interessante video's over verschillende 'wiskundige' problemen, hoe met de jaren (of eeuwen) er steeds betere algoritmes gevonden werden om de oplossing steeds sneller te vinden.

[Dutch_CroniC]

En de eerste zetten tot AI selflearning zijn gemaakt

[kuurtjes]

Spannend toch

[Floor]

Dit vind ik echt heel bijzonder. Voorheen en zoals het open source stockfish had je software met een doel voor ogen, schaken bijvoorbeeld. Bij AlphaZero is dit niet het geval. Wel is het einddoel scherp afgebakend en het domein klein (potje schaak e.d. winnen).
IBM's Watson is wat mij betreft daarom nog een stuk intelligenter, moeilijker en minder afgebakend. Meer weten? Zoek maar eens op ibm watson health
Maar IBM heeft meer toepassingsgebieden dan alleen gezondheid

[Reactie gewijzigd door Floor op 22 juli 2024 15:51]

[Segafreak83]

Waarom denk ik iedere keer aan Person of Interest als ik zie en lees dat AI's met elkaar aan het "vechten" zijn. (voor degene die Person of Interest niet kennen, het is een tv serie mbt een geheime AI van de overheid die alles en iedereen bespioneerd).

Er zit een scène in waarbij ze meerdere versies gemaakt hebben van de AI (nog voordat de final build gereleased wordt richting overheid) en uiteindelijk zien die elkaar als bedreiging en proberen ze elkaar af te maken.

Nu is het nog afgebakend, alleen de bizarre groei en snelheidswinst baard mij zorgen.

[Flarlarlar]

Ik kan vooralsnog alleen nog maar dromen dat deze of een soortgelijke AI daadwerkelijk gaat worden gebruikt in de ruimtevaart voor het bedenken/creeren van ruimteschepen, met niets meer dan een basis kennis van metalen, natuurwetten en behoeften van een mens.
Als dit echter gedaan kan worden, evenals toepassingen de verbetering/creatie van allerlei apparaten zoals kwantumcomputers, dan gaan we binnen een hele korte tijd er aanzienlijk technologisch op vooruit.

Dat lijkt me toch zo bizar gaaf.

[Anoniem: 310408]

Ik kan vooralsnog alleen nog maar dromen dat deze of een soortgelijke AI daadwerkelijk gaat worden gebruikt in de ruimtevaart voor het bedenken/creeren van ruimteschepen, met niets meer dan een basis kennis van metalen, natuurwetten en behoeften van een mens.

De natuurwetten zijn dan echt het probleem hoor. Je kan niet veel meer energie uit de brandstof halen dan we met mensen hersenen kunnen.