Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 41 reacties
Bron: University of Alberta

Vandaag gaat de wereldkampioen van de silicium pokerspelers de strijd aan met twee topspelers van vlees en bloed. Niet voor niets vindt de wedstrijd plaats tijdens een belangrijk congres over kunstmatige intelligentie.

pokerpro Phil Laak Polaris, een door de universiteit van het Canadese Alberta ontwikkeld computerprogramma, wordt in de ring geplaatst met Phil Laak, de World Poker Tour-winnaar van 2004, en diens collega Ali Eslami als partner. Er wordt gespeeld om vijftigduizend dollar, een bedrag dat in het professionele pokercircuit regelmatig voorbij wordt gestreefd. De inzet is dan ook niet in de eerste plaats het geld, maar kennis, en de verrichtingen aan de speeltafel zullen met grote interesse worden gevolgd door de bezoekers van het jaarlijkse congres van de Association for the Advancement of Artificial Intelligence.

pokerpro Ali Eslami Volgens Jonathan Schaeffer, leider van het team wetenschappers dat Polaris ontwikkelde, is het de eerste keer dat het pokerspel dit soort aandacht krijgt in de wetenschappelijke wereld. Hij trekt een parallel met de legendarische overwinning tien jaar geleden van IBM's Deep Blue tegen wereldkampioen schaken Gary Kasparov, maar wijst er op dat er een essentieel verschil tussen de twee spellen is. 'Bij schaken word je volledig geïnformeerd: er is niets dat voor de spelers verborgen wordt gehouden', aldus Schaeffer, daarmee duidend op het feit dat het schaakspel, hoewel het complex is, in principe doorberekend kan worden. 'Maar bij poker weet je niet welke kaarten er zijn uitgedeeld, waardoor de uitdaging vanuit het perspectief van de kunstmatige intelligentie veel groter is', zo vervolgt de wetenschapper. 'Het is van groot belang om te begrijpen hoe je tegenstander het spel benadert', zo stelt Polaris-teamlid Darse Billings, die vijftien jaar aan de bot heeft meegebouwd maar een driejarige pauze inlaste om professioneel te pokeren. 'De noodzaak om je opponent te snappen is een eigenschap die we niet tegenkomen in andere spellen die we bestuderen', aldus de kersverse doctor in de informatica.

University of Alberta Computer Poker Research Group Schaeffer, die vorige week nog een stelling publiceerde over de beste spelstrategie bij het spel checkers, is van mening dat er bij poker eigenlijk niet over een 'beste strategie' kan worden gesproken. Zo wist Laak twee jaar geleden het computerprogramma Poker Probot te verslaan doordat hij inzag dat er continu agressief werd gespeeld. Daarmee werd de bot voorspelbaar en pastte Laak zijn strategie aan om daarvan te profiteren. Met huidige versie van Polaris moet de behendigheid in het kiezen van een goede strategie voor een gegeven spelmoment worden onderzocht, vandaar dat de onderzoekers het kanselement trachten te minimaliseren. Dat wordt gedaan door Laak en Eslami simultaan tegen Polaris te laten spelen, waarbij de profs in afzonderlijke kamers zitten en de een de omgekeerde 'hand' krijgt van de andere. Met andere woorden, een slecht stel kaarten voor de ene speler van vlees en bloed wordt gecompenseerd door een goed stel voor de andere en omgekeerd. Zo zullen vier games van elk vijfhonderd hands worden gespeeld, waarvan de eerste twee tussen negen uur vanavond en vier uur 's nachts Nederlandse tijd worden gespeeld, en de rest van dinsdagavond zes uur tot één uur 's nachts. De strijd is rechtstreeks via de site van Poker Academy te volgen.

Moderatie-faq Wijzig weergave

Reacties (41)

Ik geloof niet dat dit gaat werken bij poker. Poker is zoveel meer dan kansberekening. De speelstijl van een bot zal toch ingeprogrammeerd moeten worden. Natuurlijk kan daar ook een 'randomness' in verwerkt worden, maar dan zal de bot meer weg hebben van een onvoorspelbare amateur die uiteindelijk ook aan zichzelf ten onder gaat.

En mocht het wel puur op kansberekening gaan dan hoeft de menselijke speler alleen maar te wachten op het moment dat de bot een goede kans voor zichzelf heeft berekend maar de speler een echt een van de hoogste handen heeft.

Wel hulde aan het programmeren hiervan. Als dit echt een goede pokerbot is dan moet het programmeren ervan bijzonder complex zijn. Dan kan ik me voorstellen dat de heer Billings liever drie jaar aan zelf pokeren besteed.
Juist daarom is het zo een interessante use case voor AI. Bij schaken kwam het er tot nu toe op neer om louter het spelbord zelf te analyzeren en daarmee de beste zet te kiezen.
In het geval van poker komt het er vooral op neer het gedrag van de tegenpartij te analyzeren. En dat is beslist niet simpel daar dat gedrag helemaal niet rechtlijnig is en dus snel kan veranderen. Een speler zou bvb gewoon constant van speelstijl kunnen veranderen (tight vs loose, etc..).
Nu vrees ik wel dat als de tegenpartij dus constant van speelstijl verandert, je eigenlijk bij elke hand helemaal niet meer kunt voortgaan op de reacties van die tegenpartij en je je bijgevolg zult moeten beperken tot pure kansrekening.
BTW, in principe zou men de resultaten van dit onderzoek opnieuw kunnen toepassen op schaken of complexere spelen. Door inzicht te krijgen op de stijl van je tegenstander kun je opnieuw verder de zoekboom gaan snoeien. Bvb bij Go zou dat absoluut noodzakelijk zijn vanwege de gigantische zoekboom.
Nee, de speelstijl word nu juist niet ingeprogrameerd bij AI. Er zijn verschillende vormen van AI, maar bij vrijwel allemaal word niet direct ingeprogrammeerd wat te doen. Zo'n programma is alles behalve een rijtjes IF-jes.. Het gaat erom dat zo'n programma zelf leert wat handig is.. Dat doe je door het programma veel te laten pokeren.

Het idee is als volgt (globaal en gegeneraliserd)

We nemen een input set (situatie), deze kan random zijn, of speciaal geconstrueerd zijn

We laten de computer een beslising nemen. Deze beslissing zal genomen op worden op basis van wat hij weet uit eerdere potjes en mogelijk ook strategieen en logica en andere zaken. In dit gedeelte kun je inderdaad kansrekening en zo inzetten

Vervolgens word de computer verteld of het een verstandige beslissing was of niet... En dat onthoud hij..

Als je de computer nu maar genoeg situaties voorlegt (en dat zijn echt vaak 1000-en situaties) kan de computer zijn beslissing algorithme aanpassen. Uiteindelijk krijg je een systeem wat zelf geleerd heeft wat goed is om te doen en wat niet..

Dat was stap 1.. Wat je vervolgens nog kan toevoegen is vergelijkbare analyse technieken om te kijken hoe je tegenstander speelt (op een vergelijkbare manier kun je dat inbouwen). en zo ga je langzaam een steeds betere bot bouwen..

Dat leer proces is vergelijkbaar met dat van kleine kinderen... Ze doen iets.. en krijgen feedback.. Dan wel dat iets gelukt is (het blokje zit in het doosje en rammeld zo leuk) of het blokje zit niet in het doos en rammeld niet of een ouder zegt dat ze iets verkeerd of zo.
Ik geloof niet dat dit gaat werken bij poker. Poker is zoveel meer dan kansberekening. De speelstijl van een bot zal toch ingeprogrammeerd moeten worden. Natuurlijk kan daar ook een 'randomness' in verwerkt worden, maar dan zal de bot meer weg hebben van een onvoorspelbare amateur die uiteindelijk ook aan zichzelf ten onder gaat.
Dat ligt eraan of ze het goed hebben gedaan of niet: er is een complete tak van wetenschap die zich bezighoudt met zogenaamde 'game theory' en dat is ook toepasbaar op poker. Zoals je wellicht weet is het spelen van een simpel spelletje zoals boter-kaas-en-eieren niet echt spannend omdat de speler die begint altijd wint, als hij een optimale stategie volgt. Recentelijk kwam in het nieuws dat er voor engels dammen ook een optimale stategie is berekent die resulteert in gelijkspel.

In theorie bestaat er ook een optimale stategie voor poker. Die is heel complex en nog niet bekend omdat er zo extreem veel variabelen zijn, maar men probeert deze wel te benaderen. Er zijn optimale frequenties om te bluffen, om te raisen, er is een optimale hoeveelheid die gebet kan worden op elke straat etc etc. Als de computer deze stategie voldoende kan benaderen maakt de speelstijl van de tegenstander absoluut niet uit: de optimale stategie is wat men noemt niet exploitable.

De meeste mensen winnen met poker doordat de andere speler een stategie volgt die uitbuitbaar is. Een simpel voorbeeld is bijvoorbeeld iemand die erg loose en aggresief speelt preflop in no-limit: deze speler kan je vaak 3-betten met niks omdat hij geen hand heeft om te callen, je buit het feit uit dat hij teveel raist preflop. Jouw stategie is waarschijnlijk ook weer uitbuitbaar: als jij teveel 3-bet kan hij of iemand anders je weer vaak 4-betten waarop jij moet folden. Een ander voorbeeld is iemand die te passief speelt: die blufft, bet en raist te weinig. Als een dergelijke speler je raist kan je alles behalve je allerbeste handen wegleggen: het is erg makkelijk om een goede fold te maken als hij weinig blufft.

Als jij echter 4:1 odds krijgt op een river call en de kans dat iemand blufft ook 4:1 is en je alleen een bluff kan verslaan dan heb je een probleem. Je kan altijd callen of altijd folden, maar winst ga je nooit maken. Je zult zelfs verlies maken op de rivercall die alleen goed gemaakt wordt door de potodds die je krijgt.

Als de computer een dergelijke optimale stategie voldoende kan benaderen (en bij sommige pokervormen kan dat redelijk, zoals (super) short stack no-limit en heads-up limit) dan maakt het niet uit hoe de tegenstander speelt, winnen kan niet op de lange termijn.
bij boter kaas en eieren speel je gelijkspel als iedereen de beste strategie volgt. Degene die begint wint dus niet zoals jij zegt. :9
Dat is nu juist het doel van dit project, kunstmatige intelligentie.

De bot zal zijn tegenstander analyseren en daar zijn eigen gedrag op aan passen. Dit is juist wat een bot rond het pokeren zo interesant maakt.

Probeer http://www.alicebot.org/ is voor de grap.
<off topic>

LOL, slimme meid, die Alice

Human: what color is a red banana?
ALICE: Blue. :+

</off topic>
Ik geloof niet dat dit gaat werken bij poker. Poker is zoveel meer dan kansberekening. De speelstijl van een bot zal toch ingeprogrammeerd moeten worden. Natuurlijk kan daar ook een 'randomness' in verwerkt worden, maar dan zal de bot meer weg hebben van een onvoorspelbare amateur die uiteindelijk ook aan zichzelf ten onder gaat.
Dat is het hem juist: er moet wel een zekere mate van randomness worden ingebouwd, of op z'n minst een wisselende speelstijl. Een persoon kan tijdens een spel van strategie wisselen. Een bot kan dat alleen als dat ingeprogrammeerd is. In het artikel staat al dat er eerdere bots waren waarbij de menselijke tegenstanders door kregen hoe het speelde, waarna ze even hun eigen strategie aanpastten om de bot z'n eigen graf te laten graven.

Bij poker moet je onberekenbaar zijn voor je tegenstanders, want als ze weten wat jij gaat doen, dan halen ze je onderuit.

Randomness is niet hetzelfde als "onvoorspelbare amateur". Eventueel is een amateur juist wel voorspelbaar, en pro's kunnen (of zelfs: moeten) onvoorspelbaar zijn.
Een bot kan dat alleen als dat ingeprogrammeerd is
Een mens kan het ook alleen maar omdat het ingeprogrammeerd is. Dat het onvoorspelbaar is, komt omdat het emergent gedrag is, niet omdat het wel of niet geprogrammeerd is. AI's hebben ook 'last' van emergent gedrag: ze vertonen gedrag dat niemand had verwacht en kon voorspellen. Sterker nog: het is achteraf niet eens aantoonbaar dat dergelijk gedrag als resultante van de input mogelijk is.
Ik geloof niet dat dit gaat werken bij poker. Poker is zoveel meer dan kansberekening. De speelstijl van een bot zal toch ingeprogrammeerd moeten worden. Natuurlijk kan daar ook een 'randomness' in verwerkt worden, maar dan zal de bot meer weg hebben van een onvoorspelbare amateur die uiteindelijk ook aan zichzelf ten onder gaat.
Davis Cope had een soortgelijk probleem met zijn "Experiments in Musical Intelligence". Zijn oplossing is eigenlijk heel simpel. Hij geeft het muziek compositie programma de stijl mee van een bepaalde muzikant, maar houdt daarbij rekening met het feit dat deze muzikant ook weer is beïnvloed door andere muzikanten.
Misschien hebben ze dat bij deze poker-bot ook gedaan. De bot heeft een eigen stijl, maar heeft wel andere invloeden die bij pokeren horen.
Zeer interessant. Dit is een van de redenen waarom ik absoluut geen vertrouwen heb in online poker. Je weet immers helemaal niet of er aan de andere kant wel iemand van vlees en bloed zit. Er zijn nu al genoeg hulpmiddelen zoals PokerTracker die er eigenlijk voor zorgen dat iemand met de juiste tools en een grote database, al behoorlijk in het voordeel is.

Is wel jammer dat ze zich beperken tot twee heads-up (1 tegen 1) partijen. Zou interessanter zijn om de bot eens aan een volle tafel te laten deelnemen. Dan kan de bot immers ook het gedrag van elke speler tegenover een andere speler analyzeren. En nog interessanter zou het zijn om de bot te laten uitkomen tegen een hoop andere spelers zonder dat die andere spelers ervan op de hoogte zijn dat ze tegen een bot spelen!
Het feit dat online poker er is en daardoor minder betrouwbaar is is een feit, anderen kunnen idd. een groot voordeel hebben door een flinke database op een ander scherm te hebben draaien.

Vandaar dan ook denk ik dat real time pker aan tafel juist zo een toevlucht heeft genomen en steeds populairder word.

Persoonlijk vind ik dit soort projekten nutteloos omdat het totaal geen inzicht geeft aan AI. Veel pokerspelers irriteren elkaar aan tafel, heeft last van een dealer die fouten maakt, taco's die dwars zitten etc etc, met andere woorden, de overige elementen zijn niet ingebouwd en dus is het volstrekt nutteloos.

Ai zal pas een kans van slagen hebben als alle mogelijke/eventuele menselijke emotie's onder zijn gebracht in 1 induviduele test. Computers berekenen al vaak real time hoeveel kans van slagen een bepaalde hand heeft bij gewoon tafel spel. Verder blijft er altijd een vast patroon zitten in een computerspeler, puur omdat niet alle optie's zijn ondergebracht zoals verschillende check/raise's. Veelal zie je bij real time pokerplay het aftasten naar iemand zijn strategie, waarvan de grote alleen maar winnen door in een enkele sessie verschillende strategieen te gebruiken zodat ze juist "onleesbaar" worden :)
Poker is idd een kansspel dat te berekenen is. Maar zoals grote pokerspelers zeggen, je wint het meeste als je in een hand meedoet, waar je volgens de kansberekening allang weg had moeten zijn.

Computers zullen statistisch gezien altijd de juiste keuze maken, maar zullen hierdoor hun winst en verlies beperken bij de handen die ze spelen.

Je kan bij poker alles terugrekenen naar de verwachtingswaarde, maar als je dit altijd doet, zul je vaak handen weggooien waar je heel veel had kunnen winnen (of verliezen).
Computers zullen statistisch gezien altijd de juiste keuze maken, maar zullen hierdoor hun winst en verlies beperken bij de handen die ze spelen.
Iets genuanceerder: computers kunnen statistisch bepalen of ze goeie kaarten hebben of niet. (Dat zie je op poker-verslagen op tv ook, daar geven ze een percentage wat aangeeft hoe groot de kans is dat een speler gaat winnen met zijn kaarten).

De essentie van het pokerspel is juist te bepalen of je meegaat of niet, en hoeveel je inzet, gebaseerd op dat percentage. Je wint alleen door risico te nemen, als je alleen hoog inzet bij een hoog % van jezelf, zal je weinig winnen.

Het is dan ook niet alleen puur kansspel, maar ook een stukje psychologie: proberen gezichten af te lezen, strategieen van de andere spelers achterhalen, etc. En dáár ligt een grote uitdaging van computerpoker, wat het eventueel lastiger maakt dan computerschaak, waarbij alle elementen in de vergelijking in principe op de 64 vakjes van het bord liggen. Als je tegenstander daar een val openzet, dan zou je dat aan het bord moeten zien, niet aan de grijns op Kasparov's gezicht. Bij schaken ben je alleen maar in het voordeel als je de blik van je tegenstander niet ziet. ;)
(Dat zie je op poker-verslagen op tv ook, daar geven ze een percentage wat aangeeft hoe groot de kans is dat een speler gaat winnen met zijn kaarten).
Het percentage op tv is natuurlijk ook gebaseerd op de kaarten van de tegenstander.

Neemt niet weg dat je wel een percentage kan uitrekenen zonder dat je de kaarten van de tegenstander weet, maar dan moet je die kaarten wel meenemen.

Het "raden" van de kaarten van de tegenstander is natuurlijk iets wat goede pokerspelers kunnen en het lastige voor computers
Poker is in principe een puur kansspel maar aangezien je het met menselijke spelers speelt heb je 2 bijkomende verschijnselen:
- je kan door je eigen gedrag andere spelers beinvloeden om suboptimale keuzes te maken
- je kan door observatie van gedrag van andere spelers hun sterkte raden
Zodra dit menselijke aspect wegvalt verval je weer in kansberekening en ben je tegen een correct geprogrammeerde computer op de lange duur kansloos. Een computer wordt nl niet bang of irrationeel en blijft bij de optimale strategie wat je ook doet. Maar ja, de kunst is natuurlijk om dat programma te schrijven. Iedereen die ooit Hartenjagen op Windows heeft gespeeld weet wat voor slechte kaartspel AI's er zoal geprogrammeerd worden.

[Reactie gewijzigd door Dreamvoid op 23 juli 2007 15:06]

waarbij de profs in afzonderlijke kamers zitten en de een de omgekeerde 'hand' krijgt van de andere. Met andere woorden, een slecht stel kaarten voor de ene speler van vlees en bloed wordt gecompenseerd door een goed stel voor de andere en omgekeerd.
Hoe kan er sprake van echt poker zijn, als de kaarten niet echt geschud zijn? Is dit niet gewoon onderdeel van het wetenschappelijk experiment, zodat die onderzoeker '''echte''' data heeft om conclusies uit te trekken.

En dat 'prijzengeld' is natuurlijk alleen maar om die spelers een beetje uit te dagen.
Tja, poker preflop is toch vaak een automatisme en is prima programmeerbaar, alleen is de vraag of de machine daardoor ook onvoorspelbaar genoeg kan blijven. Kan de simulator gewoon met superhanden checken en kan hij met marginale handen raisen en zo ja en kan de computer na de flop ook allerlei moves maken, zoals check-raisen, post oak bluffs en de bekende "check-in-the-dark", dat zou het pas interessant maken :P.

Van de ene kant hoop ik gewoon dat de mens zal winnen, al toont dit wel aan dat poker meer een skill-spel is dan onze regering wil doen geloven (ze zien het enkel als kansspel en vandaar dat het ook alleen in het Holland Casino gespeeld mag worden, in tegenstelling tot bijvoorbeeld bingo, toepen en loterijen enzo, zucht :(). Ik vraag me ook af wat er gebeurt wanneer ze William Chen (voormalig software designer afgestudeerd in de wiskunde die pokerpro is geworden) tegenover een computer zetten, volgens mij heeft die meteen een read :P
Leuk experiment. Ik snap alleen weer niet waarom de spelers 'gekunstelde' kaarten moeten krijgen. Dat gebeurt in het echt toch ook niet? Dit geeft het hele gebeuren al iets 'gemaakts' en maakt een eventuele uitkomst volkomen triviaal. Blijft natuurlijk wel geinig om met 50k dollar weg te lopen :9~
Ik stelde me eerst ook die vraag, maar de redenering is als volgt :
1. Om te beginnen worden wel degelijk random kaarten getrokken. Echter, door statistische variatie is het perfect mogelijk dat een van beide spelers gemiddeld gezien betere kaarten gekregen heeft. Als het eindresultaat is dat speler 1 xx$ gewonnen heeft, zegt dat eigenlijk nog niet veel.
2. Daarom betrekken ze een tweede partij waarbij de spelers dus de complementaire kaarten van partij krijgen. Als menselijke speler 1 dus gemiddeld gezien betere kaarten had, dan had menselijke speler 2 gemiddeld slechtere kaarten.
3. Als winst tellen ze nu de winst/verlies van beide spelers op. Als de spelers samen positief eindigen, waren ze dus beter dan de computer, zoniet was de computer beter.
Zeer interessant. Ik ben benieuwd of die computer kan bluffen, of sterker nog, gezichten kan lezen!

Ik wil zeker deze pot zien!
Gezichtherkenning is denk ik niet zo heel relevant, sterker nog, dat zou waarschijnlijk het mogelijk maken de bot te beinvloeden door bewust gezichten te trekken. Waarschijnlijk gaat zo'n bot op zoek naar patronen in de acties van de ander en gebruikt dat om te bluffen / callen.
Ik gok dat deze pokerbot eerder gebruikt maakt van profilering van de spelers en aan de hand hiervan een voorspelling probeert te doen. Ik denk dat vooral doordat de bot geen gezicht heeft, het voor de pro's moeilijker is om de acties van de bot te voorspellen.

Gezichtsherkenning werkt misschien bij beginnende spelers maar als professionele pokerspelers mensen voor de gek kunnen houden dan moeten dat bij een bot - met de gezichtsherkenningsmogelijkheden van een klein kind - geen probleem zijn.
met de gezichtsherkenningsmogelijkheden van een klein kind
Een computer is over het algemeen beter in het herkennen van gezichten en gezichtsuitdrukkingen dan een mens. Een mens is er alleen veel beter in bij een beperkte reeks bekenden.
Even afgezien van de reacties hierboven me is gezichtsherkenning bij een persoon als Phil Laak al helemaal nutteloos wegens z'n handelsmerk om z'n kapuchon helemaal over z'n hoofd te trekken en dicht te knopen :P (vandaar ook z'n bijnaam)
Poker heeft meer met spanning, bluf, ego en een boel andere menselijke factoren te maken. Dat maakt het dat het spel voor sommigen boeiend is.

Met een computer zal het zeker gaan maar een computer heeft in de software ingebouwde beperkingen. Die beperkingen zijn toch het inschatten of een ander bluft of niet. De inschatting van de eigen kaarten en de kans dat een ander beter of slechter heeft.

Een andere vraag is idd de strategie, de speler kan ineens heel anders gaan spelen, fold bij zelf goede kaarten, wat is de reactie van de pc daarom bij het vervolg van het spel.
Wat een vreemde opzet om de twee menselijke spelers in verschillende kamers en met tegengestelde handen te laten spelen. Dat geeft de computer dus weldegelijk informatie over de hand van de verschillende spelers. Laat de computer maar eens plaatsnemen in een écht spel. Om het dan écht te maken, rust je het systeem dan ook uit met camera's en microfoons om te proberen te analyseren hoe de spelers zich voelen. De huidige setup lijkt me niet echt wat toe te voegen.
Duh! Het lijkt me nogal evident dat ze het programma gewoon 2 keer draaien op twee niet-communicerende computers he!
De setup met complementaire kaarten is gewoon om er voor te zorgen dat de menselijke spelers samen door de random trekking van kaarten niet gemiddeld gezien betere of slechtere kaarten had dan de tegenpartij. Al vind ik dat wel een rare manier van werken. Ze hadden beter gewoon bij de tweede partij de kaarten omgewisseld. Dus in partij 2 krijgt de menselijke speler de kaarten van de computer uit partij 1 en omgekeerd.
Ja ik denk ook dat als ze bijvoorbeeld een leugendetectie zouden al is het alleen maar met een camera die de iris in de gaten houd van de tegenstander of dit met nog hartslagdetectie en een meter die het al dan niet zweten detecteert bijgevoegd, de computer al een hoop meer te weten zou komen en dat dan de AI veel meer kans maakt.
Ben ik de enige die 'Ali (e)Salami' las, of heb ik te weinig koffie op?

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True