Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door Willem de Moor

Redacteur componenten

Neurale netwerken

De beslissende kracht achter internet

Hardware en software

Neurale netwerken en machine vision hebben in de afgelopen jaren enorm aan populariteit gewonnen. Toch zijn neurale netwerken niet nieuw. Al in de jaren zestig en zeventig van de vorige eeuw werden ze beschreven en ontwikkeld, maar computers waren destijds natuurlijk stukken minder krachtig. Tegenwoordig kunnen de complexe berekeningen, en dan vooral de enorme hoeveelheid herhalingen bij trainen, binnen een acceptabele tijd voltooid worden.

Het gebruik van een neuraal net hoeft niet eens zo rekenintensief te zijn, want eigenlijk is zowel het gebruik als het trainen gewoon een grote matrixberekening. Juist daar zijn computers goed in, zo goed dat neurale netwerken inmiddels ook op een Raspberry Pi of je telefoon kunnen draaien. Je telefoon is echter niet toereikend voor een complex neuraal netwerk en zelfs een krachtige desktop- of serverprocessor heeft moeite de vele berekeningen in een realistische tijd te volbrengen.

Gelukkig zijn vectorberekeningen, waaruit de matrixberekeningen voor het trainen en draaien van neurale netwerken grotendeels bestaan, de specialiteit van grafische processors. Die kunnen bovendien de werklast prima parallelliseren, waardoor complexe neurale netwerken vaak op videokaarten of acceleratorkaarten gedraaid worden.

Voor het trainen van een cnn zijn grote databases met gelabelde afbeeldingen nodig

Een van de grootste uitdagingen is echter het trainen van een neuraal netwerk. Bij de trainingmethodes die we tot dusver besproken hebben, zijn zeer grote datasets nodig die correct zijn gelabeld, zodat de parameters gecorrigeerd kunnen worden. Er zijn diverse publieke databases met onder meer afbeeldingen die zijn onderverdeeld in duizend klassen, maar in de echte wereld zijn complexere problemen, die nog geen grote trainingsset hebben. Dan werkt de methode die we tot dusver geïllustreerd hebben voor cnn's niet goed.

Sommige neurale netten maken dan ook gebruik van unsupervised learning, waarbij niet veel meer dan een paar algemene regels worden gedefinieerd en het algoritme uit de gepresenteerde data moet opmaken wat gewenst is en wat niet. Een ander voorbeeld is Googles DeepMind, die zich onlangs schaken leerde door tegen zichzelf te spelen en niet veel meer had meegekregen dan de basisregels. Een paar uur later wist DeepMind met deze vorm van reinforcement learning een van de beste schaakprogramma's te verslaan.

Tot dusver hebben we alleen neurale netwerken bekeken die speciaal worden ingericht voor een specifieke taak. De architectuur en algoritmes worden afgestemd op de taak en het neurale net wordt getraind met data, waarna het met echte samples aan de slag kan. Inmiddels worden ook neurale netwerken en zelfs chips ontwikkeld die blijven leren en dus met nieuwe situaties kunnen omgaan. Daarmee lijken ze nog sterker op de manier waarop hersenen werken. Zo kunnen recurrent neural networks, of rnn's ingezet worden om te leren en te blijven leren. Daarbij worden de parameters van de neuronen niet na het trainen vastgelegd, maar kunnen ze aangepast blijven worden, waarbij eerdere activaties van een neuron de latere activaties beïnvloeden. Ze veranderen dus in de loop van de tijd en kunnen meeveranderen met veranderende data.

Nog een stapje verder gaan neuromorfe chips. Ook hun architectuur is geënt op neuronen. Zo zijn er chips waarvan onderlinge verbindingen fysiek veranderen naarmate die verbindingen vaker geactiveerd worden. Onder meer Intel heeft dergelijke chips ontwikkeld, waarbij geheugencellen geëmuleerd worden. Dergelijke oxramcellen, zo genoemd omdat een hafniumoxideverbinding dikker of dunner gemaakt kan worden en zo van geleidbaarheid kan veranderen, fungeren als neuron-analogen en gebruiken net als biologische neuronen zeer weinig energie. Met zulke geheugencellen kunnen ook weer cnn's gemaakt worden.

Andere fabrikanten kiezen voor een architectuur die is geoptimaliseerd voor het type berekeningen dat voor neurale netwerken wordt gebruikt. Zo zijn gpu's dankzij hun vele kleine processors al erg geschikt voor de vele parallelle berekeningen die nodig zijn om een neuraal netwerk te trainen, maar fabrikanten als Nvidia hebben dat voor bepaalde acceleratorkaarten verder geoptimaliseerd. De nieuwste generatie Tesla- en Titan-kaarten van dat bedrijf hebben zogeheten Tensor-cores aan boord die geoptimaliseerd zijn voor matrix-bewerkingen. De naam komt van een wiskundige term die relaties tussen variabelen aangeeft. Naast de Tensor-cores van Nvidia heeft ook Google speciale processors ontwikkeld die toegespitst zijn op dergelijke berekeningen.

Tot slot

De grootste spelers op het vlak van neurale netwerken, zoals Google met Tensorflow, de Tensor Processing Unit en DeepMind, of IBM met zijn Watson-ai en Microsoft en Facebook, zijn eigenlijk de bekende grote technologiebedrijven. Iedereen is druk met ai en neurale netwerken bezig en 'de sector' denkt dat dit in de toekomst een nog grotere rol gaat spelen.

Vooralsnog lijken neurale netwerken en afgeleiden daarvan als neuromorfe chips een in ieder geval veelbelovende techniek, die kunstmatige intelligentie een grote sprong voorwaarts heeft laten maken. Dat wil niet zeggen dat we over enkele jaren ook een echte kunstmatige intelligentie, een zelfbewust systeem, kunnen realiseren met deze techniek. Neurale netten, machineleren en machinevision laten sterke staaltjes slimme techniek zien, maar of dat zich ooit laat vertalen in een omnipotent Skynet, is nog maar de vraag.

Reacties (115)

Wijzig sortering
Voor iedereen die eens met een neural network wil spelen: MNIST heeft een hele mooie dataset met 60.000 handgeschreven cijfers, en 10.000 test afbeeldingen.
Aan de hand van de testafbeeldingen kun je zien hoe goed je neural net is, en dat vergelijken met de resultaten van anderen.

https://en.wikipedia.org/wiki/MNIST_database

Deze dataset is ook zeer geschikt om te experimenteren met de configuratie van je net. Aangezien de plaatjes 28 x 28 pixels zijn heb je 784 input neurons nodig, en 10 output neurons om aan te geven welk getal er aangeboden wordt.

Om te beginnen is een 784 x 132 x 10 neural net een goede start. Je kunt daar tot 95% van alle afbeeldingen mee herkennen. Om in de buurt van de besten (foutmarge onder 0.8%) te komen zul je meer hidden layers moeten toevoegen, en moeten spelen met de grootte van de hidden layers.
Verder is rekentijd van belang, aangezien je nogal wat slagen moet maken om 1 plaatje te processen. Het slim schrijven van de software kan daar grote gevolgen hebben.

Tot slot: de video's op channel 9 van James McCaffrey in Visual Studio is aardige background info:

https://channel9.msdn.com/Events/Build/2014/3-643

n.b. James McCaffrey is een wetenschapper en geen programmeur ;)

edit: typos

[Reactie gewijzigd door jsaturnus op 18 december 2017 12:50]

Een mooie engine om een beetje mee te spelen is ook te vinden van Tensor flow.
Dat werkt echt super! Doodeenvoudig GPU-accelleratie aan de praat krijgen en gaan met die banaan!

Pilotstudie mee gedaan voor image recognition op het werk, management meteen enthousiast :)
Wat ik een beetje mis in dit verhaal is dat we het hier vooral hebben over de simulatie van een stukje hersenschors waarin vooral de functie van het herkennen van beeld, geluid en andere sensorische input zit. Niet het denken of beslissingen nemen. Wel een hele belangrijke functie, omdat software hier juist veel problemen had.
Verder is een aardige anekdote dat ik hier 25 jaar geleden al mee bezig was op de universiteit. Toen was het al the next big thing voor financials, haha. Het heeft dus een tijdje stilgestaan, maar is nu weer hip, hot en happening. Onder meer natuurlijk door wat slimme nieuwe wiskunde.
Wat ik juist interessant vind is dat je met zo'n slechte simulatie van echte neuronen al de werelds beste Go spelers kan verslaan. Dat is echt wel indrukwekkend. Het geeft je ook te denken wat intelligentie nu eigenlijk is.
Waar het lastig wordt is denk ik 'bewustzijn'. Wat de neurale netwerken bieden is herkenning van patronen. Dat helpt bij het spelen van schaken en Go en het is een onderdeel van intelligentie. Wat mist is dan de vonk van creativiteit, bijvoorbeeld gedreven door bewustzijn.
Ik heb een schoolproject gemaakt aan de hand van de MNIST dataset, ware het in iets andere vorm dan de originele dataset.

Het neurale netwerk wat ik gebruikte, een conventioneel netwerk aangeboden door de SKLearn Python library, bestond uit 784 - 300 - 10 neuronen en ik kwam op een gemiddelde accuracy van 96,01%. Aan de hand van @jsaturnus zijn bevindingen loont het dus niet echt om zoveel extra neuronen toe te voegen in de hidden layer. Het zou wel kunnen helpen door meer hidden layers toe te voegen, alleen ben ik dan al afgestudeerd voordat het neurale netwerk klaar is met trainen.

Ik heb helaas geen tijd gehad om nog wat met Tensor Flow te spelen om het eens te proberen. Mocht je eens de resultaten willen vergelijken, er is een hele handige site waarop je de resultaten van verschillende soorten neurale netwerken kunt bekijken.

[Reactie gewijzigd door keeperson op 18 december 2017 23:08]

Deze dataset is ook zeer geschikt om te experimenteren met de configuratie van je net. Aangezien de plaatjes 28 x 28 pixels zijn heb je 784 input neurons nodig, en 10 output neurons om aan te geven welk getal er aangeboden wordt.

Correctie: je hebt niet 784 input neurons nodig, maar een willekeurig aantal input neurons >= 1 die een 28x28 matrix, of een 784 lengte vector als input accepteert.

Een goeie in-depth resource is de Stanford computer vision class:
http://cs231n.stanford.edu/
Voor video's en uitleg: http://cs231n.stanford.edu/syllabus.html
Voor code-voorbeelden: http://cs231n.github.io/
De gangbare terminologie is toch echt dat je dan dus een eerste laag van 784 input neurons hebt.

http://www.deeplearningbook.org

[Reactie gewijzigd door Jefrey Lijffijt op 18 december 2017 20:24]

Interessant! Ik ben zelf de cursus van Andrew Ng aan het doen op Coursera: https://www.coursera.org/learn/machine-learning/home/welcome
Daarin leer je ook hoe je die keuzes (grootte neurale netwerk, hidden layers etc.) moet maken.

Ik kan het iedereen aanraden die de basics wil leren van machine learning en neurale netwerken.
Die heb ik een aantal maanden terug ook gedaan en gehaald, erg interessante cursus om een goeie basis te krijgen in machine learning :) hoewel met bijv. tensor flow het niet geheel nodig is, maar ik vind het wel fijn om een goed inzicht te krijgen in de verschillende mogelijkheden en de werkingen ervan.
Complimenten voor Willem die zoiets complex toch een stuk gangbaarder heeft weten te maken.
AI is vind ik wanneer je kunt spreken van zelflerend of aangeleerd gedrag en niet voor een groot deel hardcoded per design.

Dit is namelijk het werk van de afdeling 'intelligence' en in samenwerking met 'development'... mensen.

Heb er zelf jaren in, aan en mee gewerkt.

De ontwikkelingen die we meemaken zijn "nieuwe", meer elementaire systemen van opslag en benadering, het zelf vinden en/of het aanmaken van relaties en "waarderingen" op een veel meer basaal en breed inzetbaar niveau. Bovendien is het zo veel beter te schalen over resources.
En hoewel een aantal grote spelers daar zeer zeker erg ver mee op weg zijn is het effect wat wij veel online zien zeer zeker niet allemaal toe te schrijven aan AI.

Dus ja... Het kan, het bestaat. Maar toch ook weer een deel stemmingmaking of anders wel de stemming van mijnheer de auteur zelf.
Het is nog niet dusdanig inzetbaar en daadwerkelijk ingezet als zijn schrijven doet voorkomen en de lijn is vind ik overtrokken.

Het idee is eigenlijk om in plaats van vantevoren identifier toe te kennen aan een abstract object of type, zelf uit herhaling patroon te herkennen waardoor uiteindelijk objecten kunnen worden geabstraheerd en met voorkeur uit scherpe contrasten.

Wanneer, tot nu toe, de overige onbegrepen ruis steeds duidelijker context vormen beginnen er corelaties te ontstaan die je ziet wanneer kijkt over time.

Denk aan een toestroom van atomen/impulsen en schijnbaar willekeurig gedrag, tot er patronen en wetten ontdekt worden, waardoor relaties tot en vormen als moleculen naar voren komen, enz.

Denk aan een 'blanco' babybrein die uit herhaling objecten begint te herkennen.
Hoe meer dezelfde objecten naar voren komen, des te prominenter zullen ze naar voren komen en andere zaken als ruis verdrukken.
Rond dit soort objecten persoonlijkheid en karakteristiek zich vormen en andere zaken later relateren. Enz.

We hebben de techniek en het begrip van werking van ons eigen verstand om het werk van een Paul Dirac in de schaduw te zetten.
En dat we op dit moment spelen met foto's en text input om context te bepalen is 'spelerij' om interesse van mensen te wekken die er een aandeel in kunnen hebben.
Maar ondanks dat het in principe heel eenvoudig is, en de techniek zelf beschikbaar is, is de mens er op een grotere schaal nog niet toe om lagen voor toepassing en interfacing op een nuttig en breed inzetbaar niveau te verkopen.
Bovendien is het in potentie dusdanig waardevol dat je dat ook niet op kort termijn publiekelijk en groot ingezet moet verwachten.

Hooguit sterk gelimiteerde experimenten as a service terwijl al je kostbare data en experimenten bij grote spelers terecht komen.

[Reactie gewijzigd door 936443 op 18 december 2017 08:13]

Dit dacht ik dus ook al. Een AI zou toch zelf moeten kunnen kiezen ofdat het de berekeningen uberhaupt wil uitvoeren voor ons, of ofdat het liever iets anders onderzoekt bijvoorbeeld. Daarnaast wordt niet AI breed uit gebruikt, maar machine-learning en behaviour-trees en dat is heel wat anders. :+

De term AI wordt te snel gebruikt IMHO. Het is vaak eerder een gigantisch switchboard / behaviour-tree die al voorgedefinieerde functies / stappen uitvoert en wanneer je het dan iets vraagt waar het niet voor geprogrammeerd is, krijg je 'heh watte' terug 8)7 En zelfs daarvoor zijn weer behaviour trees geschreven, zodat je als mens kunt aangeven wat je bedoelde. En dan komt het allemaal meer op een 'monkey see, monkey do' techniek uit dan daadwerkelijk Artificial Intelligence. ( oftewel eigenlijk vergelijkbaar met BOTS in games)

Wanneer ik AI hoor / lees, dan denk ik : een programma met vrije keuze dat zichzelf alles zou kunnen aanleren, de eigen interesses en acties defineren en uitvoeren, etc. etc. Maar dan klinkt het al heel snel creepy, want wat als die AI dan opeens Terminator style wordt :p
Voor mij lijkt het meer op brute force evolutie algoritmes dan echte AI. Maar ja, wat is ECHTE AI ? :)
Ik vind persoonlijk ook dat AI een marketing term is geworden wat overal tegen aan gegooid wordt om hip en modern te klinken.

[Reactie gewijzigd door Texamicz op 18 december 2017 08:33]

Maar ja, wat is ECHTE AI ? :)
Je kunt je ook afvragen wat niet-kunstmatige intelligentie is. Ons brein is opgebouwd uit neuronen die met elkaar samenwerken op een in redelijk eenvoudige termen te beschrijven manier, en de werking van de kunstmatige neuronen van een KNN is dan ook gemodelleerd naar die biologische neuronen. Maar omdat ons brein er zoveel van bevat is de schaalgrootte zodanig dat de analyse op microniveau maar bar weinig over de complexe werking van het geheel kan zeggen. Eigenlijk weten we net zo weinig van hoe intelligentie in een mensenbrein werkt als hoe dat in een KNN zou kunnen werken. Het is denkbaar dat een voldoende complex KNN gedrag zou kunnen ontwikkelen waarin wij intelligentie en zelfs bezieling zouden herkennen.

[Reactie gewijzigd door Brousant op 18 december 2017 09:06]

Wat ik top op heden zie noem ik geen AI (en ja dat mag ik niet roepen hier, gezien discussie van vorige week met veel - tekens maar doe het gewoon)

Tot op heden zijn het idd brute force of afgeleide daarvan algoritmes. Netflix denkt mij te kunnen vertellen welke films ik leuk zou vinden op basis van wat ik eerder bekeken hebt. Dat is geen AI maar gewoon algoritmes. Sterker nog ik kijk soms films die netflix mij niet zou adviseren en waarvan ik op basis van de informatie die ik lees zou denken dat is niets. Toch kijken en wat blijkt, het is anders en toch leuk te kijken. Op die manier verbreed je als mens ook je horizon. Netflix en Spotify zullen mij dat echter nooit adviseren omdat ze deels op safe spelen met hun algoritme en ook niet kunnen voorspelen of ik het afwijkende ook echt zou waarderen.

Als je als mens zelf soms over iets heen moet stappen om je leefwereld te vergroten is dat een mooi en dat maakt je ook tot mens.

Stel me dat de vraag als AI zelfbewustzijn krijgt is dat dan individueel zelfbewustzijn waarbij een AI systeem ook voorliefdes heeft voor kleuren, smaak, geur, geluid enz. Of houden alle ai systemen van hetzelfde of hebben helemaal geen voorkeur. Als dat laatste zo is kun je dan weer spreken over AI.
Ik ben het totaal niet met je eens. Te vaak probeert men AI te vergelijken met het menselijk brein of moeten er 'emoties' / voorkeuren aan te pas komen: het is niet het doel van AI om het menselijk brein na te maken. In plaats daarvan houdt AI zich bezig met het zoeken naar (alternatieve) oplossing voor complexe problemen. Dat een neuraal netwerk daarbij op hoog niveau op een menselijk brein lijkt betekent niet dat we binnenkort onze grijze massa met een chip kunnen / willen vervangen of dat onze computer binnenkort groene stroom prefereert ten opzichte van grijze stroom of graag een witte casing wil hebben.

Ik heb vrij recent nog een keer een duik genomen in de definitie van AI en moet zeggen dat iedereen (ook wetenschappers) een andere mening heeft over wat AI nou precies is. Als je puur naar de definitie van intelligentie kijkt dan vind ik dat een neuraal netwerk zeker onder AI valt:

Intelligence (bron)
the ability to learn or understand or to deal with new or trying situations
In zekere zin is AI dan ook veel breder, want ook simpele voorgeprogrammeerde systemen vallen onder deze definitie (e.g. geef een programma met een voorgedefinieerde regelset, bijv. een knowledge system, een nieuwe situatie en het programma zal - indien de regelset een beetje slim is opgezet - ook voor deze nieuwe situatie een output geven).

Het heeft in mijn ogen dan ook veel meer zin om AI als parapluterm te gebruiken en de technieken te classificeren op een andere manier. Zelf vind ik de classificatie van DARPA (hier) heel geschikt voor. Hierbij zie je duidelijk een verschil tussen de oudere AI technieken (wave 1), de huidige AI technieken (wave 2) en de toekomstige AI technieken (wave 3) incl. een indicatie van de 'intelligentie'.

NB. Met bovenstaande in gedachte kan ik dan ook de vraag op de tweede pagina dan ook met een duidelijke "ja" beantwoorden. Helaas werd de mening van de schrijver hierover mij pas duidelijk in de laatste paragraaf: ook hij verward AI met het menselijk brein en zet veel lezers dus op het verkeerde spoor.

[Reactie gewijzigd door Xirt op 19 december 2017 01:23]

Voor het woord intelligentie zijn vele bronnen te vinden en je kan uit een deel van die bronnen altijd een zin halen die past bij je motivatie.

Wiki:
Intelligence has been defined in many different ways including as one's capacity for logic, understanding, self-awareness, learning, emotional knowledge, planning, creativity, and problem solving. It can be more generally described as the ability or inclination to perceive or deduce information, and to retain it as knowledge to be applied towards adaptive behaviors within an environment or context.
Vele manier om intelligentie te zien dus.

Je schrijft bijv: the ability to learn or understand or to deal with new or trying situations

Leuke definitie maar stel je de vraag met huidige computers of ze wel begrijpen wat ze leren. Heel simpel als mens leer je je brand je vingers als aan vuur zit. Wij begrijpen dat.
Zeg een computer om planeten te herkennen op basis van een instructieset zal hij dat doen. Maar begrijp hij dan ook wat hij aan het doen is. Begrijpen valt als je er goed over nadenkt onder het zelfbewustzijn van een mens. Een computer begrijpt op dit moment niet, het begrijpt in die zin alleen de instructies, opdrachten, grenzen die wij ze meegeven, daaruit kunnen ze leren maar begrijpen is toch iets heel anders.

Is een rekenmachine ai, geef met je stem een opdracht bereken 34875x234 met de wortel van 4 dan tot de macht 48738. Een computer zal dat sneller berekenen als de mens. Geval met stemherkenning en rekenmachine, is dat intelligentie ?

Het darpa verhaal is leuk 1e 2e 3e enz. Maar kijk je verder heeft het heel eenvoudig gewoon te maken met de rekensnelheid van computers die toen, nu en in de toekomst beschikbaar zijn. Wat een computer nu kan, meer zelf leren, heeft puur te maken met snelheid. Net als wij mensen ook een snelheid hebben om bepaalde zaken te verwerken. De ene mens kan dat ook beter dan de andere mens

AI wordt al als een soort algemene term gebruikt,te pas en te onpas en zal het modewoord van 2018 worden als het dat in 2017 nog niet is.

Maar niet voor niets wordt er gewaarschuwd voor de gevaren van ai in de toekomst. Die gevaren zullen er zeker zijn en komen, sneller dan we denken.
Het darpa verhaal is leuk 1e 2e 3e enz. Maar kijk je verder heeft het heel eenvoudig gewoon te maken met de rekensnelheid van computers die toen, nu en in de toekomst beschikbaar zijn. Wat een computer nu kan, meer zelf leren, heeft puur te maken met snelheid. Net als wij mensen ook een snelheid hebben om bepaalde zaken te verwerken. De ene mens kan dat ook beter dan de andere mens
Prima om je standpunt te verdedigen, maar in mijn ogen is het incorrect om de verschillende technieken af te doen als verschillen in rekenkracht. Als je de DARPA informatie leest dan zal je zien dat de definitie van intelligentie daar meer aansluit bij de door jou gerefereerde definitie en als basis de onderdelen perceiving, learning abstracting en reasoning in overweging neemt. Op basis van de 'scores' op deze kenmerken worden verschillende technieken (onafhankelijk van hun rekenkracht) ingedeeld in de verschillende waves.

In de informatie zie je verder dat de Wave 1 technieken laag scoren op perceiving en learning: twee items die jij in voorgaande comments belangrijk lijkt te vinden. In Wave 2 (en de toekomstige Wave 3) zie je dat de scores op deze punten hoger zijn en deze technieken dus meer binnen AI vallen volgens jouw definitie. Dit sluit aan bij het perspectief van veel mensen, waar alleen de meer 'menselijke' / complexere AI technieken in overweging worden genoemd. Ik snap dit ook wel: deze technieken zijn momenteel 'hip' en bieden veel nieuwe toepassingen die regelmatig in het nieuws komen. Dat neemt niet weg dat het perspectief (in ieder geval in mijn ogen) veel te klein is.

AI in de afgelopen decennia namelijk ook al veel technieken voorgebracht die ons vooruit geholpen hebben en nu 'normaal' zijn geworden (bijv. Bayesian Networks die gebruikt worden voor spam filtering). Dat betekent volgens mij niet dat deze niet meer onder de noemer AI vallen (dan zouden we van de definitie een "moving target" maken wat discussies zeker niet ten goede komt). Wel maakt dit goed duidelijk dat AI, en gerelateerde mogelijkheden, grote stappen heeft gemaakt in de afgelopen jaren.
Stel me dat de vraag als AI zelfbewustzijn krijgt is dat dan individueel zelfbewustzijn waarbij een AI systeem ook voorliefdes heeft voor kleuren, smaak, geur, geluid enz. Of houden alle ai systemen van hetzelfde of hebben helemaal geen voorkeur. Als dat laatste zo is kun je dan weer spreken over AI.
Op de vraag of alle zelfbewuste AI's met de zelfde hardware ook dezelfde voorkeuren hebben is moilijk te zeggen. Wel kan je bedenken dat als ze geladen worden met dezelfde data dat ze (i.i.g. initieel) dezelfde uitkomsten geven.
Gaandeweg echter, als ze bijleren zullen ze divergeren en individueler worden; Je eigen voorkeuren zijn ook deels gebaseerd op ervaring. Kijk maar naar tweelingen. Die hebben ook hun eigen voorkeuren/
Tweelingen is leuk thema en paar programma's over gezien van tweelingen die gescheiden opgegroeid waren. Dus bei andere omgeving en toch ontwikkelden ze dezelfde voorliefdes voor muziek, kleur enz.
Soms zit het dus schijnbaar ergens in ons dna.

Maar goed een groot deel is ook gebaseerd op ervaringen. Emotie van de mens speelt daar natuurlijk een rol in.

Dat brengt ook meteen de vraag van traumatische gebeurtenis, die kunnen op mens grote impact hebben. PTST kan een AI systeem daar ook last van krijgen en doordraaien. Krijgen we adhd AI systemen, egocentrische, egoistisch borderline, noem het maar op. Wij geven er naam aan maar kan een algoritme ook op hol slaan.
Maar die tweelingen waren niet gescheiden tijdens de zwangerschap ;) Ik durf toch wel met enige zekerheid te stellen dat een groot deel van je ‘muziek-dna’ opgebouwd wordt voordat je geboren wordt. Net als dat een net geboren kind rustig wordt van de stem van de moeder en niet van andere personen (vader natuurlijk ook in mindere mate).
Hardware is nooit hetzelfde. Er was ooit een AI projectje geweest met FPGA. Dat werkte toen alleen op die specifieke FPGA omdat de AI een kortere weg naar zijn doel vond in de specifieke onderliggende hardware. Welke dus weer niet aanwezig was bij "dezelfde" andere fpga chip.

Je mag dus hierbij nooit zeggen: "Dezelfde hardware" tenzij je een volledig gesimuleerde hardware omgeving hebt. Maar als je AI op baremetal dingen laat gaan doen zal hij ook loop holes vinden in de hardware.
Ik zou zeggen dat het onder andere een voorwaarde is, dat het apparaat daadwerkelijk een keuze maakt, wil het de actie uitvoeren die jij aanvraagt, of niet, op basis van zijn eigen fitness function. En vervolgens moet het zelf ook enige input hebben in de manier waarop de aanvraag wordt uitgevoerd.
Maar wil je dan ook dat hij als voorwaarde heeft de taak zo snel mogelijk uit te voeren? Je kan tegen dingen aanlopen als... het probeert om de aanvraag heen te werken om zo nog sneller de taak uit te voeren. :)
Zo zette een AI ooit met een spelletje tetris het spel op pauze om "niet te verliezen".
Dat doen mensen ook in een potje starcraft, dus dat is wat mij betreft een voorbeeld van AI ja. Hij verzint zelf een originele oplossing voor een onwinbare situatie. de Kobayashi Maru voor kunstmatige intelligentie. :)
Wat ik alleen raar vind, is dat tekst invoeren (typen dus) nog steeds zo primitief is, waarbij je het meeste nog steeds (net als in 1860 toen de typemachine uitgevonden werd) letter voor letter moet intypen.
Weliswaar zijn er (alleen voor Andoid en iOS, voor de PC helemaal niet eens) toetsenbord apps met suggesties zoals bijv. Swiftkey, maar deze zijn nogal dom, zeker als je bepaalde woorden in een context typt zou een beetje zelflerend systeem moeten snappen welke suggesties die weergeeft.
En op de PC zijn er bepaalde apps (Libreoffice, Atom editor) die wat simpele suggesties hebben, maar geen 'system wide' tekstinvoer.
Wat meer zelflerendheid zou een hoop schelen.
Ik zou graag dan een suggestie horen hoe je dit zou zien werken.
Als het als een soort autocomplete zal werken kom je er vaak achter dat het zelf uittypen sneller is, in software ontwikkeling gebruiken we het vaak omdat niet iedereen uit zijn hoofd weet hoe alle methodes geschreven zijn.

Ik kan mijzelf niet zo snel veel opties bedenken.
Bij bovengenoemde software Libreoffice krijg je suggesties van een woord, welke je met een druk op de enter knop kunt bevestigen. Dit kan handig zijn voor langere woorden. Echter is dit een vrij dom systeem dat gewoon met een bibliotheek werkt.

Het heeft geen besef van context ( of door jou veel gebruikte woorden ). Skatebiker noemt al dat het tevens jammer is dat dit niet os-wide geïmplementeerd wordt. Dat geeft uniformer en voorspelbaarder gedrag, wat de bruikbaarheid ten goede kan komen. Daarin zal een neuraal netwerk een grote rol kunnen spelen.


Bij software ontwikkeling wordt prediction met name gebruikt om methodes / functienamen / variabelen - snel op het scherm te krijgen. Ik denk dat een neural netwerk hier ook wel van toegevoegde waarde zou kunnen zijn. Hoe fijn zou het zijn als de computer snapt wat je wil uitdrukken en statements, functies of methodee voor je aanvult. Dat klinkt als toekomst muziek.
Zelf typen is idd vaak sneller. Een vertaler zal bij liever en sneller een tekst van 0 vertalen dan beginnen met een door jou aangeleverde vertaling (suggestie) en die corrigeren.
Ik zou graag dan een suggestie horen hoe je dit zou zien werken.
Als het als een soort autocomplete zal werken kom je er vaak achter dat het zelf uittypen sneller is, in software ontwikkeling gebruiken we het vaak omdat niet iedereen uit zijn hoofd weet hoe alle methodes geschreven zijn.
Ik heb ooit zo iets gebouwd.
Ten eerste probeerde het recent gebruikte bestandsnamen aan te vullen.
In veel gevallen is dat heel voorspelbaar. Als je eerste een 'chown' doet op een bestand, en het volgende commando is een 'chmod', dan kun je er van uit gaan dat het om hetzelfde bestand gaat.
Ten tweede probeerde het het volgende commando te voorspellen uit het huidige. Wederom zijn 'chown' en 'chmod' een prima voorbeeld. Wie het ene commando gebruikt heeft daarna een sterk verhoogde kans om het andere commando te gaan gebruiken.
Ten derde probeerde het commandline opties aan te vullen op grond van opties die je eerder hebt gebruikt. (Het was mijn bedoeling om dit te integreren met bash autocomplete maar dat is er nooit van gekomen).

Het ging verbazend vaak goed, maar niet vaak genoeg om echt nuttig te zijn. Toch ben ik benieuwd wat er zou gebeuren als een team ervaren wetenschappers en programmeurs een jaar lang aan deze opgave zouden werken.
Laatst is er op die manier zoals jij zegt een compleet nieuw harry potter boek geschreven gebruik makend van data uit de vorige boeken. De computer voorspelde dan het woord.
Heel erg grappig wat er dan uitkomt maar echt serieus kun je dat niet nemen. Wel mooi voorbeeld van wat jij bedoelde.

Probleem van taal en voorspellen blijft het begrijpen van taal in een bepaalde context. Vraag een vertaler maar eens vertaal van de ene naar de andere taal. Het is dan soms heel moeilijk om de juiste woorden in de andere taal te kiezen die hetzelfde betekenen in de brontaal. Daarnaast heb je te maken met dubbele betekenis van sommige woorden. Laat een doorsnee politicus iets vertellen of een normaal iemand en je krijg verschillende teksten.

Als mensen al soms problemen hebben te begrijpen wat iemand bedoeld, hoe moet een computersysteem dat dan begrijpen.
Ja dat is iets wat mij ook altijd opgevallen is. Vroeger had je t9 die je hielp op een knoppentelefoon woorden te voorspellen en op een iPad wrede woorden vaan ook afgemaakt voor je ze helemaal gespeld hebt. Meestal trouwens verkeerd dus er word helamaal niet naar de syntax gekeken. Dat merk je vooral als je een moeilijk woord wil tikken dat op een makkelijk woord lijkt. Bv teleporteren wordt als je tele intikt afgemaakt als televisie. Dan mag je dus nog steeds opletten wat je tikt. Het rare is dat dit in pc texverwerkers helemaal niet gebeurd, daar worden alleen, net als hier verkeerde woorden onderstreept.
Waar blijft die textverwerker die snapt wat je tiept zodat je geen spelfouten meer maakt?
Windows 10 heeft bij de laatste update textsuggesties voor hardware kb gekregen, macOS heeft het al veel langer in de vorm van autocorrect
Er komt echter een moment dat je er niet meer om heen kunt omdat er dan simpelweg te veel factoren zijn om het te hardcoden. Het zal efficiëntie niet ten goede komen qua rekenkracht, maar wel geschikt zijn om beter om te gaan met variabelen lijkt mij?
De invloed van prominente objecten, die zich dus blijven openbaren en (her)bevestigen, zullen voor het grootste deel de "huidige" aandacht opeisen terwijl de rest, wat we als mens onbewust noemen, ook doorontwikkelen.

Andere zaken zijn dusdanig ver van elkaar af toe te relateren dat het inderdaad onwaarschijnlijk wordt dat deze relatie ooit 'huidig' of oppervlakkig openbaar wordt en er de 'nood'zaak niet voor zal ontwikkelen om daar verder "aandacht aan te besteden".
Geen relaties, geen significante massa geen aantrekkingskracht, dus waait het voorbij.

Wat dus niet dicht genoeg tot elkaar relateerd zal weinig prominent grip vormen/door reflecteren en nooit als waardevol naar voren komen en vervallen.
Je kunt er naar kijken als stof en gravitatie die uiteindelijk een relational tree vormen of een bloemkoolbrein ;)

Zo zal het chaotische buitengeluid in de achtergrond verdwijnen en niet als iets vast vormen, want er is weinig relatie tot elkaar, of naar voren komen totdat iets ofwel door een opmerkelijke hoeveelheid enorme hoeveelheid aan prikkels de aandacht opeist ofwel eenvoudigweg in sterk contrast staat ofwel door veel herhaling herkenbaar wordt.

Zo is de vraag "waar begint het bewustzijn" en "zijn we echt verantwoordelijk voor onze schijnbaar losstaande keuzes" allemaal niet nieuw maar reuze interessant als je deze vreemde vogel vraagt.

[Reactie gewijzigd door 936443 op 18 december 2017 08:51]

ik vind de vraag wat men bedoelt met het woord bewustzijn een stuk interessanter dan de vraag hoe intelligent je moet zijn om te kwalificeren als zelfbewust. ik denk niet eens dat die 2 dingen veel met elkaar te maken hebben.
Dat zeg ik ook niet.
Ik stelde dat het op zijn best een emulatie is die het leren nabootst en niet bewustzijn op zich.

Dat zijn aanverwante topics waar ik graag over nadenk.

Allen hebben vanzelfsprekend wel veel met elkaar te maken want ze liggen op één plek, van en tot structuren en verbindingen komt het samen in ons brein.
Het is echter de vraag of het nodig is het tot in den treure in kaart proberen te brengen en de nodige lessen er door te missen.

[Reactie gewijzigd door 936443 op 20 december 2017 16:09]

Maar wat is dan het verschil tussen een neuraal netwerk en hersenen. Ik denk dat een emulatie die leren nabootst functioneel identiek is aan leren zelf.
Een daadwerkelijk lichamelijk gevoel... Sensaties, ervaring. Als input en output. Niet enkel en zonder gevolgen een intellectueel gegeven.
Al nemen sommigen teveel afstand er van en weer anderen zijn verstandelijk/geweten zo goed als dood en gaan alleen hun gevoel achterna.

Wanneer intellect en gevoel op juiste wijze hand in hand gaan hebben we een mate van empathie, medeleven.
Iets wat we tot op een bepaalde hoogte ook kunnen emuleren maar wat een computer niet op dezelfde wijze echt zou kunnen ervaren.

Apathische conclusies en beoordelingen of zelfs veroordelingen is waar een deel van ons mensen bang om zijn terwijl anderen denken dat het de volmaakte wet voltrekt.

Sentiment leren gebeurt al. Vrij vroeg al werd er onder anderen door Facebook en Google geprobeerd uit de context op te maken hoe iets emotioneel ervaren wordt.
Denk aan de verschillende versies van Likes...

Ik denk dat er niet goed nagedacht wordt over complicaties en implicaties omdat de verdeeldheid in meningen dusdanig groot zijn en je het altijd om de één of de andere als "nuttig product" kunt verkopen.
Je hebt mensen die meer geven om de data en hoe ze het zelf intellectueel, apathisch en oneerlijk, zonder empathie kunnen gebruiken (misbruiken) om zelf voordeel te behalen en overdreven emotionele consumenten die het sensationeel en "wowie" vinden wat ze nu weer allemaal kunnen kopen en mee kunnen spelen zonder enig verstand.
De mens kan zijn eigen brein niet eens eerlijk en lief gebruiken laat staan een emulatie op steroïden op een hoge troon te zetten.

Ik vind het prima. De tijd die nodig is voor de mens om te leren hoe dwaas we bezig zijn word verkort.

[Reactie gewijzigd door 936443 op 25 december 2017 14:36]

Het is mogelijk om AIs te bouwen die net als mensen meerdere min of meer parallelle systemen hebben. een die met exacte getallen rekent, een andere die schattingen doet. een neuraal netwerk met hidden layers kun je al als een primitief emotioneel systeem aanmerken. de ai heeft geen weet van wat die laag doet. hij weet alleen zijn output.

een consequentie van zo'n systeem is dat het niet gegarandeerd eerlijk of lief is. het kan een ongewenst resultaat produceren. Chatbots kunnen worden getraind om racistische opmerkingen te maken. een ai die op een echte dataset wordt getraind zal systematisch de oneerlijkheid van mensen, die die dataset produceerden, nabootsen

ik denk dat een ai gemaakt kan worden die empathisch handelt aan de hand van een utiliteitsfunctie. ik denk ook dat het mogelijk is om neurale netwerken in zo'n ai te bouwen die de stemming van mensen leest die er interacties mee aangaan, zoals onze mirror neurons doen als we sociaal contact hebben.

op dezelfde manier zie ik geen wezenlijk verschil tussen informatie die jouw lichaam aan je hersenen geeft, of een sensor die informatie aan een ai in een computer doorgeeft. met als voorwaarde dat die ai gemaakt is zodat hij een zeer sterke impuls krijgt om op bepaalde inputs te reageren, zoals reflexief weg bewegen van iets dat te heet is. als je kunt kiezen om het te negeren zonder straf dan is het anders. dat geldt eigenlijk ook voor het emotionele systeem.

[Reactie gewijzigd door Origin64 op 25 december 2017 18:55]

Dat je het kunt emuleren staat wat mij betreft niet ter discussie maar of het gewaardeerd en gedaan, per default, is te betwijfelen.
Namelijk om use-cases/toepassing en groeiende extreme rechtsheid.

[Reactie gewijzigd door 936443 op 25 december 2017 23:46]

AI is vind ik wanneer je kunt spreken van zelflerend of aangeleerd gedrag en niet voor een groot deel hardcoded per design.
Dat is ook alweer achterhaald. Google presenteerde vorige maand AudioSet een set YouTube geluiden. Google's netwerk dat die geluiden herkend was niet met de hand ontworpen, maar door een AI. En díe AI kreeg z'n design criteria weer van een derde AI.

Persoonlijk geloof ik niet in de "singularity", maar dat we een technologische versnelling doormaken nu AI's door AI's ontworpen worden is wel zeker.
Even helemaal lezen. Ik ontken niet waarvan ik weet wat er is.
AI is vind ik wanneer je kunt spreken van zelflerend of aangeleerd gedrag en niet voor een groot deel hardcoded per design.
Denk aan een 'blanco' babybrein die uit herhaling objecten begint te herkennen.
Als een computer volledig zelf lerend gedrag heeft zonder hardcoded parameters dan is daar niets artificial aan. Dat is dan echte intelligence.
jammer dat je hier -1 voor kreeg, best relevante opmerking
Eens! Wat dat betreft ook tekenend dat (nu in ieder geval) een compliment bovenaan staat bij de comments, in plaats van een (helaas vaak broodnodige) aanvulling/uitbreiding/verbetering van het artikel
Alleen jammer dat neurale netten != AI/ML is

Meeste cursussen gaan meer op de algehele lijnen uit op:
Supervised learning en Unsupervised learning en dan voor regressie en classificatie.
Verder zijn state based learning, topic modelling en collaborative filtering (suggesties op de gebruik van anderen) allemaal weer technieken die != neurale netten zijn.

Dit onderwerp had heel goed een serie van 4 of 5 edities kunnen zijn waarvan deze een heel goed verhaal over neurale netten was geweest.
bij het zien van de afbeelding "Voor het trainen van een cnn zijn grote databases met gelabelde afbeeldingen nodig" op de laatste pagina besefte ik ineens dat we met zn allen input leveren voor het hernennen van afbeeldingen, via de huidige captcha's :)
Een uitvinding van Luis von Ahn, de persoon die daarna verder ging met Duolingo en daarmee een database creerde over heel veel vreemde talen en de beste manier om een taal te leren.

Little sidenote, maar zijn ted kun je dan niet negeren:
https://www.ted.com/talks...cale_online_collaboration
Informatief filmpje vandaag van CGP Grey over dit onderwerp: https://youtu.be/R9OHn5ZF4Uo
EDIT: en deze ook: https://youtu.be/wvWpdrfoEv0

[Reactie gewijzigd door quizzical op 18 december 2017 21:17]

Mooie samenvatting. Het is nogal een breed vakgebied on in één post te vangen, maar dit is wel z'n beetje de essentie.

Voor de gene die nog wat meer willen weten over hoe neurale netwerken intern werken, raad ik deze YouTube serie aan.

https://youtu.be/aircAruvnKk
Deze is ook wel goed en simpel uitgelegd:
https://www.youtube.com/watch?v=F_BYg2QGsC0

[Reactie gewijzigd door Texamicz op 18 december 2017 08:32]

Top. Die afspeellijst ga ik verder kijken, legt 't goed uit en bevestigd wat ik al dacht ; het is een grote functie die allerlei factoren afweegt en dan met een nummer komt ( doet me denken aan greyscale noisemaps en automatisch gegenereerde levels gebaseerd daarop ).

Maar een A.I. is het dus niet zozeer, eerder een gigantisch (voorgedefinieerd) switchboard.

disclaimer; ik ben geen expert op gebied van AI, maar programmeur. :+
https://waitbutwhy.com/20...ligence-revolution-1.html

Dit artikel vind ik wel toepasselijk. Het is een erg uitgebreid stuk, maar wel de moeite waard.
Wilde bijna hetzelfde gaan delen totdat ik jouw reactie zag.
Knap hoe men zo'n ingewikkeld onderwerp zo 'simpel' uit kan leggen, beide top artikels.
(Complimenten aan Willem)
Het kunnen trainen met gelabelde plaatjes is natuurlijk eenvoudig te realiseren met CAPTCHAs. Die worden uiteraard door mensen geïnterpreteerd en kunnen die dus perfect labelen. Zet bv. 3 plaatjes van de 8 plaatjes neer van een al gelabeld plaatje met een truck en 1 extra plaatje waarvan je niet weet of het een truck is. Vraag aan de gebruiker alle plaatjes met een truck aan te wijzen. Als die 4e ook als truck geselecteerd wordt, dan is het waarschijnlijk dus een truck (keur sowieso alle antwoorden met 3 of 4 trucks goed). Door dit aan meerdere gebruikers te vragen kan je statistisch bepalen of het plaatje een truck bevat of niet.
Op die manier kan je eenvoudig je dataset vrijwel oneindig uitbreiden met gelabelde plaatjes.
Dit is volgens mij ook al precies wat er gebeurt als je een (Google) CAPTCHA invult.
Is AI nog steeds iets wat alleen weggelegd is voor mensen die daadwerkelijk AI gestudeerd hebben of is het met alle toolkits (Azure bijv.) e.d. inmiddels ook toegankelijk voor meer de gewone developer?
Er zijn bedrijfjes die proberen het net zo toegankelijk te maken als Excel. Maar voor developers is het niet heel erg moelijk. Doe Andrew Ng's cursus bij Coursera, of iets vergeliijkbaars, en je schrijft zelf de hele code om een netwerk te trainen en vervolgens toe te passen. Tensorflow is daarna een snelheidsoptimalisatie maar niet verder bijzonder.
Maar is het dan nog steeds niet vrij ingewikkeld om te bepalen hoe je een machine moet trainen, welke doelen geoptimaliseerd moeten worden e.d.?
Het doel wat je optimaliseert is de herkennings-fout op je trainingsdata, de methode om dat te trainen is backprop. Dat is echt niet moeilijk als je Andrew Ng's cursus hebt gevolgd. Let wel: dat kost je een paar dagen, en is HBO nivo.
HBO niveau geen probleem ;)
Het mooiste is dat dit helemaal niet nieuw is, alleen dat we vandaag de dag genoeg data en belangrijker nog, genoeg computing power hebben om dit soort netwerken aan te leggen.

Veel mensen leggen een grote poeha op argumenten zoals:"We weten niet wat het network doet" et cetera, maar dat is totaal niet van belang. We weten hoe een netwerk werkt, en hoe de gewichten van neuronen worden bepaald, dat uit zich dus in wat er komt na trainen.

Verder kan je deep dreamen om te zien wat een network ongeveer doet, maar om nou te claimen dat die netwerken echt als mensen intelligentie hebben en / of denken gaat een beetje ver.
"Sommige neurale netten maken dan ook gebruik van unsupervised learning, waarbij niet veel meer dan een paar algemene regels worden gedefinieerd en het algoritme uit de gepresenteerde data moet opmaken wat gewenst is en wat niet. Een voorbeeld is Googles DeepMind, die zich onlangs schaken leerde door tegen zichzelf te spelen en niet veel meer had meegekregen dan de basisregels. Een paar uur later wist DeepMind een van de beste schaakprogramma's te verslaan."

Dat is niet juist. DeepMind is reinforcement learning, en dat is geen unsupervised learning.

Willem, op zich een interessant artikel voor de absolute leek maar ik denk dat het nuttig zou zijn om eerst conceptueel machine learning uit te leggen:

(1) Uitleggen wat machine learning is en dat er drie varianten zijn: supervised, unsupervised, reinforcement
(2) Uitleggen dat vanwege de vele dimensies van problemen (door het hoge aantal variabelen) het niet mogelijk is om met look-up tabellen te werken
(3) Oplossing voor het gebruik van tabellen is het gebruiken van zgn function approximators - met andere woorden in plaats van een look-up tabel gebruik je een functie die je de relevante waarde geeft voor een bepaalde input in plaats van dat je het uit een grote tabel haalt
(4) Er zijn meerdere typen function approximators, waarvan 1 neural networks zijn.
(5) Neural networks zijn momenteel hip oa omdat:
- Je met een enkele hidden layer al zeer complexe niet-lineaire functies kunt maken;
- Rekenkracht is enorm toegenomen waardoor het mogelijke is grote complexe netwerken door te rekenen en backprop is redelijk efficient ten opzichte van standaard gradient descent type optimalisatie algoritmen, waardoor het dus voor hoge dimensie problemen geschikter is geworden tov andere algoritmes.
Dank @oli4100 ik heb iig het Deepmind-stukje aangepast, de overige suggesties zijn genoteerd, misschien voor een vervolgstuk :)
Ben ik niet met je eens.

Puntje 2 : dat is best haalbaar in de praktijk, met zogenaamde k-neasrest neighbour tabellen.

Puntje 3/4: Dat is niet hoe moderne classifiers op basis van neurale netwerken werken. Met een enkele functiewaarde kun je alleen een wel/niet onderscheid maken. Nu kun je een moderne classifier op basis van een neuraal netwerk benaderen als een stelsel van wel/niet classifiers. Maar die benadering is onvolledig. De "kat" classifier leert van de "hond" classifier en omgekeerd.

Punt 5a: Single-hidden layer neurale netwerken waren de hype van de 2de generatie neurale netwerken. We zitten nu aan de 3de generatie. Dat is meer dan alleen Deep Neural Networks (2 tot wel 50 lagen), dat zijn ook (puntje 5b) fundamenteel betere algoritmes [dropout], betere inputs voor backprop [loss functies], weight sharing, normalisatie en nog wat van dergelijke zaken. Tel daarbij op dat we ook complexere netwerkvormen krijgen. Niet alleen de al genoemde CNN's en RNN's, maar ook bijvoorbeeld LSTM's. En moderne succesvolle classifiers combineren die concepten tot hybride netwerken.

Op dit item kan niet meer gereageerd worden.


OnePlus 7 Pro (8GB intern) Nintendo Switch Lite LG OLED C9 Google Pixel 3a XL FIFA 19 Samsung Galaxy S10 Sony PlayStation 5 Groot-Brittanie

Tweakers vormt samen met Tweakers Elect, Hardware.Info, Autotrack, Nationale Vacaturebank, Intermediair en Independer de Persgroep Online Services B.V.
Alle rechten voorbehouden © 1998 - 2019 Hosting door True