×

Help Tweakers weer winnen!

Tweakers is dit jaar weer genomineerd voor beste nieuwssite, beste prijsvergelijker en beste community! Laten we ervoor zorgen dat heel Nederland weet dat Tweakers de beste website is. Stem op Tweakers en maak kans op mooie prijzen!

Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

'EU zou standaarden moeten maken voor ai zoals voor huishoudelijke apparaten'

Door , 94 reacties

De Europese Unie zou standaarden en ethische regels moeten hebben voor de ontwikkeling van kunstmatige intelligentie. Nu ligt de verantwoordelijkheid voor de uitdagingen rondom ai alleen bij bedrijven, maar wetenschap en overheid moeten daarin ook een rol krijgen, zegt het EESC.

Het Europees Economisch en Sociaal Comité pleit voor drie soorten regels op het gebied van kunstmatige intelligentie. Er moeten standaarden komen waaraan ai voldoet, zoals die er nu zijn voor andere productgroepen als huishoudelijke apparatuur. Daarnaast moeten er ethische regels komen die garanderen dat kunstmatige intelligentie rekening houdt met menselijke waardigheid, integriteit en culturele en genderdiversiteit. Tot slot moet de EU arbeidsstrategieën hebben om ervoor te zorgen dat mensen banen blijven houden en daar plezier in blijven hebben, ook als ai daar een grotere rol in gaat spelen.

Het advies van de EESC weegt zwaar, omdat het een belangrijk adviesorgaan is voor beleid binnen de Europese Unie. De voorstellen zijn erop gericht om ervoor te zorgen dat de mens de controle houdt over kunstmatige intelligentie. De EESC ziet voor de EU daarin wereldwijd een voortrekkersrol.

De ontwikkeling van AI ligt nu vooral bij bedrijven, maar de EESC ziet de maatschappelijke kwesties die samenhangen met de opkomst van kunstmatige intelligentie als belangrijk genoeg dat ook de wetenschap en de politiek een rol zouden moeten hebben.

Politici maken zich al langer zorgen over de impact van kunstmatige intelligentie op onder meer werkgelegenheid. Zo zouden bijvoorbeeld veel mensen die nu werken binnen transport, zoals vrachtwagenchauffeurs en taxichauffeurs, in de komende decennia hun baan kunnen verliezen als zelfrijdende auto's en trucks hun werk overnemen. De angst dat kunstmatige intelligentie de mensheid gaat overvleugelen is al langer zichtbaar in onder meer science-fiction.

Door Arnoud Wokke

Redacteur mobile

01-06-2017 • 08:16

94 Linkedin Google+

Reacties (94)

Wijzig sortering
Tot slot moet de EU arbeidsstrategieŽn hebben om ervoor te zorgen dat mensen banen blijven houden
Hier ben ik het mee oneens. Zulke regels kunnen er alleen maar voor gaan zorgen dat banen-overnemenende automatisering wordt geblokkeerd, waardoor werk slechter, langzamer er duurder wordt uitgevoerd en we als maatschappij langzamer vooruit gaan.

Mensen hebben wel enige behoefte aan een baan, maar ze hebben dat niet in de eerste plaats nodig. Ze hebben een dak boven hun hoofd en eten op tafel nodig en daarom hebben ze geld nodig. We moeten als overheid niet meer doen dan nodig als het gaat om bepalen wat mensen met hun leven doen.

De automatisering gaat zo ver en zo snel op dit moment, dat we een andere strategie nodig hebben. De enige andere optie is inderdaad alles afremmen. Als je baan wordt geautomatiseerd, en je kunt geen andere vinden (vrij grote kans, als jouw skills nou net skills zijn die overbodig zijn geworden kun je uiteindelijk nergens meer werken tenzij je hele andere skills gaat regelen, en dat gaat natuurlijk niet zomaar 1-2-3), dan heb je wat mij betreft op dit moment gewoon recht op een uitkering voor de rest van je leven zonder gezeik. Je maakt immers plaats voor een robot die jouw werk beter, sneller en goedkoper doet en daar profiteert de hele maatschappij van. Jij kan er niks aan doen, maar wij worden er wel allemaal beter van. Dus, ga zitten, we betalen je huis, eten, en alle omscholing die je wil en ga rustig op zoek naar wat je nu gaat doen met je leven. Over de gehele breedte blijkt uit experimenten dat veruit de meeste mensen in zo'n situatie toch iets willen doen en dus op zoek gaan naar nieuwe manieren om productief te zijn, en mensen zijn daar best creatief in als je ze alle vrijheid geeft. Al is het vrijwilligerswerk en hebben ze hun hele leven die uitkering nodig, dan dragen ze toch bij? Lijkt me prima. Al doen ze helemaal niks en kijken ze alleen maar TV 40 jaar lang, ook prima, voor hen hebben we namelijk ook anderen in de groep zitten die meer bijdragen dan ze kosten.

Waarom automatiseren we dingen? Zodat we als mensen minder hoeven te doen. Als dat het hele punt is, waarom worden we dan boos als mensen niks doen? Laat de mensen niksen.

[Reactie gewijzigd door Jeroen op 1 juni 2017 09:45]

Het probleem is inderdaad meer dat we werk als levensdoel zijn gaan zijn, in plaats van noodzaak om te overleven.
Het gevolg is dat we het normaal zijn gaan vinden dat het gros van de mensen de helft van hun leven in dienst van een ander leeft en dag in dag uit op een grijs kantoor naar een scherm staart. Het is tegenwoordig doodnormaal dat ouders hun kinderen niet echt zien opgroeien en kinderen geen tijd hebben om voor hun bejaarde ouders te zorgen. Ik verwacht dat we in de toekomst op deze tijd terugkijken net zoals wij terugkijken op de tijd dat je kinderarbeid in kolenmijnen had. Er zal een tijdperk aanbreken dat arbeid geen noodzaak meer is. Mensen kunnen hun energie dan steken in elkaar, in creatieve zaken en om de wereld om zich heen zo leefbaar mogelijk te houden.

[Reactie gewijzigd door BarŰZZa op 1 juni 2017 10:29]

Zeer interessant.
Bill Gates (die van... :) ) heeft tijdens een interview zijn visie op robots, en belastingen op het robotwerk uit de doeken gedaan.
Hij gaat er vanuit dat automatiserende jobs mensen kunnen vrij maken voor dat soort jobs waar mensen veel waarde kunnen brengen. De zorgsector bijvoorbeeld. Nu de zorgsector heeft een schrijnend tekort aan funding. De belastingen op robot werk zou daar voor dienen...

Afijn, Bill legt het beter uit...
https://qz.com/911968/bil...our-job-should-pay-taxes/

*typos*

[Reactie gewijzigd door SpiderTex op 1 juni 2017 13:27]

Goed plan.... Nu nog verstandige mensen in dat land die niet op een totale idioot stemmen dan kan het misschien goed komen...
Goede post, beschrijft ook mijn gevoel.

Ook de quote die je uit het artikel haalt. Het doel is om werkgelegenheid te behouden/creŽren. Hoezo zou dat een doel moeten zijn? "Oh nee, straks zijn er geen banen meer!".
Dat is juist hartstikke mooi, dan kunnen we onze tijd op een andere manier inzetten, fantastisch toch? Dan mogen we weer creatief zijn, in plaats van gevangen zitten in de "bullshit-jobs" die gecreŽerd zijn/worden om ons maar aan de gang te houden.

In de jaren '30 werd door Keynes er al gedacht dat in 2030 een werkweek nog maar 15-uur per persoon zou bedragen. Inmiddels zijn we 80 jaar verder en zijn nog niet veel achteruit gegaan in de uren die gewerkt worden, ook al er sinds die tijd al heel veel geautomatiseerd. Er komen banen bij die er voorheen nog niet waren (denk aan het bouwen en onderhouden van de nieuwe machines/robots/software/.., maar ook aan de talloze banen die niet veel toevoegen aan de maatschappij om werkgelegenheid te creŽren).
Keynes zag wel de verdwijnende banen, maar hij zag niet in dat er veel compleet nieuwe sectoren met nieuwe banen zouden komen. Moet je eens kijken hoeveel mensen nu in de elektronica en ICT sectoren werken en hoeveel meer mensen nu in de entertainmentindustrie werken.
In de jaren '30 werd door Keynes er al gedacht dat in 2030 een werkweek nog maar 15-uur per persoon zou bedragen. Inmiddels zijn we 80 jaar verder en zijn nog niet veel achteruit gegaan in de uren die gewerkt worden, ook al er sinds die tijd al heel veel geautomatiseerd.
Hoewel er nog flink wat werk te verzetten is denk ik dat je dit toch onderschat. Vandaag de dag kun je, relatief aan de levensstandaard van destijds, bijzonder goed leven van een 24u per week baan terwijl in die tijd 40-60u per week niet ongebruikelijk was, en dan woonde je vervolgens in een kamertje zonder ramen en was de algemene levensstandaard onvergelijkbaar met die van nu.

15u/week/pp gaan we niet redden in 2030 denk ik, maar we zijn wel al op de goede weg. Voor zover je het als goed kunt beschouwen natuurlijk, voor een hoop mensen zorgt het werk toch voor een 'zetje in de rug' om sociale contacten te onderhouden. Of iedereen dit blijft doen als ze het huis niet meer uit hoeven is nog maar de vraag. Straks zit iedereen met z'n VR bril op in de nieuwste MMO terwijl het eten/drink door een geautomatiseerde robot bezorgd wordt :)
Tja, maar hoe komen we daar? Als het simpelweg zo gaat dat bedrijven werknemers kunnen vervangen door robots zodra het zover is dat die efficiŽnter (tegen lagere kosten) produceren, dan profiteren eigenaren en aandeelhouders daarvan, maar vissen de voormalige werknemers achter het net.
Ga je de voordelen van robotisering bij bedrijven afromen om die voormalige werknemers van een inkomen te blijven voorzien, dan zul je zien dat de bedrijvigheid zich verplaatst naar "lage-uitkeringenlanden".
Ik ben met je eens dat een situatie zoals je schetst wenselijk is, maar of dat werkelijkheid wordt, dat zie ik eigenlijk somber in.
Ik vermoed ook dat we hier (langzaam) naartoe gaan. Als je het ook historisch bekijkt zijn we er zelfs al lang mee bezig. Nog niet zo heel lang geleden was 7x12u werken per dag nog betrekkelijk normaal (in ieder geval voor de man des huizes). Nu is het, ondanks veel betere levensstandaarden dan destijds, heel gebruikelijk dat men een 32 urige werkweek heeft.

Ik verwacht dan ook dat we op een zeker moment zullen uitgroeien tot het basisinkomen principe waarbij iedereen genoeg geld krijgt om van te leven, en daarnaast naar eigen kunnen en wil gaat bijverdienen. Dit is nu nog lastig haalbaar, maar als zo meteen de productiviteit van alle (ex)werkenden een orde van groter is geworden door vervangende automatisering, dan moet dat toch kunnen.
Er zijn nu eens werkelijk geen redenen te vinden om gezonde mensen die kunnen werken levenslang en zonder voorwaarde een uitkering te geven. Dat systeem bestaat zo goed als nergens, behalve in BelgiŽ en dat is catastrofaal voor de werkgelegenheid en de staatsfinanciŽn gebleken. Als je job overbodig is geworden is er geen reden waarom je niet zou omgeschoold kunnen worden. De overheid mag de mensen daar in begeleiden indien nodig, maar waarom zouden we plots stoppen met te verwachten dat die mensen werken als ze het wel kunnen?
Helemaal mee eens. Het ultieme doel van automatisering moet zijn, dat we uiteindelijk als mens zelf niet meer hoeven te werken. Geld is dan ook niet meer nodig, en iedereen zou dan in principe gelijk kunnen zijn. Geen armoede meer, geen honger meer, geen status meer en je kunt je volledig inzetten op je passies.

Maar, voor het zover is zit er wel een flinke overgangsperiode tussen. De tijd waarin nog niet alles geautomatiseerd kan worden en er dus nog wel menselijk handelen nodig is. In die tijd zullen er goede afspraken moeten komen. Maar het doel van die afspraken moet niet zijn het oude in stand te houden, maar het nieuwe te faciliteren.

[Reactie gewijzigd door Guimo87 op 1 juni 2017 12:13]

Ik ben het deel van je analyse eens, maar ik denk niet dat als maatschappij betalen voor mensen die hun baan zijn kwijt geraakt de oplossing is. Met als voornaamste redenen dat er altijd zat banen zullen blijven en we alle menselijke productiviteit nodig gaan hebben om antwoord te bieden op de grote vragen van deze tijd (bijvoorbeeld versnelde opwarming van de aarde). Waarvoor ik graag kijk naar de overheid in deze kwestie is het onderwijs.

Ons onderwijs systemen zijn wel gemoderniseerd, maar het fundament stamt nog steeds af van militairen. Deze zijn gericht op discipline en gehoorzaamheid. Na een technologische revolutie is een educatie revolutie nodig omdat de relevantie van menselijk eigenschappen anders zijn. Waar honderd jaar geleden onder de vele fabrieksarbeiders discipline en gehoorzaamheid de belangrijkste eigenschappen waren zijn dat nu creativiteit en behendigheid om te veranderen. Er is een radicale revolutie in het onderwijs nodig en niet zoiets aan basic universal income wat een enorme aanslag is op zelfbeschikking en daarnaast gepaard gaat met veel praktische problemen.
Waarom automatiseren we dingen? Zodat we als mensen minder hoeven te doen.
Nee we er wordt geautomatiseerd omdat we de mensen die beslissingen maken binnen bedrijven in de veronderstelling zijn dat dat efficiŽnter is op het gebied van (human/financial/younameit) resources.

Toyota gaat tegen de stroom in:
http://archive.fortune.co...an-asia.fortune/index.htm
Ik ben het ten dele met je eens. Als het robotwerk inderdaad ten goede zou komen aan iedereen en je zou kunnen niksen of je leven naar eigen inzicht zinnig kunnen invullen zou je gelijk hebben.
Het robotwerk komt in de praktijk echter ten goed aan een klein aantal individuen die er groot belang bij hebben de geldstroom van de grote groep naar dat kleine aantal individuen in stand te houden. Dat heet economie.

Ik hoop dus van harte dat geestdodend werk wordt vervangen door robots maar dat de mensen die niets anders kunnen dan dat simpele werk worden gecompenseerd voor hun verlies aan inkomsten gewaardeerd naar de waarde die dat beroep had voor de automatisering. Ik ben alleen bang dat de EU dat totaal niet voor ogen heeft.

Wat m.i. trouwens als eerste gerobotiseerd zou moeten worden is het totaal overgewaardeerde en vaak overbodige beroep van manager.
Als je baan wordt geautomatiseerd, en je kunt geen andere vinden (vrij grote kans, als jouw skills nou net skills zijn die overbodig zijn geworden kun je uiteindelijk nergens meer werken tenzij je hele andere skills gaat regelen, en dat gaat natuurlijk niet zomaar 1-2-3), dan heb je wat mij betreft op dit moment gewoon recht op een uitkering voor de rest van je leven zonder gezeik. Je maakt immers plaats voor een robot die jouw werk beter, sneller en goedkoper doet en daar profiteert de hele maatschappij van.
Dus jij stelt voor dat een opgeleide arts gaat leven van een uikering als een A.I. betere diagnoses kan maken?
Hoe zit het met ICT consulenten? Die banen staan ook redelijk op de tocht door A.I.
Programmeurs, zelfde. Straks gaan computers on-demand software voor je bouwen.
Ingineurs heb je ook amper nodig. Je vraagt om een gebouw en het wordt gegenereerd. En ziet er nog kunstig uit ook en cheap te bouwen. Gaat allemaal gebeuren.

Verder maak je de fout om te denken dat de winst van deze transformatie naar de maatschapij gaat. Dat gaat het natuurlijk grotendeels niet. Dat geld verdwijnt in de zakken van een paar topmanagers en investeerders. En die gaan ons landje echt geen geld toestoppen omdat ze zo aardig zijn. Wat zal blijken is dat de poducten amper goedkoper worden ondanks dat ze wel goedkoper geproduceert worden. Als er al een 'race to the bottom' gaat plaatsvinden op dit vlak dan gaan wij het als nederland hoe dan ook verliezen van landen zoals china waar alles mega-groot kan worden aangepakt.

Ik zie het dus helemaal niet zo makkelijk of rooskleurig in als jij schetst.
grotendeels eens met het principe, maar hoe breng je dit in de praktijk?
Het bedrijf dat mensen wegdoet krijgt de baten, en de maatschappij de kosten. Of als het bedrijf zelf het niet doet worden ze weggeconcurreerd door een ander dat direct zonder personeel begint.
Je zou nog kunnen zeggen dat bij automatiseringsrondes de baten gedeeld worden, 50% voor het bedrijf en 50% voor de werknemers in contant of in aandelen. Maar er is nog steeds het risico dat een nieuw bedrijf (of zelfde bedrijf onder andere naam) direct zonder personeel begint.
Hoe kan je leven zonder inkomen? En zeg niet uitkering, want ook die zal verdwijnen op het moment dat de verhouding werkend\werkloos scheef is. Ook Bijscholen en Omscholen kost geld.
Wie gaat dat bekostigen?

Op het moment dat er meer mensen zijn dan banen gaan de salarissen flink omlaag. Wonen eten worden echter steeds duurder. Minder mensen hebben het geld voor, wordt minder gekocht om toch winst te kunnen maken gaan dan de prijzen automatisch omhoog en nog minder mensen kunnen het dan betalen. Alternatief als basis uitkering klinkt goed maar waar komt dat geld vandaan als er meer werkelozen zijn dan werkenden?
Weer zo'n groep mensen die een science-fiction-film hebben gezien en op basis daarvan nu wetgeving willen opstellen... "dat kunstmatige intelligentie rekening houdt met menselijke waardigheid, integriteit en culturele- en genderdiversiteit." Dan zal je een ai eerst moeten leren wat dat uberhaupt is: een hard AI probleem. Vooralsnog komt het niet veel verder dan wat regeltjes uitvoeren op basis van signalen en wat correlaties. Begrijp me niet verkeerd, er zijn nuttige toepassingen voor hedendaagse "ai", maar echte ai zoals in films is het bij lange na niet.

Het ligt ook zo voor de hand allemaal: als je een killer robot bouwt, probeer dan dat hij niet de mensheid uitroeit...d'oh... of, nou, waarschijnlijk is dat juist precies waar ze voor gebouwd worden, maar dan slechts een specifiek deel...

"Politici maken zich al langer zorgen over de impact van kunstmatige intelligentie op onder meer werkgelegenheid. Zo zouden bijvoorbeeld veel mensen die nu werken binnen transport, zoals vrachtwagenchauffeurs en taxichauffeurs, in de komende decennia hun baan kunnen verliezen als zelfrijdende auto's en trucks hun werk overnemen"

Ja zo gaat dat helaas. Zo is het de koetsiers ook grotendeels vergaan. Die gaan dan wat anders doen. Bijvoorbeeld zelfrijdende auto's repareren.

[Reactie gewijzigd door Zoijar op 1 juni 2017 08:49]

Laag opgeleide mensen zullen waarschijnlijk bijna compleet onnodig worden door automatisering. De enige oplossing is om een basisloon in te stellen, intelligentere mensen kunnen en zullen nog steeds proberen zichzelf hoger op te krijgen om meer te verdienen of om zichzelf meer te ontwikkelen en ontplooien. Dit basisloon zal betaald moeten worden door een constructie die zorgt dat bedrijven alsnog betalen voor ieder persoon dat ze weg-automatiseren.

Automatisering moet niet gezien worden als iets slechts, er moeten alleen genoeg regels komen om te zorgen dat het niet alleen de bedrijven zijn die er beter van worden.
Wat jij beschrijft is het opnieuw opzetten van een klasse-systeem.

Ik denk juist dat de grootste klappen zullen vallen bij de middelste opleidingsniveaus. Laagopgeleiden doen veel werk dat niet efficiŽnt en goedkoop te automatiseren valt.
Kijk eens naar het werk van een tuinman. Voor elke handeling die hij doet is wel een robot te verzinnen, maar een robot die een groot deel van het werk zou kunnen doen is al snel te complex en te duur. Een tuinman door een vloot robots vervangen die ieder ťťn of twee handelingen kunnen verrichten is ook te duur en niet erg efficiŽnt. Dat geldt voor veel beroepen met veel handwerk.
Administratieve handelingen zijn juist heel goed te automatiseren wanneer AI net even wat slimmer zou zijn. De meeste mensen die nu achter een computer zitten zouden zich zorgen moeten maken. In feite zijn zij weinig meer dan verwerkingseenheden van zaken die nu nog (net iets) te ingewikkeld zijn om door de CPU van de computer verwerkt te worden. Computergebruikers die echt creatief bezig zijn (programmeurs/ designers/ etc) zullen iets moeilijker te vervangen zijn, dat zal iets langer duren.

Maar we moeten ook oppassen dat we niet steeds in dezelfde fout vervallen sinds het eerste mechanische hulpmiddel werd gemaakt (en waarschijnlijk al sinds de invoering van ruw gereedschap en het gebruik van hulpdieren in de landbouw). Steeds wordt er gezegd dat er een hele grote groep mensen overbodig wordt gemakt en er werd gevreesd voor de maatschappij-ontwrichtende gevolgen daarvan. Maar er werden geen mensen overbodig, er werden beroepen overbodig waar andere beroepen voor terugkwamen of al andere bestaande beroepen groter werden. Natuurlijk is de overgang voor mensen die in een overbodig wordend beroep zitten lastig, maar de volgende generatie heeft daar geen last van. De arbeidsmarkt zal zich steeds meer verschuiven naar het verlenen van diensten.
Het probleem met bedrijven laten betalen voor ieder persson die ze weg-automatiseren is dat je daarmee bedrijven straft die eerst mensen in dienst hadden. Nieuwe bedrijven die AI-only werken hebben dat nadeel niet, en vagen je bestaande bedrijven weg. Een tweede probleemis dat je buitenlandse bedrijven niet op die manier kutn belasten.

Het is een stuk simpeler om het simpelweg uit de BTW te betalen. Ook op Chinese import zit BTW. En de tweede methode om het te kunnen betalen is de huursubsidies en andere nivellerende maatregelen te schrappen - het basisloon is er ook voor mensen die een minimumloon van de baas krijgen, en voortaan dus dubbele inkomsten hebben.
Daar is natuurlijk prima iets voor te zeggen. AI is de volgende stap in automatisering.
In de huidige automatisering is de mens nog steeds de ontwerper van processen en afwegingen. Als je dat aan AI overlaat weet je niet welke economische, praktische of ethische overwegingen worden gemaakt. Het is dan niet gek dat een overheid harde grenzen aangeeft waaraan een AI systeem moet voldoen voor het op de markt mag komen.
Ik denk aan dingen als:
- Geeft een AI recruiter voorkeur aan mannen of vrouwen? Dat is in onze wetgeving verboden.
- Rijdt een AI vrachtwagenchauffeur door rood omdat de tijdwinst opweegt tegen het risico op een boete? Dat is niet wenselijk voor de verkeersveiligheid.
Wij mensen groeien op leren en leren op basis van regels die we maken en leren.

voordat ai een bewustzijn en emotie heeft zal het net als wij ook een leerproces doorgaan. Verschil is dat het leesprocessen kan samenvoegen en combineren, het kan data van andere ai's overnemen, iets dat voor ons mens al moeilijker is.

Door rood rijden, tijdswinst kan een afweging zijn waarbij ik er dan vanuit ga dat AI of meer data beschikken kan en zal kijken of er geen ander verkeer in gevaar gebracht wordt. Denk dat er ook mensen zijn die door rood rijden, bijv in de nacht, wetende c.q zien dat er geen ander verkeer in gevaar gebracht zal worden.

Als AI door rood zal rijden kun je misschien stellen dat het menselijk is.
Maar stel AI rijd bewust door rood, paar mensen dood, hebben we dan de doodstraft voor een AI met bewustzijn ?
Kunnen we deze uitschakelen en als deze ai in contact staat met anderen hoe reageren die op het uitschakelen c.q doden daarvan.
Het is me niet helemaal duidelijk welke kant je op wilt met je post, daarom een paar korte reacties:

Het niet hebben van emotie kan een voordeel zijn (geen vriendjespolitiek, puur rationeel afwegingen maken) maar ook een nadeel (geen rekening houden met emoties van mensen, of unieke situaties beoordelen).

Als een door de mens geprogrammeerde auto door rood rijdt, is het een menselijke eigenschap. Maar als AI op basis van zelf-ontwikkelde overwegingen bewust door rood rijdt, is er niets menselijks aan (behalve dat het resulterende gedrag toevallig hetzelfde is).

In dit specifieke voorbeeld wil je dus dat fabrikanten van AI vrachtwagens hard inprogrammeren dat de verkeersregels gevolgd moeten worden, anders mag het simpelweg niet op de markt komen. Het lijkt me goed hier regels over op te stellen op internationaal niveau.

Je ziet deze discussies al bij aanrijdingen met semi-zelfrijdende auto's: wie is er verantwoordelijk/aansprakelijk? De bestuurder, fabrikant, software-ontwikkelaar?
AI is er nu in vele vormen. Zelfrijdende auto noemen we misschien ai maar is nog steeds een set instructies die wel leert maar idd regels kan toepassen en zal toepassen.

Het rood licht voorbeeld kan anders zijn als je ai hebt met bewustzijn en emotie. In dat geval kan het zelfstandig beslissingen nemen en denken ik volg de regels niet.
"Weer zo'n groep mensen die een science-fiction-film hebben gezien"
Star trek heeft anders een hele generatie gemotiveerd om de fictieve dingen van de serie te gaan ontwikkelen voor het echte leven of er inspiratie uit te halen. En zelfs NASA gebruikt Hollywood om inspiratie op te doen.

En mensen we zijn al meer dan 95% van onze oude banen verloren aan robots(automatisering) en AI, is kwestie van tijd, zelfs banen waar menselijke interactie op prijs word gesteld zullen vervangen worden door robots, ook dat is kwestie va tijd dat we daar aan wennen. Dus ook banen zoals leerkrachten zullen vervangen worden door digitale varianten, dat is al deel aan de gang, vele hebben nu al computer programma's waar ze les van krijgen.
Ja zo gaat dat helaas. Zo is het de koetsiers ook grotendeels vergaan. Die gaan dan wat anders doen. Bijvoorbeeld zelfrijdende auto's repareren.
Das leuk bedacht, maar de impact van huidige generatie automatisering heeft een veel grotere reikweidte.
Kijk, veruit de meeste mensen op aarde doen 'dom' werk. En dat werk wordt nu juist aangepakt met automatisering. Dat betekent dus dat een heel groot deel van de werkende bevolking straks zonder werk zit. Ga jij baantjes verzinnen (en belangrijken nog, betalen) om die mensen een inkomen te geven?
Misschien zou potentiŽle wetgeving juist kunnen voorlopen op deze zaken (en dat is denk ik wat ze hier ook bedoelen). Het is dus niet omdat er nog geen AI bestaat die een begrip heeft van zaken als waardigheid en integriteit dat je nog geen regels kunt opstellen die hierop betrekking hebben. Ooit zal het ervan gaan komen dus het is misschien beter preventief op te treden dan de zaken achterna te hollen (zoals meestal het geval met wetgeving).

@Killemov haalde ook al Asimov's laws aan. Deze zijn ook bedacht zonder dat er al robots bestonden waarop dit betrekking heeft.
Met de manier en snelheid waarmee Deep Learning zichzelf ontwikkelt is dit onhaalbaar. Dan zal de EU een AI moeten gaan bedenken om al die regelgeving te bedenken 8)7

[Reactie gewijzigd door 4g0ny op 1 juni 2017 08:33]

Ik volg de ontwikkelingen van Deep Learning net zoals de meeste hier., Ik verwacht dat als Deep Learning zich weet te kruisen met eerste succesvolle Kwantumcomputer we waarschijnlijk zelfbewuste Ai wel hebben bereikt en dat die AI ook gelijk een stukje boven ons staat.

@jochem4207 een goede bron van informatie over deep learning is juist Google zelf. Google houd zich als bedrijf veel bezig met deep learning en verstrekt ook redelijk wat informatie.

[Reactie gewijzigd door Auredium op 1 juni 2017 08:46]

Waar volg je dit voornamelijk? Ik ben ook best geÔnteresseerd (en heb nog geen recente Google poging gedaan)

Ontopic:

Kan de overheid geen groep van Techbedrijven in de hand nemen die hier in een adviserende rol hebben?

[Reactie gewijzigd door jochem4207 op 1 juni 2017 08:43]

Die rol kan je beter aan de wetenschap geven. Daar zitten mensen die van overheidsgeld betaald worden om specialist te zijn op een bepaald gebied. Zij hebben minder belang om wetgeving een bepaalde richting in te duwen dan techbedrijven.
Ik denk dat je niet "de wetenschap" bedoelt, maar "de universiteiten". Wetenschap gebeurt ook buiten de universiteiten, bij bedrijven. Dat geldt in het bijzonder voor de AI revolutie.

En ook bij universiteiten heb je een heleboel wetenschappers rondlopen die door het bedrijfsleven betaald worden. De overheid heeft niet zo veel geld over voor wetenschap, onder het motto "derde geldstroom" betalen een heleboel bedrijven direct aan universiteiten.
De overheid betaalt juist wel veel voor fundamenteel onderzoek. FWO, IWT (nu vlaio), om maar 2 te noemen in BelgiŽ. Het is voor een deel hun rol om vooruitgang te faciliteren.

Er is vaak de misopvatting dat de overheid niets doet voor innovatie, maar het tegendeel is juist. Dankzij de overheid zijn we net technologisch zo ver gekomen. Dit wordt mooi uitgelegd in bvb "the entrepreneurial state". Ik zit zelf in een startend bedrijf in high-tech, en veel ervan is ooit gerealiseerd dankzij hun steun (wat niet wilt zeggen dat we nu niet op ons eigen benen staan, nu gaat het om verkoop).

On-topic, ik denk dat de overheid een cruciale rol heeft in het sturen van AI. De overheid neemt een maatschappelijk verantwoordelijkheid, waar zij veel meer worden voor afgerekend dan bedrijven, die vaak worden afgerekend op kwartaalcijfers.
Ik denk dat dat spelen met vuur is, juist die techbedrijven hebben een zeer groot belang bij de wetgeving waar ze dan over adviseren
Kan de overheid geen groep van Techbedrijven in de hand nemen die hier in een adviserende rol hebben?
Ik denk dat dat spelen met vuur is, juist die techbedrijven hebben een zeer groot belang bij de wetgeving waar ze dan over adviseren
Er zijn vele manieren om informatie van alle belanghebbenden te verkrijgen. In Brussel zie je veel Public Consultations. Iedereen, inclusief lobbyisten van de techindustrie en lobbyisten van tegenstanders (dat die ook bestaan vergeten velen als er gesproken wordt over lobbyisten) maar ook individuen, universiteiten etc. Na deze publieke consultaties zijn er ook nog wel eens publieke debatten waarbij sprekers van verschillende standpunten worden uitgenodigd en waarna iedereen met burocraten 1 op 1 kan spreken. En zo nog vele andere wegen die bewandeld worden.

[Reactie gewijzigd door EektheMan op 1 juni 2017 10:22]

Wat betreft leuke sites/blogs om te volgen als je geÔnteresseerd bent in de ontwikkelingen binnen Deep Learning (Dus vooral wat gebeurt en kan er NU ipv speculeren over wat zou kunnen gebeuren met een super A.I.), dan zijn dit mijn aanraders:
  • Notey Hierop worden nieuwe apps en toepassingen, die gestoeld zijn op Deep Learning besproken. Niet diepgaand en technisch, maar wel leuk om te zien wat hier allemaal voorbij komt.
  • AIWeekly Een nieuwsbrief (ook online te bekijken) met allerlei nieuwtjes binnen A.I. en Deep Learning. Prima te lezen zonder technische kennis van het vakgebied.
  • Talking Machines Podcasts over Machine Learning. Met interessante onderwerpen en gasten. Zeker de moeite waard om naar te luisteren als je al wat van het onderwerp weet.
  • Kaggle Blog Kaggle is een platform voor data science, waar wedstrijden georganiseerd worden om problemen rondom predictive analysis zo goed mogelijk op te lossen. Op de blog vind je veel interessante items, waaronder interviews met de winnaars van de afgelopen wedstrijden.
  • colah Wil je begrijpen hoe machine learning/deep learning werkt dan is dit een hele mooie blog/site van Christopher Olah, die het relatief makkelijk uitlegt.
  • iamtrask Een technische blog over technieken en methoden binnen Machine/Deep Learning. Andrew Trask neemt je mee in zijn tutorials.
  • Reddit DL Voor de hand liggend, maar de Deep Learning pagina van Reddit wordt gevuld met interessante nieuwtjes in het veld, nieuwe technieken, AMA's en ook vragen van beginners is erg waardevol.
  • Reddit ML Zelfde als hierboven, maar dan voor Machine Learning. Wat breder en wordt meer in gepost.
Veel lees/studieplezier!

[Reactie gewijzigd door Reynouts op 1 juni 2017 11:18]

Wow! Dankjewel. Vanmiddag een lange treinreis dus dat komt goed :)
Ik denk dat simpelweg deep learning en quantum computer niet opeens volstaat of resulteert, ook niet random, tot een zelfbewuste AI.

Sowieso, mensen vergeten in het algemeen de belangrijke vragen en definities: wat is zelfbewustzijn, wat is intelligentie, wat is mensoverstijgende intelligentie? In diverse aspecten is AI al beter dan de mens, maar in diverse opzichten is mens ook weer beter. Maar dan nog; wanneer spreken we over zelfbewustzijn?

Als ik dit soort losse uitspraken hoor over hoe zelfbewust AI of superintelligent AI ontstaat door X en Y te mengen dan heb ik niet het beeld dat men zich bovenstaande heeft afgevraagd en/of snapt wat AI, zoals we dat kennen, nou echt is.

Deep learning is slechts een complex model waar we diverse algoritmes voor hebben die het model trainen op beschikbare data. En op diverse vlakken met veel data en juiste training op een niet te ultra-moeilijk probleem lukt het dat ook goed. Dat het verder geinspireerd op de hersenen is, leuk, maar heel veel in AI is geinspireerd op hoe wij denken en biologische aspecten. Maar daar is dan ook alles mee gezegd.
zelfbewustzijn is helaas niet zo magisch als mensen willen geloven. In tegenstelling tot de hersenen van heel veel dieren (die overigens vaak ook al een zelfbewust zijn, zij het op lager niveau) willen de menselijke hersenen constant alles weten. Echter is het niet mogelijk om constant alles te weten, om het proces van beslissingen te kunnen voortzetten zonder constant te blijven hangen op factoren die wij niet kunnen weten schrapt de grijze massa gewoon die factoren en doet het aan de hand van de genetische aanleg, behaalde resultaten en de situatie waarin de beslissing wordt gemaakt een dobbelsteen rollen. Wij mensen ervaren dit als zelfbewustzijn, maar dat is slechts een illusie om het proces van beslissingen maken niet te verstoren.

Kort gezegd; mensen hebben een hogere mate van 'zelfbewustzijn' omdat de menselijke hersenen meer kunnen maar als resultaat ook sneller tegen barriŤres aanlopen waar ze geen of weinig invloed op hebben. Het gevolg is dat het grotere rekenvermogen van de hersenen zorgt voor meer onbekende variabelen waardoor er vaker een dobbelsteen moet worden gerold gebaseerd op genetische aanleg, levenservaring en de situatie waarin de beslissing wordt genomen met het zicht op de toekomst. Omdat die dobbelsteen veel vaker rolt dan bij dieren moet de illusie van controle veel vaker en sterker worden gehandhaafd en dat is zelfbewustzijn.

Maar we komen dan meer in theoretische gedeeltes van zelfbewustzijn. Wij zijn robots in ons denken en hebben geen vrije keuze; alleen de illusie van vrije keuze. De huidige AI is in die zin foutief omdat wij de programmering ervan baseren op de sensorinput die ze kunnen hebben zonder ze bloot te stellen op sensorinput waar ze niet op voorbereid zijn maar toch hun beslissingen beÔnvloeden. Maar dit is meer hypothetisch en filosofisch gepraat en ik kan mij niet voorstellen dat mensen hier mijn voorliefde erin delen. :P
Je post is interessant maar je vergelijking met een dobbelsteen gaat denk ik mank.
Bij een dobbelsteen is de uitkomst compleet willekeurig. Zoals je zelf aangeeft wordt in het menselijk bewustzijn de uitkomst bepaald door omgevingsfactoren, genetica en ervaringen uit het verleden waardoor bepaalde opties een voorkeur zullen hebben boven andere opties.
Mensen hebben zelfs invloed op dit proces door met kennis van de werking van de hersens de uitkomst van de dobbelsteen bij zichzelf of anderen in bepaalde situaties te beÔnvloeden. Zoals in gedragstherapie.

Hoe mooi zou het zijn als AI zou kunnen nadenken over de mate van zijn/haar eigen bewustzijn en daar met elkaar of met ons een discussie over zou kunnen voeren.

Of dat Google's deep learning netwerk voor image recognition depressief wordt van het saaie werk en dat je een psycholoog nodig hebt om hem uit de put te praten.
Wij mensen ervaren dit als zelfbewustzijn,
Is dit niet een cirkelredenatie?
Om te kunnen ervaren heb je zelfbewustzijn nodig.

Ik denk dan ook dat je flink aan het baggetaliseren bent en dat zoiets als zelfbewustzijn niet zo triviaal is als dat jij het doet lijken.
Zelfbewustzijn is dan wel niet magisch, maar je pretendeert dat wij als mensheid al weten hoe een bewustzijn daadwerkelijk tot stand komt, laat staan zelfbewustzijn.

Het detecteren van een object via een neuraal netwerk zou je bewustzijn van het eerdergenoemde object kunnen noemen, maar dat vind ik een zeer schrale omschrijving, helemaal als je het zelfde netwerk met een correcte hoeveelheid specifieke visuele ruis van het zelfde kunt overtuigen door misbruik te maken van de zelfde weights en abstracties binnen het netwerk.

Er is nog geen enkele AI, Neuraal Netwerk of Intelligent Agent die daadwerkelijk bewustzijn heeft anders dan dat 'ie een voorgeprogrammeerde boolean value response uitbraakt wanneer we het vragen of het bewust is...

.. maargoed, ik kan het natuurlijk fout hebben en een van de belangrijkste doorbraken op het gebied van kunstmatige intelligentie hebben gemist. Ik ben ook maar een mens.
Ik moet hierbij gelijk denken aan toen toenmalig minister van justitie Donner in de kamer zijn beleid moest komen uitleggen t.a.v. 'het Internetgebeuren.' M.a.w. wetgeving prima, maar dan wel graag door mensen die er verstand van hebben... en dan bedoel ik niet voor veel belastinggeld ingehuurde consultants, zodat als de nieuwe wetgeving flut blijk te zijn, men zich in elk geval ingedekt heeft, maar deze keer graag eens in het belang van de burger. ;)
Dus niet door politici of ambtenaren, maar ook niet door professionals. Wie moet het dan gaan doen? ;)
Juist wel door professionals die ambtenaar worden. Bedoelde eigenlijk dat de overheid dan moet zorgen die experts zelf in huis te hebben, zodat ze zelf weet waar ze over praat wanneer ze een standpunt inneemt of zelfs een wet in werking stelt. Dan is iets ook echt eigen beleid ipv geadviseerd beleid waarvan niemand weet waar het eigenlijk over gaat, zolang de (gekleurde) kennis bij consultants vandaan komt. Dat met Donner was daar een aardig voorbeeld van, niet alleen kon hij in de kamer geen enkele vraag fatsoenlijk beantwoorden, sterker nog, hij snapte niet een vraag. Dat gaf al aan dat men zich er te laat in was gaan verdiepen en de impact van 'het Internetgebeuren' zwaar was onderschat. Oude mannen die iets zinnigs moesten zeggen over jonge technologie... dat resulteerde in 'met zo'n gadget ga ik me niet bezig houden, laat daar een consultant maar een rapportje over schrijven.' En daar wordt alles zoooo traag van...
Ik ben AI professional. Als in, mijn bedrijf maakt echte AI's die commercieel en op grote schaal ingezet worden. Waarom zou ik ooit ambtenaar willen worden? Consultancy is de enige manier waarop de overheid de echte experts kan aantrekken, precies omdat ze dan geen ambtenaar hoeven te worden.

Het is niet alleen het salaris. Ik heb als student jaren geleden nog een bijbaantje als ICT' er voor een gemeente gehad. Daar viel ICT onder interne diensten, net zoals de kantine. En interne diensten werd dus geleid door de ex-directeur van de kantine die gepromoveerd was na 25 dienstjaren.
Geen enkele minister maakt zelf zijn wetgeving of beleid. Daar heeft hij zijn beleidsmedewerkers voor, die hebben verstand van zaken. Ministers zijn niet meer dan managers die een 'bedrijf' runnen en met hun geldingsdrang de boel lopen te frustreren. Een enkeling heeft verstand van zaken, maar vaak geldt dat een beetje verstand gevaarlijker is dan geen verstand.
Dat zal wel weer lachen worden als de overheid de snelheid van AI moet gaan bijhouden en d'r ook nog eens wetten voor moet maken.
Wet- danwel regelgeving op basis van wat (nu) kan is niet praktisch ;)
Het is mijns inziens wel haalbaar om een kader te creŽren en richtingen te definiŽren. Daarbij ben je vrijer om te anticiperen op wat komt of kan komen. Anders wordt het inderdaad tegen de wind in pissen.
Tja ai is een moeilijk thema en de vraag is of je er regels voor kan maken.

Wat je in films al wel ziet is de vraag wat als ai bewustzijn krijgt ?
Sommigen denken dat het niet mogelijk is, ik denk van wel zeker als je nu al ziet dat men bezig is bijv kunsthanden te laten communiceren met ons brein. De volgende stap is combinatie van chips met zeg biochips. Onder biochips versta ik dan bij dat men hersenen kan laten groeien uit stamcellen en die kan programmeren c.q controleren.
Wat als AI dus bewustzijn krijgt, zijn ze dan gelijkwaardig aan de mens.
Mensen ontwikkelen zich meestal goed soms gaat het verkeerd, crimineel gedrag en kun je AI zo inperken dat het dat gedrag niet gaat vertonen, moeilijk als AI bewustzijn en emoties krijgt.
Zodra ai echte bewustzijn krijgt kan je het vergeten dat die ai zich ook perfect aan de regeltjes zal houden. Wat dat betreft kan je ai met bewustzijn gewoon dezelfde set van regels meegeven als mensen. De vraag zal dus ooit zijn, krijgt ai met bewustzijn ook dezelfde rechten als de mens. Overigens ben ik van mening dat echt bewuste ai nooit zal bestaan.

Biologisch gekweekte hersens/ai zie ik meer als een biologische levensvorm welke je niet op dezelfde manier onder controle kan houden als iets wat compleet in software is gemaakt.
Maar dan moet je gaan specificeren wat een "bewustzijn" is. Is dat "uit zichzelf denken en problemen oplossen" dan gaat dat wel gebeuren, maar iets meer dan dat. Nee.
Inderdaad, goeie om te definieren:
Bewustzijn: https://nl.wikipedia.org/wiki/Bewustzijn

In iets simpelere vorm: Als ai kan denken, vandaag heb ik gewoon geen zin in taak X, screw it, ik ga vandaag Y doen of helemaal niets. Maar ook emoties, dus dat ai kwaad/boos kan zijn op het gedrag van mensen. En dan niet gescript/geemuleerd maar echt wel gemeend. Dat elke ai in die vorm ook anders kan zijn, met andere karakters.
Of echt bewust ai nooit zal bestaan is een vraag waar we het antwoord niet op weten. Zelf denk ik het het mogelijk zal zijn, de vraag is wanneer.

Je hebt het compleet in software, het idee van ai is dat je een set regels hebt, van daaruit ontwikkeld het zich verder, dat kun je als software zien. Maar is dat bij de mens ook niet zo, we weten nog heel weinig van ons dna maar toch zit er heel veel voorgeprogrammeerd gedrag in dat dna.

Er zijn voorbeelden van tweelingen, gescheiden bij geboorte, gescheiden opgevoed die toch vergelijkbaar gedrag ontwikkelen ondank de verschillende invloeden, dna

Dna kun je denk ik dan ook zien als de software van ons mens, er staan dingen in die iedereen uniek maakt maar die toch vastgelegd zijn in jou en mijn dna.
Wie weet zijn ze op een gegeven moment zover dat ze AI in gaan zetten om wetten te maken gebaseerd op de partijen die op dat moment in de regering zitten en de koers die ze volgen. Dan hoeven ze alleen nog maar het na te kijken, hier en daar aan te passen en dan te ratificeren.
Of je houd je aan de Drie Wetten van Asimov:
https://nl.wikipedia.org/wiki/Drie_wetten_van_de_robotica

Sorry, dit is al gepost. Maar okay, voor de mensen die geen engels kennen... haha

[Reactie gewijzigd door qbig1970 op 1 juni 2017 10:03]

De overheid die zich bezig gaat houden met AI...
...Met de snelheid van de overheid zal ieder menslievende AI onmiddellijk de mensheid gaan haten. Stel je gewoon Arnold voor die als terminator staat voor heen gemeenteloket om een bouwvergunning te regelen.

Dat gezegd hebbende; regelgeving omtrent AI ontwikkeling houd niets tegen. Zelfbewust AI die de mensheid kan overvleugelen ontstaat waarschijnlijk onverwachtst en uit een zichzelf evoluerend proces. Het zal zich daarnaast waarschijnlijk ook gedragen en ontwikkelen op een door de mensheid moeilijk te voorspellen manier.
Zelf bewuste wezens gedragen zich allen irrationeel, ook al denken we dat we rationeel denken.

Echte AI zal zich eveneens irrationeel gaan gedragen.
Echte AI zal zich eveneens irrationeel gaan gedragen.
En zal net als de meeste mensen de voordelen inzien van het zich houden aan een set regels.
+1 voor dat terminator plaatje haha
Tja dat klink leuk op papier niets meer niets minder.
De wetten moeten dan ergens in ai zitten maar is dat een garantie dat ze niet veranderd kunnen worden. Westworld is een mooie serie daarover en vooral het einde is heel boeiend.
Tja dat klink leuk op papier niets meer niets minder.
Zelfs op papier klinkt het slecht... als men ook daadwerkelijk de boeken van Asimov leest kom je een aantal verhalen tegen waarin de drie wetten (ernstig) te kort schieten, aangepast en zelfs aangevuld worden.
Ik denk dat je meer hebt aan bedrijven die samenwerken en iets ontwikkelen als de "Asilomar AI Principles".
Dus een sociaal en economisch comitť wil dat er regels worden opgesteld rondom AI, snap me niet verkeerd, maar is dat niet net zo iets als een huisvrouw de wetgeving laten maken rondom visserij in de Noordzee?

P.S. dat gezeur over "Daarnaast moeten er ethische regels komen die garanderen dat kunstmatige intelligentie rekening houdt met menselijke waardigheid, integriteit en culturele- en genderdiversiteit." laat ook zien dat ze geen idee hebben wat ze zeggen. Zo'n AI ga je niet met de hand allemaal termen, waarden etc leren. Die voer je containerschepen vol met data, op basis hiervan zou een AI met behulp van machine learning zef waarden en normen kunnen vormen. en blijkt nou wel dat de AI hierdoor in een pedofiele seriemoordende satanist verandert zegt dat meer over de maatschappij dan over de AI zelf.

[Reactie gewijzigd door Overlord2305 op 1 juni 2017 09:57]

Dus een sociaal en economisch comitť wil dat er regels worden opgesteld rondom AI, snap me niet verkeerd, maar is dat niet net zo iets als een huisvrouw de wetgeving laten maken rondom visserij in de Noordzee?
Slecht voorbeeld.
Ten eerste maakt het comitť geen regels, het ziet dat er een situatie aan komt waarin regels handig/ noodzakelijk zijn.
Ten tweede, wanneer huisvrouwen op de markt zien dat het treurig gesteld is met de kwaliteit van vissen uit de Noordzee, dan kunnen zij ook vragen dat er regels worden opgesteld voor de visserij om die kwaliteit te verbeteren. (Ooit van de Nederlandse Bond van Huisvrouwen gehoord. Klinkt nu als volslagen ouderwets, maar in het verleden hebben ze voor gezorgd dat er veel regelgeving rond huishoudelijke zaken is gekomen die we nu logisch en vanzelfsprekend vinden.)
[...]
Slecht voorbeeld.
Ten eerste maakt het comitť geen regels, het ziet dat er een situatie aan komt waarin regels handig/ noodzakelijk zijn.
In theorie, echter telt een advies van dit comitť wel zwaar wat in mijn ogen dan weer het comite indirect verantwoordelijk maakt voor wat de EU voor regels neerzet.

P.S.
[...]
(Ooit van de Nederlandse Bond van Huisvrouwen gehoord.
Nee, echt nog nooit

[Reactie gewijzigd door Overlord2305 op 1 juni 2017 13:13]

Op dit item kan niet meer gereageerd worden.


Apple iPhone X Google Pixel 2 XL LG W7 Samsung Galaxy S8 Google Pixel 2 Sony Bravia A1 OLED Microsoft Xbox One X Apple iPhone 8

© 1998 - 2017 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Hardware.Info de Persgroep Online Services B.V. Hosting door True

*