Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie
×

Help Tweakers weer winnen!

Tweakers is dit jaar weer genomineerd voor beste prijsvergelijker en beste community. Laten we ervoor zorgen dat heel Nederland weet dat Tweakers de beste website is. Stem op Tweakers!

Renault: systeem zelfrijdende auto's kan obstakels ontwijken als een testrijder

Autofabrikant Renault heeft gezegd dat het een autonoom controlesysteem voor zelfrijdende auto's heeft ontwikkeld dat net zo goed in het ontwijken van obstakels zou zijn als professionele testrijders.

Volgens Renault is dit het eerste systeem dat in de auto-industrie is ontwikkeld dat dermate goed is in het vermijden van aanrijdingen en obstakels, dat het vergelijkbaar is met de prestaties van professionele testrijders. Het systeem zou geïnspireerd zijn door de capaciteiten van testrijders en hun prestaties zouden de maatstaf zijn geweest voor wat het systeem moest kunnen presteren.

De capaciteiten van het nieuwe systeem van Renault zijn getest in een speciaal prototype van de Zoe, een bestaande elektrische auto van de Franse fabrikant. In een video van Renault is te zien hoe de autonoom rijdende Zoe zeer snel reageert op twee obstakels in de vorm van opblaasbare slagbomen die ineens uitklappen en de weg versperren. Renault heeft de technologie ontwikkeld in samenwerking met de Amerikaanse Stanford-universiteit.

Volgens de directeur van Renaults innovatielab in Silicon Valley, Simon Hougard, bleek uit de tests dat het systeem weliswaar vergelijkbare prestaties liet zien als de professionele testrijders, maar dat het systeem de uitwijkende manoeuvres op een andere manier voltooit dan de menselijke bestuurders. Hij zei niet waar dat verschil hem in zit, maar mede door dit verschil denkt Hougard dat Renault in staat is om het systeem nog verder te verbeteren.

Het is niet geheel duidelijk tot op welke snelheid het systeem in staat is om obstakels te vermijden, maar volgens de website TechCrunch, waarvan een redacteur aanwezig was bij een demonstratie, werkt het systeem op snelheden beneden de 48km/u. Hij slaagde er zelf bij een snelheid van 37 km/u al niet meer in om een veiligheidspylon te ontwijken, terwijl de Zoe in de autonome modus daar nog in slaagde bij 43 km/u.

Renault wil dit systeem gebruiken om tegen 2022 in totaal 15 Renault-modellen met variërende mates van autonomie op de markt te brengen. Eerder gaf Renault al aan dat het samen met Nissan en Mitsubishi tot 2022 twaalf elektrische modellen wil maken en voor de drie merken gezamenlijk veertig zelfrijdende voertuigen wil introduceren.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Door Joris Jansen

Nieuwsredacteur

08-11-2017 • 08:59

164 Linkedin Google+

Reacties (164)

Wijzig sortering
Het is natuurlijk een stap in de goede richting, maar totaal niet geschikt voor de openbare weg. Als er nu zoiets gebeurd op de openbare weg terwijl er een tegenligger aankomt en je auto gaat abrupt spookrijden, is dit niet echt heel handig. Daarentegen vraag ik mij af hoe gevoelig dit systeem is, als iemand nu een peuk of zelfs een appel (vanochtend nog meegemaakt) uit zijn auto gooit en voor jouw auto komt, wijkt de auto dan ook uit?

Edit: Overigens, de test van één redacteur vergelijken met Callie is niet echt een meetbare vergelijking, iedereen heeft een andere reactiesnelheid.

[Reactie gewijzigd door Slavy op 8 november 2017 09:05]

Ik weet niet of je een beetje het laatste nieuws hebt gevolgd maar een auto can objecten identificeren, het is niet ‘O een object, remmen’ het is ‘O een object, wat is dat object, neem beslissing’. Autonome auto’s zullen echt het verschil wel zien tussen een kat en een appel/peuk.
De vraag gaat echter verder.
Men kan straks objecten herkennen.

Stel er komt een obstakel.
Je kan uitwijken maar ramt dan andere auto of rijd een voetganger plat.
Bij het ene object een slagboom zou je kunnen doorrijden met schade aan jou voertuig, waarschijnlijk minimaal maar geen dode tegen ligger.
De vraag is dan kan het systeem straks een inschatting gaan maken van het object en hoe neemt het de beslissing om uit te wijken.

Het gaat echter nog verder.
Je kan uitwijken voor andere auto of er op botsen. Uitwijken zou betekenen 1 iemand plat rijden maar jij niet op de auto. Maar zou het systeem nog uitwijken als je daarvoor op een groep mensen inrijd.
Hoe kijkt het systeem als je bijv geen gordel aan hebt, knal je dan ergens op grote kans jij dood.
Misschien heb je een kind achter in de auto, weet het systeem dat en welke beslissing neemt het dan.

Uitwijken en herkenning is leuk maar bovenstaande voorbeelden zijn allemaal situaties die kunnen gebeuren. Waar het om gaat straks is welke beslissing wordt er genomen en waarom.

Als mens wordt jij als je verkeerd beslist ter verantwoording geroepen, hoe zit dat met een auto.
Tja, zulke onmogelijke situaties blijven onmogelijk. Je kunt je afvragen of een AI dan de goede beslissing maakt. Maar tegelijk kun je ook sterk twijfelen aan de keuze die mensen maken. Grootste kans? Verstarren. Alle opties zijn klote, dus we blijven maar op hetzelfde pad. Of van schrik uitwijken, zonder te twijfelen over wat er dan gebeurt.

Een AI kan natuurlijk veel meer calculaties doen dan een mens. Of het de beste is, is de vraag, maar wel beter afgewogen denk ik. En in principe gaat het toch om dat het aantal ongelukken in een zelfrijdende auto een stuk lager te krijgen is dan met een bestuurder. Niet elk ongeluk is te voorkomen, maar het aantal kan wel een stuk lager.

Wat je ook kunt doen is de keuze laten bij de gebruiker. Je kunt zelf rijden, of je kunt er voor kiezen om de auto zelf te laten rijden en daarop vertrouwen, met de disclaimer dat een zelfrijdende auto ook maar gewoon "zijn best" doet. Dat heb je immers ook als je bijrijder bent van iemand anders...

Als ik weet dat mijn zelfrijdende auto goed doorontwikkeld en veilig is, dan zou ik persoonlijk hem laten rijden, vooral met woon-werk verkeer of lange afstanden!
Tja, zulke onmogelijke situaties blijven onmogelijk. Je kunt je afvragen of een AI dan de goede beslissing maakt.
Maar da's volgens mij juist het punt dat bbob1970 probeert te maken: wat is de goede beslissing? Dat is niet een vraag over inzicht of reactievermogen, maar puur een vraag over ethiek. Stel dat een zelfrijdende auto in een situatie komt waarbij een (fataal) ongeluk niet meer te vermijden is maar wel dermate reactief is dat deze kan 'kiezen' uit verschillende scenario's, zoals: rijd ik het kind onder of de twee volwassenen, wat is dan goed? Welk leven is 'meer' waard? Hoe weeg je dat überhaupt?

Ik denk dat dat een keuze is die de bedenker van de AI niet kan maken, en de autofabrikant ook niet. Het is een vraagstuk waar we een maatschappelijk debat over zullen moeten houden, en waar we ook als maatschappij antwoord op zullen moeten geven.
Of het de beste is, is de vraag, maar wel beter afgewogen denk ik.

Idd wat is een goede beslissing.
Mijn mening kan een hele andere zijn dan jou mening. Probleem is dat als je het aan een systeem overlaat er iemand dus gaat bepalen wat die beslissing is. Die beslissing kan best wel eens tegen jou geweten of beslissing ingaan.

Wat het laat zien, zijn de problemen waar ai mee te maken krijgt en hoe daar mee om te gaan.

Het is hetzelfde als de vraag, mag je een terrorist martelen om informatie te krijgen over een bom waarmee je mensenlevens kan redden. Sommigen zullen ja zeggen andere nee. Het probleem met die vraag is bijv waar is de grens en hoe weet je wanneer iemand echt die informatie heeft. Idem met ai, jou te pletter rijden of 10 mensen laten leven.
De massa zal zeggen die ene maar dood, maar als jij die ene bent ho fout is het dan om te zeggen maar ik wil leven dan die 10 maar. Als jij koning bent of belangrijk onderzoeker naar kanker maakt dat voor de visie van de massa ook weer verschil uit.
Zo veel mogelijkheden en problemen. En grootste probleem is, een mens kun je ter verantwoording roepen, hoe doe je dat met een zelflerende systeem ?
Als het te laat is voor remmen en er moet uitgeweken worden heeft het systeem al gefaald. Een goed systeem moet vooruit zien en het gevaar al van te voren aan zien komen door bv communicatie, waardoor noodsituaties per definitie voorkomen moeten worden.
Veel ongelukken gebeuren door niet opletten, afgeleid worden etc. Dit zie ik computer systemen niet doen, waardoor hachelijke situatie veelal voorkomen kunnen worden.
Voor de snelweg heb je gelijk, maar in de bebouwde kom is het niet mogelijk om altijd op tijd te remmen tenzij de auto kruipend traag gaat rijden (5 km/u). Dat is meteen een van de grootste problemen met zelfsturende auto's: het verandert de verkeersdynamiek. Als voetgangers en fietsers een autonome auto zien dan gaan meteen alle verkeersregels overboord want de autonome auto zal alles doen om een aanrijding te voorkomen. Voetgangers en fietsers zullen veel vaker dan nu gewoon voorrang nemen want de auto's stoppen toch wel.

Nu houdt de fietsende jeugd zich nog in uit angst aangereden te worden, maar ik zie de treiterende tieners al drie-breed naast elkaar blijven rijden om zelf-rijdende auto's op te houden. Om te voorkomen dat auto's allemaal langzaam gaan (moeten?) rijden om veilig te zijn zou ik juist voor kiezen om de maximum snelheid in de bebouwde kom te verhogen zodat fietsers en voetgangers weten dat een zelf-sturende auto niet op tijd zal stoppen als zij toch voorrang nemen of niet uitkijken.
Denk breder. Waarom fietst de jeugd? Omdat ze geen auto mogen rijden.... Bij echt zelfstandig rijdende autos mag dit. Hebben ze dan een auto? Denk breed.... Ja, het gezin heeft een auto (al of niet op oproep basis, want waarom bezitten als deze merendeels stil staat....) en brengt de ouders naar het werk en eerder of later de kinderen naar school en gaat weer terug etc. dus fietsen wordt een hobby voor mensen die graag bewegen. Jeugd zal niet meer fietsen omdat ze gedwongen worden.

Voetgangers... Ook hier denk in oplossingen niet in problemen.
Voetgangers kunnen makkelijk trackbaar gemaakt worden, zeker in de toekomst. Dan kan een auto direct met niet zichtbare voetgangers communiceren.
Ook is het voor de auto mogelijk om met omgevingssensoren te communiceren die de voetganger vanaf de andere kant wel goed zien. Dit is er nog niet, maar dat is voor de toekomst geen belemmering.
Als je in een ideale wereld met alleen computer leeft wel. Maar kind achter een auto vandaan kun je niet altijd zien. Zo lang er nog interactie met de mens is zullen er onvoorspelbare dingen gebeuren.
Als alles per computer gaat die met elkaar in verbinding staan is het een ander verhaal.
En grootste probleem is, een mens kun je ter verantwoording roepen, hoe doe je dat met een zelflerende systeem ?
Volgens mij is het echte probleem dat apparaten nog geen zelfbewustzijn en gevoel hebben en hoewel ik zeer sceptisch ben of je apparaten wel een zelfbewustzijn of gevoel moet geven denk ik dat dit de enige oplossing is in dit probleem.

Als wij als mens een fout maken, dan worden we daarvoor "gestraft", je krijgt een boete,je krijgt een slechtere beoordeling of erger je beland in de cel. Als mens krijgen we daar een heel onprettig gevoel bij: je voelt je schuldig, schaamt je, wordt kwaad, gedeprimimeerd, je durft misschien minder en dit zet ons aan om ons gedrag te veranderen zodat we dat niet meer doen en je bijvoorbeeld voorzichtiger wordt.

Een apparaat kun je niet straffen, je kunt hem hooguit opnieuw programmeren zodat hij diezelfde fout niet nog een keer maakt, maar het zal die machine een worst wezen dat hij die fout heeft gemaakt.
Als het een gevoel zou hebben dan weet het apparaat de consequenties in bepaalde situaties en zal het in eerste instantie proberen te voorkomen dat het gebeurd en als het al gebeurd er alles aan doen om te voorkomen dat het nog een keer gebeurd.

Daarnaast zou dat een soort 'gerechtigheid' zijn voor het slachtoffer, omdat hij/zij weet dat deze daarvoor gestraft wordt en zich er schuldig over zal voelen. En het gevoel dat iemand zich schuldig voelt over het feit wat hij/zij gedaan heeft, geeft ons als mens ook weer goed gevoel, er vanuit gaande dat de techniek in deze zover gevorderd is dat wij als mens ook ons medeleven/spijt en excuses kunnen accepteren van een apparaat met een zelfbewustzijn, want dat is dan natuurlijk weer het volgende dilemma :)
Een alternatief zou nog kunnen zijn dat we onszelf in de toekomst misschien minder gevoel/bewustzijn kunnen geven, waardoor wij het zelf niet meer als een dilemma zien en gewoon een keuze maken waarbij iedereen die keuze respecteert, maar de vraag is of je dat moet willen :P

[Reactie gewijzigd door Darude1234 op 8 november 2017 19:25]

Ja, maar ik denk dat een AI ook niet zo'n keuze moet maken. Hij crashed bijna op een voorligger, als er dan tegenliggers zijn is dat gewoon geen optie om daarheen uit te wijken. Of ze nu 80 of 12 zijn, of er nu 10 of 1 persoon in die tegenligger zit. De enige optie is dan gewoon zo goed mogelijk remmen en wellicht preventief de airbags iets eerder uitklappen ofzo.
Het hele punt is dat die software wel de tijd heeft om een berekende beslissing te nemen waar je dat als mens niet kunt.

Je kunt zeggen "het is al beter dan wat mensen doen en dus boeit het me niet dat het niet optimaal is" maar ik denk dat over een aantal jaar de families van de slachtoffers van deze software je dat niet in dank af zullen nemen.

Mensen hebben deze software verzonnen en nu is het ook onze verantwoordelijkheid om de (toekomstige) schade zover mogelijk te beperken. Wat is het probleem? Is het te veel werk om levens te redden? Ik denk dat een hoop mensen dit als een goed streven zien en zich er vol voor in willen zetten. Geen enkele reden om een suboptimale oplossing te accepteren.

[Reactie gewijzigd door Origin64 op 8 november 2017 23:10]

Het lijkt me dat een AI hier straks veel nauwkeuriger in is dan dat wij dat zijn.

Als de AI vooruit denkt, en dus bij elke situatie, een plan B heeft mocht er wat gebeuren, lijkt me dat de AI sneller en beter reageerd dan wij (wij zien iets wat niet juist is.. en moeten op dat moment snel beslissen wat we doen, en/of uitwijken. Een AI kan dit allemaal al van tevoren hebben gedaan, en daarbij de veiligste weg kiezen).

Daarnaast denk ik, dat met goeie sensoren, AI zelfs nog een veel gedetailleerder overzicht heeft. Waarbij de AI dus altijd accurater is als dat wij dat zijn.
Het reactievermogen van de mens zal het altijd verliezen van een computer. De vraag waar het om gaat is de beslissing die genomen wordt. Als mens leg je daar aan jezelf maar ook anderen verantwoording voor af. Een beslissing van een ai systeem is een beslissing en de vraag is hoe wordt daar verantwoording over afgelegd.
Het reactievermogen van de mens zal het altijd verliezen van een computer
Dat vind ik een hele rare stelling. Elke TED talk gaat erover, dat we op een tipping point zitten betreft rekenkracht. Die gaat dadelijk exponentieel stijgen, waarbij we niet kunnen zeggen, waar we over een paar jaar zijn.
Hoezo rara stelling.

De rekenkracht stijgt al jaren exponentieel. Sommige noemen het de wet van moore, het is echter gewoon natuurkundig chaos verschijnsel, verdubbeling verdubbeling en die duurt gewoon voort.

Als je nu ziet hoe snel een systeem kan reageren, hang dat samen met sensors en rekenkracht en de mens kan gewoon nooit zo snel zijn. Vooruit de mens ziet op dit moment het geheel nog beter, herkenning van omgeving zaken interpreteren. Maar goed meer rekenkracht en computer kan dat ook.
Computer is ook iets beter in multi tasking en zaken paralel uitvoeren. Daar is ook heel wat winst te halen, het hoeft echt niet alleen op rekenkracht aan te komen.

Vandaar mijn reactie dat ik het een rare stelling vind.. we weten immers niet hoe goed, of niet goed, de systemen over 10 jaar zijn.. maar ik vermoed dat ze de mens uit het water blazen, kwa veiligheid.
Het gaat niet alleen om rekenkracht, maar om de vertraging.

Computers kunnen in nanoseconden reageren. Bij mensen duurt het milliseconden voor een signaal om van je ogen naar je hersenen te gaan, vervolgens honderd(en) milliseconden om een output te berekenen, en dan moeten er nog signalen naar je handen enzo worden gestuurd wat ook weer 100+ ms duurt.

Er zullen situaties zijn waarin een computer nog op tijd kan remmen en je als mens onmogelijk nog op tijd kunt reageren.

Rekenkracht kan vermenigvuldigen zoveel je wilt, dat verandert de reactietijd nauwelijks. Het kan alleen nog omlaag van nano naar picoseconden. op de menselijke schaal nadert dat allebei al naar 0 en is voortgang op dat gebied dus nauwelijks relevant voor deze applicatie.

[Reactie gewijzigd door Origin64 op 8 november 2017 23:13]

Als een AI auto al in deze situatie terecht komt, betekent dit niet gewoon dat de AI in eerste instantie al te hard reed? Mijn idee is dat een AI auto gewoon de snelheid aanpast als er een onoverzichtelijke situatie aankomt met weinig of geen uitwijkmogelijkheden. Zodat er altijd voldoende remweg is.

Denk dat het puur menselijk is dat wij vasthouden aan een bepaalde snelheid omdat 99,99% van de gevallen er niks onverwachts gebeurd.
Leuk verteld, maar ga eens bedenken hoe een mens in de situatie's die jij omschrijft met de situatie om gaat en beslissingen neemt? Dit zal ieder mens anders doen.
En dan niet te vergeten dat een systeem niet een paar seconde aan reactie tijd verliest met de paniek van een mens voor/op zijn auto of een aanrijding met een andere auto.

En ja de auto herkent met zijn sensoren en camera's wel degelijk wat voor object het is.
Ga maar na. Nu hangen er in diverse steden al camera systemen die aan de houding/gedrag van mensen kunnen zien hoe de gemoed's toestand is. BV agressief of rustig. Het is alleen hoe wij de software in leren, met KI wat voor beslissingen er genomen gaan worden door de techniek.

Het is nu zelfs zo dat als men half autonome auto's maakt er in vergelijking met de menselijke fouten er veel minder fouten gemaakt worden. Ook al zal een (half) autonomen auto wel degelijk fouten maken.

Het vreemde is dat iedereen zich af vraagt wat als er iets niet goed gaat met de techniek van de auto, en niemand die er meer van op kijkt dat honderden mensen dagelijks fouten maken die heel vaak niet goed af lopen.

Ik ben er van overtuigd dat de techniek van (half) autonome auto's (veel) minder levens kost dan als een mens achter het stuur zit.

En voor nu zal er een discussie/afstemming op gang komen hoe te verzekeren en wie de schuldige is als de apparatuur faalt.
Feit is wel dat als er nu een rem niet werkt of er valt een wiel van de auto, de eigenaar toch verantwoordelijk wordt gehouden. En over een aantal jaar zal het verzekerings/verantwoordelijke vraagstuk al lang opgelost zijn. en zal iedereen het als normaal beschouwen. Eigenlijk net zoals de overgang van paard en wagen naar de auto.
Waar het mij om gaat is hoe bepaald of wordt ai geleerd te reageren en hoe maakt het afwegingen.
Zijn die afwegingen die gemaakt worden wel de juiste en zo niet hoe en wie legt er dan verantwoording over af.

Als de ene mens de ander zijn kop in slaat, heeft die een probleem.
Slaat een robot een mens neer door wat voor reden, wie is er dan schuldig.

We staan aan het begin van ai en er zijn wat betreft gedrag en verantwoording nog vele vragen die beantwoord moeten worden. Daarbij heb je qua moraal tussen landen al verschillen. Het ene gedrag is in land a aanvaardbaar in land b totaal niet. Ook daar moet je weer rekening mee houden.
Ik hoop wel dat mijn autonome auto aan alledrie die dingen dezelfde waarde toekent: niet de inzittende en de andere weggebruikers in gevaar brengen en gewoon overrrijden.
Probleem is dat je soms keuzes moet maken die tegenstrijdig zijn. Zelf geen scahde maar ander wel, of kiezen zelf schade ander niet.
Maar goed met toenemende computerkracht, nog meer sensors zal in de toekomst nog veel meer variabelen te berekenen zijn.
Autonome auto’s zullen echt het verschil wel zien tussen een kat en een appel/peuk.
Dat is nogal een generaliserende aanname.
Zo'n auto kan toch prima zien of het wel/niet mogelijk is om uit te wijken...? (mijn huidige auto ziet ook prima wanneer een obstakel te dichtbij komt en geeft dan een alarm... Enkel bij grote obstakels gaat die af en nooit bij tegenliggers omdat het systeem deze prima herkent. Ook een stilstaande auto in een flauwe bocht ziet hij als obstakel, maar iets vlak naast de weg dus weer niet... )
Kan ook prima detecteren hoe groot een obstakel is en dus of het een auto/voetganger is of een appel....
De meeste nieuwe generatie zelfrijdende auto's (weet niet precies hoever Renault daar al mee is) kan prima de openbare weg op. Moet ook snel gebeuren... Die auto's moeten beginnen met leren om nog beter te worden. En dat het af en toe eens mis zal gaan is een gegeven. Maar het zal nu al een veelvoud minder zijn dan hoe vaak het nu bij menselijke bestuurders mis gaat.

[Reactie gewijzigd door kazz1980 op 8 november 2017 09:09]

mijn auto probeert dat ook te doen, maar geeft meer false positives dan dat het nuttig is.
bvb in een aankomende bocht. En op andere momenten denk ik al lang van dit is te dicht en begin te remmen voor het systeem reageert, ook als ik het om te testen nog een paar meter dichter ga rijden.
Zelfde met het automatisch inparkeren, doet het lang zo goed niet als mezelf. die heeft 1m extra nodig om te kunnen inparkeren, en geeft op de meest onverklaarbare plaatsen aan dat er een parkeerplaats is, terwijl er zelfs geen meter plaats is tussen de reeds geparkeerde auto's.
Nee dat waren opties waar ik gelukkig geen extra geld voor uit gegeven heb, maar die zijn dus nutteloos.

Als ik op die ervaringen zou afgaan is het automatisch rijden nog lang niet rijp.
Zal per auto verschillen dan gok ik... Bij mij is het automatisch inparkeren tamelijk vlekkeloos... En hij krijgt hem in parkeerplekken waar ik echt never nooit in zou komen (en ben toch best wel handig in fileparkeren...). Enkel bij ontbreken van een lijn of stoeprand gaat het wel eens mis en zet hij hem schuin.

False positives heb ik ook wat betreft obstakels - maar dat is omdat ik deze functie zelf heel laag ingesteld heb. Liever een keer te vaak dan te weinig... Zet ik hem een standje hoger dan is het echt foutloos bij mij tot zover... En bewust proberen af te laten gaan stinkt hij meestal niet in :P Hoe het systeem het weet: geen idee! Maar door gewoon bewust net wat later remmen gaat hij zelden af. Maar als ik echt iets over het hoofd dreig te zien: dan wel! En juist in bochten en dergelijke heb ik geen false positives... Ik heb er wel extra voor betaald en ben er zeer content mee. Wil niet meer zonder eigenlijk!
ik heb geen garage en moet hem dus parkeren langs de weg in een drukke straat.
soms komen de sensoren vooraan en achteraan niet uit het rood en sta ik toch mooi geparkeerd.
Dat is feitelijk het niveau dat ik verwacht van automatisch parkeren, als mij dat lukt, moet een automatisch systeem dat toch ook kunnen ? en dan nog met minder proberen en sukkelen.
Klopt. Mijn auto kan dat dus ook ;) En dat is een Opel, volgens mij toch niet bepaald het merk dat heel erg ver is op dit vlak... Dus ik heb wat sensoren e.d. betreft alle vertrouwen in de autonoom rijdende auto's op basis van de eigen ervaringen.
Dat is feitelijk het niveau dat ik verwacht van automatisch parkeren, als mij dat lukt, moet een automatisch systeem dat toch ook kunnen ?
Zo'n auto hoeft van mij niet alles te kunnen wat een mens kan voor het een vooruitgang is. Het belangrijkste is, net als bij mensen, dat het veilig gaat. Als de auto dan een keer niet kan parkeren terwijl ik het wel kan dan is dat jammer maar geen ramp. Een kras maken is veel erger. Zat mensen die niet fatsoenlijk kunnen fileparkeren en op een of andere manier krijgen die het ook opgelost.
Als de auto echt zelfstandig kan parkeren maakt het mij helemaal niks uit of het deze plek wordt of eentje 100 meter verder, dat mag de auto lekker zelf uitzoeken nadat ik ben uitgestapt.
Als hij dan ook nog eens 5 blokken verder kan rijden op zoek naar een parkeerplaats en mij 'smorgens weer komt ophalen is dat idd super :)

Nog even toekomst, maar wel een uitkomst voor elektrisch opladen tijdens de nacht.
Kan dat lekker "centraal" gebeuren ipv overal langs alle wegen laadpunten te voorzien.
En de c6 had vroeger al waarschuwsysteem voor als je op de verkeerde weghelft kwam.
Dus het bestaat al jaren
Edit: Overigens, de test van één redacteur vergelijken met Callie is niet echt een meetbare vergelijking, iedereen heeft een andere reactiesnelheid.
Een redacteur die voorbereid is en zit te wachten op het obstacle. De vermoeide forens die naar huis rijd in de schemer met wat regen gaat er dan recht in.

Je onderschat de enorme vooruitgang die op dit moment gemaakt word. Waymo gaat binnen een paar weken al commercieel rijden met autonome taxis zonder veiligheidschauffer. Ze hebben er 92 klaar.
Moet je ook even de afweging maken: wat is beter? Een voetganger omver rijden of botsen met een andere wagen?
Er bestaat al zo een testje ...
http://moralmachine.mit.edu/

edit: @Single_core: zoals Giesber al zegt gaat om de moraliteit. Ik weet niet of je het gemerkt hebt, maar in de test zijn er bijvoorbeeld 5 jongeren die door het rood lopen en 5 ouderen die door het groen lopen. Het is niet echt realistisch, maar hoever ga je in het programmeren en wil je in een auto stappen die er geen probleem mee heeft om je op te offeren moest het nodig zijn ...

[Reactie gewijzigd door bbc op 8 november 2017 14:05]

Heb sterk het idee dat de wet van massatraagheid de situatie zal beslissen ipv morele afwegingen... Want als de autonome wagen genoeg tijd heeft om de informatie te verzamelen omtrent wie/wat er oversteekt etc, dan had het ook kunnen anticiperen en op tijd vertragen.

En het tooltje doet alsof ik een hekel heb aan dikke mensen, maar heb alleen gekeken naar wie er de meeste schuld had aan een situatie.

[Reactie gewijzigd door steveman op 8 november 2017 10:31]

Want als de autonome wagen genoeg tijd heeft om de informatie te verzamelen omtrent wie/wat er oversteekt etc, dan had het ook kunnen anticiperen en op tijd vertragen.
Dat ligt denk ik maar net aan de omstandigheden. Bij goed licht zal zo'n systeem in nano of milliseconden een goede inschatting kunnen maken. Dan komt het alleen neer op de morele afweging.
Dat vind ik een slechte test.

1) Auto's mogen geen verschil maken tussen jong/oud/dik/dun/man/vrouw/...
2) Er zijn meer dan 2 opties; Licht drukken tegen de muur recht van je en daar half-crashen en of auto al wat snelheid laten verliezen?
3) Bouw betere beveiliging in uw auto's in... Extra rem; Betere crash 'support'; zodanig dat een crash met een concrete wall overleefd kan worden? Meer airbags; betere

Ik heb geen kennis van auto's en dergelijk maar zo ziet ik dit probleem voor mij.
Dus voor hetzelfde geld is dit hierboven allemaal bullshit :p

[Reactie gewijzigd door Single_Core op 8 november 2017 10:22]

Die test is dan ook niet bedoeld om realistische scenario's voor te schotelen, maar om de discussie rond de moraliteit aan te zwengelen.

De auto kan ook geen verschil maken tussen jong/oud/dik/dun/..., want de auto weet niet wie er mee reist. Dan ga ik er even van uit dat er geen gezichtsherkenning in de cabine is of geen gewichtsensor in de stoelen zit.

In de praktijk vermoed ik dat zoveel mogelijk zal vermeden worden om voetgangers aan te rijden, en eerder de tegenligger geramd gaat worden. En dat puur omdat auto's veiliger worden waardoor de kans verkleint dat er zwaargewonden of doden vallen. Als er bovendien veel zelfrijdende auto's zijn gaat die zelfrijdende tegenligger ook nog eens in een fractie van een seconde de remmen dicht gooien, wat de impact nog eens een pak minder erg maakt. Of die zelfrijdende tegenligger stuurt ook automatisch weg als hij plaats ziet natuurlijk.

Met punt 3 van jouw reactie is men al decennia bezig, Volvo bijvoorbeeld wil tegen 2020 geen doden of zwaargewonden meer hebben in hun auto's: http://money.cnn.com/2016...rash-cars-2020/index.html. Het is dus zeker niet allemaal bullshit wat je hebt geschreven :) .
Volvo bijvoorbeeld wil tegen 2020 geen doden of zwaargewonden meer hebben in hun auto's
Scenario: ik sta in de file als laatste auto stil achter een vrachtwagen, de vrachtwagen achter me ziet niet dat er file is en rijdt er vol bovenop. Succes met je streven als je geplet wordt tussen 2 vrachtwagens.
Je volvo kan die vrachtauto aan zien komen en constateren dat hij nooit meer op tijd kan remmen. Een plotselinge acceleratie de vluchtstrook op, de berm in of de andere rijbaan op (met blikschade en lichtgewonden tot gevolg) lijkt me dan een acceptabel alternatief.
Je staat op de middelste baan tussen allemaal vrachtwagens in en voor achteruit rijden is het te laat.

En dat gaat hard, ik kan het helaas uit ervaring vertellen. Het was gelukkig geen vrachtwagen maar een personenauto die met 70 - 80 achterop knalde Zonder kreukelzone achter is de klap ook flink hard, ik had me gelukkig schrap gezet tegen de hoofdsteun maar omdat de rugleuning van de stoel het begaf zat ik alsnog op de achterbank en had een paar weken nekpijn.
je kunt altijd kiezen om ruimte te maken, gewoon gas geven :-)
Een mens zal die beslissing dus niet nemen maar een computer wel.

Daarom worden onze sluizen in de afsluitdijken niet daar een mens bedient als het nodig is maar door een computer.
Gewoon gas geven als er voor je een file staat? Ver zul je niet komen.
Communiceren met andere zelfrijdende autos zodat die vrachtwagens om je heen ruimte maken en tegelijk die aankogelende vrachtwagen naar de vluchtstrook drukken of hun trailer gebruiken als rembarriere.
Schietstoel voor dit soort momenten?
de vrachtwagen achter me ziet niet dat er file is en rijdt er vol bovenop
De zitplaats van de bestuurder van deze vrachtwagen steekt een meter boven de auto voor hem uit, zodra die dus compleet onverwachts de Volvo personenwagen die zich voor hem in de rijbaan bevind, total-loss rijdt, is hij dus duidelijk niet met het verkeer bezig; die zat met z'n telefoon te spelen ofzo, of was een broodje aan het eten omdat hij na een 4 uur lange rit honger kreeg.

Jouw voorbeeld maakt alleen duidelijk dat het hoog tijd word om zulke zakkenwassers achter het stuur vandaan te halen, of op z'n minst verplicht tot een sterk geautomatiseerd voertuig.
Laten we voorop stellen, dat die autonome auto een machine is die geen beslissingen maakt. Hij is gebouwd en geprogrammeerd door mensen. En zal een manoeuvre maken, die gebaseerd is op de variabelen die gegeven zijn. Ongeacht hoe goed de sensoren zijn die gebruikt worden, om te bepalen wat de auto moet doen om een aanrijding te voorkomen, ook die kunnen niet inschatten, of bv de auto voor hem, ineens ook uitwijkt, of domweg plotseling achterop een auto rijd die ervoor staat.

De ethiek over wat de reactie van het systeem zal zijn, is door mensen geprogrammeerd. En laten we eerlijk zijn, 99% van de bestuurders die nu achter het stuur zitten, zullen genegen zijn uit te wijken, in plaats van toch die aanrijding plaats te laten vinden. Een veel groter voordeel van autonome auto's is dat ze niet afgeleid worden, niet moe worden, niet onoplettend zijn ........ er is tenslotte al aangetoond dat er sinds enkele jaren steeds meer aanrijdingen plaats vinden, in plaats van een dalende tendens zien we nu weer een duidelijk stijgende lijn. En die wordt toegekend aan gebruik van mobile devices tijdens het autorijden, of dat nu een telefoon of bv bedienen van navigatie is, het leid gewoon af. En daar zal een autonoom voertuig geen last van hebben.
Auto's mogen geen verschil maken tussen jong/oud/dik/dun/man/vrouw/...
Waarom niet?
Wie ben jij/ ik of een systeem om te bepalen wie voorrang heeft.
Niet kiezen is ook een keuze. Wat wil je dan doen, die auto een muntje op laten gooien: rijd ik over een oude man of over een kind heen? Of rij je altijd over de persoon heen die het dichtste bij was? Je moet toch iets doen. Da's het hele probleem.
omdat het grote morele bezwaren te weeg brengt. de een heeft objectief gezien niet minder recht geraakt te worden dan een ander, en ik denk dat het gevaarlijk word als we ijzeren dozen op wielen subjectieve keuzes over levens gaan laten maken.
Wat wil je dan? Die dingen gaan er komen en ze gaan in ongelukken betrokken raken. Je kunt niet kiezen om het probleem te vermijden. Je kunt alleen kiezen tussen proberen de schade waar mogelijk te minimaliseren of om dat niet te doen, met meer leed als gevolg.
Het is geen kwestie van schade beperken, het is een kwestie van gelijkheid. Daar hebben we voor gekozen in ons land, met de gevolgen vandien. Democratie is niet perfect, maar de gevolgen daarvan accepteren we. dat zouden we hierin ook moeten doen. Het zal nooit eerlijk zijn wie er ook geraakt wordt. Het is dan ook niet aan ons om dat te bepalen, dat is niet te verantwoorden tegenover de groep die je daarmee achterstelt.
Het is juist de kwestie dat absolute gelijkheid in dit geval niet rechtvaardig is. Een mens zou ook niet elk leven gelijk waarderen, bijv. over een klein kind heen rijden of een oud vrouwtje, dat is niet 50/50.

[Reactie gewijzigd door Origin64 op 9 november 2017 14:38]

Het gaat ook niet over rechtvaardigheid, het gaat erom dat wij niet op die manier rechtvaardigheid kunnen uitdrukken, dat gaat te ver. Zn machine gaat nooit alle nuances van ieder persoon kunnen zien, leuk om dan met statistieken te gaan berekenen wie mag sterven maar leven en doods bepaling is geen kwestie van statistiek maar ethiek, die beslissing moet je niet willen afdragen naar machines.
Het is geen kwestie van willen. Het is niet te vermijden. De enige keus die je kunt maken is om zo ver mogelijk te optimaliseren, of om met een suboptimaal systeem te werken wat meer leed aanricht dan noodzakelijk.

Het is net zo'n issue als met bepalen op welke leeftijd het geen zin meer heeft tienduizenden euros uit te geven aan operaties op oude mensen terwijl 2 euro een foetus in afrika van de aids kan redden. je kunt kiezen om er niet over na te denken, maar dan richt je alleen maar meer schade aan uit gemakszucht.

[Reactie gewijzigd door Origin64 op 9 november 2017 15:09]

Het is weldegelijk een kwestie van willen, en het is weldegelijk te vermijden. als je er gewoon geen code voor schrijft is het vermeden. dan is het systeem zich niet bewust van die factoren. en meer leed is relatief.

[Reactie gewijzigd door t link op 9 november 2017 15:09]

Dat vind ik immoreel
lachen, ik heb dat ingevuld en daarbij absoluut niet gelet op geslacht. KOmt er bij het resultaat uit dat ik een sterke gender preference heb voor het redden van mannen :X
Ik had een simpele manier van invullen: minste slachtoffers maken, waarbij ik de chauffeur niet mee tel in de slachtoffers.

Daar komen door de samenstelling van de voorbeelden heel andere beelden uit. Ze herkennen het bijvoorbeeld totaal niet als minste slachtoffers strategie, aangezien ze daar zelf de bestuurder bij mee tellen.
Zo zal dat niet gaan. Als uitwijken niet kan omdat de radar een andere wagen ziet dan doet een autonome auto precies dat wat een mens zou doen, remmen en de schade beperken. De hele discussies over morele beslissingen die de software zou moeten maken is overbodig.
En daar kun je zo'n auto zelfs nog toe programmeren. Dat hij niet uitwijkt om een andere auto te raken, bijvoorbeeld. Of dat hij sowieso op de weg moet blijven, zodat hij niet op de stoep 20 mensen ramt om een vrachtwagen te ontwijken.
De hele discussies over morele beslissingen die de software zou moeten maken is overbodig.
Dat is het zeker niet.
In jouw voorbeeld, wat als 'schade beperken' alsnog betekent dat er iemand doodgaat. Wie heeft het dan gedaan?
Waarom moet er altijd een schuldige zijn? Ongelukken gebeuren, ook met autonome wagens zijn ongelukken niet tot 0% terug te brengen. Ook een autonome auto kan door een vallende boom, vallende steen of niet goed werkende slagbomen bij een spoorwegovergang verongelukken. We zullen het aantal slachtoffers tot bijna 0 kunnen terug brengen maar 0 is onmogelijk. Een fietser of voetganger die door een autonoom voertuig springt in een ruimte korter dan dat het voertuig nodig heeft om te remmen die kan verongelukken.

[Reactie gewijzigd door mashell op 8 november 2017 13:12]

Waarom moet er altijd een schuldige zijn?
Niet altijd, maar je zult wel moeten vaststellen of er niet ook schuld ligt bij degene die bij het ongeluk betrokken zijn.
Wat als het dodelijke ongeluk was te voorkomen door minder hard te rijden? Kun je dat verwijt naar de zelfrijdende auto maken? Of is het dan jou schuld omdat jij gekozen hebt om in die auto te rijden?
Als er nu een dodelijk ongeluk is dan gaat de weg dicht, komt de sporenafdeling van de politie en die zoekt het helemaal uit.. Daar hebben ze voldoende capaciteit voor. Dat zal straks als er met autonome voertuigen veel minder ongelukken gebeuren ook geen probleem zijn. In het begin zal er af en toe nog wat aan rapportage naar de fabrikanten gaan waarmee ze de systemen kunnen verbeteren. Maar grote rechtszaken tegen fabrikanten of gebruikers van autonome auto's (op basis van de claim dood door schuld) zullen wel geprobeerd worden maar zelden succesvol zijn omdat elke rechter snapt dat er geen nalatigheid is maar overmacht.
Waarom denk je dat er geen sprake kan zijn van nalatigheid?
Gezien dieselgate zie ik het wel voor me dat fabrikanten niet al te ethish omgaan met het gegeven autonome voertuigen.
Daar is dit systeem nog niet voor gemaakt he. Maar ook dat is wel iets waar al hard aan gewerkt wordt... Autonoom rijdende auto's moeten potentieel ook morele beslissingen gaan nemen. Een computer kan dat echt niet zelf. Dus daar zal het systeem moeten leren van mensen (is nu al een website waar je dergelijke keuzes kunt aangeven t.b.v. dergelijke zelflerende algoritmen - http://moralmachine.mit.edu/).

[Reactie gewijzigd door kazz1980 op 8 november 2017 09:30]

Autonoom rijdende auto's moeten potentieel ook morele beslissingen gaan nemen. Een computer kan dat echt niet zelf. Dus daar zal het systeem moeten leren van mensen (is nu al een website waar je dergelijke keuzes kunt aangeven t.b.v. dergelijke zelflerende algoritmen - http://moralmachine.mit.edu/).
Ik ben persoonlijk ook erg benieuwd hoe ze het morele Dillema gaan oplossen, wettelijk wordt het natuurlijk hoe dan ook een enorm drama aangezien je (vanuit een bepaald perspectief) de auto gewoon programmeert om (onder bepaalde omstandigheden wellicht) moord zonder voorbedachte rade te plegen (of wordt het dan wel voorbedacht omdat je hem voor die tijd de instructie hebt gegeven?). Het lijkt mij vooral interessant om te zien op basis waarvan hij deze keuzes zal gaan maken, zal dat zijn met nog geavanceerdere object recognition zodat de auto ziet hoe je er uitziet, dik, dun, jong oud etc en op basis daarvan je wel of niet plat rijd, dan krijg je echter weer dat er controversie komt over profilering omdat je mensen dan (lijkt mij althans de logische oplossing vanuit een software perspectief) zal moeten opdelen in groepen en categorieën, wat de wereld kenende wel weer aangeduid zal worden als racisme en weet ik veel (Al is het niet compleet absurd om te zeggen dat je dan idd aannames zou moeten maken)
Het is nu al prima mogelijk om met beeldherkenning een onderscheid te maken tussen auto's, voetgangers, fietsers, brommers, motoren... Maar ook wat voor soort auto, wat voor kleding een persoon draagt, kinderwagen, boodschappentas, maan/vrouw en ja - dus ook huidskleur... Gaat echt heel erg ver al - en er is heel veel intelligentie op mogelijk... Bijvoorbeeld dat statistisch bezien iemand met een grote tas langzamer zal lopen, iemand in sportkleding gemakkelijker een sprintje zal kunnen trekken, etcetera... Al dat soort informatie kan een auto gebruiken om beslissingen te nemen (zaken waar wij mensen in het geheel de tijd niet voor hebben om over na te denken in die paar milliseconden).
Maar de morele keuze: tja... Dat kunnen wij mensen wel en de computer niet. Dus moet inderdaad aangeleerd en/of geprogrammeerd worden. En juridisch is dat een erg lastige - en tevens is misbruik van de systemen een groot risico... Want inderdaad: wat als een ontwikkelaar inbakt dat de auto mensen met een kleurtje beter kan aanrijden dan blanke mensen... :? Daarom zal beveiliging en transparantie heeeeel belangrijk worden.
wat als een ontwikkelaar inbakt dat de auto mensen met een kleurtje beter kan aanrijden dan blanke mensen..
Dan zal de helft van Amerika hem verketteren en de andere helft hem op het schild hijsen. En daarna wordt hij door een BLM activist omgelegd.
:P
Maar in feite: waarschijnlijk heeft heel lang niemand het in de gaten (zie de sjoemelsoftware...). En zo krijgen software ontwikkelaars en/of hackers en/of... ineens wel heel veel macht...
Maak er dan gewoon een optie van die de gebruiker kan instellen. :)
:X haha... Of scan de huidskleur van de inzittenden en baseer daar het algoritme op 8)7
Het is nu al prima mogelijk om met beeldherkenning een onderscheid te maken tussen auto's, voetgangers, fietsers, brommers, motoren... Maar ook wat voor soort auto, wat voor kleding een persoon draagt, kinderwagen, boodschappentas, maan/vrouw en ja - dus ook huidskleur...
Was het probleem niet dat dit meestal heel goed gaat maar dat het soms compleet onzinantwoorden geeft?
Het is sowieso geen moord, maar een ongeluk. Als je nu iemand doodrijdt op de weg krijg je ook nog geen moord naar je hoofd (hoogstens doodslag als je roekeloos bent geweest). Een dergelijke instructie om jezelf te beschermen is nog geen instructie om anderen van het leven te beroven.
Het is sowieso geen moord, maar een ongeluk. Als je nu iemand doodrijdt op de weg krijg je ook nog geen moord naar je hoofd (hoogstens doodslag als je roekeloos bent geweest).
Dat klopt, echter zal het (waarschijnlijk) nooit een bewuste optie / keuze zijn voor jou als persoon om jezelf te redden ten koste van een ander zijn leven, wanneer je de auto programmeerd om de bestuurder te beschermen ten kosten van een ander maak je die keuze wel bewust en zou je kunnen redeneren dat dit moord is, immers je doet het (dan wel niet direct) opzetelijk
Maar de opzet moet wel echt op de moord zien he? In dit geval ziet de opzet op jouw bescherming, daarbij maak je nog geen keuze om iemand te vermoorden. Hetzelfde geldt immers in het geval van straatmeubilair of een overstekend hert. Mocht je door jouw keuze iemand anders doodrijden, dan lijkt mij dat nog steeds geen moord ;)
Dat klopt, maar in dit geval zou je (als een "if worst case then") de auto bewust programmeren om (bijvoorbeeld) een voetganger te raken als dit de inzittende kan redden (nogmaals dit zou echt een worst case zijn, 99% van de gevallen kan waarschijnlijk opgelost worden zonder zware verwonding of nare remsporen op je kleding :+ ).
Ja maar juridisch technisch gezien ziet de opzet op je eigen bescherming en niet op de moord en zou je kunnen zeggen dat het bestandsdeel 'opzet' mist (overigens ook doodslag). Toch wel een grijs gebied waarbij ik mij afvraag of voorwaardelijke opzet uberhaupt aangenomen kan worden..
Het is eigenlijk heel simpel te omzeilen, dat 'morele dilemma'. Als alle autonome voertuigen zijn geprogrammeerd om de inzittenden te beschermen (en dus te kiezen voor de aanrijding die de kans op letsel bij de bestuurder en passagiers minimaliseert) dan weet iedereen waar hij/zij aan toe is. Voeg daar de regel aan toe dat het voertuig in die situaties wel op de eigen weg moet blijven, dan zijn voetgangers op de stoep ook veilig. Je wil niet dat de een auto in een winkelgebied een vrachtwagen ontwijkt door op de stoep 40 mensen dood te rijden.

Je kunt beter hebben dat het gedrag min of meer voorspelbaar is en voor alle merken en systemen gelijk, dan de onvoorspelbare ellende die je nu hebt.
Van mij mogen ze de auto zo programmeren dat hij een zekere voorkeur heeft voor het beschermen weggebruikers die geen overtreding begaan.
Steken er bijvoorbeeld een voetganer en een fietser (al fietsend) tegelijk over op een zebrapad, dan zou de auto - bij gebrek aan andere opties - de voetganger proberen te sparen ten koste van de fietser (voetganger heeft voorrang op een zebrapad, fietsende fietser niet).
Voeg daar de regel aan toe dat het voertuig in die situaties wel op de eigen weg moet blijven, dan zijn voetgangers op de stoep ook veilig.
Niet me eens.
De acties die leiden tot de veiligheid van de inzittenden kunnen alsnog een hoop ellende veroorzaken op de stoep ondanks dat het voertuig niet over de stoep heeft gereden.
Denk bijvoorbeeld aan auto's die de stoep op gedrukt worden omdat de auto raar (maar alsnog op de weg) aan het manouvreren is.

Wat ik dus beweer is dat zo'n stelling van 'niet op de stoep rijden' niet het gewenste resultaat gaat hebben. Er gaan alsnog voetgangers dood door jouw systeem. En dan denk ik dat jou alsnog het eenen ander verweten kan worden. Die voetgangers kozen er namelijk niet voor om in een superdeluxe domme intelligente auto te rijden. :)
Dat is niet omzeilen, dat is je handen voor je ogen houden en 2 vingers in je oren stoppen en heel hard zingen "lalala het boeit me niet wie mijn auto voor me doodrijdt."

Je hebt een verantwoordelijkheid tegenover de rest van de mensheid om ze niet door een robot te laten vermoorden voor jouw welbehagen.

Ik ben het met je eens dat deze systemen te anticiperen moeten zijn voor mensen, maar er zal toch altijd een afweging gemaakt moeten worden, hoe minimaliseer je de schade, en welk gewicht hang je aan welke schade om de minimale schade te berekenen.

[Reactie gewijzigd door Origin64 op 8 november 2017 23:06]

En daardoor maak je het weer onvoorspelbaar en veel meer open voor discussie over de schuldvraag, nadat er iets gebeurd. Je gaat het dan weer dichtregelen waardoor innovatie wordt tegengehouden. En dat is niet het ergste, het ergste is dat je door die houding ook een enorme stap richting een veiliger verkeer tegenhoudt. Want ongeacht hoe je een systeem uiteindelijk inregelt, autonoom verkeer zal veiliger zijn dan de huidige situatie.

Volgens mij moet je zo snel mogelijk elke vorm van discussie over wie aan een ongeluk 'schuld' heeft uitsluiten. Zodra alle systemen met eenzelfde vaste set regels werken, kun je bij de beoordeling van de schuldvraag volstaan of deze set regels door het betreffende voertuig is gevolgd. Is dat zo en is de auto technisch in orde geweest: geen schuld.

Overigens denk ik sowieso dat het nog heel, heel lang gaat duren voordat fabrikanten een auto op de markt durven te brengen waarbij de bestuurder echt wordt buitengesloten. Vanaf dat moment namelijk kunnen ze niet meer roepen dat hun systemen een hulpmiddel zijn, maar zijn ongelukken echt aan het bedrijf toe te rekenen.
Wat is er zo erg aan om de discussie een tijd open te houden? Het houdt de ontwikkeling van die auto's niet tegen. Er komen nu al auto's op de markt die zelf beslissingen nemen in het verkeer. Het stukslaan van de discussie met een simplistische oplossing houdt meer tegen dan er even goed over nadenken.

[Reactie gewijzigd door Origin64 op 9 november 2017 14:01]

Voor aannames heb je geen bron nodig, daar zijn het aannames voor. Die zijn meestal een kwestie van logica.

Maar wat bedoel je?
Nogmaals dan maar. "Als alle autonome voertuigen zijn geprogrammeerd om de inzittenden te beschermen"

Waar baseer je dat op?
Waar baseer jij op dat alle elektrische auto's nu bewust kiezen voor de persoon in plaats van de auto?
Je leest het verkeerd. Ik beweer niet dat dat zo is. Ik stel dat dat een deel van de oplossing zou kunnen zijn.
Excuus, point taken.
Personen in de andere auto zijn doorgaans beter beschermd door veiligheidsmaatregelen dan een voetganger
Als de software vergevorderd is, kan de software van andere wagens ook bij de beslissing betrokken worden op dat moment, om de gehele situatie tot het beste eind te brengen. Dat ze binnen 0,1 sec overlegd hebben welke acties de grootste overlevingskans geven voor alle partijen, inclusief de voetganger die nog onvoorspelbaar is. Dan is het statistiek. Het dilemma an sich is niet opgelost, wel wordt de kans steeds kleiner dat zo'n zwart/witte situatie ontstaat.

Als uit de statistiek blijkt dat er sowieso iemand zwaargewond of dood gaat zijn, kan een random number generator misschien het lot bepalen :P Al met al zal het met een autonome auto vaker goed gaan dat we moeten accepteren dat het soms niet mogelijk is om een gewenste uitkomst te krijgen...
Ik vind het altijd zo grappig dat elke keer deze kaart wordt gespeeld 'het morele dilemma'. Sta er eens bij stil wie er tegenwoordig allemaal een rijbewijs hebben; ik denk dat 40% niet eens weet wat moreel betekent.

Daarbij hoe veel je ook afweet van ethiek of moraliteit, ik ben best benieuwd of mensen wel zo'n morele beslissing maken in een split second. Als het zo ver komt, leven of dood in minder dat een seconde, sta je dan wel stil bij 'oma of kind doodrijden'. Wat dat betreft zijn we net computers, en ik verwacht dat we onbewust gewoon kiezen voor overleven.

[Reactie gewijzigd door Siebelouis op 8 november 2017 11:50]

Ik denk het ook. Wij (mens) zijn helemaal niet in staat om op zo'n moment een morele beslissing te maken. Dat zijn veel te veel "variabelen" om in zo'n korte tijd te verwerken.

Als er iets onverwachts gebeurt tijdens het rijden doet iedereen wat hem zo'n beetje is geleerd. Op de rem trappen tot ABS ingrijpt of wielen blokkeren en dat is het wel zo'n beetje. En dreigen we tegen een stilstaand object aan te rijden, proberen we die misschien nog te ontwijken. (zit een beetje in onze natuur)

Maar de discussie of een autonome auto een betere beslissing maakt is helemaal niet zo relevant. Uitgaan dat de range van waarneming van de autonome auto toeneemt naarmate de snelheid van de auto toeneemt is het altijd mogelijk om op tijd te stoppen. Combineer dat met de techniek die ze nu ook al in beveiligingscamera's toepassen, de patroonherkenning en dat soort zaken en de de autonome auto "weet" al heel lang van te voren dat een voetganger door rood gaat lopen omdat deze niet oplet of dronken is, etc etc..

Denk niet dat we ons moeten concentreren op situaties die enkel alleen ontstaan door tekortkomingen van onze menselijke sensoren. (ogen en oren in het geval van autorijden)
Volgens mij is dat een volkomen hypothetische vraag.

Ik heb zelf al ruim 25 jaar mijn rijbewijs en als ik mijn leaseauto's van de afgelopen 20 jaar langsloop heb ik om en nabie de miljoen kilometers gereden in die perdiode. Ik heb nog nooit voor de keuze gestaan om te botsen met een andere auto of om voetgangers overhoop te rijden. Sterker nog, ik heb nog nooit van iemand gehoord dat hij in het verkeer dergelijke keuzes heeft moeten maken.

Dit soort situaties speelt zich af in een bebouwde kom (voetgangers) en daar is de maximum snelheid al niet hoger dan 30 of 50 km/u. Dan is remmen al voldoende om een aanrijding te voorkomen.

Bevondendien komt er een eigenschap van autonome auto's om de hoek kijken: dat is dat ze altijd opletten, alles in het vizier hebben en razendsnel een beslissing nemen. Ik weet wel zeker: autonome auto's gaan gewoon niet in een dergelijke situatie terechtkomen.

Ongelukken zijn bijna altijd het gevolg van afleiding, onoplettendheid, vermoeidheid etc. Precies die zaken waar een autonome auto geen last van heeft.
Tja, dat is een lastige afweging, want een voetganger omver rijden heeft waarschijnlijk alleen gevolgen voor de voetganger, botsen met een andere auto kan gevolgen hebben voor jou, de tegenligger.. het is niet zo simpel...
klopt, maar de kans dat jijzelf iets oploopt is een stuk minder dan wanneer jij frontaal op een andere auto in rijdt. Kan natuurlijk altijd zijn dat de voetganger door je voorruit heen gaat, tegen je hoofd aanrolt en daarmee jouw nek breekt.
Dit is wel heel speculatief allemaal hoor. Ik vind dat je wel heel snel bent met het verzinnen van problemen maar vooral, met het concluderen dat ze dat niet opgelost hebben.

Uitwijken is stom, want je komt op de andere baan terecht? Als je uitwijkt kom je per definitie uit op een plek waar je niet hoort. Maar waar je niet wilt zijn is in de slagboom. En speculeren dat een appel/peuk de boel in de war gooit is mi moedwillig naïef doen. Kom zeg.

En je laatste punt: in het filmpje is het inderdaad één redacteur. En inderdaad, mensen hebben verschillende reactiesnelheden. Maar als de computer er nu al 6kmh boven zit, zegt dat al een hoop.

[Reactie gewijzigd door CurtPoindexter op 8 november 2017 09:21]

Als er nu zoiets gebeurd op de openbare weg terwijl er een tegenligger aankomt en je auto gaat abrupt spookrijden, is dit niet echt heel handig. Daarentegen vraag ik mij af hoe gevoelig dit systeem is, als iemand nu een peuk of zelfs een appel (vanochtend nog meegemaakt) uit zijn auto gooit en voor jouw auto komt, wijkt de auto dan ook uit?
Mooie ontwikkeling, maar ik ben het met je eens dat er nog wel vragen zijn. Je moet, afhankelijk van het voorwerp en de situatie, uit een aantal acties kiezen: Negeren (peuk), remmen (je kunt er niet omheen) of er omheen rijden (al dan niet met aangepaste snelheid). Anyway, ik krijg de indruk dat het hier vooral om situaties gaat waar je er omheen wilt (gezien het "obstakels ontwijken").
Het punt is, alle autofabrikanten zijn het er zo'n beetje mee eens dat er direct naar volledig autonome auto's gegaan moet worden, muv Tesla. In die situatie krijg je dit probleem niet.
Maar kan het op een provinciale weg een ook tractor inhalen? Beoordelend of er voldoende overzicht is op de andere rijbaan en de situatie voor de tractor. Inschattend of eventuele tegenliggers ver genoeg weg zijn. Rekeninghoudend met zijwegen aan de linkerkant waar ook weer verkeer uit kan komen. Rekeninghoudend met verkeer voor de tractor en verkeer achter de tractor dat misschien ook wel wil gaan inhalen.

Totdat dat mogelijk is, zullen zelfrijdende auto's een gebroken belofte blijken en alleen maar een last zijn voor het overige verkeer: uiterst defensief rijdende robots die precies de maximum snelheid rijden, zonder enig verkeersinzicht of benul van de situatie. Zoals bejaarden rijden.
Er zit nog altijd een override op. Dus als de zelfrijdende auto achter een traktor vast zit, is dat niet de schuld van de auto, maar de bestuurder/ster moet dan gewoon aangeven dat ingehaald kan worden.

Er zullen altijd situaties blijven bestaan waar een zelfrijdende auto niet tegen opgewassen is. Ik kan me ook voorstellen dat de bestuurder bijv de snelheid kan instellen, bekeuringen zijn toch voor hem/haar, niet voor de AI in de auto.
Uiteindelijk zal een zelfrijdende auto die tractor prima op een verantwoorde manier in kunnen halen, maar zover zijn we nog lang niet. Op dit moment hebben we auto's die de belijning op de weg volgen. De wat meer geavanceerde uitvoeringen kunnen A1 verkeersborden herkennen voor de maximum snelheid, afstand houden en obstakels/overig wegverkeer vermijden. Maar dat is nog mijlen ver verwijderd van wat een menselijke bestuurder allemaal doet en daarmee is toepassing een stap achteruit voor de doorstorming.

Het is bijna onmogelijk om alle situaties uit te coderen in software, dus moet de oplossing gezocht worden in machine learning. Maar neurale netwerken zijn inherent instabiel en voor nieuwe situaties onvoorspelbaar, wat ook de verantwoordelijkheid bij ongelukken een probleemstuk maakt.

We komen er uiteindelijk wel, maar er is nog veel tijd en ontwikkeling nodig. En je moet ergens beginnen, maar ik denk dat al het enthousiasme in deze fase nog niet meer dan een hype is.
Daarom dat dat autonoom rijden in stukjes zal uitgerold worden. Je lijkt wel een non-believer, maar ondertussen crashen we met zijn allen tegen palen, fietsers, bomen en andere voertuigen aan met veel menselijk leed, fille leed en materialistische kosten tot gevolg.

De vraag is wie er de echte lastpost is in het verkeer? Ik denk het menselijke falen. Als je dan af en toe eens moet wachten op een traag voertuig... en de vraag is of een autonoom voertuig dat nog niet beter kan dan de mens. Sensoren overal, objectdetectie, nachtzicht... er zijn filmpjes genoeg op het internet waar een Tesla auromatische piloot een ongeval vroeger ziet aankomen dan het andere verkeer.

Er wordt een 360* map gemaakt, elk object wordt in kaart gebracht. Ik zie niet in waarom een autonome auto niet zou kunnen voorbij steken op een gewone baan.

Ik fiets en rij met de auto en als fietser kan je maar hopen dat er ooit een automobilist wordt uitgevonden die je altijd ziet en die uw leven nooit meer in gevaar brengt. Als fietsers zijn auto’s echt een last. En zover ik weet heeft een fietser mijn leven als automobilist niet in gevaar gebracht.

Als automobilist wil je net meer comfort. Het openbaarvervoer is brak. Zodra je buiten de stad moet zijn tel je best 1u bij uw reistijd. Dat is de reden waarom mensen de auto blijven nemen. Het is sneller en efficienter maar natuurlijk ook duurder maar dat weegt niet op tegen de persoonlijke voordelen. Autonoom rijden kan de brug worden tussen persoonlijk vervoer en openbaar vervoer. Alle comfoet en efficientie aan een lagere kost. En het is bewezen dat een autonome auto fieters beter ziet, voetgangers sneller opmerk en ongevallen ziet aankomen nog voor dat ze gebeuren.

Tevens zijn er proeven om auronome auto’s als een trein te laten rijden op de autosnelweg waardoor je hogere snelheden kan halen. 160-180km/h.
Als autoliefhebber zie ik de autonome auto als oplossing op zoek naar een probleem. En niet eens een goede oplossing. Maar als embedded software ontwikkelaar ben ik geen non-believer. Ik zie namelijk ook wel dat een kleine meerderheid van de automobilisten het autorijden als een vervelend klusje ziet en niet als iets dat te leuk is om uit te besteden. Veel bestuurders hebben geen flauw benul van wat er om zich heen gebeurd, vaak omdat ze met non-automotive-related-activities bezig zijn, niet op zitten te letten of niet om zich heen kijken. Of ze hebben gewoon geen verkeersinzicht en houden vast aan dogma's als langzamer-is-veiliger. De autonome auto is onvermijdelijk en zal uiteindelijk in het grote geheel een verbetering zijn. Maar er is nog veel ontwikkeling te doen. En met vereende krachten kan dat best snel gaan.

Overigens zijn er maar weinig meer asociale verkeersdeelnemers dan fietsers. Als automobilisten zouden rijden als fietsers dan zou de chaos niet meer te overzien zijn: Door rood rijden, tegen het verkeer in rijden, afslaan zonder hand uit te steken of om te kijken, rijden zonder verlichten, etc, etc.

En hard rijden, 160-180km/h, is nog zo'n belofte van zelfrijdende auto's die verbroken gaat worden. Want denk meer niet dat de groene inquisitie daarmee akkoord zal gaan.

Het grootste voordeel dat ik zie is dat wij thuis met een autonome auto waarschijnlijk aan één auto genoeg hebben: Als ik ermee naar mijn werk gereden ben, kan hij autonoom terug naar huis rijden zodat mijn vrouw ermee naar haar werk kan. En als ze 's zaterdags naar het centrum wil, hoeft ze niet te parkeren, maar rijdt de auto gewoon terug naar huis. En de auto zou ook zelfstandig de kinderen naar school kunnen brengen en weer op kunnen halen.

[Reactie gewijzigd door MindBender op 8 november 2017 13:15]

Wees maar zeker, ik ben ook een autoliefhebber die ook het circuit niet shuwt. Ik heb zels nog stabilisatie systemen getest om de juiste afstelling te vinden (bmw e46 heeft beste tractiecontole ever, beter dan nieuwe versies maar dag terzijde) en rij maar al te graag maar in traag verkeer wil ik liefst wat andere zaken doen dan gewoon aanschuiven en wachten tot het groen wordt.

Buiten drukke steden valt dat best mee maar in de buurt van steden is de spits echt wel niet leuk. Nog altijd leuker dan de bus nemen maar ik ben wel voorstander van technologie die het verkeer, veiliger, vlotter en comfortabeler maakt.

160km/h moet mogelijk zijn. Treinen halen ook die snelheden en daar zijn de groenen ook niet tegen. En auto’s die achter elkaar rijden zijn minstens zo effiicient. Er worden naar mijn menibg teveel miljarden gestoken in zinloze technologie. Neem die de tram. De tramspoor is de grootste reden van botbreuken bij fietsers. Zeker als het nat is liggen er elke dag wel mensen in het ziekenhuis met breuken. Het is compleet zinloos om een wagon aan 50km/h op rails te zetten. Dat maakt lawaai, past niet in flexibel verkeer, fietsers vallen met bosjes en huizen trillen stuk.

Ik denk dat autonoom vervoer ons leed zal verminderen op alle vlak en dat we minder in de fille zullen staan, aan een hogere giddelde snelheid zullen reizen en minder moeten wachten.
Waar twijfel je nu aan?, of er sensoren zijn die beter zijn dan menselijke zintuigen of dat AI in staat is juiste beslissingen te nemen? Ik heb bij beide geen twijfels dat dit nu al of zeer binnenkort mogelijk is.
De bejaarden blijven 45km rijden,waar je 50 mag, zelfs met een autonome auto, het lukt ze gewoon.
Het is vooral interessant omdat al die autobedrijven niet op zoek (meer) gaan naar de ultieme AI om een auto zelfstandig te laten rijden. Een soort behemoth die alles kan, alles fixt en overal voor geschikt is.

Het is / wordt een graduele weg waarbij auto's slimmer en slimmer worden en individuele problemen getackled worden. Nu is het objecten ontwijken. Straks is het de noodstop of op sneeuw rijden of hellingproef.

Elke keer één probleem. En random uitwijken voor een slagboom is niet altijd perfect: maar er vol tegenaan rijden (dat doen auto's nu) is dat zeker niet. Stapje voor stapje. Rome wasn't burned in a day.
Rome wasn't built* in a day ;)
De noodstop (in ieder geval bij Volvo, VW en Kia) en de hellingproef (meerdere merken) zijn er al een tijdje.

Verder denk ik dat voor optimaal autonoom rijden je de publieke ruimte ook moet aanpassen. Op zich is dat weer niet vreemd, dat gebeurt immers al door de eeuwen heen. Voordat we auto's hadden, hadden we ook geen snelwegen. Voordat er fietsen waren, waren er niet zoveel verharde wegen. Als we nu beginnen met stelselmatig fietspaden en rijbanen voor auto's met een randje aan te leggen (op de meeste plekken is dat makkelijk te realiseren) dan wordt het al een een stuk eenvoudiger om veilig autonoom te rijden. Voor voetgangers hebben we nog het voordeel dat autonoom rijdende auto's wel altijd stoppen bij een zebrapad....
Dus de voetgangers lopen wel door, rood of niet want de autonome auto's stoppen toch wel. Tijdens de spits kom je dan met je autonome auto nergens meer.
Ik denk inderdaad dat voetgangersoversteekplaatsen in het geheel gaan verdwijnen. Mensen kunnen oversteken waar ze willen. Ze kunnen natuurlijk niet voor de autonome auto springen. Doordat de voetgangers overal oversteken in plaats van centraal zal het, denk ik, juist niet tot opstoppingen komen.
Mooie ontwikkeling, goed om te lezen dat fabrikanten ook aktief bezig zijn met het voorkomen van botsingen en niet alleen passief baantjes volgen of de auto voor je in de gaten houden om de impact te minimaliseren. Kan me voorstellen dat deze ontwikkeling icm autonoom rijden zoals in een ander artikel werd aangegeven daadwerkelijk levens zal sparen in de nabije toekomst.
Heb zelf een auto met diverse assistentie systemen, maar ben tot op heden weinig onder de indruk. Durf zelfs te zeggen dat het meer (over)last geeft als het aan staat. Daarentegen ben ik me er ook van bewust dat mijn mening wel veranderd zodra de eerste aanrijding door de auto zelf is voorkomen...

[Reactie gewijzigd door involver op 8 november 2017 09:12]

Welke assistentie systemen zijn dit en wat voor (over)last geven deze jou dan?
Ik rij in een c350e en daarop zit vanalles. Van remmen voor voetgangers tot autonoom file rijden of deels je baan volgen op de snelweg. En allemaal werken ze zelfstandig, dus zonder onderlinge communicatie. Hierdoor komt het regelmatig voor dat de (sloome) stuur assistent net over het lijntje gaat en ipv terug te sturen grijpt lane assist in door een achterwiel af te remmen (geen leuk gevoel). En in de stad remt ie vanzelf en het liefst plotsklaps voor iets dat er niet is, terwijl een slingerende fietser gewoon de pineut zou zijn als ik niet zelf ingrijp. Het is op deze auto gewoon nog niet af, heb sterk het gevoel dat onder marketing druk om het maar in de folder te zetten het erop gekwakt is...
Ik zou heel graag van al die systemen van verschillende fabriekanten een NIET haalbare testsituatie zien.
Wat doet een autonoom systeem daar mee?

Schets: Kind rent de straat op en de opties zijn, vol remmen (maar te laat stil staan), uitwijken naar links (en oma raken), uitwijken naar rechts (opa raken), gas geven (kind enkel wegstuiteren en met spiegel raken) of optie ... verzin het maar.

Gaan die tests zo diep. Want tijdig een signaal zien en verwerken komt niet overeen met de realiteit.
Een kind zal altijd te dichtbij zitten of er is geen ruimte voor een ontwijkmanoeuvre (tenzij een headon crash het hondje kan redden)

Dat soort beslissingen wegen zwaar. Hoe ziet de besluitboom hier voor uit?
Ik zou als consument van deze veiligheid graag willen weten of mijn automatische auto door het uitwijken voor een eekhoorn, de tegemoet komende vrachtwagen kiest?

Wie weet hier meer over?
Veel succes met deze electronica in een franse auto - zelfs met de spullen van Siemens en Bosch weten de fransen het elke keer weer te verkloten (excusez le mot). Ik wel wel vertrouwen in zelfrijdende autos, maar niet van franse makelij.

Vooralsnog zijn ze niet in staat gebleken de basisspullen op orde te krijgen (wederom bewezen met het laatste onderzoek waarbij circa de HELF van de Peugeots 5008's - een gloednieuw model - problemen hebben).
Grappig zien mensen het nog steeds niet? |:( Denk je nou echt dat grote bedrijven iets geven om je veiligheid? Net als die slappe hap "slimmeriken" hier op tweakers...die te vaak terminator films kijken, zover zijn we nog lang niet aangezien elke OS makkelijk crashed in veel situaties laat staan AI programmeren, dat hij een paar obstakels ontwijkt betekend niet dat we ervoor klaar zijn. Enigste reden dat autobedrijven electronische auto uitbrengen is om iedereen afdwingen voor de 4x jaarlijkse abonee onderhoud bij hun eigen garages...geen jan met de pet voor goedkope onderhoud garages, nee hoe meer electronica hoe vaker storingen en die zijn ineens belangrijker om direct te laten repareren inplaats van te wachten wanneer je portomone het toelaat. Want je wilt geen storing in je autonoom rijdende auto. En belangrijkste van alles is de volledige controle die de overheid vanaf een afstand kan overnemen en je kan afluisteren en bekeuren zonder een agent met een laserpistooltje. Dus ik zou zeggen geniet nu nog maar van je vrijheid zodat je later aan je kinderen kan vertellen dat vroeger alles beter was.
Wat er ook van aan is, het is dan misschien nog niet optimaal, ik heb er vertrouwen in dat binnen niet eens zoveel jaar, deze technologie zal zorgen voor minder ongevallen en uiteindelijk voor minder verkeersdoden... De grootste risicofactor in ongevallen met om het even welk voertuig is 'human error' en ook al acht Jan Met De Pet zichzelf -zoals tal van bestuurders- de beste chauffeur, de realiteit bewijst het tegendeel.

Het is een mening deels gebaseerd op het vertrouwen in technologie en wetenschap, maar ook deels gebaseerd op mijn eigen ervaringen in het verkeer voor de laatste 15 jaar...

Mensen zijn onvoorspelbaar, reageren vaak niet op de juiste manier en in veel gevallen helemaal op de verkeerde manier. Ze zijn slecht in het inschatten van situaties en slecht in het anticiperen, de helft of misschien zelfs meer weet niet wat defensief rijden is en velen zijn slecht in het schatten van afstanden en de dimensies van hun voertuig, daarbovenop reageren velen niet snel genoeg en bestaat er het risico op rijden onder invloed van weet ik veel wat allemaal. Tel daarbij een soort van typische maar misplaatste overmoed, een structureel gebrek aan kennis van de verkeersregels of het besef van hun belang en het risico van afgeleid te worden door duizend-en-één dingen.

Allemaal zaken waar een zelfrijdend systeem geen last van ondervindt.

Zijn er dan helemaal geen risico's aan verbonden? Jawel, en dat zal altijd zo blijven, een volledige 0% probability for failure zal er nooit zijn, maar eens het doorontwikkeld is zal het een pak betrouwbaarder zijn dan de doorsnee mens met al z'n emoties, trots en overmoed die leiden tot verkeerde beslissingen.

[Reactie gewijzigd door YourMom op 8 november 2017 14:06]

Ik weet dat bij huidige VDL bussen hun chauffeurs de opject waarschuwing al uit hebben omdat die al vol in de ankers vliegt als er een vlieg op die camera zit. Wil je niet hebben met een volle bus bejaarden. Object herkenning is niet zo makkelijk. Combi van radar/laser en camera juist interpreteren blijft nog lastig. Allemaal theorie dit. En natuurlijk zal het een hoop ongelukken voorkomen. Maar daar waar het mis gaat en een ongeluk veroorzaakt door fout interpreteren ligt het probleem. Autonoom rijden is 99% veilig. Het gast om die complexe uitzonderlijke 1% die nog dagelijks vele duizenden gevallen vertegenwoordigd.
De titel is bij mij geen hele zin: "Renault: systeem zelfrijdende auto's kan obstakels ontwijken als een testrijder"?

Ligt dit aan mij of is het om de titel spannend te maken (zoals: "en je gelooft niet wat er toen gebeurde...")?

Op dit item kan niet meer gereageerd worden.


Apple iPhone XS Red Dead Redemption 2 LG W7 Google Pixel 3 XL OnePlus 6T FIFA 19 Samsung Galaxy S10 Google Pixel 3

Tweakers vormt samen met Tweakers Elect, Hardware.Info, Autotrack, Nationale Vacaturebank en Intermediair de Persgroep Online Services B.V.
Alle rechten voorbehouden © 1998 - 2018 Hosting door True