Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Fatale crash Uber-auto kwam doordat software overstekende voetganger niet zag

De zelfrijdende Volvo XC90-auto van Uber die in maart vorig jaar in de VS betrokken was bij een fataal ongeluk met een voetganger, bleek software aan boord te hebben die onvoldoende in staat was om rekening te houden met voetgangers die op onbedoelde plekken de weg oversteken.

De Amerikaanse National Transportation Safety Board meldt in een vrijgegeven document dat de Uber-auto niet de software aan boord had om te reageren op voetgangers die aan jaywalking doen, oftewel voetgangers die op 'onwettige wijze' een weg oversteken op een plek waar bijvoorbeeld geen zebrapad of oversteekplaats is.

Binnen twee weken publiceert de NTSB zijn volledige rapport over de crash van 18 maart 2018, waarbij in het Amerikaanse Tempe een 49-jarige vrouw om het leven kwam toen ze in het donker de weg overstak op een plek waar geen overgang was. Ze had een fiets aan de hand toen ze weg overstak.

Dat laatste bleek ook een noodlottig element. De Volvo-auto reed nog 70km/u toen de vrouw werd aangereden. Toen de auto haar detecteerde, op 5,6 seconden voor de impact, werd de vrouw als een voertuig aangeduid. Vervolgens verandert het brein van de auto dat in 'overige' en weer terug naar voertuig; dat patroon herhaalde zich nog twee keer. Pas op 1,2 seconden voor de crash herkende het systeem de situatie correct.

Met die resterende 1,2 seconden speling had het systeem de remmen kunnen activeren, maar technici van Uber bleken een ingebouwd Volvo-remsysteem te hebben uitgeschakeld. De automaker gaf eerder aan dat dat systeem het ongeluk wellicht zelfs had kunnen voorkomen. Uber-technici hadden dit uitgeschakeld, omdat het onveilig zou zijn als de auto twee actieve softwaresystemen zou hebben die parallel aan elkaar opereren.

Het NTSB-rapport bevestigt verder dat er een vertraging van een seconde in de software was ingebouwd tussen het detecteren van een situatie waarin een crash waarschijnlijk is en het reageren daarop. Uber had dit gedaan, omdat het bedrijf bang was voor teveel false positives. Tijdens de 1,2 seconden voor de impact leidde dat ertoe dat de auto niet de remmen activeerde, omdat het de aard van het gevaar eerst verifieerde. De aanwezige bestuurder van de Volvo keek op dat moment niet op de weg. Met 0,2 seconden te gaan gaf de auto een geluidswaarschuwing, waarna de bestuurder het stuur ter hand nam, maar ze remde pas een seconde nadat de botsing al had plaatsgevonden.

In het onderzoeksrapport staat dat Uber inmiddels veranderingen heeft doorgevoerd aan zijn veiligheidsprogramma. Verder heeft het bedrijf de training van veiligheidschauffeurs aangescherpt en rijden er nu steeds twee personen in de zelfrijdende auto's.

Door Joris Jansen

Nieuwsredacteur

06-11-2019 • 08:04

333 Linkedin Google+

Reacties (333)

-13330320+1132+231+32Ongemodereerd169
Wijzig sortering
Interessante denkwijze.

Ik denk dat als er genoeg mensen het systeem “misbruiken” zoals jij nu suggereert,
Al die autonome auto’s jouw gedrag uiteindelijk mogen vastleggen en hier geautomatiseerd aangiften van gaan doen.

Vraag me af hoe duur uiteindelijk verzekeringen worden voor mensen die niet autonoom willen rijden.

Of ik het er mee eens ben dat al die auto’s dat doen? Das opzich nog wel een leuke discussie denk ik ;)
Aangifte van een privé persoon, laat staan software, is niet geldig. Dat moet door een beëdigd ambtenaar gebeuren. En binnen de wettelijke lijnen kan je dit ook perfect uitvoeren.

Ik vraag me af of er uberhaupt een verzekeraar autonome voertuigen gaat willen verzekeren... Denk aan: één softwarefoutje in een upgrade en 100.000 auto's maken dezelfde fout opeens met een crash tot gevolg.
Crash na een update ipv een Bluescreen na een update ;)
Je hebt wat mij betreft gelijk in alles wat je zegt, technisch gezien klopt het. Maar er is nog een enorme emotionele brug te overwinnen.

Sorry dat mijn voorbeeld zo bruut is, het is om een duidelijk punt te maken. Stel een dergelijke auto rijd je vrouw dood. Stel je dat eens voor, je lust en je leven voorgoed weggenomen door een software bugje. Oeps...gelukkig komt er een patch?

Nu is het voor de hand liggende argument dat indien een menselijke bestuurder het veroorzaakt, de uitkomst exact gelijk is, dood is dood. Maar emotioneel wordt dat zeker niet zo ervaren.

In Nederland vielen vorig jaar 678 verkeersdoden, en laten we het niet hebben over een veelvoud van gewonden, invaliden, etc.

Het gaat dus absoluut niet acceptabel zijn dat autonome voertuigen 678 verkeersdoden per jaar maken. Ook al is er puur technisch gezien hetzelfde resultaat.

Dat is niet hoe een maatschappij reageert op machines. Machines mogen geen mensen doden, nooit. Om deze reden wordt iedere vliegramp jarenlang onderzocht. Een nog recenter voorbeeld is het voorval met de stint in Oss. Heel het land op zijn kop, en het complete voertuig simpelweg verboden. Jaren na dato wordt er nog gepraat over machine rampen, inclusief het voorbeeld van dit artikel wat de hele wereld over gegaan is.

Stel je dus voor dat dergelijke autos honderden doden maken. Dat gaat niet gebeuren. Na hooguit een stuk of 3 doden komen ze gewoon niet meer de weg op.
Je kan van een treinmachinist ook niet zeggen dat die een fout gemaakt heeft als er iemand voor zijn trein springt. Idem dat niet aan elk ernstig ongeval een fout vooraf gaat.
Puur mathematisch heb je gelijk, in de praktijk is zal zoiets compleet onaanvaardbaar blijken. Dat beseffen ook de autofabrikanten inmiddels... En ze beseffen ook hoe moeilijk het wordt om significant veel beter te doen dan een “goede chauffeur”.

De doorbraak van de autonoom rijdende auto is dan ook nog niet voor het komende decennium vrees ik...
Nutteloos was ook bewust overdreven gezegd. Maar de ethische kwesties worden in mijn optiek enorm overdreven, omdat dit soort afwegingen nagenoeg nooit gemaakt hoeven te worden.
Ja, en ook niet gecommuniceerd hebben naar de tester, welke systemen er wel of niet draaien.
En ik snap ook dat als je een hele dag een auto autonoom test, dat je dan er veel op vertrouwd als er niks fouts gaat. Dus het is een erg vervelende kwestie zo.

Edit:
https://techcrunch.com/20...tching-hulu-not-the-road/ Dit maakt het allemaal ook wel een stukje erger, tijdens de rit van 43 minuten heeft de bestuurder 204 keer naar het scherm gekeken waar een tv programma aan het spelen was.

[Reactie gewijzigd door SeenD op 6 november 2019 10:19]

Feitelijk zou een bestuurder dan om de 1 of 2 uur gewisseld moeten worden zodat deze alert blijft.
Maar goed mensen kosten geld en vervangen betekend meer mensen meer kosten.
Daarom zou zo iemand dat werk max 1 of 2 uur mogen doen afhankelijk van dat onderzoek en dat wisselen met iemand anders.
Gewoon twee man in het voertuig met dubbele bediening zoals in een leswagen.

Zelfrijdende voertuigen moeten juist levens redden niet kosten, dit is wel heel erg kwalijk. Vraag me af in hoeverre hiervoor mensen vervolgd kunnen worden met dood door schuld maar het is een groot bedrijf dus ze zullen wel vrijuit gaan.
Of de handen verplicht aan het stuur zoals een Tesla. Deze vrouw was bezig op haar telefoon.
Maar goed, daar moeten ze de auto voor ombouwen en dat kost geld... Waarschijnlijk is het goedkoper om twee 'opzichters' in de auto te zetten.
Ach, ach. De typische reactie waarom zelfrijdende acceptatie zolang duurt. Elke minuut van de dag rijd ergens een onoplettende bestuurder in de wereld een ander dood: discussieren we niet over op de Tweakers frontpage.

Honderden zo niet duizenden malen hebben de Uber en Waymo auto’s al verkeerssituaties dermate onmenselijk snel ingeschat dat een ongeluk door een fout van een ander is voorkomen. Discussieren we niet over hier.

Maar er gaat een keer wel wat mis en het is gelijk onaceptabel en er moeten koppen rollen.

Misschien iets in perspectief plaatsen?
Zeg je dat ook als die vrouw je moeder was? Zonder Uber had ze nu nog geleefd.

En ja chauffers rijden mensen dood maar niet expres en als ze bijv gedronken hebben of aan het appen zijn worden ze ook gewoon gestraft.

Uber is gewoon een cowboy bedrijf en wederom zwaar nalatig geweest. Dus omdat er dagelijks verkeersdoden vallen hoeven we daar dan maar niet meer naar te kijken en ze een schouderklopje geven?
Naar mijn mening is de tester 100% verantwoordelijk.
De software ingenieurs zijn bezig met een concept te ontwikkelen dat duidelijk nog niet af is (want test) en dus is het vrij evident dat nog niet alle mogelijk situaties correct worden geïnterpreteerd.
De tester had de voetganger moeten zien én ingrijpen voor het signaal er was.
Het is fout om aan te nemen dat de tester altijd moet wachten op het testsignaal.
De tester zit net in de auto om de situatie in te schatten en waar nodig te corrigeren.

Een rijinstructeur gaat toch ook niet wachten met ingrijpen als hij/zij ziet dat de bestuurder in opleiding bv door het rood rijdt?
Naar mijn mening is de tester 100% verantwoordelijk.
Dan houd je er geen rekening mee dat de tester menselijk is. Als je in een autonome auto zit die honderden uren alles netjes doet, dan weet je 100% zeker dat een mens zijn concentratie verliest.
Net zoals het onzinnig is om een bewaker een hele dag naar 20 cameras te laten kijken waar niks op gebeurd.

Een rijinstructeur die naast iemand zit bij zijn eerste les heeft een hogere concentratie dan iemand die nog even een laatste les doet voor zijn/haar examen.

Ik vind het onverantwoordelijk en oneerlijk om iemand zulke geestdodend werk te laten doen als het monitoren van een dergelijke autonome auto en dan die persoon de schuld te geven van het ongeluk.
Je hebt gelijk maar de tester is ook een schakel, de laatste schakel die in had moeten grijpen. Neemt niet weg dat de schakels daarvoor ook niet gewerkt hebben door domme keuzes of fouten.

De bestuurder had idd continue op de weg moeten letten en is zeker medeverantwoordelijk. Maar de bestuurder is onderdeel van een systeem wat dus vol fouten zit.
Deels geef ik je gelijk maar heel eenvoudig voorbeeld, sta bij een zebra, auto's moeten stoppen, hoeveel doen dat ? Dan moet je dus toch eigen initiatief nemen.

Maar dat bij aanrijding met fietser de bewijslast omgekeerd is, is soms idd niet wenselijk. Je zou dan standaard een dashcam moeten hebben om je gelijk aan te tonen.
Bij een zebrapad heb je in veel landen ook gewoon voorrang om over te steken.

Mijn puntje gaat vooral om het naleven van de wegcode door alle gebruikers. Niet alleen die een kaartje of papiertje zijn gaan halen om met de auto/motor te mogen rijden.

Ik stop gerust voor een zebrapad. Maar als er 10 meter verder eentje staat en jij wil per se niet naar dat zebrapad lopen om over te steken moet je ook niet gaan klagen dat ik nog wat versnel om je te waarschuwen dat ik niet stop in zo'n geval.
Brrr... en dan die dikke vrachtwagen achter je in je achterbak krijgen?

Wat doet de crash detectie trouwens als er in een bos een hert of zo oversteekt? Ik heb altijd geleerd te kiezen om het hert aan te rijden en niet tegen een boom op te klappen. Daar zal niet iedereen het mee eens zijn. Maar wat kiezen auto's als die van Uber en wat kiest Tesla? Er zijn zo meer complexe beslissingen waarvan ik graag tevoren wat inzicht zou hebben in de beslissingsboom. Ik heb wel eens op een provinciale weg in een kettingbotsing gezeten (voorste auto ging vol in de ankers want moest kleine zijweg in). Keihard remmen, logisch maar dan: uitwijken... naar links uitwijken zou een frontale botsing met een tegemoetstormende vrachtwagen betekenen. Naar rechts zouden hectometerpaaltjes in de berm het begeven. En niet uitwijken zou het rammen van de voorganger betekenen. Wat kiest een Uber/Tesla/etc? En wat nou als er aan de rechterkant een lantarenpaal staat of een verkeersbord, of een groepje mensen of een dikke boom?
Ik heb toen trouwens de hectometerpaaltjes gekozen. Had amper schade terwijl andere auto's behoorlijk in elkaar lagen. En ik ben daarna nog meer afstand gaan nemen tot mijn voorganger.
hert versus eland he. De meeste herten zitten vlotjes onder de 200 kilo. Een eland tikt al snel de 700 kg - Als je daar dan met een wagen van 1.2 ton oprijdt ga je die momentumtransfer uiteraard veel harder voelen dan dat je een hertje van 100 kilo opschept.
OK, maar vervang nu hert door kind? Kies je dan nog steeds voor het aanrijden van het kind? En wat als er een schoolklas met kinderen oversteekt. Dit soort morele dilemma's zijn niet nieuw. Weinig mensen zullen daadwerkelijk bewust de boom kiezen. AI zal theoretisch de meest optimale keuze maken, maar ik verwacht dat als de AI meerdere keren in het nieuws komt omdat de bestuurder is overleden omdat de auto voor de boom kiest, het heel erg snel is afgelopen met AI. Ondanks dat de keuze van de auto moreel correct is..
Volvo gaf aan dat dit mogelijk het ongeluk had kunnen voorkomen. Niets is 100% zeker met dit soort systemen.
Ja het is zeker irritant als zomaar stilgezet wordt... Maar als het alternatief is dat mensen doodgereden worden, dan zijn wat mij betreft autonome voertuigen niet klaar voor de openbare weg.
Er zullen nog veel meer doden vallen. Zo werkt dit nu eenmaal, software is nooit 100% correct.
Maar wat zegt dit? Er vallen iedere dag veel doden op de weg door menselijke fouten. Als autonome voertuigen minder doden maken dan mensen is het dan wel OK?
Tja, het is natuurlijk ook zo dat je innovatie afremt. In Amerika rijden er al genoeg autonome auto's rond maar in europa zie je niets vanwege bureaucratie en (duitse) lobbygroepen die nog lang niet zover zijn.

Het is een lastige balans.

Het is aan de politiek om de grenzen van acceptabele veiligheid te bepalen.
Die kunnen dit weer niet. Dat zie je bijvoorbeeld met Tesla's autopilot. Die moet soms gevaarlijke acties uitvoeren (zichzelf uitschakelen in een bocht bijvoorbeeld) door europese regelgeving.
De politiek kan momenteel niets en niemand tevreden stellen dus daar hoef je niets van te verwachten.
Innovatie is sowieso een subjectief gestuurd concept. Ik werk zelf als onderzoeker aan een universiteit (eindhoven) en daar moet al het tegenwoordig commercieel interessant zijn. Het draait de universiteit om geld binnenhalen. Het is heel moeilijk om geld via Nederlandse of Europese subsidie te krijgen en dan zelfs willen ze vaak dat je een bedrijf in de arm neemt als cofinancierder. Maar volgens mij worden de meeste projecten bij ons nu direct gefinancierd vanuit bedrijven. Die kunnen zo lekker goedkoop onderzoek laten doen.

Maar ja, als je dan niets maakt waarmee ze geld kunnen verdienen, trekken ze de stekker eruit. Ik moet me 2 keer per jaar verantwoorden met mijn voortgang. En dan hebben ze de gelegenheid mij bij te sturen.
Fundamenteel onderzoek (mijns inziens /echte/ innovatie) is er nauwelijks meer.

[Reactie gewijzigd door MeMoRy op 6 november 2019 22:47]

Zo werkt dit nu eenmaal, software is nooit 100% correct.
Klopt. Maar er zit een gigantisch verschil tussen software maken die met elke situatie rekening met houden en daar af en toe in faalt. Of software die bepaalde veel voorkomende situaties uitgesloten heeft omdat dat makkelijker was.
Helemaal waar, maar steeds onverwacht remmende auto's zijn ook een gevaar voor het achterop komende verkeer.
Ja je moet altijd afstand houden, maar getuige vele ongelukken, dat gebeurt lang niet altijd.

Nog los van het feit dat alles wat los zit ook de hele tijd door de auto vliegt wanneer die weer eens vol in de remmen gaat.

Aan fase positives kleven net zoveel nadelen als aan fase negatives. Blijkbaar heeft über hier zoveel fase positives gehad dat ze maatregelen hebben willen nemen om die in te perken. Een keuze met fatale gevolgen aan de kant van de fase negatives, helaas....
En dan zéker de onverwachte situaties niet.
Iemand die oversteekt op een plek waar dat niet de bedoeling is, is geen onverwachte situatie.

Het probleem is dat de techniek nog niet goed genoeg is om objecten te herkennen. En dus worden er allemaal shortcuts gebouwd om het makkelijker te maken, zodat je een systeem hebt dat het redelijk doet.
Maar diezelfde shortcuts zorgen uiteindelijk allemaal voor onveilige situaties.
Zoals hier duidelijk is geworden. Maar Tesla maakt ook dergelijke shortcuts waardoor een Tesla bij een wegafsluiting met oranje kegels daar dwars doorheen rijd omdat er een shortcut is gemaakt waardoor dat soort objecten genegeerd worden. (blijkbaar doordat de software te vaak in de war raakte van licht en schaduw werkingen op een wegdek en dus statische objecten deels weggefilterd worden)
Die garantie wordt nu in principe gewaarborgd door ook een oplettende chauffeur achter het stuur te zetten
Precies: "in principe". Terwijl ieder weldenkend mens weet dat het NIET gewaarborgd word, omdat een menselijke chauffeur niet oplettend kan blijven als zo'n auto urenlang alles goed doet.
(zeker als je bedenkt dat de mensen die hiervoor aangenomen geen echte testers waren, maar gewoon laagbetaalde baantjes voor mensen die ze van de straat plukken)
Iemand die oversteekt op een plek waar dat niet de bedoeling is, is geen onverwachte situatie.
Iemand die oversteekt MET EEN FIETS IN DE HAND op een plek waar dat niet de bedoeling is, was gezien de gebeurtenissen, wél een onverwachte situatie,

Maar dat is niet wat ik bedoel. Ik bedoel dat je in het algemeen in de praktijk pas de onverwachte situaties tegen gaat komen. Je moet dus ook in de praktijk ervaring op doen om het systeem te optimaliseren. Een dergelijk systeem volledig in een testsituatie ontwikkelen en er dan vanuit gaan dat het in 'het eggie' perfect gaat werken is een utopie.
Natuurlijk ga je in de praktijk onverwachte situaties tegen komen die niet bedacht zijn bij testen. Als test manager weet ik dat maar al te goed uit mijn dagelijks werk.

Maar dit was absoluut geen onverwachte situatie. Als ik situaties moet bedenken waar een autonome auto mee om moet kunnen gaan dan is een kind dat plotseling de straat op rent het allereerste wat ik direct bedenk. En mensen die over steken op andere plekken dan zebrapaden het tweede.
Derde is fietsers die zich aan geen enkele verkeersregel houden en doen wat ze willen.
Dat zijn geen onverwachte situaties. Dat zijn situaties die je elke dag in het verkeer tegen komt en die een autonome auto absoluut aan moet kunnen.
Het zijn ook dergelijke situaties die typisch op een test-track getest worden ipv de openbare weg.

Uber had blijkbaar moeite om de wagen alles netjes te laten herkennen en om het makkelijker te maken hebben ze in de software gezegd dat objecten buiten een kruispunt geen overstekende fietsers of voetgangers zullen zijn. Een shortcut die duidelijk onverantwoord is.
Op een snelweg zijn fietsers en voetgangers zeer zeldzaam, dus ik had het nog kunnen begrijpen als ze daar zo'n versimpeling zouden gebruiken. Maar op een normale weg uiteraard niet.
Als je software nog zulke tekortkomingen heeft, dan is het ook niet verantwoord om 'm met menselijke begeleiding buiten de snelwegen te laten rijden. (En ik betwijfel ook zeer of de mensen die in de auto zaten wisten dat de auto zulke tekortkomingen in de software heeft)

Dit was absoluut geen bijzondere situatie en een auto die deze situatie niet aan kan is nog niet klaar om in "het eggie" getest te worden. Deze situatie had prima in software getest kunnen worden of op een test-track. Ze hebben hier gespeeld met mensenlevens om niet te ver achter te lopen op de concurrentie.
Tesla heeft ook ongelukken gehad, maar daarbij was echt sprake van bijzondere situaties.
De 'bug' zit iets anders in elkaar...

Het herkennen van een object gaf vele false positives. Über heeft een vertraging ingebouwd van 1 seconde om goed te herkennen om wat voor object het gaat en daar goed op te reageren.

In normale omstandigheden is er dan nog voldoende tijd om te remmen of uit te wijken.

Maar hier ging dat anders. Binnen die seconde ging het systeem 'twijfelen' aan het object tussen "voertuig" en "overig".
Het slechte zicht (het was donker), de onverwachte plek en de ongewone combinatie van een voetganger met een fiets in de hand triggerde de twijfel van de auto.

Bij (en hier komt de bug:) elk twijfelmoment is opnieuw die seconde wachttijd gaan lopen waardoor er keer op keer niet gereageerd werd. Intussen reed de auto op volle snelheid door.

Was tijdens het twijfelen de seconde wachttijd door blijven lopen dan was na een seconde waarschijnlijk keurig geremd en was er niets aan de hand geweest.

Edit: vervelende typo

[Reactie gewijzigd door T-men op 6 november 2019 15:45]

Maar hier ging dat anders. Binnen die seconde ging het systeem 'twijfelen' aan het object tussen "voertuig" en "overig".
Nee, absoluut niet waar. Alles wat je zegt klopt totaal niet met wat het onderzoek aangeeft !!!
In de laatste seconde zat het systeem niet te twijfelen. Het systeem wist bovendien dat een ongeluk niet meer te vermijden was. En toen ging vervolgens die ene seconde ook nog eens in voor die false positives.
Maar ook zonder die ene seconde was het een fatale botsing geweest.

Ga het rapport van de NTSB lezen. De link staat in het artikel van tweakers.

-1.2 seconde voor de botsing stelt het systeem pas definitief vast dat het om een fietser gaat in het pad van het voertuig. Uitwijken is niet meer mogelijk. (pagina 11 van het onderzoek)

1.2 seconden is bij lange na niet voldoende om een auto met 70km/h tot stilstand te brengen.

Die seconde wachttijd is nooit opnieuw gaan lopen.
Het systeem heeft de voetganger met de fiets steeds als wat anders gedetecteerd. Daardoor had het systeem niet in de gaten welke kant het object op ging en in het pad van het voertuig zou komen.
Voetgangers buiten oversteekplaatsen werden geclassificeerd als object zonder richting die genegeerd mogen worden. Als een object als iets anders gedetecteerd word, dan is de tracking history kwijt en neemt het systeem aan dat wanneer het een 'vehicle' is dat het in dezelfde richting als de autonome auto zal rijden. En als het een fietser is neemt het systeem ook aan dat die in dezelfde richting als de autonome auto zal rijden. (in dit geval in de parallel baan)
Dat gemis aan tracking history zorgt er voor dat het systeem seconden lang wel een object waarneemt, maar denkt dat het geen gevaar is omdat het op dat moment nog niet in de baan van het voertuig zit.
Pas als de voetganger daadwerkelijk in het pad van het voertuig is (1.5 sec voor de botsing) heeft het systeem in de gaten dat het wellicht moet doen. Maar het heeft nog steeds niet in de gaten wat het is en neemt daardoor aan dat het statisch object is.
0.3 sec later herkent het pas een fiets die de auto kruist en dan is het al te laat.
Vervolgens komt dan éénmalig die second wachttijd, waardoor de auto pas 0.2 sec voor de botsing een signaal geeft. Maar ook die 1.2 sec was al veel te laat om te remmen.

Het staat allemaal overduidelijk in het NTSB rapport.

[Reactie gewijzigd door mjtdevries op 6 november 2019 16:38]

Dat is deze dus ook zeker niet. De software was nog in een test traject met 2 inzittenden.
Praat je over de situatie beschreven in het artikel? Want daar was maar 1 inzittende die ook nog eens druk bezig was met haar smartphone.
ja, Ik las in een ander artikel dat er ook nog een tweede inzittende zou zijn.
Hmm als ik dit filmpje kijk, zie ik toch echt 1 persoon
Niet bij Uber destijds, hoewel ze dat blijkbaar wel inmiddels veranderd hebben.
Een seconde erover doen om de situatie nog eens te beoordelen, dat is wel heel erg lang voor een computer systeem. Het geeft vooral te denken over de kwaliteit van Uber's software dat er blijkbaar een hele seconde nodig was.

Ter indicatie: Tesla's software draait op 200 FPS, en met de nieuwe hardware gaan ze naar 2000 FPS.
je moet niet FPS voor bijvoorbeeld een camera gaan vergelijken met berekeningen per seconden. Of in dit geval zelfs een gevaar inschatting. De buffer die hier gehanteerd wordt zal ook bij de tesla aanwezig zijn. Je wilt niet hebben dat wanneer iemand net nog oversteekt terwijl je aan komt rijden de auto meteen remt. Dan verstoord te auto jouw en de volgers achter je het rij confort. Het is niet altijd nodig meteen te reageren. Daarom is daar ongeveer een seconde voor ingeprogrammeerd. Juist computers kunnen dit heel goed regelen. Als ze maar goed zijn afgesteld of aangeleerd.
Telefoon-zombie wat ineens stilstaat op de weg mogelijkerwijs? Niet de eerste...
Zelf rijdende auto’s klinkt allemaal leuk, maar ik zou er geen willen hebben. Voor mij is na een lange dag werken zelf een stuk rijden een stuk ontspanning en wil ik niet gereden worden.

Nu dit gezegt te hebben, de techniek kan wel meehelpen in noodsituaties. Bv zoals vandaag iemand in het nieuws was, dat die een epilepsie aanval kreeg en iemand aangereden had. Dan zou het goed zijn dat het overgenomen kan worden.

In het geval met uber vindt ik ook de fout dat ze de systemen van volvo uitgezet hadden en dat de bestuurder met andere dingen bezig was. Het is een test systeem dan moet er een bestuurder zijn en niet aan de bestaande apparatuur gesleuteld worden. Die is zeer goed getest en afgesteld bij dat type auto. Als je veranderingen erin wil maken moet je samen werken met de fabrikant van het merk auto
Dat dacht ik ook met mijn 57.000km per jaar tot ik mijn Tesla met FSD kreeg. De dagelijkse trajectcontrolle tussen Amsterdam en Utrecht rij ik zelden meer zelf hoor.

Het is net als werk: niemand vind het meest routinematige deel van zijn werk het leukst, zo ook vaak op de weg.

En het mooiste: het is en-en. Dus je kan kiezen hoe je wilt rijden of gereden worden.
Er kan altijd nog gekozen worden voor wegwijken naar de vluchtstrook als je op de rechterbaan (of voor de Britten - linkerbaan) rijdt.
Dat is absoluut waar, maar ik suggereer niet dat er abrupt geremd zou moeten worden.

In dit geval waren er zoals ik begrijp 5,6 seconden om het voertuig tot stilstand te brengen.
Klopt Lidar is gewoonweg niet geschikt.
Maar ook met camera's zal het nooit 100% worden zo lang computers geen begrip hebben van context en zul je dus false positives moeten accepteren wil je het veilig houden.
M.a.w. eens in de zoveel tijd zal je stilstaat zonder duidelijke reden.
Persoonlijk vind ik zelf rijdende auto's een onrealistisch idee, afgezien van de techniek kleven er nogal wat issues aan.
Zo is het nog interresant hoe hier in Nederland verzekerings technisch mee omgegaan wordt.
Als ik niet rijd ben ik passagier dus zou ik nooit verantwoordelijk gehouden moeten kunnen worden en is het bedrijf dat de software maakt in mijn opinie de schuldige.
Helaas is dat een niet haalbaar iets en om die reden alleen zal ik persoonlijk altijd zelf blijven rijden ipv het laten doen door een pc.
Er zijn 2 zaken met zelfrijdende auto's.

Overheden moeten er eerst goedkeuring voor geven.
Dan heb je verzekeraars die de risico's moeten gaan bekijken of de autonome systemen idd wel zo foutloos zijn. Als die dat in hun ogen niet zijn zullen premies ook vrij fors worden, d.w.z als je all-risk hebt. WA is de wettelijke dekking.

Ga er dan ook van uit de voordat overheden toestemming geven ze ook samen met verzekeraars naar de risico's zullen gaan kijken.
Dan is nog de vraag moet ik die hoge premie betalen?
Ik heb immers geen invloed op de software en zijn beslissingen.
Zelf zou ik het dan ook vreemd vinden dat ik als persoon verantwoordelijk gehouden wordt voor software waar ik totaal geen invloed op heb.
In mijn opinie zou dus de fabrikant die premie moeten betalen.
Nu zullen er mensen zijn die zeggen:"Ja maar je kunt ingrijpen"
Dat klopt maar de foute beslissing is dan al gemaakt.
Dat is in mijn ogen hetzelfde als iemand die iemand wegduwd alvorens een ongeluk te maken in staat van beschuldiging te stellen. De omgekeerde wereld dus.
De vraag is of je je auto dan nog all-risk moet verzekeren, immers je zou kunnen stellen dat je zelf geen fouten meer maakt.

Neem natuurlijk niet weg dat je altijd wa moet hebben. Er kunnen zich altijd situaties voordoen waar je deels schuld hebt.
Dan is nog de vraag moet ik die hoge premie betalen?
Vanzelfsprekend.

Het kan ook zijn dat de auto veiliger rijdt dan de gemiddelde mens. Dan wordt het dus een lagere premie.
Zelf zou ik het dan ook vreemd vinden dat ik als persoon verantwoordelijk gehouden wordt voor software waar ik totaal geen invloed op heb.
Daar zul je dan toch aan moeten wennen.

Er zijn zovéél dingen waarvoor je aansprakelijk bent, maar waarop je geen invloed hebt. Als je hond uit eigen beweging iemand bijt. Als er een dakpan van je huis waait. Als er een boom uit je tuin omvalt, etc. etc. Dat heet risicoaansprakelijkheid.

Meestal kun je zulke schade ook niet op iemand anders verhalen. Het is vaak nogal lastig om aan te tonen dat iemand anders iets fout gedaan heeft. Als de dakdekker bijvoorbeeld die ene pan niet goed had neergelegd, dan zul je dat nooit kunnen bewijzen. Of misschien was die ene pan wel niet goed gebakken bij de fabriek. Etc. etc. Of misschien lag het toch alleen aan de wind, en is het gewoon enkel pech. Maar wel jouw pech.
In mijn opinie zou dus de fabrikant die premie moeten betalen.
Dat slaat natuurlijk nergens op. Het eerste wat die zullen doen is die premie voor 120% aan jou doorberekenen (20% opslag voor administratiekosten en eventueel restrisico, en eventuele juridische kosten). Vrij zinloos dus. Het is jouw auto, dus ben jij risicoaansprakelijk, en hoe dan ook gaat het geld toch uiteindelijk uit jouw eigen zak komen. En anders kies je maar een andere auto...

Als de fabrikant nu verwijtbare fouten heeft gemaakt, dan kan ie natuurlijk wel aangesproken worden, maar dat is nu ook al zo. Maar een software-bug is niet per definitie een verwijtbare fout.

[Reactie gewijzigd door RJG-223 op 7 november 2019 01:50]

Akkoord, maar daarbij is het in het geheel niet relevant wat het is. Het gaat erom of het obstakel stil staan, of dat het beweegt, en zo ja, met welke snelheid. Op basis daarvan maak je een voorspelling van het traject gedurende de komende tijd en legt dat naast de voorspelling van het eigen traject in diezelde tijdsperiode en kijkt of ze kruisen. Daarbij zou het niet uit moeten maken of het een muur, auto, glasplaat, persoon, vliegtuig of viaduct is.

Een classificatie kan wel helpen bij het voorspellen van het gedrag, natuurlijk. Levende wezens gedragen zich anders dan, ik noem maar wat, een aanstormende trein.

Als we het maar even positief uitleggen en aannemen dat er getwijfeld werd tussen een stationair object dat langs de kant van de weg stilstond en dus geen gevaar vormde, of een potentieel kruisend voertuig, is het alsnog een foute beslissing om dan maar uit te gaan van een stationair object. Als er ook maar enige twijfel is dat het een kruisend voertuig is moet daarvoor afgeremd worden. Net zoals een menselijke bestuurder zou doen.
Probleem is je hebt het no over een obstakel en lidar zien idd obstakels, met normale camera krijg je daar een beter beeld bij, in het donker minder. Je weet echter niet of het een vast of levend obstakel is. door thermisch infrarood toe te voegen aan het systeem krijgt het obstakel ook een warmtebeeld. Daaruit kun je dan weer zien of het levend of vast is.
Levend betekend dat het systeem al alerter zou moeten zijn. Helaas is Thermisch infrarood nog duur maar zou het wat mij betreft wel onderdeel moeten zijn van dit soort autonome systemen.
Levend betekend dat het systeem al alerter zou moeten zijn. Helaas is Thermisch infrarood nog duur maar zou het wat mij betreft wel onderdeel moeten zijn van dit soort autonome systemen.
Exact. De technologie moet afdoende zijn om verstandige beslissingen te nemen. En daar hoort een prijskaartje bij, daar mag niet op bezuinigd worden. Prijs mag in deze geen enkele factor zijn, behalve dan in de beslissing om de experimenten in zijn geheel wel of niet te gaan doen.
Helaas is prijs bij auto's altijd een factor. In de auto-industrie gaat het om centen. Kijk je naar de hardware voor een autonoom systeem dan zal dat toch eerst op duurdere auto's komen te zitten en daarna goedkoper worden en naar kleinere auto's.
Of je een lidar en camera nu op een 20k of 100k auto zet, de hardwarekosten zijn op dit moment dezelfde. Voor een 20k auto is autonoom nu te duur.

Thermisch infrarood camera's zijn naar verhouding heel veel duurder, zeker als je er naast je normale nog een paar rond de auto moet hebben.
Dan koop je toch gewoon een Rolls-Royce? Daar kijken ze niet op de centen.

Mocht dat te duur voor je zijn (bij mij is dat oog zo :) ) kun je gewoon blij zijn dat een Golf nu gewoon dingen heeft waar 20 jaar geleden een Mercedes S-klasse alleen maar van kon dromen.
Een groot deel van deze objecten geeft geen warmte af en zou door een IR al niet direct als "persoon op weg" gedetecteerd worden.
Ik mag hopen dat zo'n systeem niet alleen afgaat op warteafgifte. Er zijn tal van scenario's denkbaar waarin ik niet direct door mijn warmteafgifte herkenbaar ben.
Hopelijk niet, maar ik geval van de Volvo zou IR hier net 1 van de factoren geweest kunnen zijn om net wel een noodstop te maken. (radar+IR+ ...)
Veel waarschijnlijk niet, iedere kilo minder is natuurlijk beter.
Of je er veel van merkt als voetganger als je wordt aangereden door 900kg of 1600kg ijzer betwijfel ik. :P
Ik 'kaap' even de top-comment hier - een video met een mobieltje van de plek waar het ongeluk gebeurde. Ik zie dat sommige mensen vooral de voetganger de schuld geven en zeggen dat de weg donker is, maar hoewel de situatie niet perfect is is het beter dan de Uber video doet voorkomen. https://twitter.com/KostelecPlan/status/1107999338133778443

(Of de videos waar ik aan dacht, die in het artikel van Ars Technica opgenomen zijn - https://arstechnica.com/c...ws-dont-believe-it/?amp=1)

[Reactie gewijzigd door MicBenSte op 6 november 2019 11:02]

Je wordt bij 70 kmu door beide compleet kapot gereden hoor. Ik zit dan zelf liever in die Volvo, voor mijn eigen veiligheid. Wel bijzonder dat er in een autonoom voertuig nu 2 mensen moeten meerijden. Doel voorbij, letterlijk en figuurlijk.

[Reactie gewijzigd door Jorgen op 6 november 2019 09:50]

Waymo heeft altijd al 2 personen in de auto gehad net zoals andere merken die zelfrijdende autos testen wanneer het 'in het wild' is. Uber is de enige die slechts 1 persoon in de auto had uit kostenbesparingen.
Ik snap waarom het bij testen moet, maar doel meer op het feit dat een autonoom voertuig, 2 bestuurders cq opletters nodig heeft. Dat voelt zo tegenstrijdig.
Risicovermijding. In principe moet de zelfsturende auto alle dingen zelf uitvoeren, dus dan heb je als 'bestuurder' weinig te doen en is het risico groot dat je niet gefocust blijft. In principe worden testbestuurders ook getest of ze gefocust kunnen blijven, maar Uber lijkt daar ook de kantjes er dus van af te lopen. Er zijn 2 mensen tijdens de testritten zodat er in theorie altijd minstens 1 iemand is die op de weg aan het letten is en aan het kijken is of de auto de juiste beslissingen neemt. (Zo uit mijn hoofd doet bv Waymo het dat 1 iemand full-time de beslissingen controleert en eventueel kan ingrijpen, en 1 ander ook controleert maar verder ook notities maakt voor mogelijke verbeterpunten die opvallen tijdens het rijden)
Met 70km/u is een Smart ook dodelijk.
Met 70km/u zal een kartonnen doos zelfs flink pijn doen en je potentieel verwonden.

[Reactie gewijzigd door MeMoRy op 6 november 2019 09:58]

Dus gewicht maakt wél uit.
Mogelijk dat een lichtere wagen doorgaans ook sneller tot stilstand komt?
Niet perse, want lichtere wagens hebben vaak smallere banden, dus minder contactoppervlak. Ook nog kleinere remmen.
En dan heb je nog kwaliteitsverschillen: de betere grote auto's staan soms sneller stil dan goedkope kleine auto's. Abs, esp, etc maakt ook allemaal uit.
En kleine auto's zijn niet eens zo licht... smart fortwo is bijna 900kg. Dat is een flinke hamer.
Het zijn ook inderdaad al deze factoren welke meewegen.
Je punt was ook valide mijns inziens totdat je de kartonnen doos erbij haalde.

Trouwens zijn smallere banden en kleinere remschijven bij kleinere auto's altijd proportioneel om het speelveld een beetje eerlijk te houden bij onverwachte situaties op de weg.
Mochten de remmen wijsgeren en niet jouw carrosserie een auto tegen gaan houden, dan scheelt het wél of je een smart of XC90 moet incasseren.
Dat is nog geen reden om het dan ook voor autonome voertuigen te accepteren.

Ik ben het er bij een hoop weggebruikers ook niet mee eens dat ze een rijbewijs hebben ;)

Een groot verschil is wel bij autonome auto's dat het meer structurele problemen zullen zijn. Er is een bepaalde klasse situaties die altijd fout zullen gaan zonder dat de software aangepast wordt. Bij mensen is het meestal een combinatie van diverse factoren die het ongeluk veroorzaken en dat maakt het minder voorspelbaar, en meer in lijn met het menselijke verwachtingspatroon van risico's.

[Reactie gewijzigd door MadEgg op 6 november 2019 10:09]

Omdat een Volvo onverwoestbaar is ;-)
Ik heb liever dat Uber zich hier weg van houdt. Ik ben wel kritisch tegenover autonome voertuigen maar ondanks mijn aversie tov Google heb ik een stuk meer vertrouwen in Waymo dan Uber - die loopt vrijwel overal de kantjes vanaf. Zo blijkt ook hier weer.
Uber was toch die criminele toko die direct al het bewijs vernietigde als er een inval werd gedaan...
Volgens mij gaat dat autonome rijden nooit echt lukken. Je mag dan wel 90% of zo van de problemen oplossen, maar er blijft altijd een categorie over die een automaat nooit goed zal inschatten, namelijk menselijk handelen en dan met name in situaties waar geen regels zijn (4 auto's tegelijk bij een kruising?) of regels overtreden worden (fietsers).
Ik denk dat geen enkele autonome auto veilig door een Nederlandse binnenstad kan rijden waar fietsers en voetgangers zich aan geen enkele regel houden.
Ziet b.v. een autonome auto als een kind achter een geparkeerde auto verdwijnt? Of als een fietser zijn hand uitsteekt om af te slaan (Gebeurt vaker niet dan wel...)?
Of wat doet een autonome auto in een situatie waar je een enorm drukke voorrangsweg opmoet? Wachten tot de accu leeg is?
Ook @Tim Lamein @bbob1970 @Pooh Heb net het artikel van The Register gelezen [1]. Wat er gebeurde is dat Uber een shit-tier classificatie systeem heeft.

Normaal gesproken verwacht je dat een systeem met variabelen werkt met [objectID, type[], loc[], (etc)]. Wat Uber heeft gedaan is [type, loc[], (etc)]. In plaats van een ID te geven en daar vervolgens een classificatie aan te geven en dat vervolgens te monitoren, gaf het systeem een classificatie en werden vervolgens alle records er uit gegooid toen het systeem begon te twijfelen aan de classificatie.

[Reactie gewijzigd door MicBenSte op 6 november 2019 12:06]

Aangepast, dit zou nu moeten werken.
verder heb ik een ander artikel gelezen maar deze komt verder overeen met wat er in het artikel van tweakers is meegenomen.
Ik denk dat "jaywalking" wel ingewikkelder is dan simpel ontwijken. Vaak speelt oogcontact en zelfs overige aspecten een rol, zoals kleding en zichtbare alcoholische dranken. In drukke gebieden is het vaak normaal dat voetgangers alvast wat stappen nemen in de richting van het aankomende voertuig, met de intentie om net naast de projectie van dat voertuig (soms centimeters) ff stil te staan, zodat nog ff snel tussen dat voertuig en daaropvolgend voertuig kan worden overgestoken, die soms dan wel of niet iets minder gas moet geven.

Als men zulke situaties wilt trainen zouden ze eens in drukke gebieden zoals Cairo of Mumbai moeten kijken, maar je begint natuurlijk met simpele gebieden. En daar is nu deze slachtoffer mee gevallen.
Wat bedrijven als Waymo en Tesla goed doen is dat ze niet stom zonder uitgebreide data en testen software op de weg laten rijden die mensen letterlijk kan vermoorden. Uber cared niet naar regels/wetten en morele verplichtingen en wilt zo snel mogelijk op de meest simpele manier voor elkaar krijgen wat ze willen zonder na te denken over de concequenties.

Tesla heeft bijvoorbeeld een extreem lange weg moeten slaan om functies 1 voor 1 te introduceren in de vloot met daarop uitgebreide testing en data van miljoenen auto's die zelfs versies lang voordat een functie uit komt al begonnen zijn met achtergrond processen om deze toekomstige functies te simuleren in shadow mode en alle mogelijke hoeken te behandelen. Waardoor kinderziektes in de software nooit het daglicht zien gezien er altijd voor de meest veilige optie wordt gekozen door het systeem liever te langzaam en met extra scannen en extra oplettendheid door een parkeer plaats te laten rijden dan dit gelijk in het wild te activeren en te testen. Korte termijns oplossingen als deze bij Uber zijn enkel en alleen maar gefocussed op geld boven leven en maatschappelijke wensen. Bedrijven als Uber moeten daarom naar mijn idee verbannen worden van het experimenteren met Autonomie en AI. Hier zouden betere richtlijnen voor geschreven moeten worden en vergunningen voor gedeeld moeten worden die enkel bedrijven die de veiligheid voorop stellen de mogelijkheid geeft hier de enige risico's in te nemen wanneer daar genoeg veiligheids netten voor zijn.

Auto Pilot bijvoorbeeld is nu al velen malen veiliger dan gemiddelde weg gebruiker op de snelweg al is het zeker niet water dicht zie ik wel dat dat betere data is dan een merk wat er zelf voor kiest om veiligheids functies uit te zetten omdat dubbele veiligheid niet gewenst vind en liever een lek achter laat.
Dat klinkt theoretisch leuk, maar dan kan niemand meer na een dag werken de auto in.

We weten allemaal dat er momenten op een dag zijn dag je goed uitgerust bent, en dat je vermoeid bent. Wij zijn geen robots.

Voor jezelf moet je natuurlijk wel uitmaken of je tè vermoeid bent om te rijden. Even een powernap nemen doet wonderen.
Ik dacht dat het ongeluk wel de schuld was van de overstekende vrouw. Die had geen voorrang op de auto. Dat zij de "zwakke verkeersdeelnemer" was doet daar niets aan af.
Kan het me verkeerd herinneren, maar volgens mij zit vlak voor het stuk waar het ongeluk gebeurde een flauwe bocht met de versperring van een pijler van een viaduct. Op het moment dat de vrouw begon met oversteken was de auto niet zichtbaar voor haar. Vraag is wel waarom ze zo langzaam met oversteken was.
Ik weet niet of het volvo systeem het zelfde is als die van Mazda
ik rijd zelf een Volvo V40
en ik heb zo nu en dan dat wanneer ik thuis inparkeer dat de auto vol in de rem gaat omdat de begroeiing zo dicht is dat hij denkt dat ik tegen een muur ga aanrijden wat dus niet zo is en dus iedereen in de auto tegen de voorruit aangeplakt zit en dan rijd ik volgens mij helemaal niet hard het parkeer vak in.

Had dat systeem aangestaan had die vrouw het misschien wel overleefd.
De Volvo en Mazda systemen zijn vrij vergelijkbaar maar de consequenties van de systemen zijn wel verschillend. Ook de technologie verschilt ietwat. Volvo gebruikt radar en een camera. Mazda gebruikt radar en infraroodlasers plus een camera. Ze detecteren nagenoeg gelijk maar de effecten verschillen. Zo kan het Mazda systeem al panikeren en een noodstop maken omdat je een slagboom iets te dicht nadert. Of wanneer je iemand te dicht nadert op de snelweg.

Ook de pre-crash systemen zijn vergelijkbaar maar die van Mazda staat iets te streng afgesteld. De Volvo grijpt in na meldingen van een impact, de Mazda ervoor al.

Leuk voor de fabrikant, zo zijn ze sinds 2017 of 2018 de “top safety pick” van de NHTSA in de VS, iets minder leuk voor de bestuurders en inzittenden.
De kruising verderop staat ook als gevaarlijk bekend voor voetgangers, en op de plek van het ongeval word veelvuldig overgestoken door voetgangers en fietsers omdat het qua route een logische verbinding is tussen twee punten.

Maar goed dat is een fout van de wegbeheerder om dit soort situaties te laten ontstaan, daarvoor zijn er verkeerspsychologen die menselijk gedrag voorspellen afhankelijk van de situatie.
Mijn mening is dat er 3 schuldigen zijn.

Te beginnen met het slachtoffer. Dit schrijf ik uiteraard niet graag, want normaal gesproken is victim blaming not done. Echter, uit de beelden is op te maken dat de oversteker achteloos oversteekt. Op geen enkel moment wordt links of rechts gekeken. Ook al was het niet pikkedonker, het was duister.

Stel je dat eens voor. Een relatief donkere weg en een auto met licht die aan komt rijden. Dit voertuig op geen enkel moment aankijken of de aanwezigheid ervan opmerken...dat is toch bijzonder. Ik meen gelezen te hebben dat de vrouw mentale problemen had, anderen zeggen een zwerfster.

Wat uiteraard geen misdaad is, maar de oversteek aktie zelf is onderdeel van het ongeluk. Zo steek je gewoon niet over.

De tweede schuldige is de bestuurder. Welke aan een test deelneemt waarbij je behoort in te kunnen grijpen maar deze plicht naast zich neerlegt. Ik vind het geen hoofdschuldige, maar het draagt bij aan de uitkomst.

Tot slot acht ik Uber de hoofdschuldige. Zij zijn immers de vervangende bestuurder, met hun software. De vraag of de oversteek aktie legaal of illegaal is, is in feite niet relevant. Een systeem dient rekening te houden met verkeersovertredingen aangezien dat dagelijkse kost is op de weg.
Juist, net zo goed als dat jij geen gevaarlijke situatie veroorzaakt. Ongelukken gebeuren door de regel pas als 2 weggebruikers een fout maken, waar het best kan zijn dat 1 ervan in overtreding is en de ander slechts onoplettend.

Laten we niet vergeten dat er genoeg bijna ongelukken zijn die voorkomen orden doordat de andere partij wel oplette.
1. Je maakt ZELF de vergelijking...
2: overigens is naast die boete, ook de kans op een ongeluk groter.... zoals hier... daarom hebben we verkeersregels.
2. Een verkrachter pleegt bewust een misdrijf
3. De aanrijding is niet bewust veroorzaakt, het is een ongeluk, de bestuurder van de auto is net zo goed slachtoffer als de wandelaar en beide zaten niet op te letten.
4. Als men niet wilt leren van de fouten die gemaakt zijn aan beide kanten, dan gebeuren dit soort ongelukken meer en meer. Helaas gebeuren dit soort ongelukken al regelmatig met menselijke bestuurders.
Verder moeten autonome auto's aan een hogere standaard voldoen dan dat menselijke bestuurders hebben. Anders worden ze maatschappelijk niet geaccepteerd. Hierom mogen de verwachtingen gerust hoog gelegd worden voor dit soort systemen, en mogen dit soort fouten niet voorkomen. Totdat de auto volledig autonoom is blijft tevens de bestuurder net zo verantwoordelijk als bij een conventionele auto. Immers is er zonder volledige autonomie enkel sprake van rijassistentie.
Dit is inderdaad een punt. dit is ook waarom tesla's etc niet als automoon voortuig gezien worden volgens mij. Het is allemaal nog niet goed genoeg en af en toe moet een bestuurder ingrijpen (ook al voldoen ze volgens mij al aan een hogere standaard dan menselijke bestuurders als je de data van Tesla voor waarheid aanneemt)

Maar is serieus je enige maatstaaf voor "schuld" de uitkomst van iets?
Een slachtoffer kan weldegelijk mede schuldig zijn aan zijn/haar eigen slachtoffer zijn... (een overvaller die neergeschoten wordt als extreem voorbeeld)
Inderdaad. Punt. Belachelijk om het anders te stellen. 8)7
[...]
"Als je als meisje, met een kort rokje, door een donkere steeg loopt in een ongure buurt dan heb je gewoon ook schuld."
Er bestaat ook iets als gezond verstand, helaas houden de mensen zich niet volledig aan wetten en gebeuren er foute dingen. Als de wereld zo netjes was zou je als blanke persoon geen problemen hebben om door steegjes te lopen in Rio. Helaas is de wereld niet zo.

Er zijn fouten gemaakt aan beide kanten in dit verhaal en helaas heeft dat een leven gekost.
Maar alle schuld op 1 kan schuiven is ook niet netjes, want laten we eerlijk zijn oversteken lopend met een fiets in het donker is niet zo verstandig.
Zo gaat dat altijd :
Als een dronken, veel te' snelle chauffeur jouw in het donker overstekende , daar waar het niet mag , zonder verlichting /reflectoren tienerkind doodrijdt , gaat de rechter bepalen of het ongeval ook in nuchtere toestand had plaats gevonden. (ja dus ...)

En dat bepaalt wie mag betalen.
Zeker, maar staat los van de schuldvraag
En dat staat weer los van de vraag wie aansprakelijk is.
Tegenwoordig gaat het bijna alleen om de juridische kant. Dat deze bestuurster wellicht de rest van haar leven herbelevingen heeft is niet belangrijk als ze juridisch gezien maar deels schuld heeft.
Exact!!! Dat is hier ook de kern van de zaak. De bestuurder zat daar om in te grijpen indien het systeem zou falen. Dus als laatste vangnet.

Ze zat daar dus niet om aan te tonen hoe ontspannen je met andere dingen bezig kunt zijn terwijl je ontzorgd wordt door een autonoom voertuig besturingssysteem.
Het is toch echt Uber geweest die wegens 'kosten' de testers voor een minimale vergoeding veeeel te lang liet rijden, en dan ook nog alleen.

Zoals gebruikelijk als het over Uber gaat is de onethische, corrupte bedrijfscultuur binnen dat bedrijf dus weer de schuldige.
Volgens mij steken dagelijks vele mensen een weg over in het donker waar je 80 km/u mag.
en daar lees je over in de krant , als ze op een weekend werden doodgereden.
Nee hoor, er is hier maar 1 schuldige: de bestuurder van de auto die blind vertrouwde op een computer om haar werk te doen. Al die zelfrijdende meuk van tegenwoordig is een hulpmiddel, meer niet. Je moet als bestuurder nog steeds je aandacht op de weg houden, zelfrijdend of niet.
Neen, de vrouw had de wagen moeten zien aankomen en/of héél snel oversteken.
Ze is, zoals 84H aangeeft op 3 punten in fout.
[/quote]
Nee, de menselijke bestuurder had alles binnen haar mogelijkheden/vermogen moeten doen om een dodelijk ongeluk te voorkomen. Immers, zij is de minst kwetsbare in de situatie. Dat brengt een zekere verantwoordelijkheid met zich mee. (want ze kan er vanuit gaan dat niet ingrijpen nauwelijks tot eigen letsel zal leiden, maar des te meer bij de andere partij).

Echter, die heeft helemaal niets van dien aard ondernomen, en het dus gewoon laten gebeuren. Dat maakt haar schuldig.
U bent jurist / advocaat/ rechter? Enige ervaring met rechtspraak?

Nope ...

[Reactie gewijzigd door OxWax op 6 november 2019 11:50]

Ik ben geen jurist, noch rechter, maar inderdaad wel de nodige ervaring met dergelijke (recht)zaken waarbij ik bijstand heb gehad van een advocaat. Zowel als (verkeerstechnisch) veroorzaker als slachtoffer. En ik kan je vertellen: Het is niet zo zwart/wit als in de wegenverkeerswet is vastgelegd. Zo speelt er altijd nog de invloed van diverse omstandigheden, waarbij er ook nog eens geen automatische koppeling is tussen schuld en aansprakelijkheid. En da's maar goed ook.

Overigens zijn dergelijke 'zachtere' bepalingen al beter vastgelegd in de BPR en RPR (Binnenvaart Politie Reglement en Rijnvaart Politie Reglement). Kijk bijvoorbeeld maar eens naar artikelen 1.04 en 1.05.
Bij 20 meter per seconde is dat 100 meter afstand. Een overstekende fietser (die links en rechts kijkt) zou koplampen toch écht wel moeten kunnen zien. VOORAL in het donker.

Verder kent dit verhaal alleen maar slachtoffers, iedereen zou het anders hebben gedaan met de kennis van nu.
Ik doelde op de inschatting van het slachtoffer om over te steken. Als de auto nou veel harder had gereden dan toegestaan, dan kan iemand dat gemakkelijk verkeerd inschatten.

Dat de auto de fietser niet zag is slecht, maar uiteindelijk had dit kunnen worden voorkomen als de bestuurder geen video zat te kijken....
According to data provided by Hulu, the driver was streaming NBC's popular show "The Voice" on the Hulu app for about 40 minutes. The end time coincides with the crash.
Bron: https://money.cnn.com/201...-police-report/index.html
Klopt, ik bevestig wat je zegt maar gaf even aan hoe de oversteekster hier deze situatie in had kunnen schatten.
Oh, ik interpeteerde het verkeerd, sorry!

Ja, de oversteekster, was niet handig, de bestuurder was onverantwoord en Uber heeft een prototype laten besturen door een beperkt/ongetrainde bestuurder. Het is een trieste situatie.
Klopt, de oversteek was lang en zover de beelden laten zien heeft de oversteker op geen enkel moment links of rechts gekeken of de auto aangekeken. Zelfs bij naderende impact werd niet eens een ontwijkende beweging gemaakt.

Bijzonder.
Wat mij vooral erg opvalt aan dit verhaal is dat dit best een extreme situatie is waarin veel dingen samenvallen die een wellicht fatale aanrijding erg waarschijnlijk maken als het een menselijke bestuurder geweest was maar dat de diverse software de (fatale) aanrijding in feite meer dan prima had kunnen voorkomen! Maar dit enkel niet deed doordat de technici hebben lopen prutsen (wellicht niet zozeer schuld van de technici, maar meer van Uber die gewoon te snel wil!)... Ik zie het dus eigenlijk meer als bevestiging dat autonome voertuigen absoluut in staat zijn om ongevallen te voorkomen waar menselijke bestuurders daar meer moeite mee zouden hebben. Echter: moeten de systemen dan wél correct ingesteld worden... En daar is het hier gigantisch mis gegaan!
Oh, en ik geloof erin... het komt. Het zal er ooit zijn, maar nu is het echt nog veel te vroeg.
Klopt. Maar we zijn al wel een heel end (alles is relatief hè!) en in dit voorval zie ik daar eerder een bevestiging in. De auto deed het juist, de betrokken mensen hebben de fouten gemaakt...

Daarnaast: zelfs als die autonome auto's ooit uit de kinderschoenen zijn geloof ik niet dat alle ongelukken voorkomen kunnen worden. Maar zo lang het veiliger is dan nu met menselijke bestuurders ben ik voorstander. En ik denk dat dát niet eens heel gek ver weg is... Want als ik het kunnen (of willen) zie van de gemiddelde menselijke bestuurder op de weg... Dan is er niet eens heel gek veel nodig om het beter/veiliger te maken :/

Wat betreft de situatie die jij benoemt m.b.t. hufterige tegenligger bij een zebrapad. Volgens mij is de huidige generatie autonome auto nog helemaal niet berekend op het voorspellen van gevaarlijke situaties buiten de eigen route. Dus geheel eens: die zou daar niks mee doen verwacht ik. Daarmee is deze niet schuldig aan het eventuele ongeval, maar het blijft een feit dat een menselijke bestuurder mogelijk wel iets had kunnen voorkomen (zou zelf overigens dan eerder kiezen voor de claxon in plaats van zelf eigenlijk te hard op het zebrapad afrijden, maar dat terzijde! Het gaat er om dat je iets doet om erger te voorkomen). In de toekomst zullen autonome auto's wellicht ook meer letten op omliggend verkeer. Waarom niet? Kost enkel wat meer rekenkracht en daar is tegenwoordig genoeg van aanwezig! En daarbij geloof ik heel erg in signalerings systemen op de auto's van de toekomst die middels geluid- en/of lichtsignalen kunnen acteren met mede weggebruikers - met name dus voetgangers/fietsers. Zeg maar het alternatief van handgebaren/oogcontact en dus claxon welke we nu als menselijke bestuurders kennen om te communiceren met de wereld buiten de auto.

[Reactie gewijzigd door kazz1980 op 6 november 2019 10:58]

Claxon zal ik ook wel eens gedaan hebben. Geen idee meer. Herinner me ook dat ik wel eens (al remmend) naar het midden van de weg stuurde en daarmee de tegenligger blokkeerde. Vaak zijn zulke mensen meer onder de indruk van een naderend voertuig dan van een overstekend kind.

Maar je begrijpt mijn bedoeling gelukkig. Soms moet je tegengesteld handelen om het juiste te kunnen bereiken. Hiervoor heb je een zeker bewustzijn nodig. Ik durf eigenlijk wel te stellen dat de (ai van de) auto die dergelijke 'problemen' kan oplossen, ook al best een goede gesprekspartner zou kunnen zijn. Zo hoog schat ik dat dus in.

In hoeverre jij of ik daarin op het juiste spoor zitten...geen idee. Laten we over 5 jaar deze thread nog maar eens opdiepen en kijken waar we dan staan.
In hoeverre jij of ik daarin op het juiste spoor zitten...geen idee. Laten we over 5 jaar deze thread nog maar eens opdiepen en kijken waar we dan staan.
Dat lijkt me hoe dan ook een erg interessante exercitie... Ongeacht waar we dan staan qua autonome auto's! ;) Misschien veel verder dan we nu denken, misschien staat het dan nog steeds in kinderschoenen.... Who knows! Ik heb best wel hoge verwachtingen... Maar verwacht alsnog dat het zeker wel 10 tot misschien zelfs 20 jaar gaat duren voordat er echt grootschalig autonoom gereden wordt. We zullen zien.
Kan bij wet gemakkelijk geregeld worden: voetgangers en fietsers mogen enkel oversteken bij stoplichten, oversteekplaatsen en zebra's. Mochten ze daar door voertuigen aangereden worden, dan is de bestuurder van het voertuig verantwoordelijk.

In al het andere gevallen, zoals domweg een provinciale weg oversteken, zijn fietsers en voetgangers verantwoordelijk.

Het is niet moeilijk. Er moet gewoon een verandering in de mentaliteit komen.
Die zat er juist niet in. Uber wou voor een dubbeltje op de eerste rang zitten.
in de tekst wordt anders gesuggereerd:

"Met 0,2 seconden te gaan gaf de auto een geluidswaarschuwing, waarna de bestuurder het stuur ter hand nam, maar ze remde pas een seconde nadat de botsing al had plaatsgevonden."
O, ik snapte je verkeerd. Er was inderdaad een bestuurster. Ik dacht dat je bedoelde dat er daarnaast nog een bijrijder was. Zo is het namelijk geregeld bij alle andere organisaties die met zelfrijdende auto's testen.
Je hebt de beelden gezien die Uber gemaakt heeft. Deze lijken bewust donkerder. Het traject zelf (zoals andere videos laten zien) is veel beter verlicht dan de Uber video het doet lijken.
Ik heb het zelf een keer gehad toen op een donkere herfstavond 3 vrouwen in donkere gewaden besloten om tussen de geparkeerde auto's over te steken, buiten de footprint van de lantaarnpaal.

Ik kon er echt nog net omheen met de auto. Dat was puur op reflex, want voor de rest had ik ze niet eerder kunnen opmerken.
Nou, ik mis in dit artikel juist wat de schade is. Ze hebben aangegeven hun leven te beteren...wtf, ze hebben iemands dood veroorzaakt!
Boete, gevangenisstraffen, etc.
Uber heeft uiteindelijk de familie van het (dakloze) slachtoffer een financiële compensatie gegeven. En Uber is niet vervolgd, terwijl hier gewoon staat dat ze echt verantwoordelijk voor zijn.
8-9 maanden later zijn ze gewoon weer doorgegaan met testen op openbare wegen.

Dit is een absurde tijd dat je als bedrijf verantwoordelijk kan zijn voor iemands dood, en daar nauwelijks gevolgen van hebt... soms haat ik deze wereld.
Dit is een simpel feit. Anderzijds: die bestuurder had 1 taak.... Tja.
Maar meest tragische aan het voorval vind ik nog altijd dat de diverse systemen het prima hadden kunnen voorkomen, maar dat al deze systemen uitgeschakeld/vertraagd waren door technici. Ik zie het dus vooral als een blunder van Uber/technici en als een bevestiging dat autonome auto's wel degelijk in staat zijn om zelfs in een extreme situatie als dit een fatale aanrijding te kunnen voorkomen. Maar dan moeten de diverse systemen wel goed ingesteld zijn en goed op mekaar aangesloten zijn.... En wat dat betreft zie ik liever af en toe een false positive dan een incidentele false negative.....
En wat dat betreft zie ik liever af en toe een false positive dan een incidentele false negative.....
Ook als dat soort false positives ongelukken tot gevolg hebben? ;)
Uiteraard afhankelijk van het hoe en wat en de frequentie.... Maar een auto die (ogenschijnlijk) uit het niets op de rem gaat zal in de praktijk niet snel tot een fataal ongeluk leiden - hooguit tot blikschade en in een extreem geval mogelijk ook letsel (maar dan loopt vooral de testbestuurder van Uber risico in dit geval - het achterliggende voertuig minder... En hoe naar ook, dat zie ik dan toch als risico van het vak als testbestuurder!).
Zeker wanneer het overige verkeer gewoon oplet (wat ze zouden moeten doen!) en/of zelfs systemen aan boord hebben die ingrijpen wanneer een ander voertuig te snel dichterbij komt (wat steeds meer auto's hebben) zie ik beperkte risico's bij de meeste false positives en extreem grote risico's bij een false negative (zoals hier gebleken).
Die frequenties benoemde ik al ;) Maar desalnietemin lijken 10 false false positives me al snel beduidend minder schadelijk dan 1 false negative (beetje willekeurige getallen hoor - maar er zal een bepaalde verhouding zijn die zéér in het voordeel van de false positives uitpakt).

Met 2 seconde afstand én goed opletten (of automatisch remsysteem) kun je overigens als automobilist prima voldoende afremmen om een fataal ongeluk te voorkomen (een aanrijding voorkom je misschien niet, maar de fatale afloop wel)... Vergeet niet: een noodstop betekent ook niet dat de betreffende autonome auto instant stil staat - die heeft een vergelijkbare remweg als de auto die er achter zit... In het geval van vrachtwagen of motorrijder is het risico inderdaad wel beduidend groter... Een motor kan eventueel echter makkelijker uitwijken en een vrachtwagen zou meer afstand moeten houden dan die 2 seconden.... (ja ik weet het: zou moeten! De praktijk is nogal eens anders). Hoe dan ook zijn ook flase positives absoluut niet wenselijk... Maar het lijkt me heel veel wenselijker (of beter gezegd: minder onwenselijk) dan false negatives.
Vergeet niet: een noodstop betekent ook niet dat de betreffende autonome auto instant stil staat - die heeft een vergelijkbare remweg als de auto die er achter zit...
Is dat zo? Veel bestuurders zullen niet direct of helemaal niet maximaal remmen.
Ik denk dat menigeen zonder te hebben kunnen remmen op de auto voor hem zal knallen.

Vergeet ook niet, je hebt 1s reactietijd maar reageren kost ook nog tijd, en dan hou je nog geen rekening met dat je misschien net even in je spiegel keek.
Een motor kan eventueel echter makkelijker uitwijken
Hoe kom je daar bij?
Op snelheid zijn motoren sowieso niet zo wendbaar en als het nat is, is een en ander ook wat lastiger.
Maar het lijkt me heel veel wenselijker (of beter gezegd: minder onwenselijk) dan false negatives.
Natuurlijk, maar dat blijft vaak een trade-off.
Die trade-off is precies waar ik op doel ;) Verder zeggen we redelijk hetzelfde...
Heb overigens zelf wel eens meegemaakt dat een auto een noodstop maakte voor mij. Bleek terecht - maar ik had niet gezien waar het voor was (was voor mij ook nauwelijks zichtbaar), dus voor mij was het een noodstop uit het niets.... Voor mij dus ook een noodstop met als resultaat dat we nét even mekaar raakten. Uiteindelijk niet meer schade dan een gedeukt nummerbord. En dat was op de snelweg met pakweg 100 km/uur én dus voldoende afstand.... Dus met de aanname voldoende afstand en oplettende bestuurder acht ik de kans op een fataal ongeluk in zo'n situatie echt klein bij een achterliggende auto. Motoren heb ik geen ervaring mee... baseer me enkel op wat ik gehoord heb van anderen die wel motor rijden - die hebben mij eens aangegeven dat bij een noodstop uitwijken een optie kan zijn en vaak beter dan zelf vol op de rem. Maar ga daar verder de vingers niet aan branden. Geen ervaring mee.
Als je gewoon autorijdt ben je ook niet 100% van de tijd 100% met je aandacht op de weg gericht: je luistert muziek, ziet een billboard, praat met de medepassagier, houdt ruziënde kinderen uit elkaar, kijkt naar wegwijzers, etc.

Bedenk nou dat je in een hok wordt gezet met een rode knop voor een paar uur per dag, een paar weken lang. Ooit zal er een lichtflits zijn en met je de knop binnen 2 seconden indrukken... je hebt geen idee wanneer. Tenzij je een robot bent, ontworpen voor die taak, zou ik het knap vinden als je dat lukt (toevalligheden uitgesloten)
Op een weg met duidelijke belijning en geen gekke verkeerssituaties geef ik je gelijk.
Maar als ik zie welke wegmarkeringen ik soms tegen kom, waarbij de witte lijnen bijna niet meer zichtbaar zijn, er gele lijnen zijn naast geschilderd of gewoon stoppen, dan hebben die auto's het daar volgens mij wel moeilijk mee.

Volgens mij denken die bedrijven daar ook zo over. Ik heb toch nog geen enkel bedrijf horen zeggen dat hun auto dit kan.

Hoe ik het zie, hebben we eerst zelfrijdende auto's op snelwegen, maar duurt het nog lang vooraleer dit in dorpskernen kan.
Ik zou je helemaal gelijk geven op het moment dat het gebeurd en ik gruwelijk emotioneel ben en er helemaal kapot aan zou gaan.

Maar, dit gebeurt nu dagelijks, elke seconde, zonder ontwikkeling blijft dit en veranderd er niets. Alles komt nu onder het vergrootglas.

Later, denken we misschien, Damn, blij dat we een autopiloot hebben anders was ik nu verongelukt of heb ik iemand anders laten verongelukken.
Eens dat het niet goed te praten is dat er systemen uitgeschakeld/vertraagd zijn die dit hadden kunnen voorkomen! Maar ook eens met @peerke1987, ongelukken gebeuren. En die zullen er nog wel meer komen ook... Maar ik geloof dat autonome auto's nu al veiliger rijden dan menselijke bestuurders (op bepaalde routes - dat wel - ze zijn nog niet zover dat ze alle mogelijke wegen/situaties wereldwijd aankunnen) en dat dit enkel beter en beter wordt wanneer deze systemen (en de ontwikkelaars ervan) leren door vooral veel te rijden. En tja, van fouten leer je toch het meest... Dus in die zin vind ik het tragisch, maar wel acceptabel dat het af en toe mis gaat mits dat minder is dan nu met menselijke bestuurders het geval. In die zin beschouw ik dat puur als een statistisch gegeven... En ik denk dat iedereen het er dan wel over eens is als je kunt kiezen tussen 100 verkeersdoden of 10 verkeersdoden (willekeurige getallen!). Maakt het niet minder tragisch als één van die 10 doden een naaste is... En goede kans dat ik er dan toch ook anders over zou denken. Maar dat is dan emotie en niet verstand.
Ze hebben het systeem van Volvo uitgezet, omdat 2 systemen parallel laten werken niet handig is.
Het systeem van Volvo is natuurlijk niet van uber zelf en dus niet hun eerste keuze, want anders kunnen ze alleen Volvo gebruiken later.
Hun systeem is alleen minder goed misschien, omdat Volvo zelf aangeeft dat hun auto met eigen systeem wél geremd had.
Ik heb hier voor al mijn mening gegeven op een reactie, dus ik ga die niet herhalen.

Ik ben het overigens wel volledig met je eens dat een testpersoon in een testvoertuig, beter had moeten weten en het niet kan verantwoorden even niet op te letten. (ik was er niet bij, dus wat er precies gaande was weet ik ook niet)
Zo is het: Het zijn hier mensen die schuld hebben. Niet de software.
En het is diep triest dat er (achteraf bezien) te gemakkelijk is gesleuteld met de gedachte false positives te voorkomen waarbij niet voldoende besef geweest lijkt te zijn dat er dan false negatives op kunnen treden - met alle gevolgen van dien!

Dat gezegd hebbende: ik zie het geven van een rijbewijs aan een mens ook nog steeds als een soort van experiment met het overige verkeer/mensen als ongevraagde testpersonen. Het rijbewijs zelf zegt geenszins dat je veilig kunt autorijden - enkel dat je voldoende vinkjes hebt behaald waarvan we als samenleving hebben bedacht dat dit het aannemelijk genoeg maakt dat je veilig genoeg de weg op kunt met een dodelijk voertuig... In die zin zie ik weinig verschil tussen een mens een rijbewijs geven of een autonoom rijdende auto een 'rijbewijs' geven en de weg op laten.... Enkel: moet er wel goed nagedacht worden wanneer zo'n autonoom rijdende auto wel en wanneer niet een rijbewijs krijgt en de weg op mag! En dáár lijkt hier toch niet helemaal voldoende over nagedacht te zijn....
Een auto op de weg die continue z'n plekje op de weg aan het zoeken is en daarvoor afremt en weer optrekt, wil je als overig verkeer echt niet hebben zeg.
Als de ene keer het ene systeem wint en af gaat remmen en de volgende seconde wint het andere systeem dat zegt dat er doorgereden moet worden dan heb je precies een situatie die je niet wil.
Dat is hier niet van toepassing. Het gaat om een noodstop systeem wat nu al in alle auto's zit welke uitgeschakeld is.
Vervangen door een implementatie van Uber zelf, bedoel je, en helaas nog lang niet in elke auto standaard ingebouwd tegenwoordig.

En ook in dit geval zouden 2 systemen die continue zeggenschap willen over het zelfde remsysteem voor een hoop onnodige remacties kunnen zorgen.
Heb even bekeken maar op de video is helemaal geen telefoon te zien.
Kon ook een scherm van de auto(systeem) zijn waar hij naar zat te staren, hij had idd een stream aan staan van Hulu(log provider) maar ook dat bewijst niks.

Natuurlijk kan hem ten laste gelegd worden dat hij te weinig zijn ogen op de weg hield(niet met autorijden bezig zijn).

Maar of hij daadwerkelijk een film zat te kijken is een aanname wat wij allemaal maar maken (denk ik ook wel) maar zwart-wit bewezen is het nooit.

In Nederland gebeurd ook veel ongelukken door smartphonegebruik ik ben het met je eens hoor.


Om te kunnen reageren moet je ingelogd zijn


Apple iPhone 11 Nintendo Switch Lite LG OLED C9 Google Pixel 4 FIFA 20 Samsung Galaxy S10 Sony PlayStation 5 Smartphones

'14 '15 '16 '17 2018

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2019 Hosting door True