Nissan wil tegen 2030 auto's met lidar uitrusten voor zelfrijdende functies

Nissan test het gebruik van lidar om de omgeving rondom de auto te kunnen scannen. Met die data wil de fabrikant zelfrijdende functies mogelijk maken, zoals het wisselen van rijbaan en het voorkomen van ongelukken. Later dit decennium moeten de eerste auto's met lidar verschijnen.

De fabrikant test lidar met een aangepaste Skyline-sedan en zegt met zijn ground truth perception-techniek beelden van lidar, radar en camera's te combineren. Het systeem kan zo de vorm en afstand van objecten herkennen, evenals de omgeving rondom de auto 'in real time en met hoge nauwkeurigheid'. Op basis van deze data kan een auto vervolgens 'de situatie analyseren, beoordelen en automatisch botsingen ontwijken en voorkomen'.

Het systeem moet daarnaast vertraagd verkeer en obstakels op de weg kunnen herkennen. De auto moet hiermee zelf bijvoorbeeld van rijbaan kunnen wisselen, om zo dat langzame verkeer of de obstakels te kunnen omzeilen. Ground truth perception kan de bestuurder bovendien van extra data voorzien als de digitale kaarten van de auto niet beschikbaar zijn.

Nissan werkt voor het systeem samen met Luminar. Onder meer Mercedes en Audi werken ook samen met dit bedrijf, dat lidarsystemen levert. Samen met Applied Intuition werkt Nissan aan de benodigde simulatiesoftware voor het voorkomen van botsingen.

Het lidarsysteem kan uiteindelijk ook gebruikt worden voor zelfrijdende auto's, denkt Nissan. De autofabrikant verwacht medio dit decennium het ground truth perception-systeem af te hebben. 'Bepaalde nieuwe modellen' krijgen daarna het systeem. Tegen 2030 moet 'zo goed als' elke nieuwe Nissan het systeem krijgen.

De Nissan Skyline met lidar

Reacties (56)

[Verwijderd]

Lidar is een actieve technologie dat gebruikt maakt van lasers, is het niet?

Ga je dan geen laservervuiling krijgen?

Wat zijn de gevolgen voor camera's?
Ga je overal groene strepen zien als je een foto maakt?

en als je meerdere lidar systemen draait, gaan ze elkaar niet verstoren?

[JJDN]

Camera's kunnen kapot gaan door lasers:

https://petapixel.com/202...mage-its-cameras-sensors/

https://petapixel.com/201...y-self-driving-car-laser/

[WillySis]

Dat hangt sterk af van de sterkte van de laser in de lidar. Een camera kan ook eenvoudig beschermd worden door de lens te voorzien van een beschermende coating. De meeste camera's hebben dat al standaard.
Ook camera's met nachtzicht hebben meestal infrarood lampjes rond de lens zitten. Die kunnen de censor van een camera ook beschadigen! Als auto's massaal van nachtzicht camera's worden voorzien, dan gaat dat een nog veel groter probleem worden. Voor een cameragebaseerd systeem worden al snel vier (meestal meer) camera's gebruikt. Die zijn allemaal voorzien van een infrarood lampje, want anders zie je in het donker niet zo heel veel.

[Umbrah]

Een lidar hoeft niet persé zichtbaar licht te zijn, dat zou wat zijn! Het wordt absurd veel toegepast in het dagelijkse leven (zelfs heel Nederland wordt periodiek ingevlogen in de vorm van AHN -- wat met lidar werkt). Het is best een interessant systeem, en de kans dat ze elkaar gaan verstoren is best klein, vooral omdat je de golflengte heel precies kan aanpassen (en de detectie daarop kan filteren). Dit kan zelfs zo gespecificeerd dat je per-beam de reflecties ook kan identificeren (het wordt daardoor mede gebruikt om 'door' vegetatie heen te kijken)

[Empheria]

In aanvulling hierop, voor de geinteresseerde lezer: Doorgaans bestaat een LiDAR-sensor uit een infraroodlaser (meestal 825nm, 905nm of 1550, afhankelijk van het model), gekoppeld met een lichtsensor. Lichtsensoren zijn net als de kegelcellen onze ogen gevoelig voor een aantal golflengtes. Om die reden zijn LiDAR sensoren ook gevoelig voor het infrarood-gedeelte van het omgevingslicht, maar dat wordt weggefilterd, en omdat we exact weten welke golflengte we hebben uitgezonden, weten we ook wat we niet zoeken als response.

Zo kun je bijvoorbeeld redelijk makkelijk een 825nm en een 1550nm LiDAR gebruiken op hetzelfde voertuig, zonder dat de sensoren last van elkaar hebben.

Waar je wel problemen mee gaat krijgen zijn de pulsen van andere voertuigen op dezelfde golflengte, maar dat levert in praktijk weinig problemen op omdat er met name gebruik gemaakt wordt van multi-beam LiDAR-systemen die als een soort confettikannon lasers de ruimte in slingeren. Zelfs al heb je door een puls van een tegenligger één false positive, dan heb je nog honderden correcte meetpunten over om mee te werken. Daar kun je in software prima een mouw aan passen.

Omdat er gewerkt wordt met infrarood zijn de gevolgen voor camera's ook zeer beperkt omdat de meeste camera's juist een filter hebben voor deze golflengtes. Wij mensen kunnen infrarood niet zien, maar de sensor van een camera wel. Als we deze data in de afbeelding laten zitten klopt het beeld voor ons niet meer. Zie bijvoorbeeld hier.

[dieAndereGozer]

Ik check altijd de batterijen van mijn afstandsbediening met een camera, dan zie je een rood / paarse stip.

Verder moet je inderdaad een goed filter voor je sensor zetten, anders is de range die een sensor opvangt best groot. Alle kleuren camera sensoren hebben hiervoor een bayerpatroon. Maar ook dat is niet heilig.

Dat zie je ook als je camera's test(ik werk bij een camera fabrikant). Als je puur groen licht op een kleuren sensor gooit, zie je dat de andere kleuren ook een beetje meegaan, minimaal misschien, maar toch wel.

[Empheria]

Ik werk voornamelijk met LiDAR-systemen die hun ranging op 805nm doen, dat is net dicht genoeg bij het zichtbare deel van het spectrum dat ik met het blote oog kan zien of de sensor pulsen afvuurt. Je kunt dan (mits je ogen daartoe in staat zijn) rode flitsjes zien als je heel dicht op de sensor gaat staan.

Camera's hebben het wat dat betreft makkelijker, en als ik er met mijn camera naar kijk zijn er duidelijk rode/paarse flitsen zichtbaar. Maar ook dat hangt met name van de golflengte af, hoe verder in het infrarood, hoe harder het moet worden weggefilterd voor menselijke kleurinterpretatie in RGB. Bij langere golflengtes wordt het al moeilijker om het licht te detecteren.

Ik ben nog even in de bronnen van het artikel gedoken om te achterhalen wat voor sensor Nissan nou precies zou gaan inzetten, en het lijkt om een custom systeem van Luminar te gaan dat op 1550nm werkt, en speciaal kosten-efficiënt is ontwikkeld voor de automotive-markt. Dus een definitief antwoord op deze vraag:

Wat zijn de gevolgen voor camera's?
Ga je overal groene strepen zien als je een foto maakt?

Ik verwacht geen problemen.

[dieAndereGozer]

Ik wilde alleen toevoegen dat filters niet zo goed werken als soms aangenomen.

[Empheria]

Oh excuus, dat heb ik er helemaal niet uit opgemaakt. Ik neem het heel graag van je aan.

Misschien kunnen we het er wel over eens zijn dat het er in de praktijk op neerkomt dat de signal-to-noise ratio iets meer richting de noise zal schieten en dat we geen "alle camera's gaan eraan" zullen meemaken.

Als je het anders inschat hoor ik het natuurlijk ook graag, want dat vind ik ook interessant om te weten.

[dieAndereGozer]

Zolang een lidar niet laser pulsen staat te genereren van watts per m2 zal het inderdaad wel loslopen. Maar lijkt me ook dat dat helemaal niet mag.

Maar inderdaad, de ruis zal iets toenemen en chinesium camera's zouden misschien wel een puntje kunnen vertonen of erger.

[himlims_]

nee,
nee,
nee,
nee

[Joydashy]

Er stonden 5 vraagtekens!

[HertogJan]

heerlijk

[berchtold]

Al die sonische geluiden van parkeersensoren zijn ook wat

[Verwijderd]

word er al helemaal gek van...

[Akamatsu]

Heeft iemand anders het ook wanneer ze "2030" lezen dat ze denken "Oh dat is pas over 20 jaar ofzo" en dan bedenk je je oh wacht het is al 2022

Kijk erg uit naar de zelfrijdende auto, dus kan niet snel genoeg komen!

[911GT2]

Ik heb dat ook idd.

Maar ik moet niet denken aan een zelf rijdende auto. Ik vind autorijden het leukste deel van mijn werkzame dag.

[eboellie]

ik ben de eerste die een betaalbare zelfrijdende auto koopt!

Hup een dagje Italië rijden is ok, want je zit toch wat te lezen en doen in "huis".

[911GT2]

Haha good for you. Ik waarschijnlijk de laatste.

De mooiste wegen naar Italië zou ik niet in een zelf rijdende auto willen doen maar in een open roadster met een mooie roffel.

[Reactie gewijzigd door 911GT2 op 22 juli 2024 19:32]

[supersnathan94]

Nee eens. Maar de rit naar Italië toe zou ik lekker op de autopilot doen. Stuk veiliger ook.

[Verwijderd]

Die roffel kun je prima simuleren met een hoofdtelefon op. Kun je zelf automerk en type alsmede geluidsniveau instellen. Ook kun je zo het windgeruis nstellen of helemaal compenseren! Ten slotte is het goed voor je sociale imago!

[911GT2]

Er is verschil tussen een vegaburger en een echte hamburger.

Wat jij beschrijft is een vegaburger. Doe mij maar de echte. Inclusief de slechte aspecten ervan. Niet alles hoeft helemaal perfect te zijn. Juist de onhebbelijkheden van windgeruis, de geur van de olie en rubber het niet klinische aspect ervan is de charme. De beleving is meer echt.

[Marve79]

Verschrikkelijk, ik snap niet dat er mensen zijn die dat leuk vinden. Motorrijden vond ik nog wel leuk, lekker vrij in de open lucht en nergens in de rij hoeven staan maar auto rijden, zodra ik ingestapt ben wil ik er zsm uit. Vroeger was het leuker maar nu heb je alleen maar agrotjes op de weg. Als je 35 rijdt waar je 30 mag zitten ze nog net niet in je kofferbak. Vreselijk.

[911GT2]

Dat je het niet snapt is niet erg. We hoeven niet allemaal hetzelfde leuk te vinden. Hoewel hier op tweakers dat wel lastiger geworden is de laatste jaren.
Hoe meer mensen elektrisch en autonoom gaan rijden hoe meer leuke wegen en auto’s beschikbaar komen voor degenen die er wel om geven. Maar ik denk dat je je vrijheid snel zal gaan missen. Ook al voelt dat nu nog niet zo.

[WillySis]

Leuk is het misschien niet, maar gemakkelijk wel. Kan je ondertussen gewoon bellen, lezen, spelen of werken.

[divvid]

wat is toch die obsessie met zelfrijdende auto's? Het duurt al jaren om het werkend te krijgen, maar 'gewoon' een elektrisch gezinsautootje zonder fratsen mét een fatsoenlijke range (>500km) zit er maar niet betaalbaar in. Nissan, Hyundai en Kia doen het aardig, maar de VW ID3/4 is voor een hoop mensen onbereikbaar, laat staan de rest. (en een Zoë wil je niet)

Adaptatie naar elektrisch zou vele malen sneller kunnen, die 'zelfrijdende' high end auto komt er dan toch wel.

[Coolstart]

Lidar is sowieso geen eind-technologie. Na Tesla wil nu ook Toyota wil niet verder met lidar maar wel met vision ofwel camera sensoren.

Lidar bestaat al veel langer en je kon al lange tijd zonder al te veel rekenkracht een 3D wereld of creëren. Soms ook wel vector space genoemd. Lidar is al veel verder ontwikkeld dan Vision want vision vraagt meer rekenkracht omdat je van 2D naar 3D moet gaan met een lagere positie-resolutie bij objecten die ver weg zijn.

Sensor fusion kan ook (lidar + vision bijvoorbeeld) maar dat is extra complex omdat als 1 sensor uitvalt of raar doet is uw fusie vector space vervuild en de complexiteit loopt exponentieel op wat backups etc betreft. Het kan maar het is nog duurder.

Het grote voordeel van lidar is dat het dus een heel accuraat 3D omgeving heeft maar het grote nadeel van lidar is dat het maar en deeltje van de puzzel legt. Sommige stukjes van de puzzel ontbreken. Bijvoorbeeld een situatie waarbij je via beelden een situatie moet interpreteren (zoals het menselijke brein dat ook doet.) op basis van kleine details, opdrukken, kleuren etc.

Je ziet nu eenmaal meer details met vision. De hand van een agent, richtingaanwijzers, grootlichten, infobord, waterlaag ivm aquaplanning, verkeersborden, ijslaagje, sneeuw, het verschil tussen een plastieken zak, een bal of een betonblok. Je kan dus beter objecten classificeren op en naast de rijbaan.

Lidar wordt daarvoor bijgestaan door tevoren opgenomen vision met detailkaarten. Maar het is niet realtime.

Het grote voordeel aan vision is dat het goedkoop + schaalbaar is, makkelijk redundant te maken en je hebt alle delen van de puzzel in real time. In principe alles wat je nodig hebt om via machine learning en AI beslissingen te maken op het hoogste niveau.

Alles heeft zo zijn voordeel/nadeel. Nissan moet ook gewoon nemen wat er op de markt beschikbaar is en het is nu eenmaal makkelijker niveau 1-2-3 in lidar te ontwikkelen dan in vision. Dus het kan best zijn dat lidar 10jaar voorop loopt om dan voor niveau 4 en 5 toch naar vision over te schakelen.

[Reactie gewijzigd door Coolstart op 22 juli 2024 19:32]

[Pinkys Brain]

Je kan met LIDAR altijd nog de beeld informatie erbij gebruiken. Je kan met monoscope beelden nooit zonder uitvoerige kunstmatige stupiditeit diepte bepalen en ik vertrouw AI niet.

Het eind systeem is overigens hoge resolutie 3d mm-wave radar (dus net als LIDAR maar met mm-wave in plaats van licht). Het is de enige die wat ziet met slecht weer.

[Reactie gewijzigd door Pinkys Brain op 22 juli 2024 19:32]

[supersnathan94]

Maar met stereoscope beelden en ToF sensors (die ook in een gemiddelde smartphone zitten) kan het wel.

[Pinkys Brain]

ToF diepte camera's zijn een vorm van LIDAR. Zijn echter moeilijker ongevoelig te maken voor interferentie van andere ToF camera's dan scannende LIDAR. Stereoscopie geeft je diepte met redelijk simpele algoritmes, maar Elon houd ook niet van stereoscopie.

[supersnathan94]

Zijn een vorm van lidar inderdaad, maar wel anders inzetbaar. Zo hoef je niet volledige mapping te doen en kun je met een paar pixels al een heel leuk idee krijgen van diepte.

Ik zit nog steeds te wachten op C2C verbinding en dat ze gewoon met elkaar afspreken wie wat gaat doen.

[Groningerkoek]

Zal vast beter in staat zijn om een vliegtuig te ontwijken dan een Tesla

[berchtold]

Dat sws. Tesla’s aanpak is ambitieus maar heel gevaarlijk

[m-ruiter227]

Dat denk ik ook , daarom is de mens ook met lidar uitgerust en niet met optisch systeem .

Gelukkig noemde men het weer terug naar aarde en rechtop landen ook onhaalbaar , gevaarlijk en te ambitieus. Appeltle eitje na een paar jaar

Naja je zal er wel verstand van hebben @berchtold

[Reactie gewijzigd door m-ruiter227 op 22 juli 2024 19:32]

[911GT2]

Ohja en een tesla is te vergelijken met een menselijk systeem.
Iets wat een tesla niet kan is anticiperen. Alleen maar reageren. Alleen daarom zijn ze niet te vergelijken.

Overigens landen er ook al raketten recht op aarde in de jaren 60. Maar was het toen niet interessant genoeg om te doen omdat er nog geen milieu hype was.

[Reactie gewijzigd door 911GT2 op 22 juli 2024 19:32]

[deDenDen]

Anticiperen is evengoed reageren.
Het is immers niet meer dan zaken constateren, analyseren en middels een kansberekening het meest waarschijnlijke scenario 'berekenen' om daar vervolgens op te reageren. De focus ligt alleen niet op de oorzaak, maar het gevolg van de reactie.

Zowel de mens als een computer kan de toekomst niet 'echt' voorspelen, enkel handelen/gokken op basis van de gegevens die hij/zij op dat moment heeft. Dat wij lange tijd meer data meenamen in onze berekeningen dan computers wil niet zeggen dat wij nooit ingehaald zullen worden. Was het voorheen nog noodzaak om zoveel mogelijk data mee te geven, tegenwoordig helpt o.a. AI aardig een handje.

Alles wat gebeurt is een reactie op iets dat reeds heeft plaatsgevonden.

[TWeaKLeGeND]

Een mens heeft een andere dataset niet meer een niet minder. Automatische systemen hebben veel meer data maar meer menselijk gesimuleerde data erbij is zeker welkom. Maar het is niet zo dat de mens anders te werk gaat. De intuïtieve anticiperende handeling die je verricht komt alsnog uit data.

Ik rij op de snelweg met snelheid xx op de middelste baan en zie op de rechterbaan iemand anders een vrachtwagen naderen. Ik ben er vrij zeker van dat deze persoon de vrachtwagen wil inhalen dus ik schuif op naar de linkerbaan zodat hij de ruimte heeft. Dat is anticiperen. En dat komt uit de ervaring (data) + kansberekening. Ik moet nog over mijn schouder kijken of ik wel kan opschuiven. Een machine kijkt constant over de schouder. Andersom kan ik ook de auto zijn die achter de vrachtwagen aan zit en dan kijk ik of de persoon die op de middelste baan zit ruimte heeft om naar links te gaan en dan kijk ik zelfs naar wat voor auto het betreft (want uit ervaring weet ik dat road warriors een veel hogere kans hebben te anticiperen dat ik ruimte nodig heb dan oma in haar fiat panda). It's all data kansberekening analyseren en reageren. Intuitie is niet iets magisch waar je een ziel voor nodig hebt maar gewoon een chemisch proces in de hersenen (een biologische computer). De machine heeft doorgaans overigens ook veel meer ervaring. Ik heb niet miljoenen kilometers afgelegd hoor. De machine werkt wel met data van miljoenen kilometers die het ook nog eens daadwerkelijk onthoudt en toepast.

[Reactie gewijzigd door TWeaKLeGeND op 22 juli 2024 19:32]

[Marve79]

Plus het wordt pas echt revolutionair wanneer auto's met elkaar kunnen communiceren. Enige wat mensen kunnen doen is knipperen en die simpele handeling is voor heel veel mensen al teveel gevraagd.

[Joydashy]

Ach, de gemiddelde chauffeur in Nederland kan ook niet anticiperen, die laten we ook toe op de weg. Maar aan een AI gaan we nu opeens veel hogere eisen stellen, beetje vreemd.

[911GT2]

Mee eens. Ik zeg alleen dat een extra sensor als lidar prima toevoeging kan zijn aan zelf rijdende auto’s. En juist niet alleen op camera’s hoeft te baseren “omdat mensen ook alleen maar camera’s hebben.”

[brammieman]

Rechtop landen heeft niets met milieu hype van doen. Leuke bijkomstigheid.
Doordat ze rechtop kunnen landen, überhaupt landen zonder te desintegreren, kunnen raket delen herbruikt worden en kan SpaceX voor een paar duizend euro een kilo aan gewicht de ruimte inschieten. Puur economisch belang.

[lighting_]

Nee. Geen enkel raket landde op een platform. Ze verdampten in de atmosfeer of kwamen in de zee terecht en moesten met de boot opgehaald worden. Tuurlijk was het altijd interessant want je bespaart een hoop extra kosten.

[Reactie gewijzigd door lighting_ op 22 juli 2024 19:32]

[lighting_]

Tsja. Geen enkel product is CO2 loos. Je redenatie snijdt dan ook geen hout.
Over Starlink. Ukraine is er afhankelijk van. Commerciële Vliegtuigen hebben al plannen om het toe te voegen. En voeg daad bij het woord. Maak er geen gebruik van mocht je in je CO2 vliegtuig naar je vakantiebestemming gaan.

[raro007]

Buiten dat lidar gewoon in regen blijven goed werken en jou ogen of camera's niet?
En jij vind het oké dat er auto's rond rijden en overal gaan opnemen?

[Marve79]

Dat gebeurt nu ook al met dashcams.

[Seth_Chaos]

Correctie, ook tussen de mensen die Tesla's rijden zitten volstrekte idioten. Zou je reactie moeten zijn. Het zijn de bestuurders die de ongelukken veroorzaken.

[Groningerkoek]

Het zijn niet altijd de bestuurders die een ongeval veroorzaken:

https://www.dailymail.co....field-crashes-2m-jet.html

[Seth_Chaos]

Tesla warns users that: 'Those using Smart Summon must remain responsible for the car and monitor it and its surroundings at all times'

Dat zijn ze wel.

[BlueTooth76]

Waarom gevaarlijk? Tot nu toe is Tesla het enige merk dat een FSD bèta heeft die niet één of andere geofencing heeft.

En je kan nog zoveel lidar in en op een auto stoppen: het kan geen verkeersborden of lichten aflezen.

Wij mensen redden het met 2 ogen, Tesla doet het met 8 ogen

[Danny the dog]

Follow the Lidar, Lidar, Lidar,... follow the Lidar....

[Reactie gewijzigd door Danny the dog op 22 juli 2024 19:32]

[matthewk]

Als motorrijder hoop ik maar wat snel dat mensen die niet willen (opletten tijdens het) rijden snel een oplossing hebben. Het seizoen is maar net begonnen en hier zijn in de voorbije 5 weken al 4 doden gevallen... 2 keer omdraaien waar niet mocht, 1 keer door rood en 1 keer afslag genomen voor een motor in.

Allemaal makkelijk te voorkomen ongevallen...

[Reactie gewijzigd door matthewk op 22 juli 2024 19:32]

[Marve79]

Ik heb ook jaren motor gereden en de automobilist krijgt vaak de schuld maar de motorrijder kan er ook wat van hoor. Mensen die 6 maanden niet rijden en bij de eerste zonnestraal weer de weg opgaan. Ze kunnen nog niet fatsoenlijk een bocht maken.

Op veel zaken kun je gewoon anticiperen. Ik zie bijv motards volle bak door groen knallen, nou dat deed ik dus niet he, ik vertraagde tot 20-30 per uur en dan overal kijken.

En ook die tweebaanswegen met zijstraten, levensgevaarlijk en daar wordt dan vaak veel te snel gereden.

[mutley69]

Gaat die lidar-rommel mijn sensoren van mijn camera's wel heel laten? Zo niet - c.u. in court!