Sony combineert camerasensor met ai-engine en geheugen voor beeldanalyse

Sony introduceert zijn Intelligent Vision Sensor. Het gaat om een camerasensor met daaronder een ai-engine en eigen geheugen, zodat beeldanalyse op de chip kan worden uitgevoerd. De chip lijkt vooralsnog niet bedoeld voor smartphones.

De Sony IMX500 is een 12,3-megapixelsensor van het 1/2,3"-formaat. Het gaat om een stacked sensor, waarbij de lichtgevoelige laag bovenop een chip voor beeldverwerking is gemonteerd. Die onderste laag bevat een isp en dsp, voor verwerking en interpretatie van de beelden. Ook zit er geheugen op de chip, waarin het te gebruiken ai-model kan worden opgeslagen.

Sony presenteert de sensor als een chip voor beeldanalyse waarbij geen externe processor of cloudserver nodig is. De sensor kan de informatie op verschillende manieren uitsturen: als beeld, of enkel als metadata. Dat laatste bespaart veel bandbreedte. Als beeldanalyse in de cloud zo worden gedaan, zou eerst alle beeldinformatie geüpload moeten worden, om vervolgens de relevante metadata uit de beelden te halen. Sony stelt dat de nieuwe sensors ook privacyvoordelen met zich meebrengen, omdat de beelden niet opgeslagen of verstuurd hoeven te worden.

Sony maakt twee versies; een losse sensor en een complete package. Laatstgenoemde is de IMX501. De losse chip is al vanaf april beschikbaar gesteld en kost 10.000 Japanse yen. De package-versie komt in juni uit en kost 20.000 yen. Omgerekend gaat het om bedragen van zo'n 87 en 174 euro.

De chip is bedoeld voor iot-apparatuur, beveiligingscamera's en industriële toepassingen. Of Sony van plan is om dergelijke chips ook naar smartphones te brengen, is niet bekend. Huidige smartphones gebruiken socs waarin een speciale neural processing unit zit voor berekeningen met kunstmatige intelligentie. Die npu's worden ook ingezet bij de beeldverwerking.

Reacties (16)

[starfight]

Heb hier al eens mee mogen spelen, en anders dan de "AI chip" in andere camera's en smartphones hebben ze het hier effectief wel op de juiste manier aangepakt. Je kan met weinig problemen pose detection, objectclassificatie of backgroundsegmentation uitvoeren, als je van in het begin rekening houd met de beperkte rekenkracht. goede vooruitgang

[bursche]

“ Je kan met weinig problemen pose detection, objectclassificatie of backgroundsegmentation uitvoeren“

Dat klinkt fancy, weet je ook zo concreet in wat voor situaties dit toegepast kan worden en wat de voordelen zijn voor eventuele afnemers?

[starfight]

Ik kom uit de beveiligingscamerasector, pose estimation is bijvoorbeeld handig bij inbraak detectie, kijken of iemand een wapen vastheeft of er ergens een gevecht plaatsvind, iemand die gevallen is, ... veel mogelijkheden daar.

Objectclassificatie kan bijvoorbeeld voor voertuigtelling, maar ook gedetailleerd zoals fruit herkennen aan de kassa, dieren detecteren, mondkapje detecteren om maar wat te noemen.

Backgroundsegmentation is eerder bij medische of self-driving toepassingen aanwezig, waar een object helemaal uit een achtergrond gehaald wordt en bijvoorbeeld opgemeten.

[Skit3000]

Een mooi voorbeeld lijkt mij bij sportscholen, waar een camera je dan kan helpen een oefening goed uit te voeren en iedereen zo één op één begeleiding kan krijgen.

[Lapa]

Het verschil tussen de goede houding en foute houding bij een oefening is waarschijnlijk wel net wat te subtiel voor zo'n chip.

[steveman]

De output van de chip is in zo'n geval een wireframe model van de persoon die gefilmd wordt. Dat kun je dan elders weer als input gebruiken voor je specifieke toepassing.

[Lapa]

Ja. En misschien onderschat ik de tecnhiek, maar ik ga er vanuit dat je aan dat wireframe prima kan zien welke oefening iemand doet (ook geautomatiseerd, wireframe hoeft daarvoor niet eens naar de server). Maar of de hoek tussen alle gewrichten precies goed is, rekening houdend met de lichaamsbouw, en of het gewicht misschien een paar graden getordeerd moet worden, dat lijkt me toch lastig automatisch te detecteren. Dat is zelfs voor een mens die het live ziet zonder training al moeilijk te zien.

[graey]

Voordelen zijn ook dat hiermee voor meer usecases eenvoudig volledig offline-toepassingen te maken zijn die relatief weinig rekenkracht vereisen, en weinig overhead hebben. Dus kosteneffectief, verbruik is lager en je hebt niet de hele papieren poeha die je zou hebben wanneer er een online dienst bij komt kijken.

[bbob]

Dus eigenlijk een sensor met ingebouwde cpu i.p.v externe cpu. Korte wegen dus iets sneller. Maar niet duidelijk is wat de rekenkracht van dat deel dan is. Het artikel heeft het over cloud maar daarin is de rekenkracht een veelvoud.

Ik zie nu bijv al ip camera's die personen herkennen en dan de camera meebewegen met het object en zelfs inzoomen. Dat zou nu dus met deze chip eenvoudiger kunnen neem ik aan.

[starfight]

Voor die dingen is er zelfs geen A.I. nodig, behalve misschien gezichtsherkenning.
Persoonsclassificatie, PTZ op object (autozoom en autotracking) zijn basis wiskundige berekeningen om een schatting te maken wat kan op camera's vanaf 20 euro. Hier gaan ze echt wel een stapje verder om slim data uit de beelden te halen, ipv slim de beelden te richten en vervormen

[sjakie02]

Veel verder naar de edge kun je edge processing ook niet duwen volgens mij. Interessante ontwikkeling.

[lastlong]

Benieuwd wanneer sony hun chip-technologie ook op hun e-mount cameras gaat toepassen. Heel interessant wat er te bereiken is met ai en veel rekenkracht op grote sensoren.

[whiner]

Ze doen alsof ze nu 'goed' omgaan met de privacy.
Maar je hebt geen beeld nodig om privacy te schenden, mijn naam in de Meta data is al voldoende.
En dan heb je ook nog eens helemaal geen bewijs, wat nou als het algoritme mij herkend maar ik ben het helemaal niet ?

[joo5ty]

Wel handig om de stemming van je vriendin te weten via je thuis camera voordat je naar huis gaat.

[Derk_L]

Wat is een isp in dit artikel?

[Reactie gewijzigd door Derk_L op 26 juli 2024 00:21]

[Munchie]

Via de link in dit artikel: Image Signal Processor