Nieuwe chip maakt 'slimme camera's' mogelijk

Halfgeleiderfabrikant Ambarella heeft een nieuwe systeemchip voor camera's ontwikkeld die Android-applicaties kan draaien. De iOne-soc kan 32MP-foto's verwerken, ondersteunt het streamen van video en is geschikt voor 3d-video.

De iOne-chip heeft twee ARM Cortex-A9-chipkernen op 1GHz aan boord voor het draaien van het Android-besturingssysteem en -applicaties. Een ARM 11-core op 533MHz verzorgt de realtime-foto- en videotaken en stelt de smart camera in staat om binnen een seconde opgestart te zijn. Voor het grafische werk is een PowerVR SGX540-gpu van Imagination Technologies, zoals gebruikt in onder meer de chipset van de Galaxy S van Samsung, op de iOne-soc geïntegreerd.

Met de nieuwe chip, die op 45nm wordt gebakken, is het wat fotografie betreft onder meer mogelijk om 32-megapixelfoto's te verwerken en kunnen dertig 5-megapixelbeelden per seconde worden verwerkt. De chip ondersteunt bovendien elektronische beeldstabilisatie en geavanceerde ruisreductie.

Ook met video staat de iOne-soc zijn mannetje. Zo heeft de chip ondersteuning voor het afspelen van 1080/60p-videocontent en voor verschillende videocodecs. Full duplex comprimeren en uitpakken van 1080/30p-h.264-video voor videoconferencing zijn mogelijk en er kunnen twee videostreams, waarvan een full hd-stream, tegelijk worden geëncodeerd.

De iOne ondersteunt verder wifi-n, gps, bluetooth, fm-radio en mobiele-tv, gigabit-ethernet, sata, twee usb 2.0-poorten, s/pdif en analoge video-output. Ook kunnen twee cmos-sensors op de chip worden aangesloten voor 3d-video of -foto.

Samples van de chip worden al geleverd aan klanten en Ambarella verwacht dat de eerst apparaten op basis van de chip in het derde kwartaal van volgend jaar zullen verschijnen.

Reacties (50)

Straks heb je geen pc en foto camera meer nodig met zoveel rekenkracht in een kleine chip en al die aansluitingen kun je bijna alles aansluiten. Als sensor fabrikanten dan goeie sensors met weinig ruis kunnen leveren zou het helemaal geweldig zijn.

Leuk en aardig, maar de chip en sensor bepalen maar in beperkte mate de fotokwaliteit. De lens is ook van groot belang en hoe meer megapixels je op een sensor plakt hoe sterker je zult gaan zien dat de lens de limiet vormt.
Verder heb je niet zo veel telefoons die optisch kunnen zoomen, dat vind ik voor een all round camera toch wel een vereiste. (al gebruik ik op mijn spiegelreflex vaak genoeg een 50mm prime)
En bij lenzen is denk ik toch weer snel het kleine formaat van een telefoon het probleem, dat zal dus allemaal niet met zo'n vaart gaan.
Vergeet overigens ook niet dat als men de kwaliteit bij telefoons verhogen ze dat waarschijnlijk ook redelijk evenredig bij gewone camera's en computers kunnen doen.

De 30mpix is leuk voor de cijfertjes, maar wat dacht je van stukken hogere burstrates die hiermee mogelijk worden? 30 beelden op 5 megapixels per seconde, stukken beter dan wat je gemiddeld ziet.

Een beetje sensor kan dat al makkelijk halen.
Bijvoorbeeld de Aptina MT9J003 (10Mpixel) of de MT9F002 (14Mpixel). Die werken intern met een pixelclock van 160 MHz en via de seriële interface kun je dat er ook nog op die snelheid uit trekken ook. (meer dan het dubbele is dan haalbaar)
160Mpixel/sec komt overeen met 32Mpixel @ 5fps of 5Mpixel @32 fps of full-HD @80fps (progressive)
En dit zijn sensoren die per stuk te koop zijn voor nog geen 30 $ (in aantallen dus nog veel minder)

CMOS sensoren hebben gewoon een bepaalde pixel-frequentie en als de belichtingstijd het toelaat kun je vrijwel onbeperkt de beeldfrequentie opschalen door het aantal pixels per beeld kleiner te maken. Hiervoor bieden de huidige sensoren (zelfs sensoren uit 2003) de mogelijkheid om naburige pixels samen te voegen (binning/summing) of gewoon over te slaan (skipping) en dan kun je toch een groter gebied van de sensor bestrijken met een lagere resolutie. Of je leest gewoon een kleiner stuk van de sensor uit en dan doe je feitelijk aan digitale zoom.

De standaard misvatting... De sensors zijn het probleem niet. Die hebben al zeer weinig ruis, hetgeen zeer dicht bij het theoretisch maximum ligt.

Het probleem is dat het licht waarmee je een foto maakt, zelf ruisig is. (Poison ruis; de ruis is de wortel van de intensiteit) De enige manier om die ruis te verminderen, is om veel licht op de sensor te brengen. En dat betekent dus lenzen met een grote diameter. En een SLR lens op een telefoon werkt niet zo plezierig...

veel cpu' s dus nog meer stroomverbuik
als zelfs de galaxcy S het soms nog geen halve dag uithoud hoe erg moet het dan worden met deze chip???

als je nvidia mag geloven betekent veel/krachtiger cpu dat je minder stroomverbruik heb voor dezelfde hoeveelheid werk. De cpu hoeft immers niet zo hoog geklokt te worden.

Maar... als je meer cpu-power hebt, zal je ook meer algoritmes op los laten. (fake) HDR bv, of geavanceerdere noise reduction, etc.

als je nvidia mag geloven betekent veel/krachtiger cpu dat je minder stroomverbruik heb voor dezelfde hoeveelheid werk.

Dat gaat niet om het krachtiger zijn of niet maar om 'dual vs single core' vergelijking (die toevallig ook nog is krachtiger is)...

Dit is bedoelt voor camera's als ik het goed begrijp, dat het over ARM gaat betekend niet dat het meteen voor telefoons bedoelt is... Maar dan nog, er zit tegenover het tegra-platform maar 1 CPU en 1 extra DSP chip bij, als die volledig uit te schakelen zijn zal die vergelijkbaar zijn met de tegra kwa gebruik

Mijn SGS doet het trouwens 3x zo lang

[Reactie gewijzigd door watercoolertje op 23 december 2010 14:49]

Een chip die op Android draait, wat moet ik me daar bij voorstellen?

De bron vermeld in het artikel vermeld het als volgt:

bringing advanced HD camera and multimedia capabilities to the Android platform

Ik denk dat het een vertaalfoutje is geweest van Tweakers.

Gunstig nieuws voor android toestellen. Maar in hoevere is de ARM instructieset gebonden aan Android. Ook Windows 7 draait eerdaags op ARM

Aangezien WP7 en W7 verschillend zijn kan het nog even duren voordat ook WP7 over gaat op ARM?

WP7 (Windows Phone 7) draait al op ARM, sterker nog, alle huidige WP7 toestellen hebben een ARM CPU.

Ja ze draaien allemaal op snapdragons omdat WP7 nergens anders op kan draaien. En volgens mij niet eens op de nieuwste snapdragons die HTC gebruikt voor android toestellen.. Maar die oude die in de desire en nexus one zit.

Dat is meer een driver issue, niet zo zeer dat WP7 als OS het niet ondersteund.

Wow, dus eigenlijk zitten hier 3 CPU's in!

Nee, 1 CPU met 2 cores, en 1 GPU.

Nee, 2 CPU's. Waarvan 1 dual-core Cortex A9 en een ARM11 cpu voor camera/video functies. En nog een GPU.

Kijk maar eens goed naar het plaatje, daar zie je 2 CPU's staan en een GPU en nog 2 DSP's

[Reactie gewijzigd door jDuke op 23 december 2010 14:27]

Wat zou dat met de accuduur doen? En er zit geen beeldsensor bij. Of wel?

Deze is enkel voor de verwerking van grafische data ja. In principe kan elke fabrikant dus hun eigen beeldsensor blijven gebruiken en de data hier naar toe doorsluizen.

Het kan als het ware de VENUS-cpu van panasonic camera's vervangen.

Leuk, maar die enorme ruisonderdrukking zou weer niet nodig zijn als de resolutie verlaagd zou worden

En zeg nou zelf, wie maakt er nou echt bewerkingen met telefoon foto's of afdrukken op A3 en groter formaat? 3MP-5MP max zou goed zijn.

En zeg nou zelf, waar in het artikel gaat het over mobiele telefoons? Android is prima te gebruiken voor op een fotocamera hoor, ARM ook, dus ik denk eigenlijk dat het niet eens op telefoons gericht is Hoewel het prima voor telefoons te gebruiken is hoor, zet 1 cpu uit (de sloomste) en je hebt een soort tegra achtig platform

Daarbij wil niet zeggen dat als een chip iets kan dat er ook daadwerkelijk gebruik van gemaakt wordt... Hier kan je ook prima een 5MP sensor aan hangen als je perse wilt, of een goede 10MP met knappe lens, krijg je een wat dikker toestel maar wel mooiere foto's dan alle andere

"mogelijk om 32-megapixelfoto's te verwerken en kunnen dertig 5-megapixelbeelden per seconde worden verwerkt".

Begrijp ik dan goed dat je omgekeerd +/- 5 beelden van 32 MP p/sec zou kunnen maken?
WoW !

Dat ligt eraan wat er precies met de foto's gedaan wordt. Als het simpelweg wordt opgeslagen, dan ja, er kunnen (in theorie) 5 beelden van 32 MP per seconden kunnen maken.
Als er nog niet-lineaire bewerkingen op de foto worden losgelaten zou het wel eens minder kunnen uitpakken, omdat foto's van 6 keer zo groot opeens 10 keer zo lang duren om op te slaan (bijvoorbeeld), dan kan dat apparaat er maar 3 per seconde opslaan.

Misschien een domme vraag, maar waarom moet je zo'n chip eigenlijk in je fotocamera hebben? Die kan toch gewoon ruwe data van je sensor opslaan. Dat lees je daarna toch uit met je PC, waar je al die nabewerking kan laten doen in software. Ik wil helemaal geen data uit mijn camera krijgen die bewerkt is. Dus... is het niet zonde om alle apparaten uit te rusten met dure chips terwijl je eigenlijk maar 1 chip in huis nodig hebt?

Omdat 99% van de cameragebruikers gewoon jpg gebruikt? En 90% daarvan ook nog eens in automode?
Dan is het wel zo handig als wat van de ruwe dingen zoals white balance, NR, etc al verwerkt zijn.

En voor video is dat helemaal nodig.

En btw zelfs "ruwe data" wordt gecomprimeerd.

[Reactie gewijzigd door kmf op 23 december 2010 15:05]

En daar komt nog eens bij dat he bedoelt is voor telefoons en tablets. Daar is het niet handig om iets in raw formaat op te slaan.

en kunnen dertig 5-megapixelbeelden per seconde worden verwerkt

Als ik dit zo mag tellen:
Full-HD is 2Mpixel, dus dan zou er zelfs 1080P stereoscopisch kunnen worden opgenomen? Nu nog flash uitvinden die dit aankan...

Er wordt met geen woord gerept over energieverbruik, ik naam aan dat dit hoog is.

Dat mag je zo tellen, want de processor moet een bepaald aantal stappen uitvoeren per pixel en dat ligt vast op een constant aantal per pixel, op de randpixels na.
Meestal grab je dan een paar pixels meer (2 rijen links en rechts en 2 boven en onder bijvoorbeeld) en snijd je die later na de bewerking weer weg.
Dus op die overhead van het extra randje na en de horizontale blanking aan het eind van elke regel en verticale blanking aan het eind van een frame na is het gewoon lineair met de pixel-frequentie.
Dus zolang je niet al te kleine beelden gaat gebruiken (dus dat het aandeel van de overhead vrijwel verwaarloosbaar is), kun je dat lineair schalen in aantal Mpixels per seconde.

Je zou dus prima 1080p stereoscopisch kunnen verwerken op zo'n kleine 40 fps per sensor.
Energieverbruik hoeft helemaal niet zoveel te zijn. Je voert al die stappen namelijk sequentieel uit en dus hoeft de frequentie van de processor nauwelijks hoger te liggen dan de pixelfrequentie, wanneer de processor hiervoor geoptimialiseerd is.

Best kans dat de processor die nu in je smartphone zit meer verbruikt.

Ik neem aan dat de chip ontwikkeld is voor het Android-platform, en niet daadwerkelijk Android als onderliggend systeem heeft.

Deze chip lijkt me bijzonder krachtig, maar ik zie niks over het energie verbruik, dat is voor mobiele apparaten toch erg belangrijk.

Edit: Yup, uit bron: "iOne Camera Applications Processor Enables a New Class of Android™-Based Smart Cameras"

[Reactie gewijzigd door Dooxed op 23 december 2010 14:27]