Sony presenteert camerasensor voor smartphones met 1000fps-slow-motion

Sony heeft een camerasensor voor smartphones gepresenteerd die full-hd-videobeelden kan opnemen met duizend frames per seconde. Deze functie is mogelijk doordat de sensor de beelden tijdelijk opslaat in dram met een grootte van 1Gbit, ofwel 125 megabyte.

De beelden die het dram vervolgens doorstuurt naar de isp zijn van een reguliere framerate, waardoor alle gangbare isp's overweg kunnen met de nieuwe sensor, claimt Sony. De hoge framerate voor slow-motion is mogelijk doordat de sensor beelden sneller kan vastleggen. Voor foto's zou dat als voordeel hebben dat het een rolling shutter-effect voorkomt.

Sony heeft de sensor nog niet bij naam genoemd, al valt hij ongetwijfeld in de IMX-serie van camerasensoren. Ook is onduidelijk wanneer hij in smartphones zal verschijnen. Het gebeurt veel dat divisies van grote bedrijven in deze tijd van het jaar componenten aankondigen. Die verschijnen dan in smartphones die de fabrikant eind februari op telecombeurs Mobile World Congress presenteert. Dat is nu ook mogelijk: Sony houdt op de beurs een persconferentie.

De sensor heeft een grootte van 1/2,3" en beschikt over een maximale resolutie van 21,2 megapixels met pixels van 1,22 micron groot. De specs vermelden verder dat hij 4k kan opnemen in 60fps. Het gaat volgens de fabrikant om de eerste smartphonesensor met drie lagen, waarbij het dram de derde laag is die andere sensors tot nu toe niet hadden. Het is voor het eerst dat Sony een sensor met dram aankondigt voor smartphones. Eerder presenteerde de fabrikant al wel Cybershot-camera's met een dergelijke sensor.

Update, 10:10 Zoals tweaker Balance uitrekent, is de 1000fps-modus bruikbaar voor slechts beperkte tijd per keer, door de beperkingen van het dram. Het gaat in totaal om momenten van 0,06 seconden, die met 30fps in de video dus twee seconden duren of met 15fps vier seconden.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (54)

Because high-speed shooting data is stored on the DRAM and output at a normal speed, a conventional ISP can be used.

Er is 1Gb DRAM aanwezig. Er zijn 1920*1080*8 bits nodig om 1 frame op te slaan. Dus 16.5Mb. 1000 / 16.5 = 60, er passen dus 60 frames in de buffer.

Als je met 960fps opneemt kan je dus 1/16 = 0.06 seconde opnemen. Vervolgens kan je het in 1 seconde met 60fps (16x langzamer), 2 seconde met 30fps (32x langzamer) of 4 seconde met 15fps (64x langzamer) afspelen. Daarom zie je ook dat in het filmpje de slow-motion met 15fps wordt afgespeeld en nooit langer dan 4 seconde duurt.

Het is dus niet zo dat je continue met 1000fps op kan nemen, maar slechts een fractie van een seconde. De hoogste continue snelheid is 240fps op 1080p en 60fps op 4k.

@Finraziel: Het is een bayer sensor. Van de 4 pixels schieten er 2 groen, 1 rood en 1 blauw. De missende kleurinformatie wordt geïnterpoleerd vanuit de naastliggende pixels. Per pixel heb je dus maar een kleur en dus 8 bits.

[Reactie gewijzigd door Balance op 7 februari 2017 11:32]

Dit is nou wel informatie die ik in het originele artikel had willen zien. Een mooie ontwikkeling maar in de praktijk valt de functionaliteit dus behoorlijk tegen...

Dat had gemogen, mits Balance volledig gelijk had. In de kern van zijn betoog heeft hij gelijk. Echter vergeet hij één cruciaal punt. De sensor vult het DRAM behorende bij de sensor, dit DRAM levert vervolgens de data aan de ISP. Waarna de geleverde data in het DRAM geheugen weer vrij komt.

Om even in simpele termen te redeneren;

De sensor is een water toevoer die een vat vult met 1000 liter per seconde, aan het vat zit echter een slang gekoppeld die naar een ander vat loopt (de ISP). Afhankelijk van de doorvoergrootte van de slang (bus snelheid) en de koppeling (verwerking snelheid van de ISP) kan worden bepaald hoe snel het eerste vat (het DRAM) vol loopt. De ISP op zijn beurt levert zijn data aan de CPU/SOC (de ISP kan hierin geïntegreerd zijn, dan gaat deze stelling niet volledig op), en deze gaat naar het volgende vat (de SD kaart) met een ander aantal liters per seconde.

Om het nog verder te vormgeven;
Vat 1 (60l) loopt vol met 1000 liter per seconde, maar loopt door naar vat 2 met 600 liter per seconde. Vat 2 (200l) wordt dus gevuld met 600 liter per seconde, maar loopt leeg met (bijv). 800 liter per seconde. En vat 3 (1000l) wordt tot slot gevuld met 800 liter per seconde, maar loopt niet leeg.
Eindstand; je kan kan tot 1000 liter met 600 liter per seconde vullen continue, maar de piek die bereikt kan worden is veel groter!

Het feit dat dit:

Update, 10:10 Zoals tweaker Balance uitrekent, is de 1000fps-modus bruikbaar voor slechts beperkte tijd per keer, door de beperkingen van het dram. Het gaat in totaal om momenten van 0,06 seconden, die met 30fps in de video dus twee seconden duren of met 15fps vier seconden.

wordt opgenomen in het artikel is in eerste instantie logisch, maar wel fout.

De reden dat DRAM wordt opgenomen in de sensor heeft (naar alle waarschijnlijkheid) meerdere redenen.
om een voorbeeld te noemen; een ISP wil je uit kunnen schakelen (of in low power modus kunnen zetten) indien niet in gebruik want constant actief is onnodig energie verbruik, het inschakelen ervan heeft echter enige vertraging, en om deze vertraging te bufferen is het DRAM opgenomen om dit inschakel verschijnsel op te vangen.
Zo heb ik een test gedaan met een wat simpele microcontroller; een STM32F0. Het schakelen van low power modus naar normaal kostte 4 milliseconden. Met andere woorden, gedurende 4ms kon deze niet op volle kracht data verwerken, en er zal dus data verloren gaan als deze niet gebufferd zou worden maar realtime worden aangeleverd.

edit: aangevuld met voorbeelden.

[Reactie gewijzigd door un1ty op 8 februari 2017 02:20]

hij zal wel op lagere resolutie werken, 0,06 sec. zou onbruikbaar zijn. lijkt me niet dat ze zoiets op de markt zouden brengen. iets meer info had wel fijn geweest

Ja valt mij ook op, dat dit soort cruciale informatie relmatig mist. Ik weet of het komt door beperkte verdieping van de redacteuren, of dat er toch een soort van terughoudendheid is om "negatieve reclame" te maken. Dit kan immers resulteren dat een fabrikant minder zin heeft, om reclame te maken op die "vervelende en kritische" website.

Het is op zich begrijpelijk dat de data niet real time wordt verwerkt, maar eerst even wordt weggebufferd. Maar 0.06 seconden is wel heeeeel erg weinig. Een paar seconde zou toch een minimum mogen zijn om het meer te maken dan een gimmick.

Dan heb je een stuk meer aan de nieuwe GoPro, die op 720p continu kan filmen op 240 fps. Dan heb je minder plaatjes, maar dan kun je tenminste wel mikken op wat je wil filmen.

Dan heb je een stuk meer aan de nieuwe GoPro, die op 720p continu kan filmen op 240 fps. Dan heb je minder plaatjes, maar dan kun je tenminste wel mikken op wat je wil filmen.

Dat kunnen huidige smartphones ook al, zoals bijvoorbeeld (maar niet als enige) de Samsung Galaxy S7 en de iPhone 7.

[Reactie gewijzigd door Anoniem: 391502 op 7 februari 2017 10:40]

8 bits per pixel? Schiet je in zwartwit?
Volgens mij wordt dat dus minstens 24 bit per pixel (8 bits per kleur)... Dus dan hou je nog minder over.
In de bron staat echter ook een filmpje met demonstratiemateriaal. Daarbij zie je een normaal filmpje met een klein stukje slowmotion. Ik vermoed dat Sony straks tijdens het filmen een extra knop op het scherm toont om op dat specifieke moment even wat slowmotion op te nemen.

Edit: Doh filmpje staat hier ook gewoon

[Reactie gewijzigd door Finraziel op 7 februari 2017 10:33]

bayer sensor is meestal zwart wit in de readout .

dan ga je er zelfs al vanuit (met 8 bits) dat de sensor er kant en klare pixels van maakt en debayered? Ik denk eerder dat als het echt de sensor is die dingen op slaat dat het om enige vorm van RAW-bayer informatie gaat en dan neem ik aan dat het meer dan 8 bits per pixel zijn.


Het kan ook zijn dat ze hier over de hele camera module praten, en dus inclusief een of andere bionz-of-zo beeldverwerking chip. Het kan dus zijn dat de beeldverwerking chip een Dram bliok heeft zodat het de sensor kan uitlezen, debayeren en het resultaat als kant en klare pixels in het dram kan opslaan. En daarna kan dat 'in alle rust' naar de SoC van de telefoon (of ander apparaat) gestuurd worden. Dan is 8bits per pixel wel weer 'normaal' voor mobiele apparaten.

Aangezien ze daadwerkelijk praten over het sneller uitlezen van de sensor (zodat ook jello-effecten minder worden) ben ik aan het twijfelen wat het nu is.

Ik denk eerder dram-op-de-sensor en dat het dus raw-bayer informatie opslaat in het dram, wat (gokje) ergens in de orde van grootte 11 a 12 bits per pixel zal zijn voor een mobiele sensor.

Dat geintje van dram-op-de-sensor is tenslotte wat ze doen in camera's zoals de rx100 IV en de RX10 II. 'stacked sensor' design noemde ze het toen. Het klinkt erg als hetzelfde truukje maar nu in een mobiele sensor.

Maar het kan dus ook om een 'truukje' tussen sensor, bionz chip en SoC gaan om dingen zoals slowmo mogelijk te maken voor telefoontoestellen met SoC's die anders die hoeveelheid data niet aan kunnen of zo?

Geen idee hoe ik het zou moeten uitrekenen maar:

Zou het geheugen van de sensor niet als buffer gebruikt kunnen worden die direct ook weer leggetrokken word naar geheugen van de telefoon? Dit gaat uiteraard langzamer maar zou de opnametijd wel (iets) kunnen verlengen? Dus volschrijven vanaf sensor, en tegelijk weer leegtrekken naar sd kaart.

1000fps is zeker indrukwekkend, maar de 15fps-playback in de video is toch wel weer het uiterste opzoeken voor de marketing. 30fps (misschien net nog 25fps) is toch iets mooier/vloeiender en zal vaker gebruikt worden, maar dan is het dus al veel minder langzaam.

Ik dacht eerst dat ze een vreemde techniek gebruikte waardoor het beeld zo schokte. Zonde want nu lijkt het een stuk minder mooi IMHO.

Ze hebben inderdaad het uiterste opgezocht in het videofragment. Ik vind het wel goed dat ze hier transparant over zijn en het aantal fps duidelijk vermelden.

Langs de andere kant vind ik dat de 15fps in dit voorbeeld best nog wel meevalt. Wellicht dat dit met het slow-motion effect te maken heeft.

[Reactie gewijzigd door degeens op 7 februari 2017 10:44]

Mooie ontwikkeling!
vraag me wel af wat dit gaat doen voor warmte in de smartphone....

Hoezo? Waarom zou een sensor zoveel hitte produceren? Dat is nooit echt voorgekomen.

Geloof me... Zet een camera een tijdje aan, en de sensor wordt echt wel warm hoor. Als je dan HDR processing en hogere fps gaat doen in de sensor gaat deze alleen maar heter worden.

(Ik ontwikkel videocamera's als full-time job)

Ik denk dat dmvdberg doelt op het snelle geheugen dat deze beelden tijdelijk opslaat.

Niet alleen. Ook. Mijn eerste zorg is de sensor, traditioneel is daar nu weinig aandacht voor. Aangezien ik een iPhone van binnen perfect ken kan ik je zeggen: daar is nu erg slecht over nagedacht Enkel een 'module' gaat het niet meer worden. Hopelijk pakt Sony het goed aan.

Ik begrijp het. Zelf helemaal niet aan gedacht ( ), en wist ook niet dat de sensor ook zodanig veel hitte kan produceren bij hoge framerates etc. Wel interessant om te weten

De sensor kan inderdaad behoorlijk veel hitte produceren.

Sony heeft daar in het verleden in bv. hun eerste "SLT" modellen (A33, A55) ook last van gehad. Met die camera's kon je bv. niet langer dan een minuut of 10 filmen.

Wat dacht je van de CPU, geheugen en opslag die al die data moet verwerken

Ook nog eens idd

Nou dan heb je nog geen Z2 in handen gehad. Bij het filmen van 4K word de sensor kokend heet. Of het daadwerkelijk de sensor is of iets anders, geen idee maar het deel waar de camera zit (en niet de plek waar de soc zit) wordt echt heel erg warm.

Dat ding wordt soms zo heet dat de backlight teruggeschroefd moet worden en uiteindelijk gewoon stopt met filmen. Is ook niet echt prettig vasthouden.
Ik weet niet of het nu nog zo is, zal ook met de omgevingstemperatuur te maken hebben.

Een sensor niet, maar zoveel data verwerken en wegschrijven kost wel wat pwoer

Een sensor produceert nog best wat warmte, zeker op zulke snelheden. En Catch22 heeft gelijk, ook het opslaan en verwerken gaat bijdragen aan warmte ontwikkeling.

Er zijn zat gevallen bekend van sony telefoons en camcorders die in de begindagen van 4K wel degelijk oververhit raakten.
Sony gaat als oplossing slechts in beperkte mate in 4k te filmen. ( En veel gevallen zijn opgelost na een firmware update)

Niet? Volgens mij hadden hele generaties sony camera's last van dit probleem Zoals de sony nex series en alpha mirrorless. (niet alleen sony overigens maar omdat dit artikel over sony gaat).
Het is specifiek de sensor die oververhit raakt, nu zal hier dit probleem niet snel voorkomen aangezien de buffer te klein is om continue te schieten, maar oververhitting is wel degelijk een bekend probleem met sensoren (nikon patent ter illustratie).

Hopelijk leest HTC dit ook en stoppen ze een keer een fatsoenlijke camera in hun volgende telefoon

Inderdaad

Altijd een ondergeschoven kindje bij hen geweest. Ik heb/had een SPV toestel. Een vreselijk geavanceerd ding voor die tijd maar die camera.

Mooie ontwikkeling om te zien. Alhoewel ik denk dat er niet zo gek veel vraag is naar filmen in slow-motion. Dit is vast en zeker weer een top-of-the-line product van Sony wat betreft smartphone-camera's. Ik verwacht ook dat hij de 498 gaat heten (de opvolger van de IMX 398). Hopelijk komt deze sensor in het volgende toestel van OnePlus.

Slomo filmen is zo gaaf, nooit begrepen waarom niet meer mensen dat doen. ws. te ingewikkeld

Gister voor het eerst gebruikt(met een OP3). Moet zeggen dat ik het zeker vaker ga gebruiken. In dit geval was het een industriele labelprinter, welke soms vastliep. Je kunt nu goed zien waarom dat gebeurd.

In veel sport / trainingen kan het echt wel iets toevoegen. En 1000 FPS is momenteel gewoon niet betaalbaar verkrijgbaar, laat staan in een smartphone. Ik ben iig wel geinteresseerd.

Bijkomend probleem van een highspeed mode is dat je super veel licht nodig hebt. 1000fps betekend minimaal een shutterspeed van 2000ms. Daarnaast hebben smartphones van tegewoordig een maximaal diafragma van maar f/1.7, waar professionele highspeed cameras meestal @ f/1.2 schieten.
En dan heb je nog de sensor size van maar 1/2,3", wat de noise-floor zeker niet ten goede komt. Ben benieuwd hoe de sensor in smartphones gaat presteren. Liever zie ik m in een normale camera terug.

[Reactie gewijzigd door Anoniem: 356076 op 7 februari 2017 10:41]

Deze ontwikkeling is geweldig.
Iedereen die nog twijfelde of we telkens meer intern geheugen, een snellere processor en een betere camera nodig hebben dan we nu hebben is nu hopelijk overtuigd.
Nu graag nog een thermische camera, een geigerteller, 3D camera, 3D scanner, een doppler-meter, optische zoom, grootboek, ......

Ja, en de FLIR dan actief. Doe er gelijk ook een goede hybrid AF bij. Dat zit overigens al in sommige smartphone camera's (waaronder in mijn lumia 950 )

Ik had een behoorlijk goede compactcamera, die is op sommige punten natuurlijk nog steeds beter maar sinds ik die lumia heb gaat de compactcamera toch een stuk minder mee.

Smartphone camera's beginnen gewoon heel bruikbaar te worden. Zeker nu ook de optische stabilisatie gewoon beschikbaar is in de betere toestellen.

Daar kan gopro nog wat van leren, die doen het nog steeds met software stabilisatie.

[Reactie gewijzigd door Indoubt op 7 februari 2017 11:36]

Prachtig! Ik heb een alweer tamelijk brakke Nikon 1 met 400 fps, maar dan wel op een superlage resolutie, en het is ontzettend leuk maar niet makkelijk door alle beperkingen, met name die van 5 seconden opnames. Met Full HD is het een andere zaak. 1000FPS is top, en waarschijnlijk is het terug te brengen waarmee de opname weer langer kan duren, en zo kan je ermee spelen.

Gaaf, nu maar hopen dat dit snel op de markt komt. Die hond is echt gaaf haha!
Bedankt Oni-Chan @ Sony!

[Reactie gewijzigd door Macboe op 7 februari 2017 09:34]

Ik vraag me dan wel af hoe lang je kunt opnemen. Uit het filmpje begrijp ik dat dit niet veel meer is dan een halve seconde. Waarschijnlijk is het geheugen dan vol.

Als dit het maximale is lijkt het me best moeilijk voor een reguliere gebruiken om de start van de slow motion opname goed te timen.

Met een sensor van 1/2,3" en 1000fps mag je wel een bak licht hebben om nog een beetje kwaliteit over te houden. Ik ben vooral benieuwd naar praktijkfilmpjes in iets minder ideale omstandigheden. Op een zonnige piste zal deze sensor wel mooie filmpjes schieten. Het voorkomen van rolling-shutter is dan wel weer erg welkom, daar kan ik me in smartphone filmpjes soms best aan storen.