MIT: chip verbetert amateurfoto's en maakt hdr-filmen mogelijk

Onderzoekers van het Massachusetts Institute of Technology hebben een chip ontwikkeld die foto's kan 'professionaliseren'. De chip kan bijvoorbeeld automatisch ruis verwijderen en in enkele honderden milliseconden een hdr-foto van 10 megapixels maken.

De onderzoekers hadden zich als doel gesteld om een chip te ontwikkelen die meerdere bewerkingen realtime tegelijk kon doen, waarbij het energieverbruik lager uitvalt dan bij softwarematige bewerkingen. De technologie kan volgens de onderzoekers in iedere smartphone, tablet, of digitale camera geïntegreerd worden.

De grootste prestatie van de chip is wellicht de mogelijkheid om hdr-fotografie te versnellen. Doordat het dynamisch bereik van een camera vrij laag is ten opzichte van het menselijk oog worden er bij hdr meerdere foto's met verschillende belichtingen gemaakt. De foto's worden dan gecombineerd tot één afbeelding. Bij softwarematige bewerkingen die tot nu toe gebruikt werden nam het maken van een hdr-foto meestal veel tijd in beslag. De nieuwe chip kan een hdr-foto met een resolutie van 10 megapixels produceren binnen enkele honderden milliseconden. Volgens de onderzoekers is de chip snel genoeg om met hdr te filmen. Op welke resolutie er dan gefilmd kan worden melden de onderzoekers niet.

Hdr-fotografie en -filmen is al mogelijk met smartphones, bijvoorbeeld met de onlangs geïntroduceerde Sony Xperia Z. De smartphone maakt echter twee foto's die het apparaat vervolgens combineert, terwijl de chip van MIT drie foto's combineert. Ook doet de Xperia Z er ongeveer twee seconden over om een hdr-foto van 12 megapixel te maken, terwijl MIT's chip veel sneller zou zijn.

Behalve voor hdr-foto's zou de chip zorgen voor goede foto's in donkere omgevingen. Normaal gesproken is de keuze om wel of niet te flitsen aan de fotograaf. Niet flitsen zorgt vaak voor donkere foto's met veel ruis, terwijl de flits zorgt voor een plaatselijke harde belichting. De chip zou een foto met en zonder flits echter kunnen combineren tot één foto. De chip kan bovendien ruis verwijderen door te kijken of de kleur van een pixel uit de toon valt ten opzichte van omliggende pixels. Met behulp van een bilineair filter worden de randen van objecten met een andere kleur dan de omgeving gespaard voor de ruisverwijderaar.

De cmos-chip is door TSMC op 40nm geproduceerd en zit momenteel nog op een speciaal moederbord dat via usb aan een laptop is gekoppeld. De laptop is aan de camera gekoppeld, waardoor de chip zijn werk kan doen. Het onderzoek is gefinancierd door het Taiwanese Foxconn, een van de grootste fabrikanten van hardware voor onder andere computers, smartphones en tablets.

Reacties (31)

[Sentry23]

Apart voorbeeld om de Z te gebruiken, omdat deze nu juist voor HDR filmen een andere truuk gebruikt zodat dat juist realtime kan (aangezien de sensor resolutie hoger is dan de video resolutie)

"How HDR video recording works
To achieve true HDR video recording, the advanced Exmor RS™ camera sensor in Xperia™ Z changes the exposure every two lines of pixels. This creates a spatially varying exposure (SVE) array image, which is then used to make an image that is perfectly exposed in both dark and light areas."

[TD-er]

Die Sony sensoren hebben inderdaad een mogelijkheid om per beeldlijn de integratietijd aan te passen.
Echter er zijn ook sensoren (zoals de sensoren van het Belgische bedrijf CMOSIS), die je meerdere keren uit kunt lezen tijdens de opname.
Dat gebruikt men standaard al om de systematische ruis eruit te halen. Dit omdat elke pixel niet naar hetzelfde niveau gereset wordt, dus neem je meteen na het resetten een "opname" en na de gewenste sluitertijd nog een. Trek die beelden van elkaar af en je hebt de systematische ruis er al uit. Waarschijnlijk een stuk beter dan op deze manier met zo'n post-processing chip. (of deze chip moet standaard een 'ruisshot' van de verbonden sensor in zich hebben)

Een ander voordeel van "multiple exposure" is dat je achteraf zelfs nog de optimale sluitertijd kunt bepalen, of gewoon een HDR plaatje kunt berekenen van opnamen die op hetzelfde moment zijn genomen.

En je hebt al sensoren van 12 Mpixel die 300x per sec uitgelezen kunnen worden, ongeacht of je in de tussentijd de pixels reset of niet. Oh en ook geen rolling-shutter meer, want het zijn gewoon global-shutter CMOS sensoren.
Dus zelfs al zou je op 60 fps filmen, dan nog kun je 5 plaatjes per frame combineren tot een HDR-plaatje en ruisreductie toepassen.
Kost alleen wel wat verwerkingskracht en geheugen om 3.6 Gpixel/sec te verwerken Dus nog niet haalbaar in een mobieltje (die sensoren zijn ook redelijk groot voor een mobieltje, maar klein vergeleken met een dSLR)
Maar goed, de 2 Mpixel voor full-HD (8 Mpixel als je artifact-vrij wilt de-Bayeren tot full-HD) en 3 plaatjes per frame @25fps is maar 150 Mpixel/sec aan data en dat kan prima op een batterij-gevoed apparaatje. Dan heb je zowel ruis-onderdrukking als HDR en dan heb je geen kunst-en-vliegwerk nodig met allerlei complexe "wonderalgoritmes" om het beeld achteraf op te gaan poetsen. Gewoon een kwestie van het goed aanpakken bij de bron.

[jumbojus]

DIt is een geweldige ontwikkeling. Het verbaast mij niets dat weer de MIT de primeur heeft voor hardwarematig HDR. De oorspronkelijke methodiek van software HDR is ook door een mannetje van hun ontwikkeld, Steve Mann, al in 1996.
Dit is zeker een fijn ontwikkeling, helemaal als het binnen enkele jaren ook in telefoons en kleine camera’s toegepast wordt. Ik ben het zat van dure smartphones en compact camera’s die geen fatsoenlijke foto kunnen maken bij minder licht. En je DSLR overal mee naartoe slepen is ook geen optie.
HDR fotografie of het idee van combineren van foto's met verschillende belichtingen is eigenlijk al in de jaren 50 van de 19-de eeuw ontstaan en voor het eerst toegepast door Gustave Le Gray. Dat was natuurlijk handmatig combinatie van bijvoorbeeld twee negatieven in het lab bij het ontwikkelen. Softwarematig HDR video was al rond 1980 mogelijk voor de filmindustrie, maar in post-productie en als ik mij niet vergis moesten wij als consument tot 2009 wachten om deze functie in een “gewone” camera te zien (de Pentax K-7).

[Jozzle]

De foto in het voorbeeld klopt niet... Het snoer heeft "in werkelijkheid" 2 lussen en op het laptopscherm slechts 1

Of het is een onderbelichtte feature vande chip; automatisch wegpoetsen van kabels

[LessRam]

Een zelf censurerende chip.... op de laptop heeft ie opeens een wit broekje aan.
Tja dat krijg je met Beaver shots....

[Reactie gewijzigd door LessRam op 26 juli 2024 10:09]

[Darkstar]

Waarschijnlijk staat op het scherm een gemaakte foto en is dat geen live-weergave van wat de camera op dat moment waarneemt.

[Dxue]

mist nog wel meer dingen, als de opstelling klopte, had je die moederbord niet eens kunnen zien, er mist nog een kabel, etc etc. vraag me af wat ze hiermee willen bereiken? flinke hoax om meer geld voor investerering los te peuteren, om echt zo'n chip te maken of wat?

[B64]

Niet helemaal : op het laptopscherm heeft het ook twee lussen, alleen liggen die (bijna geheel) over elkaar.

Maar goed, er klopt wel meer niet: het moederbord ligt in een andere hoek t.o.v. de laptop, en het pluchen beestje staat op het laptopscherm dichter bij de laptop dan op de foto van de opstelling. Bovendien vermoed ik dat de foto op het laptopscherm van een hogere positie en grotere afstand genomen is dan de getoonde opstelling impliceert.

Maar dat is allemaal muggenzifterij, het gaat natuurlijk primair om de ontwikkelde techniek.

[blade08]

hdr filmen kan al met een canon met magic lantern..

http://wiki.magiclantern.fm/userguide#hdr_video

De nabewerking is ook redelijk eenvoudig...

[Rubman]

Echter niet zo snel met bewerken als deze chip.
En een EOS is toch al snel wat duurder dan een telefoon waar deze chip ook in kan en word eerder geasocieerd met profesionele fotografie dan amateurfotografie zoals bijvoorbeeld met een kleinde digitale camera of een telefoon.
Hierdoor moet digitale fotografie met telefoons een stuk beter worden.

[Reactie gewijzigd door Rubman op 26 juli 2024 10:09]

[Fireshade]

@blade08:

De nabewerking is ook redelijk eenvoudig...

Dat is toch iets compleet anders?
Dat is post processing, en dat is wat anders dan realtime zoals met deze chip wel kan.

[NotSoSteady]

Inderdaad, ik word langzamerhand ook een beetje moe van de mensen hier die alleen de eerste drie regels lijken te lezen, om daarna direct met voorbeelden op de proppen komen die er helemaal niks mee te maken hebben.

[Anoniem: 449482]

Er wordt toch ook niet beweerd dat ze de eerste zijn die hdr kunnen filmen? Enkel dat deze chip in staat is om in hdr te filmen.

[Reactie gewijzigd door Anoniem: 449482 op 26 juli 2024 10:09]

[Cristan]

Ik vraag me af: kan je dit soort dingen niet gewoon in de GPU doen? In dat geval ben je net zo hard sneller klaar en is je stroomverbruik net zo goed minder en dan heb je geen aparte chip nodig.

[B64]

De vraag is alleen of de GPU het net zo snel kan. Waarschijnlijk zul je daartoe een flink snellere GPU nodig hebben, en het probleem daarvan is natuurlijk dat die snellere GPU flink meer stroom verbruikt, ook als je niet aan het HDR-fotograferen bent (en dat is toch al gauw 99,999% van de tijd). Deze aparte chip is dan gewoon uitgeschakeld en verbruikt niks.

[Anoniem: 415197]

Nu nog HDR beeldschermen

Ik vraag me ook af of ze met die chip ook onscherpte door de sluitertijd kunnen verhelpen. Neem je snel een paar foto's van een langsrazende trein dan kun je uit de (vage) foto's de snelheid van de trein afleiden en vervolgens met die informatie terugrekenen hoe de trein er scherp uitziet.

[Reactie gewijzigd door Anoniem: 415197 op 26 juli 2024 10:09]

[Shark.Bait]

Nu nog HDR beeldschermen

Ik vraag me ook af of ze met die chip ook onscherpte door de sluitertijd kunnen verhelpen. Neem je snel een paar foto's van een langsrazende trein dan kun je uit de (vage) foto's de snelheid van de trein afleiden en vervolgens met die informatie terugrekenen hoe de trein er scherp uitziet.

Ook handig om snelheidsduivels te pakken. DAn kan men overal een snelhiedscamera plaatsen zonder opzichtig kastje.....

[kakanox]

Volgens mij bedoel jij een fototechniek waarmee je de lichtstraal vastlegt i.p.v. het lichtpuntje op de sensor. Daar schijnt ook al iets voor te zijn, ontwikkeld door Lytro.

Zie alhier: https://www.lytro.com/camera

[Anoniem: 415197]

Nee, de plenoptic camera, die bedoelde ik niet.

Het gaat er hier om dat je uit meerdere slechte beelden een beter enkel beeld kunt reconstrueren. Blijkbaar richten ze zich op ruis, maar je kunt soortgelijke principes ook gebruiken voor het verhelpen van de bewegings-onscherpte.

[kakanox]

Ik denk dat dat uit 2 beelden op z'n zachtst gezegd lastig is, tenzij je een aparte sensor vantevoren laat bepalen welk deel van de afbeelding ongeveer in beweging is. De RGB-lichtmeter uit Nikon camera's doet dat laatste bijvoorbeeld al (en ongetwijfeld bij Canon en andere merken ook), maar de informatie wordt daar puur gebruikt om een autofocuspunt te selecteren.

[Elboo]

De nieuwe chip kan een hdr-foto met een resolutie van 10 megapixels produceren binnen enkele honderden milliseconden.
Dat is wel erg snel, ben benieuwd of dit op een gsm ook zo snel werkt.

Heb net de hdr camera functionaliteit van Cyanogen 10.1 in gebruik op de S3 met dus android 4.2.2: https://plus.google.com/a...f4shm0m221hl44tznvd3hhv04

Die maakt 3 foto's achter elkaar en maakt er dan 1 eindfoto van. Duurt wel kleine 10 seconden.. Je moet ergens beginnen

[Kiswum]

Er zijn dus 2ms nodig om een HDR foto te maken met deze nieuwe chip. Hoeveel tijd heeft een Oppo Find 5, Sony Xperi Z, Xiaomi Mi2 of de HTC One erover om een foto te maken in dezelfde setup?
Kortom hoe snel gaat het in de praktijk als je apps open hebt staan, je toestel bezig is met allerlei verbindingen in stand houden.

Ik ben benieuwd wat het verschil is met de huidige apparatuur.

[SnowDude]

Als je even verder leest dan zie je dat deze chip in elke smartphone is te integreren. Dit is alleen een test opstelling

[Garyu]

Maar dan nog snap ik de meerwaarde niet echt. Elke software die je in een ASIC giet wordt daardoor automatisch (stukken) sneller en efficienter. Het is alleen de vraag of de kosten van het produceren van de ASIC opwegen tegen de snelheidsverbetering die je ermee haalt.

[johnkeates]

Als je op de verpakking van een toestel zet dat er een speciale foto-chip op de SoC geintegreerd is verkoopt dat toestel automatisch beter. Zo werkt dat nu ook met het vermelden van het aantal cores, Ghzen, RAM enz.. allemaal van die parameters die slechts een kleine rol in de uiteindelijke productiviteit van mens+apparaat spelen.

Het is natuurlijk zo dat in dit geval de chip ook daadwerkelijk de beelden verbeterd, iets wat gezien de populariteit van instagram toch wel een echte toevoeging is.

[Cerberus_tm]

Ik vind betere foto's in het donker wel echt een serieus goed verkoopargument. Hoe vaak heb je wel niet dat je ofwel een lelijke ruisfoto maakt 's avonds, ofwel witte flitsgezichten krijgt met reflecties en lelijke kleuren? Ik kan met mijn Galaxy Nexus echt geen foto zonder flits maken tijdens een feestje 's avonds. De telefoon mag van mij wel een paar tientjes duurder zijn als ik opeens acceptabele foto's kan maken!

[Verwijderd]

Dat is toch een kwestie van de juiste flitser (meestal studio flitsers) en een slecht geijkte camera op de witpunt balans en niet te vergeten een hogere ISO waarde geeft nu éénmaal slechtere beelden, tenzij men statische voorwerpen fotografeert op statief waardoor je de lens langer open kan zetten om voldoende licht binnen te krijgen. Als laatste en eigenlijk de belangrijkste is een zeer lichtsterke lens b.v. 1,4. Helaas vind je die niet op mobieltjes, tablets of compactcamera's maar in de zeer duurdere spiegelreflexcamera's met verwisselbare lenzen, vergeet niet dat een zeer goede lichtsterk objectief een veelvoud kost van een spiegelreflexcamera of zelf een Apple Iphone. Voor een super goed objectief van hoge lichtsterkte betaal je tussen de 2000 en 5000 euro (wat ook aan het formaat van de film ligt) een kleinbeeld camera 24 x 36 is nu éénmaal goedkoper dan een 6 x 6 camera en navenant de lensprijzen.

[Cerberus_tm]

Tuurlijk, er zijn andere factoren, maar kunnen die gemakkelijk verbeterd worden in een telefoon? Deze chip kan dat (blijkbaar) wel, dus dat me uitstekend.

[Verwijderd]

Je blijft met een piepklein chipje zitten en geen volbeeld chip (die er wel zijn) 24 x 36 en zelfs 6 x 6) kleinere chip betekent gewoon meer ruis dat je wel kunt wegpoetsen met software maar wegpoetsen betekend verlies van beeld kwaliteit hoe je het ook went of keert, tenzij er opeens andere natuur en thermodynamische wetten zijn gekomen. Dus een telefoon blijft altijd een enorme compromis aan ruis, scherpte of helderheid, wat minder beeldkwaliteit is. Wat je verliest door een kleine chip hoe goed hij ook is, is beeldkwaliteit en wat er niet meer is kun je er ook nooit meer bijmaken.