Apple patenteert hdr-methode voor smartphonecamera's

Apple heeft een patent aangevraagd voor een hdr-opnamemethode voor cameramodules in smartphones. In plaats van dat verschillende opnames met uiteenlopende belichtingen direct na elkaar worden gemaakt, worden de pixelrijen diverse malen belicht.

De gebruikelijke methode voor hdr-opnames is het kort na elkaar nemen van twee of meer verschillend belichte foto's en de beeldinformatie hiervan te gebruiken voor een hdr-foto. Een nadeel is echter dat dit problemen kan opleveren met tussentijdse beweging van de camera en met lokale beweging in de beeldcompositie. Het compenseren van dergelijke bewegingen in de hdr-foto kost daarnaast extra rekenkracht en -tijd.

In de patentaanvraag denkt Apple dit op te lossen door elke pixelrij twee of meer keren achter elkaar uit te lezen met een verschillende belichting tijdens een opname en de resultaten ervan op te slaan in evenzoveel framebuffers. Het voordeel is dat per pixelrij slechts minieme bewegingsfouten tussen de verschillende belichtingen zullen optreden en dat het samenvoegen tot een hdr-foto daardoor eenvoudiger en sneller is uit te voeren. Ook zou deze methode gebruikt kunnen worden voor video. Een nadeel ervan is echter dat rolling shutter sneller zichtbaar is.

Apple heeft onder meer de iPhone 4S en de iPhone 5 al uitgerust met een hdr-fotomogelijkheid, maar daarbij worden drie opnames achter elkaar gemaakt, in plaats van de hierboven beschreven methode. De smartphones slaan vervolgens zowel de hdr-foto als een normaal belichte foto op.

Volgens Eric Fossum, uitvinder van de cmos-beeldsensor, op de Image Sensors World-blog, is de uitvinding van Apple niet nieuw. Al in 1995 is volgens Fossum een patent op eenzelfde meervoudige uitlezing aangevraagd, maar daarin wordt de hdr-toepassing niet bij naam genoemd. Misschien heeft Apple de patentaanvraag ook toegespitst voor gebruik in mobieltjes om het patent een 'niet-triviaal' karakter mee te geven.

Reacties (43)

[Grrrrrene]

Maar een patent wordt toch niet minder triviaal als je een toepassing die een ander al heeft gepatenteerd, 17 jaar geleden, specifiek te maken voor 1 soort apparaat? Ik bedoel: als Samsung nu HDR-fotografie met dezelfde techniek patenteert voor tablets, dan is het toch niet ineens een geweldig houdbaar patent?

Ik zie ook niet helemaal hoe je bewegingsproblemen verhelpt door per pixelrij de belichting in 3 (of meer) stappen uit te lezen. Er zit nog steeds minimaal de belichtingstijd aan tijd tussen de "foto's".

Edit: het patent lezende krijg ik het idee dat de sensor in groepen pixelrijen wordt verdeeld, die elk hun eigen belichtingstijd krijgen. Dus rij 1, 4, 7, 10, enz... krijgen bijvoorbeeld 1/60e sec, rijen 2, 5, 8, 11, enz... krijgen dan 1/30e sec en rijden 3, 6, 9, 12, enz... krijgen 1/120e sec belichtingstijd. Dan worden de pixelrijen min of meer op hetzelfde moment belicht, al verlies je wel veel resolutie.

[Reactie gewijzigd door Grrrrrene op 26 juli 2024 22:32]

[DaemonAngel]

Zelf ken ik niet veel van camera's maar kan wel bijdragen ivm patenten. Hierover in managementschool nog les gehad.

In Amerika kan je dit wel patenteren, in Europa heb je bepaalde eisen (heb ze even opgezocht zodat ik er een bron kan bij geven ):
Een uitvinding komt in aanmerking voor wettelijke bescherming en is gecertificeerd als 'octrooieerbaar' als ze:
- nieuw is, dat wil zeggen dat ze nog niet tot de huidige stand van de techniek behoort,
- het resultaat is van uitvinderswerkzaamheid, dat wil zeggen dat ze voor een deskundige niet op een voor de hand liggende wijze voortvloeit uit de stand van de techniek,
- geschikt is voor industriële toepassingen.

Bron: http://www.belgium.be/nl/...ctueel_eigendom/patenten/

Hetgeen in het vet zou dan het probleem zijn voor Europa als deze techniek al bestaat bij een ander toestel.

[SoloH]

Ja het lijkt me ook slimmer om per rij een andere belichting te nemen en dan voor verlies van resolutie te kiezen. Anders wordt de rolling shutter te erg en behoud je het probleem van bewegende objecten. Het hangt wel af van de situatie.
Ik zou dan maximaal 2 belichten nemen.

[blackTIE]

Er is bij deze hdr-uitleesmethode bij mijn weten geen verlies van resolutie.

[Fireshade]

Ja het lijkt me ook slimmer om per rij een andere belichting te nemen en dan voor verlies van resolutie te kiezen.

Yup, dat is ongeveer wat Fujifilm doet met hun EXR sensoren. Daarbij wordt de resolutie gehalveerd.

[Amanoo]

Als dat patent inderdaad in feite op hetzelfde neerkomt als dat eerdere patent dat in het artikel genoemd wordt, met als verschil dat het nu in telefoons wordt toegepast, dan vind ik niet dat Apple dit toegewezen moet krijgen. Iedereen kan een patent nemen en dat ombouwen naar "Patent+gebruik in telefoon". Sterker nog, de patenten zouden dan niets waard meer zijn. Ik kopiëer dan gewoon wel rustig alle patenten van Nikon en Kodak en schrijf erbij dat het specifiek gaat om het gebruik in een soort MP3-speler. Alles wat ik dan nog hoef te doen om Chineze klonen van Nikon camera's te bouwen is het inbouwen van een MP3-speler in de camera (ik kan het meteen een microfoon/voice-memo functie geven), en Nikon kan mij niets meer doen. In de praktijk ben je dan keihard aan het naäpen. Zeer waarschijnlijk hebben beide bedrijven in feite al zulke camera's op de markt.
Zo kan je elk patent wel naäpen door insignificant kleine variaties aan te brengen. Of Apple dit patent verdient vind ik afhangen van in hoeverre dit een geval Prior Art zou zijn als ze het in een gewone camera zouden inbouwen. Het gaat toch om de techniek? Niet om het feit of het nu in een telefoon wordt ingebouwd of niet?

[Edddd]

Ik begrijp je punt, ik denk echter dat je voorbij gaat aan de technische ontwikkeling om dit überhaupt mogelijk te maken in een (apparaat zo klein als een) telefoon.

Niet alle aanvragen worden goedgekeurd, je kunt niet zomaar alles droppen wat er al is. Dus indien het patent niet wordt goedgekeurd, schat ik in dat je helemaal gelijk hebt. Wordt het wel goedgekeurd, dan is dat waarschijnlijk omdat er wezenlijke slimme en/of unieke technieken worden toegepast om dit mogelijk te maken. Vaak zijn patenten immers gebaseerd op deel-technieken, die het uiteindelijke resultaat mogelijk maken. Dat sluit dus niet uit dat hiertoe ook andere technieken worden benut, die al bestaan en het eindresultaat in de ogen van de leek vergelijkbaar of zelfs identiek lijkt.

Het gaat dus om de techiek, maar ook om de techniek die het mogelijk maakt deze techniek toe te passen.

[Reactie gewijzigd door Edddd op 26 juli 2024 22:32]

[RaJitsu]

Die unieke technieken moeten dan wel omschreven zijn in het patent. Dit is niet het geval. Het gaat dus puur om het idee. En voor zover ik uit de andere reacties kan afleiden, is het vooral een softwarematige-toepassing die op processorkracht drijft, en waar dus niet echt een bijzondere hardwarematige implementatie achter zit.

[Verwijderd]

Over 10 jaar hebben we hier allemaal niets meer aan. Inmiddels bestaan er al sensoren voor R&D die tussentijdse readout doen. Dat wil zeggen, in dezelfde opname word de sensor op 1/250, 1/125 en 1/60 uitgelezen, in plaats van 3 opnames met drie verschillende sluitertijden. Op die manier zullen de toekomstige camera's een veel hoger dynamisch bereik hebben. we hebben er zo eentje in het lab op de TU.

[Verwijderd]

Als nieuwe technieken niet meer worden ontwikkeld omdat we er over tien jaar niets meer aan hebben zijn we over tien jaar niets verder.

[Grrrrrene]

Nog interessanter wordt het als je per pixel kunt uitlezen hoeveel tijd er (zeer nauwkeurig gemeten) nodig is om een bepaalde belichting te behalen. Dan heb je dus niet meer 1 sluitertijd voor de hele sensor, maar een sluitertijd die per pixel (of groepje pixels) zodanig gekozen is dat hij een goede belichting oplevert. Zodoende heb je veel meer dynamisch bereik, waardoor je HDR-foto's uit 1 opname kunt halen. Je registreert hoelang iedere pixel belicht is en rekent aan de hand daarvan terug hoe het plaatje eruit moet zien in HDR-vorm

[Sneek]

Ik vraag me altijd af waarom er zoveel ruimte wordt ingeleverd voor camera's maar het wordt me steeds duidelijker. Mensen willen niet op pad met een mooie dure camera van €500,- ze willen gewoon de smartphone kunnen gebruiken om even snel wat foto's te maken.

Ik hoop dat dit patent zoals beschreven staat in het artikel een "niet-triviaal" karakter heeft zodat het niet andere smartphone makers (nog meer) beperkt.

Zelf gebruik ik de iPhone 4s maar van de foto's (zeker binnen) wordt ik niet erg enthousiast.. Maar wie weet, over 10 jaar koop je een smartphone met de camera kwaliteit van een professioneel foto toestel.

[Grrrrrene]

Voor een hoge resolutie heb je een goede lens nodig en dat heeft een telefoon vooralsnog gewoon niet. Het slijpen van glas is een kunst apart en de nauwkeurigheid waarmee dit gebeurt bepaalt de vertekening en de resolutie van het beeld dat je kunt projecteren. Hoe groter de lens, hoe kleiner de relatieve fout die bij het slijpen gemaakt wordt.

Compactcamera's en zeker spiegelreflexcamera's hebben grote objectieven met grote glaselementen. Die hebben veel meer resolutie dan zo'n telefooncamera. Daarbij kun je met een telefoon onmogelijk met scherptediepte spelen, vanwege de natuurwetten

[Caelestis]

Resolutie wordt bepaald door het megapixel hoeveelheid niet door de lens.
Het enige verschil tussen een groter of kleiner lens is het licht inval. Als je een groter lens heb kan je sneller een foto maken met de juiste belichting (iso snelheid).

De scherpte van een lens heeft verder behoorlijk weinig te maken met de grote omdat het gaat om de hoeken die behaald kunnen worden tussen de twee of meer lenzen die erin zitten.
Je kan gewoon niet goed of helemaal niet zoemen in een telefoon omdat je de afstand tussen de lenzen vrijwel niet kunt aanpassen of je moet een telefoon willen die minstens zo dik is als een compact camera voor het lens constructie.

[Jiriki]

Een lens heeft zeker zelf ook een bepaald oplossend vermogen, en simpel gezegd heeft een groter stuk glas een hogere resolutie.

Als je dan bedenkt dat je voor een beetje objectief ook nog een paar lenzen nodig hebt, zie je dat in een telefoon de resolutie van de sensoren al ruim de lenzen die gebruikt worden overtreft.

[Caelestis]

En groter stuk glas laat meer licht binnen komen zodat in elk detail meer belicht wordt en dus door de sensors of film beter opgepakt kunnen worden.
Men maakt een aanname dat je een hoger resolutie krijgt omdat je meer detail kan differentiëren en opslaan.
Maar in werkelijkheid is het complexiteit en detail van het licht exact hetzelfde als het door de lens gaat van een 3 mm lens of een 100 mm lens.

Omdat je dus het licht makkelijker kan bewerken als het uit een groter lens komt maak je de compleet foute aanname dat resolutie uberhaupt een rol speelt terwijl het niks anders betekent dan dat de beperkingen van wat erachter de lens gebeurt minder van toepassing om je resolutie van het plaatje te behalen.

Wat ik dus probeer te zeggen is als je CCD dus twee maal zo fijn en gevoelig geproduceerd kan worden en je de megapixel opslag vergroot dat je resolutie met hetzelfde lens twee maal zo hoog wordt. (of meer)
De beperking van resolutie zit puur en alleen in de beperking van de hardware die het beeld opneemt.

[Grrrrrene]

En groter stuk glas laat meer licht binnen komen zodat in elk detail meer belicht wordt en dus door de sensors of film beter opgepakt kunnen worden.

Men maakt een aanname dat je een hoger resolutie krijgt omdat je meer detail kan differentiëren en opslaan.

Die fout maakt "men" helemaal niet, die aanname doe jij. Ik zeg heel helder dat je een grote lens makkelijker foutloos kunt slijpen dan een kleine en dat daarom een lens in een telefoon nooit zo goed kan zijn als de lens in een compactcamera of spiegelreflex. Dat is gewoon de praktijk, immers als de productietechnieken verbeteren, verbeteren die van zowel de telefoonlens als die van de compactcamera/SLR.

Maar in werkelijkheid is het complexiteit en detail van het licht exact hetzelfde als het door de lens gaat van een 3 mm lens of een 100 mm lens.

Je gaat wederom theoretisch verder, terwijl in de praktijk beide lenzen, gemaakt in dezelfde fabriek, identieke absolute fouten hebben. Maar door het grotere formaat van de grote lens (van SLR/compactcamera) zal deze in relatieve zin van veel betere kwaliteit zijn. Laat ik het omdraaien: Waarom koopt een professional een Canon 16-35/2.8L II USM ipv een Canon 17-55/2.8 IS USM als het volgens jou voor de scherpte niet uitmaakt wat voor lens je gebruikt? Beide objectieven focussen supersnel en de stabilisatiefunctie van de 17-55 vs. de stof- en waterdichtheid van de 16-35 strepen we tegen elkaar weg onder de noemer "persoonlijke voorkeur". Waarom zijn er dan volgens jou verschillen in MTF tussen objectieven bij hetzelfde diafragma? Glas is glas toch?

Omdat je dus het licht makkelijker kan bewerken als het uit een groter lens komt maak je de compleet foute aanname dat resolutie uberhaupt een rol speelt terwijl het niks anders betekent dan dat de beperkingen van wat erachter de lens gebeurt minder van toepassing om je resolutie van het plaatje te behalen.

Nee, jij maakt de compleet foute aanname dat het simpelweg verhogen van de megapixels de enige invloed is op resolutie. Jarenlang hebben telefoon- en camerafabrikanten je dat wijsgemaakt, maar het is complete waanzin om een 41MP sensor in een telefoon te proppen met als argument "dan heb ik 5x zoveel resolutie als al die 8MP-telefoons nu" *. Pak een 8MP DSLR en zet daarnaast een 8MP telefooncamera. Het punt dat ik wil maken is dat een telefooncamera _nooit_ zo goed zal zijn als een DSLR met gelijk aantal megapixels. Sterker nog: ik wed dat mijn inmiddels ruim 10 jaar oude EOS D30 meer details kan onderscheiden dan een 8MP camera uit een moderne telefoon (pick one!).

Wat ik dus probeer te zeggen is als je CCD dus twee maal zo fijn en gevoelig geproduceerd kan worden en je de megapixel opslag vergroot dat je resolutie met hetzelfde lens twee maal zo hoog wordt. (of meer)
De beperking van resolutie zit puur en alleen in de beperking van de hardware die het beeld opneemt.

En dat is dus onzin. het is niet voor niets dat je tot 2x toe offtopic gemodereerd bent, je hebt gewoon ongelijk. Misschien is het de marketing rond de megapixelrace die je op het verkeerde been zet, maar van een onscherp afgebeeld plaatje op een sensor kun je met 2x zoveel megapixels niet ineens een scherper plaatje maken. Het is de combinatie van de twee en zeker bij telefooncamera's is de zwakste schakel de sensor, met afstand!

* Ik wil dus niet zeggen dat de camera in de 808 niet goed is, want dat is hij wel, maar dat komt meer door het formaat van de sensor en de bijbehorende lens dan het aantal pixels.

@Aham brahmasmi hieronder: Ze _moeten_ ook wel meer lp/mm halen omdat de sensor ordes van grootte kleiner is.

[Reactie gewijzigd door Grrrrrene op 26 juli 2024 22:32]

[fretnn]

de grootte van je sensor speelt ook een heel belangrijke rol, met enkel een supergoeie lens kom je er niet, je hebt beide nodig

[GrowMyHair]

Hoe groter de lens, hoe meer licht er doorheen komt en ook minder last je hebt van diffractie. Een kleine lens nauwkeurig slijpen lukt ondertussen wel.

Het diafragma varieren om de scherptediepte te veranderen zou op zich wel kunnen, maar dit wordt pas interessant als je ook de mogelijkheid hebt om een groot diafragma in te stellen en daar heb je een grote lens voor nodig. Nu is het maximale diafragma al erg klein met de bijbehorende grote scherptediepte.

[Aham brahmasmi]

Compactcamera's en zeker spiegelreflexcamera's hebben grote objectieven met grote glaselementen. Die hebben veel meer resolutie dan zo'n telefooncamera.

In werkelijkheid is het andersom. Lenzen in telefooncamera's hebben resoluties die de honderden lijnparen per mm lopen. Bovendien kunnen de kleine lenselementen in extreme asferische vormen geslepen worden die op groter formaat te moeilijk/duur zouden zijn.

Door de superkleine sensoren en de beperkte lensopenig wordt er echter erg weinig licht verzameld, waardoor vanwege ruisreductie erg veel detail verloren gaat. Diffractie speelt ook een grote rol bij de superkleine pixeltjes van deze sensoren.

Een lens met grote beeldcirkel is moeilijker om goed optisch gecorrigeerd te krijgen, maar een grotere sensor met lagere pixeldichtheid vergroot de aberraties veel minder uit dan een piepkleine telefoonsensor.

De lenzen van de Pentax Q die een erg kleine sensor heeft zijn bijv. ook scherper dan fullframe lenzen (op die camera): http://www.fredmiranda.com/forum/topic/1098001/1#10478116

[Reactie gewijzigd door Aham brahmasmi op 26 juli 2024 22:32]

[BlakHawk]

voor een hoge resolutie heb je geen goede lens nodig, maar een sensor die resolutie ondersteunt. voor kwalitatief goede foto's heb je weer wel een goede lens nodig. resolutie zegt niets...

[RaJitsu]

De aanwezigheid van een xenon-flits is wel te realiseren, maar ook daar kiest men in de meeste gevallen niet voor bij telefoons.

[Vayra]

Nee dat gebeurt niet, size does matter.

[Xyrr]

Het zal niet gebeuren dat je over 10 jaar met een smartphone foto's maakt met de kwaliteit van een professional fototoestel, omdat de professionele fototoestellen dan ook 10 jaar verder zijn. Het kan natuurlijk wel zo zijn dat je over 10 jaar foto's maakt met een kwaliteit die gelijk staat aan de professionele foto toestellen die we nu kennen, maar om dat fenomeen te kunnen zien hoef je niet 10 jaar in de toekomst te kijken. De smartphones die wij nu hanteren leveren immers al veel betere kwaliteit foto's dan de gemiddelde consumentencamera van 10 jaar geleden.

Daarbij zie je ook dat een aantal belangrijke features achterblijven, bijvoorbeeld zoom. Er is (met de huidige techniek) simpelweg geen mogelijkheid om een grote optische lens in een smartphone te verwerken. Er zal dus altijd wel een reden zijn om een echte camera te gebruiken, helemaal als je professioneel fotografeert.

[Sneek]

Dat begrijp ik, ik bedoelde dan ook dat de kwaliteit van de smartphones over 10 jaar misschien wel gelijk staan aan de toestellen die nu met professioneel worden bestempeld. Wanneer er geen verschil zou zitten tussen een smartphone en een professionele camera zouden professionele camera's natuurlijk niet meer verkocht worden.

Bedankt voor je verhaal over de glaselementen, dit is allemaal nieuw voor mij.

[iThinkSo]

Maar wie weet, over 10 jaar koop je een smartphone met de camera kwaliteit van een professioneel foto toestel.

Een DSLR van nu, misschien. Als de sensors/lenzen in smartphones beter zouden worden dan die in professionele camera's, gaan ze namelijk gewoon smartphonesensors erin zetten

[Verwijderd]

Gelijk hebben is wat anders dan gelijk krijgen en aangezien Apple een hele vette bankrekening heeft, is gelijk krijgen tegen Apple niet heel erg eenvoudig. Het maakt dus niet zo veel uit of het patent nu wel of niet terecht is.

[arjankoole]

Gelijk hebben is wat anders dan gelijk krijgen en aangezien Apple een hele vette bankrekening heeft, is gelijk krijgen tegen Apple niet heel erg eenvoudig. Het maakt dus niet zo veel uit of het patent nu wel of niet terecht is.

Dat zei men ook ooit van Microsoft, toch wist een piepklein bedrijfje in Canada dat gelijk betrekkelijk eenvoudig te halen, wat Microsoft een peperdure rekening, boete, schadevergoeding en patenten licentie opleverde.

Uiteindelijk maakt de diepte van die geldzak niet zo extreem veel uit.

[BartS12]

Vorig jaar op de "Electronic Imaging" conferentie in San Francisco werd dit al zeer uitgebreid besproken, en niet door Apple. Boodschap: al dit soort zaken technisch al jaren, en is al jaren bekend. Waarom doet niemand het?

Met 500 man in de zaal zal het lastig worden dit nog als nieuwe 'uitvinding' te presenteren...

[Edddd]

Boodschap: al dit soort zaken technisch al jaren, en is al jaren bekend. Waarom doet niemand het?

Precies, en kennelijk heeft Apple er voldoende aan veranderd of toegevoegd dat zij er wel iets mee kunnen. En door die wijzigingen/veranderingen (geschikt te maken voor gebruik in kleine mobiele apparaten) is er kennelijk grond om de toepassing te willen patenteren.

Blijkt het gebakken lucht, dan zal het patent (mogelijk en hopelijk) niet toegewezen worden.

[mrc4nl]

Dat het patent is aangevraagd betekent niet automatisch dat hij ook goedgekeurd word.

[Chrotenise]

Typisch Apple. Patenten die al in 1995 uitgegeven zijn nog eens proberen te patenteren.

[jabwd]

Typisch huidige tech industrie in amerika*

Jammer genoeg zullen we waarschijnlijk niet snel veranderingen hier in zien en zal dit patenten gezeik startups voor een behoorlijke tijd nog wel afschrikken.

[Carbon]

Patenten die al in 1995 uitgegeven zijn nog eens proberen te patenteren.

Kijk eens aan een materiedeskundige hier op Tweakers!

Zeg eens Chrotenise, om welke patenten uit 1995 gaat het eigenlijk?

[arjankoole]

Typisch Apple. Patenten die al in 1995 uitgegeven zijn nog eens proberen te patenteren.

Patenten bouwen vrijwel altijd op andere patenten. daarom staan patent-aanvragen ook tjokvol verwijzingen naar andere patenten, waar ze de techniek van gebruiken om tot een nieuwe innovatie te komen.

Als dat niet meer zou mogen, zou er effectief geen nieuwe innovatie meer zijn, omdat je ALTIJD het wiel opnieuw zou moeten uitvinden. Dat is niet iets wat haalbaar is. (of betaalbaar).

[Verwijderd]

Gaan ze dan straks Canon en Sony aanklagen, net zoals ze nu met Samsung doen?

[Verwijderd]

Apple zou wel gek zijn om Sony aan te klagen.

[computerjunky]

wat een onzinnig patent...
software nu al uitlijnnen>mergen en converten naar hdr dus waarom dit patend zou moeten bestaan snap ik niet.
het is niets nieuws.