Voormalige topman van Googles Pixel-divisie werkt bij Adobe aan camera-app

Marc Levoy, die voorheen als hoofd van het camerasoftwareteam van Googles Pixel-divisie verantwoordelijk was voor geavanceerde camerafuncties zoals HDR+ en Night Sight, is bij Adobe in dienst getreden. Hier gaat hij werken aan de ontwikkeling van een universele camera-app.

Het nieuws werd onder meer bekendgemaakt door David Imel van Android Authority en Levoy heeft zijn aanstelling bij Adobe bevestigd op zijn LinkedIn-pagina. Engadget citeert uit een e-mail van Adobe waarin zijn indiensttreding wordt bevestigd. Daarin zegt Adobe dat Levoy verantwoordelijk wordt voor het ontwikkelen van het concept voor een universele camera-app.

Adobe geeft daar geen nadere details over, al zegt het bedrijf wel dat Levoy zal werken met de Photoshop Camera-app, Adobe Research, de ai-tool Sensei en de Digital Imaging-teams. Photoshop Camera is een al bestaande camera-app en camerafunctionaliteit zit ook ingebouwd in de Lightroom-app, maar vermoedelijk heeft Adobe grotere plannen op het terrein van de camera-apps.

Wellicht wil Adobe uiteindelijk komen tot een universele smartphonecamera-app waarbij computational photography een hoofdrol opeist, waarbij de hardware minder van belang is en de kwaliteit van de Pixel-camera's wordt bereikt aan de hand van de software. Levoy en zijn team maakten bij Google als eersten de overstap naar computational photography, waarbij niet zozeer een enkel frame het uitgangspunt is, maar waarbij de software de foto samenstelt uit meerdere frames die kort na elkaar genomen zijn.

Levoy, tevens hoogleraar computerwetenschappen aan de Stanford-universiteit, maakte in mei dit jaar bekend dat hij sinds maart niet meer bij Google in dienst is. Daar werkte hij meer dan vijf jaar. Mede dankzij zijn inspanningen gooit Google hoge ogen met de Pixel-telefoons op het vlak van de cameraprestaties. Andere smartphonefabrikanten hebben in mindere of meerdere mate functies als HDR+ en Night Sight gekopieerd.

Marc Levoy bij presentatie Google Pixel 4, oktober 2019
Levoy bij presentatie Pixel 4

Door Joris Jansen

Redacteur

21-07-2020 • 08:28

32

Submitter: TheVivaldi

Reacties (32)

Sorteer op:

Weergave:

Laten we hopen dat deze man zijn technieken dan eindelijk kan delen met het platform Android, in plaats van alleen maar voor Pixel toestellen.

Het simpelweg installeren van de Gcam APK maakt al een enorm verschil op veel toestellen. Ik hoop dat een app ontwikkeld voor een bredere basis nog beter zal werken.
Klinkt als een geweldig idee, een universele camera app die betere foto's kan maken. Probleem is dat ieder Android toestel weer anders is, dus je zult dan alsnog de app voor iedere telefoon moeten optimaliseren. Ik vraag me ook af of dat zonder root toegang voldoende mogelijk is.
Maar dat kunnen de fabrikanten dan doen. Die nemen zijn app, en optimaliseren die voor hun telefoon.
Het zijn niet zijn technieken, het zijn google's technieken. Hij heeft het immers (met zijn team) gemaakt in dienstverband. Hij mag natuurlijk wel zijn kennis elders gebruiken.
ik denk sowieso dat hij dit niet zomaar mag gaan uitbrengen voor een wijder publiek.
En tegenwoordig heb je de GCAM op xda forums. Dus voor de echte mensen die weten het wel te vinden.

[Reactie gewijzigd door theduke1989 op 22 juli 2024 23:17]

Groot verlies voor Google. Als Adobe met Levoy een GCam-achtige camera app weet uit te brengen die op alle telefoons werkt, dan is Google het enige USP (naast kale Android) van de Google Pixel kwijt. Het laat zich raden wat dat met de verkopen en toekomst van de Pixel gaat doen..
Zal wel meevallen. Het is Adobe dus het zal per abonnement gaan.
De lightroom mobile app is tot nu toe wel gewoon gratis te gebruiken. Misschien wordt het een soort lokkertje om te laten zien wat ze kunnen zodat je een abbo op hun sofware gaat overwegen.
Denk dat Google zelf de grootste boosdoener is als het gaat om de teloorgang van de Pixeltelefoons. Weigeren om ze wreldwijd te verkopen is al niet handig en voor de hardware hoef je de telefoons ook niet te hebben.
Voegt de huidige Lr Camera app iets toe t.o.v. de standaard camera app van mn OnePlus8 Pro? Ik heb werkelijk waar geen idee. Beide apps zijn toch "beperkt" door de grootte van de sensor voor het vastleggen van RAW foto's? Dus zou het naar mijn idee niet uit moeten maken met welke van de 2 je de foto schiet.
Het blijkt in de praktijk ook een groot deel software te zijn, en telefoons met exact dezelfde camera sensor leveren heel verschillende kwaliteit foto's op.

Een (third party) ontwikkelaar die google camera kwaliteit breed beschikbaar maakt, via play store, en zonder dat er functionaliteit mist (wat vaak wel het geval is als je de google camera van XDA probeert te vissen) zou top zijn.

Grootste zorg: het wordt 'gratis', onder voorwaarde dat alle foto's, contacten, en weet ik wat niet meer bij adobe terechtkomen.
Nu ik er aan denk zou het mogelijk moeten zijn om een camera-app in 2 delen te knippen: Een deel die de fysieke techniek van een camera bedient en daar een raw beeld uit haalt. Dat wil zeggen, zo raw als het uit de techniek te halen is.

En een deel die van raw naar het uiteindelijke formaat gaat. En daar kan dan weer een hele wereld aan processing bij komen kijken. Hier schaar ik de raw-converters, foto-verbeteraars en ook photoshop en alle add-ons onder.

Welk deel van de camera software wordt hier bedoeld? Adobe is voor mij puur in het tweede kamp. Voor de eerste stap moet je wat mij betreft echt bij de hardware leveranciers en de driver-schrijvers zijn, zoals sony, nikon, canon en dergelijke zijn.

En ja: voor het aansturen van de hardware foto processors die in de meeste camera's zitten zoals de digic-chips van canon, dat valt onder de eerste, de camera apps. Volgens mij niet iets waar Adobe direct bij betrokken is. Of is Adobe bezig om firmware te schrijven voor de diverse camera's? Waar wringen zij zich tussen om nog meer geld uit de beeld-processing te zuigen?
Nu ik er aan denk zou het mogelijk moeten zijn om een camera-app in 2 delen te knippen: Een deel die de fysieke techniek van een camera bedient en daar een raw beeld uit haalt. Dat wil zeggen, zo raw als het uit de techniek te halen is.
Da's min of meer hoe drivers en libraries werken toch. Geen enkele camera-app communiceert direct met de sensor. Daar zitten (software)lagen tussen die de data uit de sensorchip lezen en omzetten naar een raw formaat, waar de camera-app vervolgens mee aan de gang mag.
Het gaat mij meer om het onderscheid tussen het instellen van de hardware aan de ene kant en de post-processing van (raw) images aan de andere kant.

En omdat het hier om Adobe gaat, die nogal aanwezig is aan de processing kant maar voor zover ik weet nog helemaal niet aan de hardware kant viel het onderscheid mij op.

Voor Adobe als bedrijf achter photoshop en dergelijke zie ik ze meer aan de post-processing kant. Al gebeurt dat ook veel in de hardware zelf zoals in de digic chip van Canon. Het zal mij benieuwen of Adobe dergelijke hardware gaat maken of eventueel dit soort hardware gaat aansturen.
Voor de fotografen onder ons: Kan ik met die RAW-foto ook het resultaat bereiken van HDR+ middels bijvoorbeeld een Lightroom?
Als je meerdere foto's neemt en ze netjes over elkaar legt, zal dat kunnenijkt me maar t kost wel tijd en werk.
Veel (canon) toestellen hebben een instelling om in 1 keer 3 (of 5) foto's te nemen met verschillende belichting. Dat kan een aardige basis zijn voor zo'n compilatie. Werk wel met een statief (of steuntje) want de foto's worden kort na elkaar gemaakt.
Deze bracketingoptie hebben alle serieuze camera's. De techniek werd zelfs al ver voor de digitale fotografie toegepast, alleen moest je dan handmatig de bracketing doen.
Ja, dat kan zeker.
Ja, gebruik de functie die meerdere fotos maakt bij verschillende belichtingen op je camera en voeg die samen in de Merge HDR functie van Lightroom.
Een RAW bevat vaak meer informatie dan je direct op het scherm ziet. Zo kun je vaak door in Lightroom de exposure omlaag of omhoog te brengen details zichtbaar maken die je bij de eerste aanblik van de foto niet zag. Dit komt omdat je sensor een hogere dynamische range heeft dan je monitor.

Wat je kunt doen is zogenaamd Tone-mapping. Daarbij druk je als het ware de dynamische range samen totdat die overeen komt met die van bijvoorbeeld je monitor. Dus het donkerste detail wat je sensor heeft opgevangen komt dan overeen met de donkerste verschil in pixel wat je monitor aankan. Idem aan de bovenkant en de rest is hierover gradueel verdeeld.

Natuurlijk is het fraaier als je een echt HDR scherm hebt wat dezelfde bandbreedte ondersteunt als je sensor. Dan hoef je in theorie niets aan te passen. Maar vooral bij de betere sensors is dus het dynamisch bereik groter dan op de gemiddelde monitor.
Alweer een nieuwe camera app van Adobe, ze hebben net Photoshop Camera
Van Google naar Adobe. Dan krijgen we straks een Creative Cloud Camera abonnement. Elke maand netjes € aftikken.
Het blijft voor mij de man die zei dat een telelens (2x zoom) nuttiger is op een smartphone dan een ultrawide lens.
De praktijk leert echter dat mensen ultrawide foto's altijd (in eerste instantie) indrukwekkender vinden. En daar verkoop je smartphones mee. Dat je na een tijdje moe wordt van al die ultrawide effecten, is weer wat anders. Maar dan heb je het toestel al gekocht. Bijkomend voordeel van wide en ultrawide is dat het altijd scherp lijkt. Met tele moet je focussingsysteem beter werken.

Een beetje vergelijkbaar met de zetels in een Franse auto, die als je net gaat zitten heerlijk comfortabel zijn, maar na 100km voor rugpijn zorgen :-)
Eh wat? Moei van ultrawide 'effecten'? Het nut van ultrawide is simpelweg meer kunnen vastleggen op een kortere kijkafstand. :p Het is vaak het verschil tussen het niet of wel kunnen vastleggen.
Kan absoluut niet met panorama. Om een goede panorama foto te schieten moeten je onderwerpen stil staan. Tevens kost het veel meer tijd dan met een ultrawide.

Voor portret-en groepsfoto's is ultrawide op de meeste toestellen niet geweldig nee, maar voor tig andere scenario's wel.

Overigens is het te vaak niet voldoende om maar "3 passen achteruit" te doen. Voorbeeld: om een praalwagen tijdens Carnaval volledig op beeld te hebben op pak 'm beet 8 meter afstand, moet je met een normale sensor veel meer dan 3 stapjes achteruit zetten. Met een ultrawide heb je dat gedoe niet.

Maar eens, een zoomlens is ook goed. Misschien bij een volgende generatie dat ze die erbij kunnen plakken.

[Reactie gewijzigd door Z100 op 22 juli 2024 23:17]

Hangt natuurlijk wel af van je onderwerp. Probeer maar een groep spelende kinderen vast te leggen met panorama mode :9 :P

Op dit item kan niet meer gereageerd worden.