Google Foto's kan op Pixel-telefoons voortaan aanpassingen aan foto's doen, zonder dat de foto's van hdr-kwaliteit worden verlaagd naar sdr-kwaliteit. Het gaat dan bijvoorbeeld om aanpassingen met de Magic Eraser of het vervagen van delen van foto's.
Gebruikers die op een smartphone foto's willen bewerken in Google Foto's, zien al snel dat de kwaliteit van de foto verlaagd wordt. Alleen bij eenvoudige wijzigingen, zoals het bijsnijden of draaien van foto's, blijft de kwaliteit op hdr-niveau. Bij andere wijzigingen wordt een nieuwe versie van de foto in sdr-kwaliteit opgeslagen.
Dat probleem wordt veroorzaakt Ultra HDR, dat in oktober 2023 werd geïntroduceerd bij Android 14, legt Google nu in een gedetailleerd artikel uit. Ultra HDR is een feature die ervoor zorgt dat foto's worden weergegeven op smartphones als hdr in plaats van als sdr, wat eerder het geval was. Daarvoor wordt naast de jpeg een speciale gain map opgeslagen, die aangeeft hoeveel iedere sdr-pixel opgehelderd moet worden voor een hdr-weergave.
Die aanpak vergroot echter ook 'de complexiteit van de beeldbewerkingsoperaties', aldus Google. Dat terwijl veel machinelearningbewerkingstools gemaakt zijn voor sdr-beelden, waarbij de machinelearningmodellen sdr-beelden als input verwachten en sdr-beelden als output geven. Dat betekent dat alleen de jpeg wordt aangepast en niet de bijbehorende gain map. Het gevolg is dat als een hdr-beeld wordt aangepast met bijvoorbeeld Magic Editor, er een 'ghosting'-effect ontstaat.
Een nieuw machinelearningmodel lost dit probleem op, door de ontbrekende gain-mapgebieden te reconstrueren. Het model voorspelt op basis van de aangepaste sdr-foto hoe de gain map eruit moet zien en implementeert die in de foto. Het model dat daarvoor gebruikt wordt, is getraind op duizenden hdr-foto's. De nieuwe functie is nu beschikbaar op de Pixel 8 en nieuwere apparaten van Google.
/i/2007004116.png?f=imagenormal)
/i/2004612784.png?f=fpa)
/i/2005194550.png?f=fpa)
:strip_exif()/i/2006076664.jpeg?f=fpa)
:strip_exif()/i/2001252795.jpeg?f=fpa)
/i/2006593348.png?f=fpa)
/i/2006145560.png?f=fpa)
/i/2005372198.png?f=fpa)
/i/2006066184.png?f=fpa)
/i/2004629062.png?f=fpa)
/u/1276592/crop61798c21748c2_cropped.png?f=community){kind=small}
:strip_icc():strip_exif()/u/1645810/crop61032f304d4e2_cropped.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/484156/4421153_1_sma.jpg?f=community){kind=small}
:strip_exif()/u/92610/GenghisKhan.gif?f=community){kind=small}
:strip_exif()/u/357773/thumbHerbie.gif?f=community){kind=small}