Google-onderzoek zet Street View-foto's om in 'professionele' exemplaren

Twee onderzoekers van Google hebben een deeplearningsysteem onder de naam Creatism ontwikkeld. Dat is in staat om foto's uit Street View om te zetten in professioneel ogende foto's door hetzelfde werkproces als een fotograaf toe te passen.

De onderzoekers schrijven dat de 'virtuele fotograaf' 40.000 afbeeldingen heeft doorzocht en een selectie heeft gemaakt op basis van compositie. Uit het bijbehorende onderzoek blijkt dat daarbij handmatig afbeeldingen werden verwijderd die sterke vertekening vertoonden of waarin mensen of wegen duidelijk zichtbaar waren. Vervolgens maakte het systeem een uitsnede en voerde het verschillende bewerkingen van de gekozen panorama's uit om tot een eindresultaat te komen.

Het systeem voerde de bewerkingen uit aan de hand van een aangeleerd begrip van esthetiek. Het leerproces vond plaats aan de hand van professionele foto's die automatisch werden opgedeeld in verschillende aspecten, aldus de onderzoekers. De belichting in de foto's werd gecreëerd aan de hand van een procedure die ze zelf 'dramatic mask' noemen. Daarvoor gebruikten ze een generative adversarial network, waarbij het ene neurale netwerk probeert de belichting van afbeeldingen te verbeteren en het andere netwerk onderscheid moet maken tussen de bewerkte foto's en professionele foto's.

De onderzoekers werkten samen met zes professionele fotografen die de uiteindelijke foto's moesten beoordelen in vier categorieën: point and shoot, goede foto's, semi-professioneel en professioneel. Daarbij kwamen veertig procent van 179 afbeeldingen met een hoge voorspelde score in die laatste twee categorieën terecht. De onderzoekers hebben een collectie van de beste foto's online gezet.

Reacties (40)

[theemstra]

Waar ik dan wel benieuwd naar ben, hoe zit het met auteursrecht? Wie is eigenaar van de foto?

Als het neurale netwerk leert van foto's van professionele fotograven, blijft die fotograaf dan (deels) auteur van het eindresultaat, ook als er geen pixel van zijn originele foto terug te herkennen is?

Edit: In dit geval is Google 'maker/auteur' van de foto's (eindresultaat), maar de professionele foto's, die komen van externen, lijkt me. Worden die (deel)eigenaar van het eindresultaat?

[Reactie gewijzigd door theemstra op 25 juli 2024 18:26]

[MazeWing]

Volgens mij is Google de eigenaar van alle foto's in streefview. Daarnaast is het niet mogelijk copyright op de compositie te hebben voor zover ik weet.

Los van dit alles is het natuurlijk erg knap dat dit mogelijk is. Het geeft wel maar weer eens aan dat de originaliteit over het algemeen ver te zoeken is en praktisch elke landschapsfoto's dezelfde compositie hebben.

[323491]

Hoe zit dat met het atonium dat mag je niet zomaar gebruiken hoor

[Blokker_1999]

Als je netjes auteursrechten betaald dan mag het wel.

[323491]

Moet je geen overeenkomst hebben dan?
Stel dat ik een huis ontwerp dat wegen speciale architectuur prijzen wint, dan kan ik toch ook weigeren.

[ruttydm]

Ik zie alleen maar landschapsfoto's.

[Spinal]

Sinds 2016 heeft ook België Panoramavrijheid, dus dat mag tegenwoordig gewoon.

[theemstra]

Absoluut! Zie mijn reactie ook meer in algemene context.

[EasyBoarder]

Zijn streetview foto's niet door Google zelf genomen?
Ik heb vaker een Google auto zien rijden met een mooie camera op het dak. IN sommige landen heb je zelfs fietsers met een dergelijke camera in een rugzak, om beboste gebieden te mappen.

[theemstra]

Absoluut, maar het deel learning mechanisme leert van professionele fotograven.

[Brummetje]

Op leren van een ander zit denk ik geen auteursrecht. Als ik op internet een foto van een fotograaf zie waar een bepaalde bewerking op zit dan kan ik die natuurlijk gewoon op mijn eigen foto's toepassen.

[HallonRubus]

Dit geldt ook gewoon als een 'derivative work'.

Bij Openstreetmap is het bijvoorbeeld ook niet toegestaan om Streetview te gebruiken bijvoorbeeld een winkel toe te voegen die je op de foto ziet.

[theemstra]

Ook als het machinewerk is?

[HallonRubus]

Waarom zou dat verschil moeten maken? Als ik een scriptje schrijf om iets uit een foto te halen, ben ik alsnog degene die de bewerking doet.

Voor het trainen van hun objectenherkenning gebruikt Google bijvoorbeeld hun eigen Streetview fotos (als je een captcha invult zul je dat herkennen). Voor deze test zullen ze wel een overeenkomst hebben gesloten waarin de makers van de oefenfotos toestemming gaven voor het gebruik zoals beschreven. Je mag niet zomaar fotos gebruiken voor welk doeleinde dan ook, zeker niet commercieel. Alleen is het moeilijk op te merken, laat staan te bewijzen dat er niet gelicenseerde fotos zijn gebruikt om je algoritme te verfijnen.

[straat]

Zo werkt het met een echte fotograaf natuurlijk ook, die het een en ander van een collega-professional geleerd heeft

[theemstra]

Goed punt! Dat is natuurlijk in de meeste vakken het geval.

[Reactie gewijzigd door theemstra op 25 juli 2024 18:26]

[Cartman!]

Google is zelf eigenaar van de foto's die ze maken voor Street View dus volgens mij is daar geen probleem mee.

[theemstra]

Klopt, maar de professionele foto's ook?

[Brummetje]

Er zijn geen professionele foto's. De Streetview foto's worden omgezet daar heen. Zelfde als zelf een foto maken en deze bewerken in bijvoorbeeld Photoshop.

[Danny]

Een foto bewerken is niet anders dan zelf doen wat je camera doet om een jpg te bakken. Zelf de controle houden. Als ik deze voorbeelden bekijk zie ik daar weinig fraais in overigens. Enorme halo's, veel te zwaar aangezette contrastratio's etc.
Als ze dit 'doen wat professionele fotografen' noemen dan doen ze die mensen zwaar tekort. Zéker de meer begaafden onder de fotografen. Wat ze hier als voorbeeld laten zien ziet er inderdaad uit alsof ome Sjaak een paar foto's met zijn 5 jaar oude smartphone heeft genomen en vervolgens los is gegaan met een paar knopjes in een goedkoop bewerkingsprogramma.

Hier wat échte fotografen:
http://www.topteny.com/to...otographers-in-the-world/

Daar komt google met z'n algoritme nog niet bij in de buurt. Hell, ik zou beweren dat ze nog op een andere planeet zitten.

[Reactie gewijzigd door Danny op 25 juli 2024 18:26]

[torp]

Hier wat échte fotografen:

Lol, en dan kom je met deze overgeproduceerde kitsch aan?

Daar komt google met z'n algoritme nog niet bij in de buurt.

Nog niet nee, maar het is duidelijk dat ze leuk op weg zijn om het kunstje te leren. Ervan uitgaande dat je zoiets kunt terugbrengen tot een algoritme. Wat niet kan uiteraard, want het leidt tot imitatie en eenvormigheid.

[Anoniem: 855731]

Alle foto's die google maakt zijn professionele foto's.... Al is de kop wel een beetje vreemd. Het enige verschil tussen hobbyfoto's en professionele foto's is dat de laatste zijn gemaakt om geld mee te verdienen. Het zegt niets over de kwaliteit.

[Reactie gewijzigd door Anoniem: 855731 op 25 juli 2024 18:26]

[ruben]

Lijkt me niet, tenzij het intellectueel eigendom is. Ook al is het een machine die leert, het geleerde uitvoeren is dan eigendom van diegene die geleerd heeft, niet van diegene die de leerstof heeft ontwikkeld.

[Nas T]

De professionele foto's leveren data in de vorm van algemene kenmerken, niet de exacte inhoud van de foto's zelf. Denk aan dat je een foto van jezelf hebt, en je gebruikt de data kenmerk "kleur ogen". Als je die data anoniem maakt, dan is die data niet jouw eigendom. De gebruikte foto's zelf zijn van Google (streetview).

Dus door professionele foto's te analyseren, die waarschijnlijk voor dat doeleinde vrij te gebruiken zijn of waarvoor auteursrechten voor zijn betaald, kun je niet professionele foto's professionaliseren.

[deus4]

Als je naar de plaatjes kijkt is de onderste helft de street view foto, en de bovenste een uitsnede. De google street view foto ziet er redelijk brak uit, de uitsnede daarentegen is een zeer sterke zoom die er significant beter uit ziet dan de google street view. Hoe kan het dat ze op een foto inzoomen, een deel uitsnijden, en het resultaat beter is dat het origineel? Dat zou betekenen dat de foto's met een extreem hoge resolutie genomen moeten zijn, anders zou je bij het inzoomen flinke kwaliteitverlies hebben. Neem een willekeurig plaatje, zoom flink in, en je houdt niets dan een korrelige pixel afbeelding over?

[jpsch]

Of ze moeten een korrelige boom door een andere boom vervangen.

[majic]

Ze gaan natuurlijk niet met een brak full hd cameratje fotos maken van straten. Dan kunnen ze over een paar jaar weer beginnen, veel kilometers voor niks. Er is voor streetview echter geen hogere resolutie dan 720p of 1080p met hoge compressie nodig om navigatiefunctionaliteit aan te bieden.

De high res originals liggen dus netjes ergens opgeslagen, en zijn mogelijk niet eens gestitched of color-corrected voor de panorama waarin hij is opgenomen. Dus die zal meer contrast hebben, betere kleuren, hoge scherpte. Waarschijnlijk gewoon een 8+ megapixel sensor. Google ligt echter niet wakker van een paar terabyte extra aan 'raw' bestanden maar ligt wél wakker van alles opnieuw moeten doen. Verder had je al kunnen weten dat high res fotos gemaakt worden, tenslotte is elke captcha met huisnummers ook super scherp vergeleken met wat je zelf op streetview kunt zien. Hint hint

[Nedra]

I have seen several Google Street View cars driving around over the past few years. You can’t miss them. They are very distinguishable with their camera dome mounted on the top of a vehicle. They have a total of fifteen 5 megapixel cameras each with a 5.1mm lens fixed at an f/2 aperture for a total capture of roughly 65 megapixels (after you remove the regions that overlap).

bron: https://davidpapp.com/201...a-google-street-view-car/, 2014.

Ook op Wikipedia wordt de setup met een aantal 5mp cameras genoemd. In een google productforum lees ik wel dat ze de technologie continu updaten, het zou dus kunnen zijn dat er inmiddels alweer hogere resolutie plaatjes geschoten worden.
https://productforums.goo...#!topic/earth/bor10DIBnEY

[Waah]

En zie hier: wie dacht dat enkel simpele beroepen geautomatiseerd konden worden... Think again. Uiteindelijk kan zo goed als al het werk geautomatiseerd worden.

[flabber]

Ik denk dat een professionele fotograaf wat betrouwbaarder is dan 0,2% .
Dan heb ik toch liever een professional op m'n huwelijk/begrafenis/promotie/open dag/festival/expositie/voetbalwedstrijd etcetera

[Waah]

Dit staat natuurlijk nog in de kinderschoenen. Maar ik twijfel er niet over dat dit straks allemaal geautomatiseerd kan.

En 0.2%? 40% was semi professioneel of beter. Als dit soort deep learning meer data krijgt en slimmer wordt, heb je straks geen editor meer nodig. Je schiet zelf de foto (met een 360 camera) en deep learning zoekt de mooiste foto in die 360 graden.

Ik zeg niet dat het nu kan.... Maar het gaat komen.

[flabber]

Mmmm, eh, 40% van de 179 foto's met een voorspelde hoge score.
Op een totaal van 40.000 ...........
Da's toch echt 0,176%

[Oogappel]

Je leest dit verkeerd.
Ze boden het systeem 40.000 foto's aan en van 10.000 beweerde het systeem dat het er niets mee kon doen.
30.000 beschouwde het systeem zelf als 2.5 of meer op een schaal tussen 1, goede foto van een beginner en 4, excellente foto van een professioneel. Dus m.a.w beter dan amateur.

Maar om ze dan professioneel te beoordelen heeft het team een willekeurig deel ( geen selectie op schoonheid ! ) gekozen en gemengd met foto's van echte profesionelen. : We randomly sampled 400+ photos from our creation, with predicted scores Φ uniformly distributed between (2.5,3.0). (Most photos received a prediction score < 3.0 after linear fitting of Φ.) They are randomly mixed with 800 photos from AVA and other sources, sampled across different quality
179 van de 400 foto's vond het systeem zelf >= 2.9 en daarvan hebben de fotografen 41,4% als semi-professioneel of beter beoordeeld en zelfs 13% als haast perfect. De controle-groep foto's werd door de fotografen ook maar voor 45% haast perfect beoordeeld. Dus dat is niet meer zo'n verschil.
Daarnaast moet je er nog rekening mee houden dat het systeem de foto's moest croppen uit Google Street View, het kon dus niet wat dichter bij de boom gaan staan voor een beter effect.
We dachten heel lang dat oog voor schoonheid altijd iets menselijks zou blijven, maar de stap van dit hier naar een aangestuurde drone is niet zo heel groot meer.

[JelleMan]

Leuk idee, maar redelijk eenzijdig die collectie. Vooral steile bergpunten in de Dolomieten, Candese Rockies, Grand canyon an Patagonie, beetje de 'standaard' locaties.

[flabber]

Heel kanp en een mooi staaltje techniek.
Maar om even wat perspectief aan te brengen (pun intended).
Het gaat hier om 0,179 % van de foto's die als professioneel of semi-professioneel werd beoordeeld.
Dus het idee dat de professionele fotograaf overbodig wordt is nog wat far-fetched.

[_Thanatos_]

Dus een beetje inzoomen en de kleuren opleuken maakt een professionele foto?

Dat is niet helemaal hoe het werkt. Ze moeten beginnen met goed materiaal. Als je bronmateriaal crap is, is het eindproduct dat ook.

[Reactie gewijzigd door _Thanatos_ op 25 juli 2024 18:26]

[honey]

Ik heb liever een weergave van de werkelijkheid.

[-Dream]

Hier trouwens een linkje met alle foto's:

https://google.github.io/creatism/

[Tusk]

ok...maar wat is het nut hiervan? Leuk dat Google nu kan fotograferen, maar is er een verderliggend doel?

[Marty007]

Als alle foto's dus een eindproduct zijn van knippen en plakken van verschillende beelden vind ik niet dat je het nog een foto mag noemen...
Daarbij.. Dus in feite zien we bij street view niks meer dan gephotoshopte beelden... kan ik net zogoed een Twitter account openen en daar gaan kijken naar al die niet bewerkte foto's van mensen