Wetenschappers werken aan fotobewerking door middel van tekstinput

Onderzoekers van de Amerikaanse Brown University hebben een methode ontwikkeld om foto's te bewerken door middel van tekst. Voor de methode maakten zij gebruik van machine learning en een eigen algoritme.

Met de methode kunnen gebruikers bijvoorbeeld het weer en de tijd van bepaalde landschappen aanpassen. Daarvoor lieten de onderzoekers vrijwilligers ruim achtduizend foto's met verschillende weertypes analyseren. Die kwamen van ruim honderd webcams wereldwijd, die in verschillende weersomstandigheden en seizoenen het landschap hadden vastgelegd.

De geleverde input lieten de wetenschappers door hun algoritme analyseren. Dat leverde in totaal veertig attributen op, waarover het programma van de onderzoekers beschikt om foto's te kunnen bewerken. Die attributen bestaan uit simpele commando's zoals bewolkt, zonnig, sneeuwachtig, regenachtig of mistig. Daarnaast zijn er ook subjectieve commando's waaruit de gebruiker kan kiezen, waaronder somber, helder, sentimenteel, mysterieus en rustiek.

Het programma helpt gebruikers foto's vervolgens naar hun hand te zetten door enkel om tekstcommando's te vragen. Een commando als 'meer regen' laat de foto er bijvoorbeeld regenachtiger uitzien. Hiervoor deelt het programma de foto op in verschillende clusters met pixels. Daarna kleurt het die in door te kijken naar de eigenschappen van 'regen', die in de database met de achtduizend gedefinieerde foto's staan omschreven. De tekstcommando's zouden mensen moeten helpen die niet zo bekend zijn met geavanceerde fotobewerkingssoftware als Photoshop.

Volgens de onderzoekers biedt hun programma meer dan enkel filters, zoals bijvoorbeeld Instagram doet. "Het veranderen van het weer in een foto omvat meer dan de blauwe lucht veranderen in grijze lucht. Er zijn over de gehele foto subtiele aanpassingen nodig aan de kleur en het contrast - aanpassingen die normaal alleen door een professionele fotobewerker mogelijk zijn", aldus de Brown University.

Het programma, dat volgende week wordt gepresenteerd tijdens de Siggraph-conferentie, kent nog wel enkele beperkingen. Zo kan het geen attributen reproduceren die nieuwe structuren in een foto vereisen. "We kunnen winter niet in zomer veranderen, omdat dit betekent dat we bijvoorbeeld gras op plekken moeten tonen waar op dat moment sneeuw ligt", aldus de onderzoekers.

Reacties (21)

[mixil]

hadden jullie deze al gezien?

http://www.cs.cmu.edu/~om3d/

dit is een tool ontwikkeld door carnegie mellon, herkent 3d objecten in een foto, zoekt ze er bij op het internet, dan moet je ze nog een beetje warpen naar het object op de foto, en vervolgens kan je ze draaien, verplaatsen, klonen, etc.

[Verwijderd]

Inderdaad erg interessant.

Even ontopic:
Is het niet zo dat er al diverse websites bestaan die foto's op simpele manier kunnen verbeteren? De meeste van deze website bieden al variaties/previews van mogelijke bewerkingen. Zelfs als je niet kunt lezen kan je bewerken. Voor gehandicapten zullen spraakcommando's wellicht handig zijn.

Ik denk dat zo'n programma alleen geschikt zal zijn voor amateurs (of inderdaad voor gehandicapten), want diehard fotoshoppers zullen weten dat het juist draait om de mate van bewerken. Je voert een bewerking uit en draait die deels terug met shift-ctrl-F. Je kunt een foto nl heel snel en gemakkelijk overbewerken. De effecten die het programma biedt zijn overigens erg mooi.

[Reactie gewijzigd door Verwijderd op 24 juli 2024 07:40]

[stresstak]

Voor gehandicapten zullen spraakcommando's wellicht handig zijn.

Als ze niet op een knop kunnen drukken zullen ze ook geen berg beklimmen om de getoonde foto´s te maken. Laat de gehandicapten maar weg in dit verhaal.

[Verwijderd]

Nice. Dat is tenminste echt iets nieuws.

[Orion84]

Wat is daar zo spectaculair aan? Het enige wat het eigenlijk doet is een object in een foto vervangen door een bestaand 3D Model van dat object, wat vervolgens wat realistischer gemaakt wordt door de textures uit de foto weer terug op dat model toe te passen.

Allemaal technieken die volgens mij al lang en breed worden toegepast door 3D tekenaars en productontwerpers?

Het vernieuwende is dan wellicht dat er wat stappen geautomatiseerd worden, maar zo heel veel vernieuwender dan de technieken waar dit nieuwsbericht over ging vind ik het niet.

[Verwijderd]

Precies. Dit doet gewoon een context-aware fill (zoals in Photoshop) van het object dat je uit de scene knipt. En vervolgens rendert het een bestaand 3d-model, dat je waarschijnlijk eerst zelf moet identificeren. Niets nieuws lijkt mij.

[BoringDay]

Sorry maar dit kan al jaren, zelfs met video bewerking heb je allerlei tools voor 3 objecten en herkenning.

[Rembert]

Die link vind ik een stuk interessanter dan het hoofdartikel. Bedankt.

[dmvdberg]

haha lekker retro Sci Fi dit
Maar ok, voor de gemiddelde consument misschien wel handig. Bv integratie in smartfoon apps met spraakherkenning?

[Xyphoid]

Hadden al die Hollywood films toch gelijk met al die mensen die foto's en videobeelden manipuleren zonder een muis te gebruiken

[djwice]

Super cool, vooral dat Explorer collections. Zoeken op onbewolkte herfst ochtend zon en je krijgt al je foto's van een heerlijke herfst morgen.
S.v.p. ook integreren in de Synology foto collectie tool. Dan kan ik ook nog selecteren welke personen op die herfst ochtend van de zon genoten.

Voorbeelden van bewerken zijn met "more...", ik ben benieuwd hoe het voor Nederland relevante "less rain" filter het doet, en het "cloudless" filter. Zou je ook een "Dutch clouds" filter hebben voor al je Spaanse strand foto's. Zou wel een leuke grap zijn

Slim dit text interface trouwens, integreren met Google Voice en je kunt met glass handsfree een foto maken en realtime zonder handen bewerken en versturen.

Super!

[Reactie gewijzigd door djwice op 24 juli 2024 07:40]

[Verwijderd]

Waarvoor besteden wetenschappers hier tijd aan? Dit zijn toch allemaal bestaande toepassing. Het enige wat wordt toegevoegd is voice control, maar dat is ook het tijdperk van wetenschappelijk onderzoek al een tijdje voorbij. Dit is gewoon productontwikkeling.

[tinzarian]

Het lijkt me dat die tekstinput niet het meest interessante punt van dit nieuws is. Ik zie niet echt een wezenlijk verschil tussen het intypen van "more rain" in een tekstbox en het selecteren van "more rain" in een menu

[Silmarunya]

Observatie 1: de meeste mensen doen niet meer dan hun vakantiekiekjes bewerken, of wat klooien voor een schoolwerkje.

Observatie 2: steeds meer mensen gebruiken hun smartphone of tablet als standaard-device en zullen enkel nog naar hun laptop grijpen als het echt niet anders kan.

Observatie 3: de meeste mensen maken foto's met een smartphone of compactcamera, die zeker met wat minder licht heel wat te wensen overlaat.

Die combinatie (lage eisen, gebrekkig startmateriaal en beperkte bewerkingsmogelijkheden) betekent dat dit soort technieken hard nodig zijn. Een eenvoudige manier om een mislukte foto wat bij te kleuren is iets waar veel mensen op wachten, en tot nu toe komen de meeste apps niet verder dan wat filters of automatische correcties.

[Reactie gewijzigd door Silmarunya op 24 juli 2024 07:40]

[Aardwolf]

Daarbij kan je je natuurlijk wel afvragen of dergelijke fotomanipulatie dan wenselijk is. Het faken van fotografisch beeldmateriaal lijkt zo langzamerhand wel oneindig te worden. Niet erg voor de pro die er vaak met een kritisch oog naar kijkt, maar moeten Henk en Ingrid dit ook kunnen?

Een filtertje hier, een maskertje daar, wat op hedendaagse nieuwe smartphones veelal kan... geven soms de meest vreselijke foto's. Maakt het opleuken de beleving dan echt 10x beter of is het maar klooien om het klooien? (dat vraag ik me dan altijd af)

[bbr]

Het idee hierachter (denk ik) is meer dat mensen die hun handen niet kunnen gebruiken (en dus geen menu item kunnen selecteren met een muis) bijvoorbeeld tegen een "apple siri" achtige interface kunnen praten, en in plaats van "start filter" "select tool" "adjust brightness" "darken" etc, gewoon "more night" kunnen roepen.

Natuurlijk zal je ook gewoon op een knop kunnen drukken of via een slider "more night" kunnen selecteren, maar dit systeem maakt foto bewerking dus niet alleen meer toegankelijk voor onervaren gebruikers, maar ook meteen voor gehandicapten.

[Reactie gewijzigd door bbr op 24 juli 2024 07:40]

[Verwijderd]

Ik denk niet dat dat de reden is. Mij lijkt juist het idee dat er meer intuïtief mee kan worden gewerkt. Nu zijn het nog maar een paar commando's, straks wellicht zoveel dat je vrijwel alles kan intypen wat je wilt zonder n menu van 1000 items door te gaan. Stel bijvoorbeeld voor bij portretten dat je kan intypen 'more happy', 'more angry' of 'more hair' etc. Dat kan aardig uitgebreid worden zo.

Ik moet zeggen dat de 'filters' echt verbazingwekkend goed en snel werken.

[Morrar]

Behalve die voor winter en vooral sneeuw wat mij betreft. Daar ligt denk ik nog wel een uitdaging en eerlijk gezegd zou ik die filters weglaten.

Sneeuw valt namelijk niet echt makkelijk na te bootsen; het is veel meer dan een lichteffect of wat mist toevoegen. Voor echt realistische sneeuw zul je toch de 3-dimensionale aspecten van een setting moeten weten. Alleen dan kun je berekenen wat bedekt zal worden met sneeuw en wat niet.

In mindere mate geldt hetzelfde eigenlijk ook voor lichteffecten; bij een zonsondergang is het natuurlijk niet voldoende om de kleur van het licht te veranderen. Je moet ook aan de gang met de schaduwen en daarvoor moet je weten waar de zon staat in het plaatje.

Kortom, redelijk indrukwekkende resultaten, maar handmatig kan het natuurlijk veel beter. Automatische analyse van een plaatje is toch veel minder nauwkeurig dan inspectie door een mens. Mensen kunnen een plaatje voorlopig nog veel beter interpreteren in 3 dimensies.

[Verwijderd]

Klopt ja. De sneeuw is een lastige en hiervoor zou een pc een afbeelding nog veel beter moeten 'begrijpen'. Een mens kan dit veel makkelijker inderdaad.

Maar de manier waarop ze dit opbouwen, daar zie ik wel wat in. Ik zie wel voor me dat Google over 10 jaar dit bij de afbeeldingen zoekfunctie heeft toegevoegd. Mocht je niet de geschikte afbeelding vinden type je er 'more ...' achter.