Adobe toont technologie om algoritme zwart-witafbeeldingen in te laten kleuren

Adobe heeft op de eigen MAX-conferentie een technologie getoond om snel afbeeldingen met alleen grijstinten in te kleuren. Het gebruikt daarvoor een neuraal netwerk om te gokken welke kleuren het meest voor de hand liggen.

Het neurale netwerk is getraind om gezichten en veelvoorkomende objecten te herkennen en daar de meest logische kleuren aan te koppelen. Bovendien kan hij texturen en schaduwen in de afbeelding schatten en de kleuren daarop aanpassen, schrijft 9to5 Mac.

Het inkleuren van een zwart-witafbeelding met de functie, die Scribbler heet, kost daardoor enkele seconden. Het inkleuren van dergelijke afbeeldingen kost een mens een veel langere periode. Het is onbekend hoe mensen het resultaat van het inkleuren beoordelen en of de software bijvoorbeeld veel fouten maakt.

Scribbler is vooralsnog een standalone-demo zonder integratie in een Adobe-programma. Het maakt gebruik van Adobe's Sensei-platform voor neurale netwerken. Het is onbekend of en wanneer het softwarebedrijf de functie in een programma gaat aanbieden.

Reacties (34)

[delphium]

Ik heb ongeveer een jaar geleden even gespeeld met dit op Torch gebaseerde neurale netwerk.
https://github.com/satoshiiizuka/siggraph2016_colorization
Het is helemaal open source en de resultaten zijn erg goed. Ik vraag me af of Adobe zich hierdoor heeft laten inspireren.

[ayse]

Ja, heeft Tweakers hier niet al eens over bericht? Was er toen niet een gast die een film heeft ingekleurd met het torch project?
Zo'n neuraal netwerk werkt verbazend wekkend goed. Het blijven natuurlijk interpretaties. Het systeem weet niet echt de kleur van de trui, het huis of de muur. Maar bij mijn opa's en oma's hebben de ingekleurde foto's wel een sentimentele reactie opgewekt.

[TlighT]

Op Reddit hangt al ruim een jaar een bot rond die zwartwit foto's inkleurt: https://www.reddit.com/r/BestOfColorizeBot/.

Deze is gebaseerd op http://richzhang.github.io/colorization/.

[Ozzy]

En om de meeste wetenschappers te herhalen: Dit is wetenschap, dit is wat de mensheid vooruit brengt, paden openen die voorheen niet eens bekend waren.

En om de meeste CEOs te herhalen: consumenten betalen hier voor om die oude fotos van hun jeugd, overleden familie en andere geschiedenis in te kleuren.

En om de meeste Tweakers te herhalen: Leuk staaltje coole shit, gewoon, omdat het kan.

[cyble]

En om filmproducenten te herhalen: het inkleuren van 12 tot 30 frames per seconde kan zonder menselijke tussenkomst geautomatiseerd worden ingekleurd. Wat het omzetten van historisch materiaal een stuk goedkoper maakt.

En om een defensiemedewerker te herhalen: we kunnen zo nachtzichtopnames die altijd zwart/wit zijn snel omzetten naar kleuropnames om snel een beter inzicht te krijgen hoe de omgeving er uit ziet wanneer we er daadwerkelijk zijn (dus ter bevordering van orientatie).

[Reactie gewijzigd door cyble op 27 juli 2024 00:47]

[jqv]

Als het goed werkt, dan kan oud materiaal van afbeeldingen en films ingekleurd worden.

Net als ze met de film "The Longest Dat hebben gedaan. Je weet wel die film over de eerste dag van de invasie van Europa door de geallieerden. 6 juni 1944.
Maar dan zonder dat een deel van de wolken ook groen worden.

[mjtdevries]

Je bedoelt die film die heel bewust in zwart wit gemaakt is, toen kleur al normaal was in de film wereld?

Moet je je voorstellen dat ze Schindler's list met deze software gaan inkleuren...

[jqv]

Schindlers list is niet volledig in grijstinten in de bios verschenen. De film heeft een extra kleur.

Rood...

[mjtdevries]

Met de eerste regel van mijn reactie doelde ik op "The Longest Day"

[MrAndy9797]

Nou, een beetje logisch nadenken en je kan dat zelf ook wel bedenken, niet?

Vele mogelijkheden zoals automatisatie zonder menselijke tussenkomst, kostenbesparing, ... Anders kan je gelijk stellen 'wat is het nut van een bewakingscamera' als je er even goed een persoon op kunt zetten? Je kan de tijd in andere dingen steken en de kwaliteit van het geleverde werk gaat erop vooruit. Je kan meer dingen gedaan krijgen op korte tijd, ...

Slechts 1 voorbeeld. Verder zal de toekomst ook dat wel uitwijzen. Bovendien gaat het vaak niet om het nu gepresteerde resultaat, maar wel om de kennis en achtergrond die hieruit gehaald kan worden voor de 'next level things'.

[AJediIAm]

Niet zo zwart-wit denken

Het lijkt me best handig om oude foto's (meer) kleur te geven. Zo kan je oude en nieuwe beelden beter naast elkaar zetten en vergelijken. Ook ziet kleur er beter uit voor in een geschiedenis boek (al moet je uitkijken dat de kids niet gaan denken dat ze 100 jaar geleden al selfies hadden...)

[Kain_niaK]

Het kan zeker helpen bij het digitaal inkleuren van oude zwart wit foto's waar geen kleur variant van bestaat.

Bekijk dit 7 minuten durende Vox filmpje maar eens --> https://www.youtube.com/watch?v=vubuBrcAwtY

Dit is bijvoorbeeld zo'n ingekleurde foto waar de echte foto alleen maar zwart wit is --> https://i.imgur.com/LuZizpt.jpg

En dat geeft toch een heel ander gevoel dan het zwart wit orgineel --> https://i.pinimg.com/736x...tt-montgomery-alabama.jpg

Nu is het inkleuren van zo een foto en dan de kleuren ook allemaal juist hebben natuurlijk een hele klus. Moet je dus de geschiedenis in gaan om er achter te komen welke kleur ogen een persoon had. Dat laat dat Vox filmpje zien. Maar software kan dus helpen om het process allemaal wat sneller te maken. Dan de software je een ruwe schets versie geeft die je dan handmatig beter maakt. Ook zou het leuk zijn voor photoshop gebruikers om er mee te spelen. Neem een foto, verwijder te kleur. Gebruik het algoritme en kijk wat de computer er van maakt. Nog een leuke. Maak een scan van een kleur plaat, kan de computer binnen de lijntjes kleuren? Het is gewoon leuk dit soort algoritmes. En er zal altijd wel een toepassing voor gevonden worden. Zo een foto historisch correct inkleuren is al een hoop werk, maar wat dacht je van een hele zwart wit film aan 24 foto's per seconde? Dan kan de computer natuurlijk gigantisch helpen.

[Glopes]

Ik vraag me dan af of er echt helemaal niets in je op komt.

[MsG]

Waarom wordt elke innovatie altijd door dit soort kleindenkerige opmerkingen neergehaald hier? Chronisch gebrek aan visie binnen het IT-personeel?

Het lijkt me sowieso al praktisch om vanuit een zwart-wit-schets een bepaald interieur op diverse manieren te laten invullen, wat wellicht ook weer inspiratie op kan doen. Bijvoorbeeld iets voor IKEA. Maar alleen al voor de werking van machine learning interessante wetenschap.

[MrAndy9797]

Bovendien kan hij texturen en schaduwen in de afbeelding ook inschatten en het kleuren daarop aanpassen

Je zou bijna kunnen stellen dat de technologie in staat is om van een platte tekening een 3D-object te kunnen maken. Dat schept ook al weer heel wat mogelijkheden. Ben best gefacineerd met wat allemaal mogelijk wordt tegenwoordig (en in de toekomst).

[Reactie gewijzigd door MrAndy9797 op 27 juli 2024 00:47]

[iAR]

Dat is inderdaad impressive. Aan de andere kant vind ik al dat algoritme generated content ook wel 'eng'. Hoewel het in theorie de nieuwe photoshop is kun je mensen op video iets laten zeggen dat ze niet hebben gezegd. En aan de andere kant worden er aannames gedaan op basis van algoritmes die er niet zijn of niet bij de waarheid liggen. Die nemen we over het algemeen wél zo aan. Een voorbeeld is 't bias van big data.

[feranderd]

Heel knap idd. Nu zie je nog wel dat er fouten insluipen die een mens nooit zou doen zoals het enorme kussen dat onder het bed lijkt te liggen, maar het ligt voor de hand dat dit beter wordt.

Eng is idd dan fake news hiermee gewoon automatisch gegenereerd kan worden inclusief afbeeldingen. Hetzelfde geldt voor gevoel foto's en video's. Als zoiets viral gaat is een achteraf bevestiging dat iets vals is te laat omdat het kwaad dan al geschied is.

[pim]

Ik zag pas deze videos, van een zwart-wit video die was ingekleurd met een zelfde soort techniek.
Niet foutloos, maar daar komt vast verbetering in.
Beatles: https://www.youtube.com/watch?v=tWdaMKKH5MI
King Kong: https://www.youtube.com/watch?v=R0UHDcdT75k

[ard1998]

afijn, daar de pret van het inkleuren van kleurplaten

[ajbu]

Mooi dat als dit in bv Photoshop gebruikt kan worden. Er wordt al een tijdje geëxperimenteerd met neurale netwerken voor foto bewerking. Een uitgebreid artikel met uitleg van zo’n neural network om foto’s in te kleuren en hoe het zelf te bouwen met Floyd:
https://blog.floydhub.com...tos-with-neural-networks/
Online demo van een soortgelijk project: http://demos.algorithmia.com/colorize-photos/ Hier kan je een zwart/wit foto uploaden en het gekleurde resultaat zien

[Reactie gewijzigd door ajbu op 27 juli 2024 00:47]

[ATS]

Waar lees je dat dit in photoshop komt?

[majetta]

Hopelijk kan die wel onderscheid maken tussen verschillende huidskleuren, anders heb je straks weer een rel en aantijgingen dat adobe nu racistisch is.

[thomas.vantuijl]

[novasurp]

Ik zou graag een paar voorbeelden zien van

Kleurfoto ➡ Zwartwitfoto ➡ Ingekleurde foto

want dan weet je hoe accuraat het is.

[pim]

Je kunt sommige kleuren echt alleen maar raden. Zoals een kleurpotloot.. Het kan elke kleur zijn.

[koelpasta]

Ik ben benieuwd, zijn mensen niet bang voor geschiedvervalsing?
Dat we oude foto's gaan inkleuren en later gaan denken dat die gefabriceerde kleuren er echt waren?