Microsoft toont manier om video te editen via 'uitgevouwen' 2d-beelden

De onderzoeksafdeling van Microsoft heeft op de Siggraph 2008, een conferentie voor grafische effecten, een methode gepubliceerd voor het bewerken van video via een zogeheten 'unwrap mosaic'.

Het bewerken van 3d-beelden is relatief simpel als een 3d-model en bijbehorende texturen voorhanden zijn. Bij opgenomen videobeelden bestaat die luxe niet, en moet worden teruggegrepen op automatische herkenning van visuele kenmerken in een video. Microsoft heeft op de Siggraph hiervoor een nieuwe technologie getoond.

Door per beeld in een videoscene te kijken naar 2d-transformaties van beeldpunten, kan een 'uitgevouwen' textuur van een object of persoon in de video worden verkregen. Op deze twee-dimensionale textuur kunnen dan grafische bewerkingen worden uitgevoerd, waarna de videoscene met de grafische aanpassingen weer in elkaar kan worden gezet. Zo is het bijvoorbeeld mogelijk om een gezicht te voorzien van extra dikke wenkbrauwen of een snor, kan een object verkleind of vergroot worden zonder de achtergrond aan te passen en kunnen additionele objecten in een videoscene worden 'geplakt'. Dit alles zónder het 3d-model van het object of gezicht te reconstrueren.

Deze 'unwrap mosaic'-technologie heeft als voordeel boven huidige technieken dat ook delen van een object, die in enkele beelden van een videoscene aan het oog worden onttrokken, de textuuropbouw niet verstoren. De onderzoekers erkennen dat er ook nadelen kleven aan de techniek. Zo kan het rekenmodel nog geen zaken aan zoals motion blur, uitstekende delen van het object, en scherpe schaduwen.

Reacties (43)

[Verwijderd]

Scheelt een hoop renderen waarschijnlijk. Interessant voor de amateur en semi-professionele video editor lijkt mij, mede vanwege het gemak maar ook omdat je geen dikke computer(s) aan hoeft te schaffen. De vraag is: wordt dit op de termijn kwalitatief goed genoeg voor het professionele werk...

[Reactie gewijzigd door Verwijderd op 22 juli 2024 13:46]

[GC-Martijn]

kwaliteit of niet, microsoft laat een keer iets totaal (volgens mij niet gejat) nieuws zien.
(oke, ze hadden laatst ook die surface tafel en sphere ofzoiets)

[Verwijderd]

Idd, verbaasd me dat dit van MS komt, alhoewel het PhotoSynth wat ze hebben is ook technologie die ze gekocht hebben. Zo zal dit ook 'ergens' vanaf komen... Dit zal wel in MovieMaker 23 zitten

[PWM]

Sinds wanneer is Photosynth gekocht? Volgens mij is dat een samenwerking tussen MS en een Universiteit. Seadragon is ook mooi spul, evenals de Surface tafel

Dit is trouwens een link naar een kleine videouitleg: http://research.microsoft.com/unwrap/rkrf_short.wmv

[Reactie gewijzigd door PWM op 22 juli 2024 13:46]

[Verwijderd]

Seadragon is de engine achter PhotoSynth...

Net filmpje van de website gekeken. DAMN, dit is echt een mooie techniek!

[bavanandel]

Seadragon is de engine achter PhotoSynth...

Nou, Seadragon is maar een deel van PhotoSynth. Het wordt gebruikt voor de streaming van de foto's, maar de rest van PhotoSynth - de virtuele tour en de opbouw daarvan achter de schermen - is inderdaad een samenwerking tussen MS en de Universiteit van Washington.

Channel 9 (MSDN): MS Acquiring Revolutionary Hi Tech Imaging Start Up

Microsoft is acquiring Seadragon Software, a Seattle-based company developing technologies that could be used across several of the software giant's businesses, including Web search, cellphone services, mapping and digital-photo programs.

Seadragon is dus door MS aangekocht. PhotoSynth niet.

[Reactie gewijzigd door bavanandel op 22 juli 2024 13:46]

[kiang]

Zeer mooi filmpje, bedankt om te posten

Het geeft iig een beter beeld dan de foto's, en ik moet zeggen dat ik onder de indruk ben van MS

[Carino]

zoals ook Apple doet ;-)

[Carino]

absoluut niet! ben groot fan van Apple... ben 't alleen een beetje zat dat MS altijd moet boeten als ze iets doen, terwijl Apple geprezen wordt als ze later 't zelfde doen ;-)

[Johnny]

Microsoft Research komt inderdaad wel regelmatig met nieuwe innovatieve concepten, het is alleen jammer dat die concepten vaak jarenlang alleen in "technology previews" worden gebruikt en niet in producten van Microsoft zelf terecht komen en door patenten zijn beschermd waardoor er niks mee gebeurd.

Als de mensen die PhotoSynth hadden bedacht in een eigen bedrijf zouden hebben zou er waarschijnlijk al lang een product op de markt zijn gebracht op basis van de technologie.

[Verwijderd]

Ik zou daar niet te zeker van zijn. Het zou ook heel goed kunnen dat het bedrijf de release van een echt product niet haalt en voor die tijd al het geld er door jaagt in de research fase.

Vervolgens blijft zo'n geestelijk vader dan 15 jaar boven op zijn patent zitten in de hoop dat ie er zelf later alsnog een gouden toekomst mee kan krijgen. In zo'n geval is het maar te hopen dat zo iemand zijn patent aan een groot bedrijf verkoopt, die er in ieder geval IETS mee kunnen gaan doen.

[arjankoole]

kwaliteit of niet, microsoft laat een keer iets totaal (volgens mij niet gejat) nieuws zien.
(oke, ze hadden laatst ook die surface tafel en sphere ofzoiets)

Hate to burst your bubble: maar ik heb een soortgelijke unwrap methodiek al veel eerder gezien, ik kan me alleen niet herinneren waar precies, en of dat zuiver 2D was.

Die surface en spere waren inderdaad inovatief voor zover ik weet, en echt zoiets waarvan Apple best eens gezegt kan hebben: "why didn't we come up with that?". Alhoewel ik nog maar moet zien dat zoiets echt mainstream wordt, ik zie de toepassingen ervoor wel.

[Dakreal]

De welbekende Round table bedoel je kennelijk?

[Verwijderd]

Round table is een videoconferencing techniek met automatische camera. Hij bedoelt wel degelijk Surface.

[ArchNemeziz]

Euh volgens mij kon je dit ook al met de editors in NBA Live series. Zulke foto's kon je al maken om zelf je eigen persoon te creeeren.

[Verwijderd]

Het gaat hier niet om een texture die over een model geplakt wordt.
Het gaat hier om een 3d texture the maken uit 2d beelden, deze texture kan je vervolgens photoshoppen om vervolgens deze weer te over de 2d beelden te legen.

Met andere woorden, je kan iemands uitelijk of dat van een auto, gebouw vluigtuig etc veranderen als je dat wilt zonder dure CGI technieken te gebruiken.

NBA Live has nothing to do with this!

[SSH]

Wat is kwalitatief goed genoeg?

Een specifiek voorbeeld gebruikte maskers gemaakt in moeders oven, die er alles behalve professioneel uit zagen. Deze regisseur werd vervolgens wel gevraagd om werelds duurste productie te maken.

Veel mensen vinden Lord of the Rings de beste films allertijden. Persoonlijk vond ik de films van deze regisseur (Peter Jackson) zonder budget (Bad Taste, Braindead) veel briljanter.

[Randfiguur]

Misschien maak ik me schuldig aan pixeln**ken, maar ik vraag me bij bovenstaande voorbeeldafbeelding af hoe de beeldinformatie van de (voor ons) linkerkant van het gezicht verkregen wordt. De binnenkant van het oor is niet zichtbaar op de 'frontale' foto, en lijkt niet gebaseerd te zijn op het andere, beter zichtbare oor.

Dus de "Unwrap mosaic" is niet puur het resultaat van de "Two input video frames". Er moet handmatig wat bijgetekend zijn, lijkt me.

[bl0m5t3r]

kijk even op de pagina van de bron, en het eerste gif animatietje maakt het helemaal duidelijk voor je.

de "unwrap" is verkregen van een filmpje, niet puur van 2 frames.

ook lees ik hierboven commentaren over games (dtech & flark), daar heb je natuurlijk altijd de 3d modellen bij de hand en hebben we het over de een texture plaatsen op een 3d object. Bij deze technologie word er juist een losse texture gecreëerd van een niet voorhanden 3d object, die wordt virtueel uit de video getrokken door beeld herkenning.

verder wil ik nog kwijt dat er nergens iets over kwaliteit van de technologie wordt gerept, dit hoeft zeker niet noodzakelijk voor consumenten/amateurs te zijn. Ik zie deze technologie best opgenomen worden in professionele software, denk aan een flame/flint/inferno of meer voor de pro pc gebruiker after effects. Het is tenslotte op siggraph gepresenteerd, een beurs voor de pro's.

al met al vind ik het een erg interessante technologie, en ik hoop hem dan op termijn ook echt in pro software tegen te komen. Het zou een hoop masker,frame painting en ander vervelend frame-by-frame werk uit handen kunnen nemen.

[BramT]

Je hebt gelijk denk ik. Het lijkt er op dat de unwrap in ieder geval niet is gebaseerd op de getoonde 2 input-frames... Doet verder niets af aan de mogelijkheden van deze techniek hoor

[dtech]

Slim, maar volgens mij ben ik al eeuwen geleden zoiets tegen gekomen. Ik had jaren geleden Face Factory voor The Sims (1). Deed ook zoiets. Foto'tje van de voor- en zijkant en die plakte die dan op een hoofdje.:P
Natuurlijk is dit veel geavanceerder, maar het idee is hetzelfde

[Soultaker]

De techniek om een 2D texture op een 3D model te plakken, bestaat inderdaad al jaren (en wordt in vrijwel alle games gebruikt). Dat werkt prima, maar alleen als je al het 3D model hebt! Het nieuwtje van deze techniek zit 'm er juist in om op basis van uitsluitend 2D videobeelden uit te zoeken hoe de uitgeklapte texture eruit hoort te zien, zoals de nieuwspost ook zegt zónder het 3d-model van het object of gezicht te reconstrueren.

[Nico Klus]

Je hebt toch ook geen 3D model nodig als je geen uitstekende delen bij tekend?
Als het nou ook werkte als je iemand een feestneus opzette zou het revolutionair zijn.Nu lijkt het mij een beetje flauw. Bijna te vergelijken met het inkleuren van oude zwart-wit filmpjes.

Ook ben ik benieuw hoe deze techniek zich houd in films waarbj niet altijd vanuit het zelfde horizontale vlak owrdt gefilmd. De unwrap zou dan dus ook meer van de boven en onderkant van het gezicht moeten laten zien lijkt me. Hoe plakt je dat da netjes aan de zijkant van het gezicht? Dan moet je wel gaan 'stretchen' waardoor je bijgetekende effecten 'geschrikt' worden op de film.

[Reactie gewijzigd door Nico Klus op 22 juli 2024 13:46]

[Verwijderd]

Als iemand perfect stilstaat dan heb je deze techniek niet nodig, als iemand draait en het licht veranderd omdat hij dit doet, dan is deze techniek toch zeker wel handig.

Of wil jij iedere frame met de hand gaan intekenen of 3d modelen gaan maken van die persoon?

[Reactie gewijzigd door Verwijderd op 22 juli 2024 13:46]

[flark]

Als ze dit nou eens in FPS-games stoppen, kan je tenminste gemakkelijk modellen voorzien van een "eigen uiterlijk" met maar 2 fotootjes...

[blackTIE]

Dat is in in principe al mogelijk via DigiMask, maar dat werkt via een andere technologie.

[albatross]

Hmm, lijkt leuk, maar zo'n uitgeklapt plaatje is uiteraard erg vertekend. Hoe wil je daar fatsoenlijk in gaan editen? De menselijke hersenen zijn nu eenmaal niet erg geschikt om dit soort beelden, real-time, weer eventjes terug te rekenen (of je moet voordurend heen en weer flippen tussen 2D en een 3D preview mode). Simpel gezegd: als je een wenkbrauw in wil tekenen, dan zul je dus bij het tekenen zelf al rekening moeten houden met de perspectivische vervorming. Good luck with that!

Wil niet zeggen dat er niks nuttigs mee te doen is, maar geeft m.i. wel aan waar de beperking zit.

[dtech]

Waarschijnlijk kan je ook editen in een 3D-window. Bovendien zit het gezicht relatief plat op een hoofd, dus valt de vertekening mee.
De ergste vertekening zal zijn op de lijnen aan de linkerkant van het linkerhoofd en de rechterkant van het rechteroog, daar zit de "vouw".

[Verwijderd]

Leuke techniek voor de consument
Word echter al jarenlang professioneel gebruikt bij USA overheidsdiensten voor gezicht reconstructie via ATM-machine, of traffic cams.. Oud nieuws dus

[mashell]

Die bewerken de 2D beelden die daar worden opgenomen in een vreemd tussen formaat en maken er daarna weer 2D beelden van die wel op de verdachte lijken?

[tinus73]

een beetje off-topic, maar bestaat er ook een tool om 3d-objecten te maken van 2 of meer foto's? Ik heb wel iets gevonden wat het met 2 kan, maar het is nog al beperkt. Ook heb je voor panorama's iets (autostitch) wat alles mooi automatisch aan elkaar lijmt. Maar bestaat zoiets ook om 3d-objecten te maken?

[xenonbyte]

tinus, Autodesk® ImageModeler™ is een goed 2d-naar-3d programma.
Programma is eerder op de markt gebracht door RealViz, dit bedrijf is nu onderdeel van Autodesk

[Death1ord]

Ik vermoed dat dit wel enige verbetering zal meebrengen alhoewel het bijna ziekmakend is om er lang naar te kijken

[Verwijderd]

Er zijn vast andere filmpjes beschikbaar die als voorbeeld kunnen dienen. Ik persoonlijk vind het smakeloos om iemand die notabene zelf joods is (maar ook niet joden), met Hitler te vergelijken.

Als je werkelijk dit als functioneel filmpje had willen gebruiken, had je erbij kunnen aangeven dat je je verder afkeert van wat het filmpje uitdraagt. Maar nee je refereert ook nog doodleuk aan de HUMOR van het filmpje.

Ik vind dit geen humor en de mensen die je hebben weggemod blijkbaar ook niet.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 13:46]

[Neko Koneko]

Mwoa, het is inmiddels meer dan een halve eeuw geleden. Hitler heeft veel slechte dingen gedaan, ja, maar om nu bij elk grapje dat erover gemaakt wordt te gaan jammeren vind ik ook overdreven.

Over Napoleon worden ook grapjes gemaakt in tekenfilms en dergelijke, dat was ook echt geen lieverdje. Er zijn zelfs snoepjes die de naam Napoleon dragen. Hoe lang nog voordat we Hitler en Stalin snoepjes kunnen kopen?

[Verwijderd]

Ik vind een grapje maken over Hitler niet erg. Ik vind het wel erg als je iemand op zo'n manier schoffeert door hem te vergelijken met Hitler... Hitler zelf kan me gestolen worden. Het is Steve die hier door het slijk gehaald wordt op een manier die ik walgelijk vind.

En als jij graag Hitler snoepjes wilt eten dan moet je dat helemaal zelf weten.

[MeMoRy]

zo... en ik probeerde je niet eens aan te vallen...