Microsoft werkt aan software om schokkerige actievideo's soepel te krijgen

Microsoft werkt aan software om schokkerige timelapsevideo's die bijvoorbeeld tijdens sportactiviteiten zijn genomen te converteren naar soepel lopende actiebeelden. De zogeheten Hyperlapse-technologie moet onder andere beschikbaar komen in een Windows-applicatie.

Actiebeelden die geschoten zijn met bijvoorbeeld een GoPro-helmcamera en in een zogeheten timelapse versneld worden afgespeeld, hebben veelal een schokkerige video tot resultaat. Het toepassen van traditionele videoalgoritmen op de beelden, zoals beeld- en tijdstabilisatie, hebben weinig tot geen positieve impact. Microsoft Research stelt echter dat zij met hun zelfontwikkelde Hyperlapse-software, dat een aantal specifiek ontwikkelde algoritmen bevat, alsnog soepel lopende timelapses kan genereren

De ontwikkelaars van Microsoft gebruiken drie stappen om de schokkerige beelden te corrigeren. In de reconstructiefase wordt een 3d-model gegenereerd op basis van de videobeelden. Vervolgens wordt in de tweede fase door algoritmen een soepel lopend pad gegenereerd. Daarbij wordt op basis van meerdere frames een nieuw frame gegenereerd. Vervolgens wordt in een laatste stap het bronmateriaal gerenderd tot een nieuwe video.

Een demonstratievideo van Microsoft Research toont een testversie van de Hyperlapse-software. De beelden zijn aanmerkelijker soepeler dan het origineel, al maken de algoritmes zo nu en dan nog foutjes waardoor 'pop-ups' ontstaan. Uiteindelijk wil Microsoft een app voor Windows gaan uitbrengen die gebruikmaakt van de Hyperlapse-technologie, al is nog onduidelijk wanneer deze beschikbaar zal komen.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (66)

[tomwerf]

Dit lijkt een beetje op een verbeterde versie van de Warp Stabilizer van Adobe Premiere: http://tv.adobe.com/watch/learn-premiere-pro-cs6/warp-stabilizer/
Volgens mijn heeft Final Cut Pro ook zo'n functie.
Echter zoomt Adobe Premiere de film iets in om missende beeldinformatie aan de rand van de film op te vangen.
Zo te zien rendered Microsoft aan de hand van de omliggende beelden de missende beeldinformatie.
Dat ziet er leuk uit, maar volgens mij gaat dit alleen bij timelapse werken en niet bij 'gewone' video.

[hfos]

"Echter zoomt Adobe Premiere de film iets in om missende beeldinformatie aan de rand van de film op te vangen."
Warp Stabilizer heeft verschillende settings, waar dit er één van is. Als je voor 'Synthesize Edges' kiest probeert hij aan de hand van beschikbare data de gaten te vullen.

[Daeley]

Dat ziet er leuk uit, maar volgens mij gaat dit alleen bij timelapse werken en niet bij 'gewone' video.

Dat is ook niet de bedoeling. De applicatie is specifiek timelapse.

[Reactie gewijzigd door Daeley op 23 juli 2024 13:29]

[Verwijderd]

Dit is eventueel mogelijk als de bron film op 60fps is en de output maar 24fps

[hiostu]

Nee, want het gaat om beeld dat ontbreekt binnen 1 frame, doordat een frame gedraaid wordt . Hierdoor ontstaan er zwarte vlakken die de software op moet vullen. Dat heeft niets met framerate te maken.

[Cerebriform]

Wauw indrukwekkend, stuk mooier dan de stabilisatie van youtube. De mensen van dat nieuwsbericht van vorige week waarin ze geluid reconstrueren uit de beelden van een video hebben iets vergelijkbaars gedaan in het verleden. Ook interessant om te bekijken!

Vraag me af in welke stad dat wandel filmpje is opgenomen, ziet er Europeser uit dan ik me Redmond voorstel bijvoorbeeld.

[Lisadr]

Het is opgenomen in Altona, Hamburg, Duitsland.

http://en.wikipedia.org/wiki/Altona,_Hamburg

[Reactie gewijzigd door Lisadr op 23 juli 2024 13:29]

[Cerebriform]

Ah thanks. Je ziet meteen het gemeentehuis uit het filmpje op de wikipedia site inderdaad.

[HyperioN]

Klopt, rond 05:20 zie je een Mediamarkt en wat lijkt op een Lidl. Dat samen met de witte kentekens, vermoed ik een stad in Duitsland.

Edit; @Lisadr klopt precies inderdaad.
Street view:
https://www.google.nl/map...GaK8Cm-vx_bbw!2e0!6m1!1e1

[Reactie gewijzigd door HyperioN op 23 juli 2024 13:29]

[afraca]

Je hoort ook duidelijk een Duits accent gedurende het filmpje. Microsoft Research zit op heel wat plekken in de wereld: http://research.microsoft.com/en-us/labs/ . 6 van de labs zitten in USA, ongeveer de helft van op die website. Onderzoekers zijn daarnaast ook wel mobiel, dus ik vermoed dat een onderzoeker tijdens een werkbezoek in Hamburg wat opgenomen heeft, of een privé-video beschikbaar heeft gesteld

[D-TECH]

Holy! De video is erg indrukwekkend. Maar als ik de technologie erachter lees is het wel erg intensief om te maken, zal wel lang duren voordat het gerendered is, en als ik ergens een hekel aan heb...

[Reactie gewijzigd door D-TECH op 23 juli 2024 13:29]

[Verwijderd]

Volgens hun eigen paper ca. Drie en een half uur op niet gespecificeerde hardware (ik gok geen mobieltje). Volgens dezelfe papers hebben ze al wel ideeen over manieren om het systeem flink te versnellen.

Linkje naar de paper: http://doi.acm.org/10.1145/2601097.2601195

[M.l.]

Ik had het vermoeden al, maar nu ik dit lees heb ik echt het idee dat het nogal is geinspireerd op PTAMM.

[M-Opensource]

Toch geeft Microsoft aan dat ze het beschikbaar willen maken als app voor Windows Phone. Als ze die rendering op een telefoon kunnen doen, dan zal het toch meevallen denk ik? Zou best mooie tech zijn als dat lukt.

[Fireshade]

Op Windows Phone zou het prima op hun eigen OneDrive servers kunnen worden gerenderd. 'Normaal' worden je videoclips daarheen gesynchroniseerd, en dan is het op je Windows Phone een kwestie van de opdracht geven voor de rendering op Microsofts servers.
M.a.w. de rendering hoeft niet door je telefoon zelf gedaan te worden.

Het is inderdaad een indrukwekkend staaltje van beeldverwerking.
Die demo van die bergen deed me wel wat denken aan games waarbij details in de verte pas ingevuld worden als het in beeld komt. Daar werken ze nog aan, maar het geeft aan hoeveel info er 'bijgeplakt' wordt in het uiteindelijk resultaat.

@ ronaldmathies: ja dat zeg ik

[Reactie gewijzigd door Fireshade op 23 juli 2024 13:29]

[ronaldmathies]

Dit gaat niet gebeuren op een windows phone zelf maar je zal de film eerder moeten uploaden. Ditzelfde zag je by hun panorama app ( niet de photo app op windows phone maar hun Sphere photo app), die moest ook eerst uploaden voordat je een 360 sphere photo kon maken.

Dit ziet er zeer berekenings intensief uit, normale manier van schokken eruit halen kost al veel processor kracht, laat staan om dit uit te voeren.

[Caelorum]

Aan de andere kant doet hun photosynth app het wel gewoon op de telefoons, zowel iphones als Windows Phone. Of iig bij WP is dat het geval, want ik kon midden in de bergen zonder bereik prima zo'n synth maken
Het is best mogelijk om dit soort dingen op een telefoon te doen, zolang de gebruiker bereid is een tijdje te wachten. Een goede photosynth van een foto of 50 duurt ook een eeuwigheid kan ik je zeggen

[Reactie gewijzigd door Caelorum op 23 juli 2024 13:29]

[King4589]

er staat app voor windows, in windows 8.1 noemen ze alle applicaties app. zelfs taakbeheer.. dus kan het ook voor de desktop bedoeld zijn.

[Verwijderd]

- edit -
Dubbel gepost, zie hieronder

[Reactie gewijzigd door Verwijderd op 23 juli 2024 13:29]

[Capa]

Je ziet bij dat bergbeklimmen wel goed hoe het werkt, je ziet het 3D model opgebouwd worden op de rotsen.
Het werkt veel beter als die "stabilisatie" die je wel eens op youtube ziet, waarbij 25% van je video gewoon wordt weg geknipt om het beeld in het midden te houden.

[Morrar]

Met huidige plugins kun je inmiddels ook wel beeld laten vullen als je dat wilt (o.a. Deshaker in VirtualDub). Probleem is echter dat er beeldmateriaal gecreerd moet worden om de gaten op te vangen die door verplaatsing zijn ontstaan. Daarvoor kun je natuurlijk kijken naar de frames die vooraf gaan aan een bepaald frame of die er op volgen. Dat is echter niet ideaal, omdat er meer dingen kunnen veranderen zoals perspectief.

Dat probleem heeft MS dus heel knap opgelost door een 3D-model te maken van de situatie. Dat hebben ze erg knap gedaan moet ik zeggen, en het ziet er echt netjes uit. Echter, het is niet het enige probleem wat je hebt met het invullen van beeld.

Als je bijvoorbeeld naar die klimvideo kijkt, zie je soms een hand in beeld en dan weer niet. Vooral als je verschillende beelden gaat combineren, krijg je daar problemen mee. Je zou dan eigenlijk nog een algoritme toe moeten voegen dat zulke (snel) bewegende objecten goed afhandelt of wegfilterd. Op zich moet dat wel kunnen; je hebt nu ook software die mensen weg kan poetsen door meerdere foto's van dezelfde scene te gebruiken. De vraag wordt dan alleen wel welke dingen weg kunnen en welke niet.

Erg interessant concept en hopelijk gaan ze er nog verder aan sleutelen!

[Reactie gewijzigd door Morrar op 23 juli 2024 13:29]

[ariekanari]

Als je bijvoorbeeld naar die klimvideo kijkt, zie je soms een hand in beeld en dan weer niet. Vooral als je verschillende beelden gaat combineren, krijg je daar problemen mee. Je zou dan eigenlijk nog een algoritme toe moeten voegen dat zulke (snel) bewegende objecten goed afhandelt of wegfilterd.

In de video rept Miscrosoft kort iets over verkeerslichten die plots van kleur verspringen en dat ze dergelijke onregelmatigheden proberen op te vangen/te corrigeren. Lijkt mij min of meer vergelijkbaar met het 'hand-in-beeldprobleem' in een klimvideo.
Maar de methode om dit soort zaken te ondervangen werkt kennelijk nog niet goed.

Het lijkt mij een interessante techniek die zeker nog verder doorontwikkeld moet worden. Het ziet er allemaal veelbelovend uit.

[Reactie gewijzigd door ariekanari op 23 juli 2024 13:29]

[Kars]

Het is en blijft natuurlijk een timelapse video.

Wat mij opvalt is dat ze een timelapse maken van een bestaande video, niet van verschillende foto's. Dat is namelijk de manier waarop ik ze maak (interval van 1 sec, zodat ik timelapses van 60fps kan maken).

Ik ben benieuwd hoe het er dan uit zou zien.

[runelaenen]

Wow. Hebben Smartphones wel genoeg renderkracht om zoiets te maken?

[mOrPhie]

Ik denk dat daar Cloud-rekenkracht voor wordt ingezet.

[Dark Angel 58]

Ik denk dat daar Cloud-rekenkracht voor wordt ingezet.

dat klopt, dat denk ik ook, anders duurt het bij ons daaaaaagen

[M.l.]

Waarschijnlijk word het wel cloud. Niet omdat onze computers dat niet aan zouden kunnen, maar omdat "clouds" (wat een buzzword is voor groepen servers op internet) van grote bedrijven zijn en liever diensten verlenen dan softwarelicenties.
Vergelijkbare techniek is er al een tijdje, maar het is niet echt een voor de hand liggende keuze voor een normale gebruiker.
Microsoft heeft er geld voor om dit soort kunstjes te implementeren in verleenbare diensten en kan er zo weer aan verdienen.

Overigens hoef je een filmpje maar een keer te verbeteren en niet iedere keer als je afspeelt, alleen als je dus een nieuwe video hebt is het misschien gewenst om het te verbeteren. Ik kan me moeilijk indenken dat een gemiddelde gebruiker per dag meer filmt dan dat zijn pc aan kan. Het hoeft echt geen dagen te duren denk ik, tenzij je het probeert op een smartphone

[Yoozer]

Je zou natuurlijk ook de video even kunnen uploaden naar OneDrive waarna Azure zich er even in vastbijt. Als het uploaden-, processen en weer downloaden sneller gaat dan native processing is dat de moeite waard

[Mavamaarten]

Nee. De dingen die in de demo-video worden getoond zijn erg CPU en GPU-intensief. Zoiets gaat voor het eerst niet op smartphones gebeuren. Waarschijnlijk zal je video naar servers van Microsoft worden geupload, waar het eigenlijke werk gebeurt.

[Dark Angel 58]

Wow. Hebben Smartphones wel genoeg renderkracht om zoiets te maken?

zeker niet... de servers van microsoft wel.

[DaanHetEendje]

Mijn 330 euro telefoon heeft een 2.3GHz quadcore hoor

[runelaenen]

Mijn laptop heeft wel een fatsoenlijke gpu maar videoprocessing met wat effectjes is traag, no matter what.

[hiostu]

Aantal hz en cores zegt niets over de performance.

[ruurd v.]

Ziet er zeker slick uit!

Die bewegingen doen me alleen enorm denken aan een 1st person computer game. En dat terwijl er in games alles aan gedaan wordt om de natuurlijke camera beweging na te bootsen..

[jaapio88]

Helemaal als je gaat kijken naar de lopende mensen aan het einden. Die lijken bijna over de weg te zweven. Wat natuurlijk ook kan komen door dat je zelf niet eens zo'n stabiel beeld kunt zien wanneer je loopt.

[doltishDuke]

Dat heeft er denk ik meer mee te maken dat je de net steeds het frame te pakken hebt van vlak voor het einde van de stap. Zelfde effect wanneer je een snel draaiend wiel filmt. Dat lijkt stil te staan of achteruit te draaien. Gewoon een kwestie van het timen van frames.

Prachtig mooie technologie trouwens, zeer indrukwekkend!

[LOTG]

Het is dan wel ook een timelapse video, in games wil je juist dat het in realtime loopt. Je ziet dan ook dat zo'n 10x timelapse erg schokkerig is, terwijl het in realtime natuurlijk aan voelt.

Er indrukwekkende technologie die inderdaad een stuk beter werkt dan die stabilisatie waar gewoon beeld word weggelaten.

Als ze de kleur correctie ook nog goed krijgen en de popin wat bijwerken dan kan dit wel eens erg populair worden voor dit soort timelapses. Stuk goedkoper dan een stabilisatie systeem voor je GoPro denk ik.

[zonoskar]

Hoewel het een mooi effect geeft, en ik een zeer tevreden gebruiker ben van een Windows Phone. Waarom een WP app? Ik neem aan dat je best wel wat rendering power nodig hebt om zo'n filmpje te maken, dat ga je toch niet op je telefoon doen? Zeker niet als het bronmateriaal van een GoPro komt. Echt een onzinnige app als je het mij vraagt. Gewoon voor Windows uitbrengen en in Windows Moviemaker integreren lijkt me een betere keuze.

[Relief2009]

Er staat Windows app.

[zonoskar]

Dat stond er vanmorgen nog niet, toen stond er Windows Phone app. Leek me ook al vreemd.

[waktak]

Why not both?

[Verwijderd]

Dit lijkt mij overigens een hele nuttige feature / toepassing voor Google Glass.
Je maakt een kort en bondig overzicht van een langere tijd.

[Verwijderd]

Dan zal Google flink moeten lappen voor de patenten aan MSFT.

[Verwijderd]

Overigens denk ik dat zoiets dan wel een stuk intelligenter/efficienter kan.
Denk aan de hand van positie / kijkhoek bijhouden wanneer er een goede foto genomen moet worden. Idee voor Google !

Edit: Met de know-how van street-mapping moeten ze trouwens al wel een eind komen...

[Reactie gewijzigd door Verwijderd op 23 juli 2024 13:29]

[TunefulDJ_Mike]

Dit doen ze nadat het materiaal gemaakt is, niet tijdens

[ATS]

Klopt, maar als je informatie over locatie, kijkrichting, snelheid e.d. al direct per frame incodeert in de opgenomen video, dan kan het resultaat wellicht veel beter worden dan wanneer je dat eerst moet afleiden uit de beelden zelf zoals ze nu doen.

[Reactie gewijzigd door ATS op 23 juli 2024 13:29]

[8mile13]

Te veel ''motion smoothing'' voor mijn smaak. Het lijkt erg veel op Motion Interpolation wat ze bij LCd's doen.

[ATS]

Het lijkt me dat de hoeveelheid smoothing wel als een parameter in te stellen zal zijn bij het bepalen van het te volgen pad.

[analogworm]

Erg gave technologie