YouTube voegt rolling shutter-compensatie voor videouploads toe

YouTube heeft bij zijn online video-editor de optie toegevoegd om geüploade clips na het uploaden automatisch te ontdoen van zogeheten 'rolling shutter'-artefacten. Vooral video's geschoten met mobieltjes zullen hiervan profiteren.

Voor het verwijderen van rolling shutter-artefacten bij videouploads maakt Youtube gebruik van technologie ontwikkeld door Google Research. Deze werd in april dit jaar uit de doeken gedaan op de IEEE ICCP 2012-conferentie in een publicatie met de titel 'Calibration-Free Rolling Shutter Removal'.

Rolling Shutter treedt op bij cmos-beeldsensors doordat beeldlijnen een voor een uitgelezen worden. Bij horizontale bewegingen van de camera of van een onderwerp in beeld, kunnen bijvoorbeeld rechte lijnen er dan schuin uitzien in beeld. Vooral bij video's die met een smartphone zijn geschoten is dit 'jello-effect' goed zichtbaar.

De YouTube Editor biedt nu de mogelijkheid om video's te ontdoen van rolling shutter-effecten. Dit kan handmatig, maar de editor zal bij het uploaden ook zelf aanbieden de rolling shutter-compensatie toe te passen. Bijzonder van de technologie is dat er geen voorwetenschap van de gebruikte camera nodig is.

Het was al mogelijk om ongewenste camerabewegingen van hoge en lage frequentie te stabiliseren. Onderstaande video toont de beeldstabilisatie van verschillende smartphones waarbij bewegingen als gevolg van lopen en rolling shutter gecompenseerd worden.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (48)

[armageddon_2k1]

Rolling Shutter treedt op bij cmos-beeldsensors doordat beeldlijnen een voor een uitgelezen worden. Bij horizontale bewegingen van de camera of van een onderwerp in beeld, kunnen bijvoorbeeld rechte lijnen er dan schuin uitzien in beeld. Vooral bij video's die met een smartphone zijn geschoten is dit 'jello-effect' goed zichtbaar.

Ik weet niet helemaal of ik dat effect nou goed kan terugzien in bovenstaand filmpje. Het lijkt nu veel meer een soort anti-shake algoritme. Kan iemand me hier meer over uitleggen?

[CrazyJoe]

Zowiezo treedt Rolling Shutter niet op doordat de beeldlijnen een voor een uitgelezen worden, maar door het feit dat de de belichting per beeldlijn op een ander tijdstip gestart wordt.

Bij ieder type CMOS sensor worden de beeldlijnen op een ander tijdstip uitgelezen (of beter gezegd de pixels worden op een ander tijdstip door de AD converter heengehaald).

Echter bij global shutter sensoren wordt de integratie periode (dus de periode waarover pixels gevoelig zijn voor fotonen) voor alle pixels tegelijkertijd gestart en beëindigt zodat alle pixels in een frame tegelijkertijd belicht worden.

Bij rolling shutter sensoren worden de beeldlijnen sequentieel gestart en gestopt, waardoor je dus motion artefacten krijgt. En dat zijn niet alleen de artefacten die je met horizontale beweging van de camera krijgt (bijv. een vierkant voorwerp wordt een trapezium), maar ook artefacten die je vanwege verticale beweging krijgt.

Bij verticale beweging in de richting van integratie (meestal omlaag) zul je zien dat objecten opgerekt worden, bij beweging tegen de richting van integratie in (meestal omhoog) zul je zien dat voorwerpen in elkaar gedrukt worden.

Als je dus beide bewegingen tegelijkertijd maakt (zoals bij camera shake) dan moet je iets geavanceerdere algoritmes gebruiken om deze weg te kunnen werken.

Ik kan begrijpen dat de ontwikkelaars van Google er maar meteen een image stabilisation functionaliteit van gemaakt hebben.

[Anoniem: 380368]

Die voorbeelden zijn inderdaad bizar, die laten meer een stabilizer zien dan een rollingshutter....heel raar alleszins

Hier zie je wel goede voorbeelden
http://www.thefoundry.co.uk/products/rollingshutter/

http://www.youtube.com/wa...Y&feature=player_embedded

[Reactie gewijzigd door Anoniem: 380368 op 23 juli 2024 15:25]

[L0cust]

Het gaat ook om de interactie van camera-shake en rolling shutter.

Met een "gewoon" anti-shake algoritme kun je beelden van een rolling shutter sensor niet un-shaken. Een gewoon anti-shake algoritme werkop hele beelden. Het probleem met een rolling shutter is dat binnen één beeld de verschillende beeldlijnen op verschillende momenten worden belicht en daarom in verschillende fasen van de shake zitten. Shake binnen één beeldje dus.

Bij de luchtopnamen in het filmpje kun je het enigszins zien: Het origineel schud niet alleen, maar lijkt ook te golven; dat golven komt door de rolling shutter, delen van het beeld worden daardoor samengeperst en andere delen uitgerekt.

Op zich helemaal niet verkeerd dat ze een algoritme beschikbaar stellen dat zich - zo te zien - kan meten met wat er al bedacht was op dat gebied.

[Anoniem: 457516]

http://en.wikipedia.org/wiki/Rolling_shutter

het is inderdaad een soort anti-shake algoritme. Wat het doet is niet ieder frame an zich bekijken, maar ook de frames ervoor en erna, om te kijken of de gemaakte verandering met opzet was of juist niet (en daarop mogelijk corrigeren).

[armageddon_2k1]

Dus als ik het goed begrijp heeft dit artikel dus helemaal niks van doen met anti-rolling shutter?

[jvo]

Ik denk dat je het als een rolling shutter enabled anti-shake moet zien. Een normale anti-shake gaat uit van volledige frames en compenseert daarin de hoge frequentie beweging.

Dit algoritme gaat uit van een rolling shutter, waarbij verschillende beeldlijnen op verschillende momenten zijn opgenomen. Het anti-shake algoritme moet hierop aangepast worden voor de juiste verwerking.

Al met al lijkt de voorbeeldvideo inderdaad meer op het anti-shake gedeelte gericht te zijn. Dit zal ook voor een deel komen doordat de vervorming van de rolling shutter niet zichtbaar is als er geen snelle beweging is. Eigenlijk zouden ze de resultaten van een standaard anti-shake algoritme naast de resultaten van dit algoritme moeten zetten. Marketingtechnisch zal een video met meer verschil het echter beter doen.

[Anoniem: 420194]

Anderzijds zijn er ook (snelle) bewegingen die je wilt behouden, en ook dan is het voorkomen of corrigeren van rolling shutter nodig. De koppeling met AS/IS/VR/SS is dus niet vanzelfsprekend.

[robvanwijk]

De link op het einde van de video bevat wel de tekst "rollingshutter", dus het heeft er wel iets mee te maken, maar ik vind de stabilisatie ook veel indrukwekkender (en duidelijker gedemonstreerd) dan de rolling shutter correctie.

[CMG]

Erg cool, maar het algo is soms wel erg agressief; bij de lopende jongen valt een deel van het hoofd en linker deel van het lichaam weg; zo te zien wordt in die video ongeveer 20-30% van de content gecropt..

[LOTG]

Dat gebeurd bij de ander video's ook als je goed kijkt. Als je naar de andere voorbeelden kijkt zie je waarom. Hij pakt het deel van het beeld wat altijd zichtbaar is (anders kun je ook niet stabiliseren, want die delen zijn er soms niet).

De vraag is of het altijd wenselijk is, vooral bij dat voorbeeld met racen daar vind ik dat het gewoon erbij hoort. Een racecam hoort niet steriel te zijn maar moet wat gevoel van het geweld overbrengen op de kijker. Racegames doen er juist extra moeite voor.

Voor youtube filmpjes die handgeschoten zijn is het wel een voordeel denk ik, vooral aangezien mensen die filmen het vaak niet kunnen.

[RielN]

Je hebt de optie het aan te zetten natuurlijk. Ik ben het met je eens, in een raceauto mag het hobbelen

[koelpasta]

Dat kan natuurlijk niet anders.
In een trillend beeld is alleen in het midden materiaal te vinden dat ook in alle andere beeldjes terugkomt.
Wil je de trilling er uit hebben dan moet je dat stukje vinden en oprekken tot volbeeld.
Dat is hoe alle beeldstabilisatie werkt.

[GemengdeDrop]

ja, maar dat doet dus wel afbreuk aan de vergelijking tussen de filmpjes. Ik bedoel, als je steeds dat linker filmpje ziet waar de border constant heen en weer vliegt ga je al snel zeggen dat die slechter is dan de rechter.

Terwijl dat rechter filmpje die bewegende border er gewoon af heeft gecropped. Dan is het veschil misschien iets minder 'gigantisch' .

Oh en trouwens, dat filmpje van die auto. Check die binnenspiegel. Het is maar net wat voor soort vervorming je leuk vind

[Anoniem: 82678]

Bij het bewegen van een camera is het perspectief in elk frame anders. Pan zelf je hoofd maar eens twee centimeter naar links of naar rechts en je ziet dat de achtergrond veranderd. Bij het weghalen van deze bewegingen krijg je in beeld dus verschillende perspectieven die één perspectief lijken te zijn. Hierdoor krijg je dus rare veranderingen in beeld. Alsof de achtergrond los beweegt van het onderwerp. Vooral in full screen HD ga je dit terug zien.

[Caelorum]

Dit kun je in het filmpje vooral goed zien bij de gestabiliseerde video van de helikoperopnames van het gebouw.
Het algoritme van youtube lijkt, voor mij, wel het meest te distorten in alle videos. Vooral als je het vergelijkt met die van baker et al.
Ik vind zelf iig een iets schokkerig filmpje beter te bekijken dan een film waarin er meerdere perspectieven geblend zijn in 1 frame.

[koelpasta]

Ja, dat is irritant. en er zijn nog meer artefacten te vinden.
Tegen het einde is er een filmpje dat langs een grasveld gaat.
Je ziet daar bosjes staan en die zie je in het eindresultaat zo'n 20 centimeter op en neer hobbelen. Erg grappig maar niet erg echt.

Wel vind ik dat de opgelapte videos een heel stuk beter zijn dan het origineel.

[Anoniem: 380368]

Heel leuk, je kan het maar verbeteren he, ik moet in postproductie nog steeds plugins gebruiken (the foundry rollingshutter)

[SalimRMAF]

Nja, verbeteren: als je goed oplet zie je dat door de functie ongeveer 30% van het beeld wordt "weggegooid", net als ij de meeste Sony HandyCam-camera's: Wanneer je Image Stabilizer uit zet, zul je zien dat je ineens een groter beeldopname veld hebt!

[Eric Oud Ammerveld]

Je zou verwachten dat hardware deze correctie ad-hoc zou kunnen toepassen m.b.v. de ingebouwde Gyroscope.

Hier een PDF waarbij men een iPhone 4 met de ingebouwde gyroscoop heeft gebruikt om opgenomen beeld m.b.v. de Gyroscoop waarden te stabiliseren.

[leuk_he]

Probleem is eigenlijk dat telefoons daarvoor gewoon te weinig rekencapaciteit hebben. Ze kunnen met geoptimaliseerde drivers net FULL-HD halen. extra postprocessing zit er dan niet meer in. In jouw voorbeeld gebeurd het ook in post-processing, niet real-time op de telefoon.

Ook zou het alleen werken bij telefoons waar dit geactiveerd en gevoelig genoeg is, er zijn genoeg opname apparaten waar dit geen optie is, of uit zal staan.

[kamerplant]

De iPhone 4S doet dat ook. http://www.tuaw.com/2011/...-stabilization-in-action/
Deze optie van YouTube boveop gyro-based stabilisatie is wel erg gaaf.

[Reactie gewijzigd door kamerplant op 23 juli 2024 15:25]

[letskeepitsafe]

Zelf een testje (opgenomen met een HTC One X)

Zonder rolling shutter: http://www.youtube.com/watch?v=Ql43YgA_CwM

Met rolling shutter: http://www.youtube.com/watch?v=s35Orjbw0Qg

_{Kleine warning: mijn kat die een dode vogel eet}

[Reactie gewijzigd door letskeepitsafe op 23 juli 2024 15:25]

[powerflux]

een goed voorbeeld. zelf wordt ik een beetje maf van hoe youtube het beeld 'warpt' om de beweging tegen te gaan. net alsof je naar lavalampen zit te kijken.

zelf zie ik dan liever een algoritme met stukjes die duidelijk niet goed gecorrigeerd kunnen worden maar een zeer stabiel midden.

Maar eerlijk is eerlijk: voor een quick-fix zoals youtube nodig heeft is het best goed.

[- peter -]

Au, ik wordt misselijk van die rolling shutter bewerking. Het beeld is echt uitgerekt.. Jammer, t leek me veelbelovend, maar echt relaxed kijken is het niet.

[Henk Poley]

Of hoe de bovenkant van de stoel plots in beeld floept aan het einde van de video.

[Perkouw]

Goede vooruitgang maar ik vind het wel even wennen, vooral de voorbeelden waarin iemand loopt tijdens het filmen het komt erg onnatuurlijk/apart over wanneer de correctie dan word toegepast.

[skunkopaat]

Daarom heb je ook de optie om het wel of niet te gebruiken

[M.l.]

Ziet er netjes uit, al zie ik soms wel wat vervorming van de achtergrond.
Ik denk dat ze hiervoor het best PTAM kunnen gebruiken zodat de objecten in de achtergrond hun vorm behouden.

Offt:
Ik zou ook graag een functie zien waarin je dit soort filmpjes gewoon weg kunt filteren, meestal gaat het helemaal nergens over maar er komen bij "suggestions" toch tal van dit soort filmpjes langs.

[Qua Salébra]

Het combineren van beeldstabilisatie met de correctie van 'rolling shutter' levert een fantastisch resultaat op. Zo goed zelfs, dat filmpjes die zijn gefilmd uit de losse pols bijna door een professional lijken te zijn gefilmd.

[TehNeth]

De stabiliteit van het gecorrigeerde beeld is indrukwekkend, maar er valt toch een behoorlijk stuk van het beeld weg. Kijk bijvoorbeeld naar het beeld op 1:57 linksonder. Daar lijkt meer informatie bewaard gebleven. Op het oog niet zo mooi natuurlijk.

[D-TECH]

Of je gebruikt gewoon een gigantische groothoeklens

Dan kun je de film gemakkelijk croppen zonder belangrijke gedeeltes in een film te verliezen.