Algoritme combineert beelden van verschillende camera's tot panorama

Disney Research heeft een algoritme ontwikkeld waarmee hoogwaardige video-panorama's met verschillende camera's kunnen worden gemaakt. Mogelijk kunnen in de toekomst mensen bijvoorbeeld video-streams van verschillende smartphones combineren tot één panorama.

Een panorama van verschillende foto's maken, is technisch niet zo ingewikkeld. Door gebruik te maken van technieken als multi-level blending kan met weinig moeite een aardig beeld gevormd worden, schrijven de Disney-onderzoekers in hun paper. Bij video zorgt het verschijnsel met de naam parallax echter voor veel grotere problemen dan bij een statische foto.

Parallax heeft te maken met de schijnbare positie van een voorwerp ten opzichte van een ander voorwerp, waarbij die vanuit verschillende posities anders is. Bomen in de verte bewegen bijvoorbeeld nauwelijks mee vanuit de trein gezien, terwijl de bovenleidingpalen heel snel langskomen. Daardoor is het moeilijk om een enkel bewegend beeld met verschillende camerabeelden te maken waar geen zichtbare artefacten meer inzitten.

Het probleem ontstaat doordat er geen eenheid van tijd en plaats in de ruimte van de verschillende opnameapparaten is. In de paper gaan de auteurs in op hoe lokaal het beeld 'krom te trekken' om parallax weg te kunnen halen en zo geen blur, ghosting of andere verstoringen van het beeld meer over te houden. Het algoritme corrigeert voor het schijnbare verschil in positie van een object wat veroorzaakt wordt door de verschillende camera-hoeken.

De video-feeds moeten wel overlappen. Ook zorgt de techniek voor het automatisch uitlijnen en bepalen van de positie van de camera, waardoor handmatige kalibratie overbodig wordt. Daarnaast wordt krom trekken van rechte lijnen gedetecteerd en gecorrigeerd, waardoor bijvoorbeeld een weg er recht uit blijft zien. Ook corrigeert de techniek voor kleine verschillen van timing van de frames tussen de verschillende camera's.

De onderzoekers wisten met hun techniek beelden van veertien verschillende cameratypen aan elkaar te plakken, waarmee ze een panoramische video tot meer dan 100 megapixels wisten te maken:

Reacties (20)

[twilex]

Nieuw?

Zie:
http://research.microsoft...ups/ivm/multiimagefusion/
http://phototour.cs.washington.edu/

[Inanna]

Zoals direct boven je staat gaat het hier om bewegende beelden en niet om foto's die worden gecombineerd.

[lordgoblin99]

Als je het filmpje bekijkt zie je trouwens dat het algoritme van Disney met meerdere alternatieven wordt vergeleken, onder andere ook met software van Microsoft.

Nieuw: ja, het probleem wordt opgelost volgens een nieuwe methode die, als we de onderzoekers van Disney mogen geloven, beter is dan de huidige alternatieven.

Bestaat gezichtsdetectie al, ja, zitten er vandaag de dag nog honderden of duizenden onderzoekers te werken rond dat thema, ook ja Onderzoek is niet van nul af aan beginnen met iets. Minder opvallende verbeteringen/vernieuwingen mogen ook bewonderd worden.

Het eerste en laatste voorbeeld leken mij de meest geslaagde, zeer mooi alleszins.

Ik vraag mij alleen af of ze alle alternatieven even grondig zouden getest hebben als hun eigen methode. Want er was daar een methode waarvan ze maar enkele frames tonen, wat wel vreemd is. Dat stukje is te kort om goed te kunnen vergelijken (ik kan toch alleszins niet zien of de methode het nu goed of slecht doet).

[rtfm]

DYI: http://hugin.sourceforge.net/
Met deze software bereik je hetzelfde effect zoals beschreven staat in het artikel.

Edit: Alleen dit is voor afbeeldigen en niet video.

[Reactie gewijzigd door rtfm op 27 juli 2024 05:04]

[kimborntobewild]

Edit: Alleen dit is voor afbeeldigen en niet video.

Oftewel: lees eerst het artikel voordat je reageert.

[mbb]

Video is toch gewoon een reeks foto's achter elkaar in tijd.
Dus je zal in je pipeline eerst de frames moeten exporteren, en na het samenvoegen weer achter elkaar moeten zetten. (Maar of je dezelfde kwaliteit krijgt? )

[gnu]

Leuk idee, maar ik vraag me af hoe vaak dit echt toepasbaar is. Het lijkt er op dat de videos die nu gebruikt zijn hetzelfde "pad" door de ruimte volgen in de video. Dus de videos zijn tegelijkertijd opgenomen met dezelfde versnelling en beweging door de ruimte, iets dat leuk is om te gebruiken om een paar video sporen te combineren als je bewust met meerde camera's opneemt. Maar het zou wel extreem toevallig zijn als je 2 losse videos op die manier kan combineren.

[ultimasnake]

Gezien dit gemaakt is door Disney zal het juist het doel is van dit project om inderdaad met meerdere cameras een groter beeld/resolutie te krijgen wat anders nog niet mogelijk was en niet om toevallig 2 verschillende youtube filmpjes te combineren naar 1 beeld

[freaq]

vooral vanuit een drone kan je nu bijv 4 4K camera's dynamisch stitchen zonder dat ze in een bepaalde arrangement moeten zitten... heeft zeker wel voordelen!

verder is de coherent warping ook erg indrukwekkend, *het dewarped the projectie en herprojecteert het dan op een coherente manier. maar ook op een consistente manier over tijd wat zeker niet makkelijk is.

ik kan zeker voordelen zien voor 3D photogrammatrische toepassingen met meerdere cameras vanuit bijv een drone, of vanuit een auto voor bijv google street view.

[irritantrotjoch]

Disney had 20 jaar gelden ook al zo iets, Toen heette dat 9 eye.
http://img1.wikia.nocooki...ney/images/7/77/9-eye.jpg

[efari]

maar dit heeft als nadeel dat de camera's op een vooraf bepaalde plaats ten opzichte van elkaar moeten geplaatst worden zodat simpelweg geblend kan worden zonder geavanceerde beeldherkenning.
bij dit nieuwe systeem in het artikel kunnen camera's in verschillende hoeken op verschillende afstanden van elkaar geplaatst worden, zolang de beelden maar deels overlappen, en gebeurd de blending dan slimmer door de beeldherkenning.

[irritantrotjoch]

In het demofilmpje op ca 3:47 zie ik rechts een schaduw van een soort 9-eye aan een kabel.
Maar idd wel knap om van uit verschillende hoeken het beeld redelijk samen te voegen.

[Ayokam]

Zou mooi zijn moesten zij deze techniek toepassen op de 360° camera's die gebruikt worden voor YouTube filmpjes. De huidige 360° video's op YouTube zijn van een lage resolutie en slechte overlapping.

[StGermain]

Het is nog niet optimaal... het doet mij denken aan Quake spelen met een te hoge FOV.

Ik ben wel benieuwd naar de volgende stap want nu ze dit kunnen is het misschien in de toekomst met veel krachtiger hardware mogelijk om op basis van bewegende videobeelden een accurate 3D omzetting te maken.

[SiGNe]

Het paralaxverhaal speelt ook bij de JSF.
De piloten krijgen, als ze met meerdere JSF's bij elkaar vliegen ook de beelden van elkaar te zien, probleem is nu nog dat er zoveel artifacts onstaan dat geen enkele piloot nog kan zien hoe dichtbij het vliegtuig van de vijand is, het is alsof de piloten dronken zijn en dubbel zien.

[Verwijderd]

Kolor Autopano doet het niets slechter in die vergelijking met de tram. Laat Disney die software ook gebruiken bij het auto fragment want daar gebruiken ze maar één ander resultaat. Het vernieuwende van wat Disney heeft gedaan in het tram fragment zie ik dus niet.

[Supermario16]

Voor beveiligingstoepassingen wordt dit al toegepast. O.a. dit bedrijf heeft hier een oplossing voor: http://www.coherentsynchro.com/portfolios/seo-optimization/

[MAX3400]

Ik heb het al een tijd niet gebruikt maar in hoeverre is dit anders dan Photosynth? Daar was ook al de mogelijkheid om foto's te combineren (van verschillende bronnen) en je had daarbij ook meer de mogelijk om diepte in een viewpoint terug te vinden.

[seth007]

Volgens mij gaat het hier om bewegende beelden, of video's ...

[rudyc]

Photosynth gaat uit van foto's die geblend worden, dit algorithme van disney gaat uit van video's.

Ik heb alleen niet zovaak een rig met zoveel camera's. kwaliteit van uiteindelijke beeld ziet er wel goed uit.