Microsoft brengt 3d-reconstructiesoftware uit

Microsoft heeft een toepassing ontwikkeld waarmee meerdere foto's van een object of omgeving samengevoegd kunnen worden tot een 3d-model. Er wordt gesproken over 'duizenden' afbeeldingen, die gecombineerd worden tot een 3d-landschap waarin de gebruiker vloeiend rond kan kijken. De technologie heeft voorlopig een plaatsje gekregen op Live Labs en huist er onder de naam Photosynth. Naast het opbouwen van een driedimensionele weergave, moet het met Photosynth ook mogelijk worden vergelijkbare foto's te vinden op basis van een geselecteerd exemplaar en na te gaan vanuit welke positie verschillende foto's genomen werden ten opzichte van elkaar. Bepaalde afbeeldingen laten overigens functionaliteit zien die vergelijkbaar is met traditionele 'photostitch'-pakketten. Het programma moet daarvoor bepaalde kenmerken in foto's, zoals deurklinken of hoekpunten van ramen, herkennen en zo kunnen bepalen welke foto's elkaar overlappen. Vooralsnog kan men alleen voorbeelden en een aantal filmpjes bewonderen, maar later dit jaar zou de software ter download aangeboden worden.

Reacties (49)

[Verwijderd]

Ik heb de video bekeken, wat de software doet is proberen een grove 3D structuur van de omgeving te genereren en dan de foto's erop te plakken.
Nadeel is dat je enorm veel foto's moet nemen die moeten overlappen. En als ik naar mijn vakantiefoto's kijk is dat niet meteen het geval.

Het lijkt mij eerder een soort van test van de Microsoft live labs, iets klaarmaken met veel teams in weinig tijd. En daar zijn ze in geslaagd.
De echte toepassingen zullen nog komen, de software zou moeten instaat zijn objecten te herkennen misschien ook mensen doorheen een grote hoeveelheid foto's. Daar zijn er nog maar weinig huidige technologieën toe in staat.

[StefSOFT]

Volgens mij komt er een community gebeuren bij kijken. Er worden volgens mij ook foto's van anderen ingeladen. Of een soort zoekmachine struint het internet af naar foto's die bepaalde overeenkomsten hebben en verwerkt ze in de semi 3d-omgeving.

[pagani]

Aan de andere kant moet je voor bijv. de quicktime panorama's ook al een flink aantal foto's schieten. Als je weet dat dit kan kun je er rekening mee houden en bijv. een mooi plein of gebouw expres vaak fotograferen.

[Snipperrr]

Hier een filmpje over de werking en de techniek. Vet om te zien:

http://channel9.msdn.com/Showpost.aspx?postid=220870

[AugmentoR]

nog een: http://labs.live.com/photosynth/video.html

[Verwijderd]

even een stukje quote uit de link van sniperrr

Astronomy and microscopy applications: YES. Among many others. We hope to get to a point where there's an open platform to develop on, so that these ideas and applications can be developed the right way by the people who really understand what should be made and how.


Beta coming soon.

cheers
Blaise

Kijk en dat zou nou een gave actie zijn!

[Verwijderd]

Om een realistisch 3d panoramisch beeld te creeeren zal je steeds een 'topview' nodig hebben zodat de soft de beelden kan positioneren over de Z-as ipv enkel de X-Y as. Nu gaat het pakket waarschijnlijk aan de hand van invalshoek ed proberen te 'gokken' waar het beeld juist past.

[Verwijderd]

Met een paar duizend foto's moet dat wel lukken, vraag me alleen af hoe lang je pc daarmee bezig is.

edit:
jwpmzijl heeft ook een goed punt, hiervoor kan google earth gebruikt worden (als ze tenminste overal eens beter satteliet foto's gingen gebruiken).

[Verwijderd]

Hoe groot acht jij de kans dat een Microsoft pakket een feature gaat hebben om Google Earth images te laden?

[84hannes]

De hoogste resolutie vann google zijn volgens mij luchtfoto's

[Verwijderd]

deze techniek is misschien voornamelijk handig voor makers van driemensionale producten (architecten / beeldhouwers / standbouwers / binnenhuisarchitecten enz) om hun producten te fotograferen en op deze manier digitaal in 3d op te slaan en bijvoorbeeld te gebruiken voor reclame / showmodel.

Voor dergelijke partijen is het natuurlijk prima te doen om even 100 of meer foto's te maken van hun eigen werken zodat er een accurate representatie gemaakt kan worden.

[twetering]

Als er een grote database met foto`s beschikbaar komt a la Flickr, dan zal een enkele foto (of hooguit 10) genoeg kunnen zijn om een persoonlijk tintje aan een panorama toe te voegen.

Een foto van je vriendin voor bijvoorbeeld de Eiffeltoren wordt dan geplaatst in de al bestaande panorama van dat gebied. Zo heb je snel een realistisch beeld van een bepaalde plek, waaraan toch een persoonlijk tintje is toegevoegd.

Best frappant: 150 jaar na de hoogtijdagen van de panoramaschilderijen komt het fenomeen misschien wel weer helemaal terug

[Renegade!]

Is dit dan niet zeer bruikbaar voor games Gewoon wat foto's nemen en je hebt een levensechte omgeving voor je spel...

[YellowOnline]

Neen, want een foto heeft geen fysieke eigenschappen ("physics"). Een gerendered model dat bestaat uit allerlei onderdelen kan reageren op omgevingsalgoritmes.

De combinatie van de twee is wél interessant: een 3d foto van een aantal planken, glasramen, bakstenen, spijkers, enz enz enz. Als je een dan een huis maakt dat uit die onderdelen bestaat kan je dat doen, maar dat doet men dan ook al.

[anandus]

Is dit net zoiets als dat panorama-gedoe van Quicktime?

[slvl]

Wat ik eruit opmaak is een volledig geautomatiseerde QT panorama (QTP). Bij QTP moet je er zelf voor zorgen dat alle foto's overlappen. Verder staat de kijker altijd in het midden.

photosynth analyseert zelf een grote hoeveelheid afbeeldingen, probeert daar een 3D representatie van te maken en plaatst de foto's aan de hand daarvan. Hierdoor kan de kijker ook door de ruimte bewegen.

Het is meer een soort virtuele schoenendoos dan "echt" 3D

[pagani]

Wat ik er uit opmaak is dat er een daadwerkelijk 3d model wordt opgebouwd (door stereoscopie) alhoewel de afbeeldingen inderdaad meer op een panoramafoto wijzen.

Edit: Het is dus gewoon een tool om foto's in 3d aan elkaar te koppelen en hier doorheen te wandelen, niets vernieuwends. (vergelijkbaar met de quicktime software dus, wel wat uitgebreider)

[Verwijderd]

Het komt sterk overeen met de software van PixAround die ik 6 jaar geleden al gebundeld kreeg met mijn Creative Webcam.

Als ik dan X aantal foto's maakte in de rondte, dan deed de software die automatisch samenvoegen. Hoe meer foto's ik maakte des te beter de automatische samenvoeging ging, en anders moest je handmatig kleine correcties aanmaken, maar zelfs bij slechts 6 foto's deed de automatische mode het al prima.

De feature die wel nieuw is, en die ik erg interesant vindt, is dat je bijvoorbeeld een foto kan maken op je mobiele telefoon van een monument, gebouw, etc, en dan de foto kan uploaden, en een antwoord terugkrijgt wat het is.

[Verwijderd]

Lijkt mij totaal niet zinnig of praktisch eigenlijk. Wat voor voordeel moet dit nou bieden tegenover videobeelden? Van diezelfde videobeelden kun je ook stills maken en het '3D' toepassen. Bovendien hoef je niet onmenselijk veel werk te verzetten als bij de vele foto's die je nodig zult hebben.

En 1 grote database waar het ideaal is dat het de hele wereld in beeld zal brengen? Klinkt harstikke mooi maar om het nu te laten bestaan uit foto's die alle kleuren/schaduwen/whatever van een dag/seizoen hebben maakt het er ook niet mooier op (Je ziet het nu al bij google maps bijvoorbeeld wat een kwaliteitsverschil er is en dat is ook nog eens minder groot/detailleerd van opzet dan dit project). Krijg je straks allemaal van die korrelige mobielfoto's.

[Fireshade]

Wat een onzin. Je mist het hele punt van deze software.

Het idee is dat je via foto's dingen/omgevingen kan bekijken. Deze foto's zijn van al die foto-uploaders in photo-sharing sites, en dat zijn er miljoenen. Dus niks "onmenselijk veel werk verzetten", want de wereld-foto-collectie bestaat al en wordt alleen maar groter.

Deze software maakt ruimtelijke relaties tussen al die foto's, waardoor je via foto's in de gefotografeerde omgevingen kan navigeren.
En dat is nog steeds anders dan een video, waaraan je wel degelijk vast zit met je bewegingsvrijheid. De bron hier zijn foto's die door iedereen aangeleverd kunnen worden, en van alle mogelijke hoeken.

En maak je geen zorgen over schaduwen en kleurverschillen. Da's gewoon een kwestie van een goed algoritme ontwerpen, en daarvoor werken ze samen met universiteiten. Dat komt dus wel goed. Korrelige mobielfoto's zijn al verleden tijd: mobiele photocams hebben al hogere resoluties dan je monitor.

[Verwijderd]

Wat dacht je van object herkenning?

Dat ipv het plakken van foto's op een ruw 3d model er gewoon een render wordt gemaakt van de objecten op de foto. Kun je door amsterdam lopen met Oblivion graphics

[jwpmzijl]

OK, het enige dat nu nog moet gebeuren is dat dit project gekoppeld wordt aan Google Earth.

(when will this happen )

[Terracotta]

Microsoft heeft zijn eigen versie van google earth hoor ;-)

[Verwijderd]

Correctie: van Google Maps.

Google Earth = 3D aardbol
Google Maps / Microsoft Live Local = 2D luchtfoto's / landkaarten

[Cameleon73]

Correctie:
MS Virtual Earth

[Verwijderd]

En wat is dat ? Die site lijkt me niet echt officieel Microsoft.
Ik vind er ook nergens een 3D weergave van de aarde...

Het enige wat je er kan krijgen zijn skins voor live.local.com

[IceQb]

Core Team
Dr. Neil Roodyn
Head Honcho
Dr Neil

Tatham Oddie
Web Team
Tatham Oddie

Tom Harvey
Web Team
Tom Harvey

Richard 'Tricky' Bassett
Branding
Richard Bassett

hmm wat MS?? wat?

[jwpmzijl]

Wist ik niet, ik heb er even naar gekeken maar het kan nog niet tippen aan de functionaliteit van Google Earth. Met name 3d en reliëf weergave is een ontbrekende feature. Ook de snelheid van GE is vele malen beter. Maar goed GE heeft een voorsprong en het de vraag hoe MS dat gaat inhalen.

[supertester]

Zat eigenlijk te denken aan Google Mars

[Verwijderd]

Techniek om 3D modellen te maken aan de hand van meerdere foto's (vanuit verschillende standpunten genomen) heet image based modeling en gebruikt photogrammetry om aan de hand van metingen op meerdere foto's een 3D model te maken.

Wordt oa gebruikt in films waar men op die manier realtief snel en accuraat virtual sets kan maken. In Spiderman werd de techniek gebruikt om straten en stukken van steden om te zetten in een 3D omgeving.

Bekende applicatie daarvoor is ImageModeler van Realviz:
http://imagemodeler.realv.../IM/index.php?language=EN