Realtime 2D naar 3D-video conversie methode ontwikkeld

New Scientist meldt dat X3D Technologies een systeem heeft ontwikkeld om 2D-beelden realtime om te zetten in 3D. Het bedrijf richt zich hiermee op de thuisgebruiker, wat tevens te zien is aan de lage prijs van 99 dollar. Om de 3D-beelden te kunnen bekijken is wel een speciale bril nodig en alleen een CRT monitor is geschikt voor het product, een LCD scherm werkt dus niet. De techniek presteert het best bij speciaal geschiktgemaakt materiaal, maar werkt ook met DVDs en televisieuitzendingen. Kracht achter het systeem is de software die in snelle tijd beelden zo manipuleert dat er diepte ontstaat:

The X3D technology generates the illusion of depth rather like headphones produce stereo sound - by sending different signals to the left and the right. As with other 3D image systems, the liquid crystal shutters on the glasses' lenses open and shut in sync with the images.

This means the left eye only sees the left-oriented images and vice versa. At any rate faster than about 50 pictures per second, the brain fuses the two images to create a flicker-free 3D illusion. The screen's normal flicker rate is doubled with a monitor attachment to about 120 images per second. The images and glasses synchronise either via a wireless infrared transmitter or a cable.

But the key to the real-time video conversion is in the software, which uses image morphing technology to automate the process. This creates two images out of one, each tilted and distorted to generate the illusion of depth when combined. The software also has motion tracking algorithms that look a couple of frames in advance to ensure fluid 3-D motion.

Met dank aan RaZZle1 voor de tip.

Reacties (71)

[Anoniem: 60382]

Ik las laatst in Carp (tijdschrift) min of meer hetzelfde over SARA ofzo, een supercomputer van IBM, waarbij dit ook gebeurd met specatculair resultaat. Enige verschil is dat dit zich richt op de thuisgebruiker en SARA was voor bedrijven (daar sta je in een zaal van een paar vierkante meter omgeven door '3D' beelden).

Mocht dit werken (een review zou heel mooi zijn) en mocht het GOED werken (dus dat de diepte ook correct is, en niet dat de achtergrond opeens de voorgrond wordt) dan lijkt het me die 99 dollar zeker wel waard. Ik ben benieuwd

[Anoniem: 35832]

Dan heb je het waarschijnlijk over 'The Cave' in Amsterdam. het Stichting Academisch Rekencentrum
Amsterdam. Link: www.sara.nl
heb je ook heeele leuke en prijzige dagtochtjes

[Anoniem: 65804]

'dagtochtjes' is het ding niet echt voor gebouwd hoor. De CAVE is voor wetenschappelijke visualisatie. Walkthroughs van architectuur, visualisatie van abstracte data, het verkrijgen van informatie uit een multi-dimensionale dataset, etc. Voor dagtochtjes heb je dingen als pretparken..

[Anoniem: 35832]

en toch is er in in groepsverband een paar keer per jaar heel leuk binnen te komen.. Ook in 'The Cave' zelf

[Anoniem: 65804]

Yup, weet'r alles van hoor
Momenteel maar 1x per jaar eigenlijk hoor, tenzij je dus echt die 1000 euro/uur neer wilt leggen. 20 oktober is er een open dag op het hele WTCW en dan kan je ook een CAVE demo krijgen. Wel inschrijven van te voren

[Anoniem: 65804]

De CAVE draait momenteel op een vierpijps SGI Onyx2. Werkt inderdaad met dezelfde techniek (actief stereo). Het enige 'heftige' aan deze X3D techniek is dat het van 2D iets 3D's weet te maken. Maar aangezien je gewoonweg niet genoeg informatie hebt blijft het improviseren en dus lang niet zo heftig als in de CAVE. Heeft ook iets andere doelgroep. CAVE is voor wetenschappelijke visualisatie, iets wat vaak realtime interactie, hoge polyrates en precieze weergave nodig heeft. Deze techniek leent zich voornamelijk voor leuke dingetjes van statische plaatjes/filmpjes en is verre van accuraat te noemen.
De CAVE is dan ook niet voor niets een flink stukje duurder...

[dominic]

Volgens mij kan dit helemaal geen mooi resultaat opleveren, om een echt 3d beeld te genereren heb je 2 afbeeldingen nodig, ieder vanuit een andere invalshoek, die corresponderend met het linker- en rechteroog zijn.

Hoe kunnen ze een algoritme verzinnen dat naar een 2d-beeld kijkt en kan herkennen wat diepte is in die afbeelding?!

Dit kan niet goed gaan..

edit:

Bij geprepareerd materiaal (Dus opgenomen met 2 camera's) kan het prima maar bij 2d beelden moeten ze gaan kijken hoe kleurvlakken zich relatief van elkaar bewegen en daar dan diepte uit halen.. Volgens mij krijg je dan meer een kijkdoos-effect.

[Anoniem: 21486]

"eXtreme 3D System from X3D Technologies Wins “Best of Show” at Internet World Fall 2002"

" X3D Technologies Wins RetailVision® "Best New Technology" Award"

Als dit niet goed zou kunnen gaan lijkt het me vreemd dat ze er wel awards voor krijgen. Ga er dus maar van uit dat het geen bullsh*t is.

[Makkelijk]

misschien is RetailVision hun moederbedrijf, dat soort geintjes zie je wel vaker

[Anoniem: 38186]

Zei het niet perfect, toch werkt het. Er is nl een afstand tussen je ogen. Kijk maar eens met 1 oog naar deze tekst....nu alleen met je andere oog....hierzie: het lijkt of het beeld verschuift.
Bij de Asuskaarten zat idd ook zo`n stukje software met een brilletje. Hier kon je ook de diepte instellen dmv de afstand tussen je ogen te verstellen icm de afstand tussen je ogen en het scherm. Bovendien zit er in welke afbeelding dan ook, een diepte dmv perspectief. Doordat beelden op de achtergrond langzamer bewegen dan op de voorgrond, kan er worden bepaald wat achter- en voorgrond is. En zodoende wordt het beeld uit elkaar getrokken en krijg je 2 verschillende invalshoeken. Bij stilstaande beelden was het effect daardoor ook een stuk minder.
Nog een versterkende methode is om het beeld holler of boller te maken. Maar dat geld dan bijv voor firstperson shooters, en zelfs daarbij vond ik dat tegenvallen.
Ik moet wel zeggen dat het geen top-oplossing is, je moet je hoofd niet bewegen of achter over gaan leunen, bij elke game weer de juiste instellingen zetten en je ogen worden er behoorlijk moe van (continue knipperen merk jij niet, maar je ogen wel)

Het algoritme zorgt er voor, naar ik begrijp uit de tekst, dat de software de te bewerken beelden een paar frames eerder binnen krijgt dan dat het geprojecteerd wordt

[Makkelijk]

Met Asus brilletje moest je ook gewoon een vette 21" diamondtorn ebben en dan lekker 1024x768 @ 160hz spelen

[Anoniem: 67581]

Als ze zeggen dat het werkt zal er in elk geval wel iets goeds in dat algoritme zitten dan

Waarschijnlijk hebben ze dit soort fouten tot een minimum verstopt.

Ik ben benieuwd!

[Anoniem: 52488]

Je hebt inderdaad meerdere plaatjes nodig om 3D informatie te kunnen vinden, vandaar FILMS. Dat wil zeggen: niet foto's

[en nieuwslezers zijn inderdaad erg lastig... die blijven dus ook gewoon in de achtergrond geplakt.]

[cablepokerface]

Real-time is leuk ... maar ik zou ook een geconverteerde film willen opslaan !

En hoeveel plek neemt zo'n film dan in ?

[Anoniem: 52488]

2x zo veel, want je moet een beeld voor je linker oog en een beeld voor je rechter oog maken. Simpel...

[en waarschijnlijk is door slimme compressie nog veeeeeeel meer reductie te halen om dat de beelden voor links en rechts vrijwel het zelfde zijn]

[Makkelijk]

Nee hoor, neemt net zoveel in, je hebt namenlijk nog steeds hetzelfde beeld, dus hij maakt 2 aparte layers en rendered die over elkaar zodat je weer 1 layer hebt. Het komt allemaal op het beeldscherm waar de 2D film ook op kwam nietwaar

[xAn52]

Waarom opslaan als het real time is? Heeft imo geen zin om het op te slaan in een of ander vaag beeld, alsie daar realtime weer mee aan de gang gaat heeft t geen nut meer (dubbelop). Enige reden die ik kan verzinnen is om het dan op systemen af te spelen die die software niet hebben, maar dan hebbie nogsteeds het brilletje nodig, en bij het brilletje zit de software... ergo nutteloos.

[Anoniem: 52488]

Omdat je dat real-time met een flinke pak zout moet nemen i.m.h.o. Of het moet zijn dat computers het laatste half jaar een factor 1000 sneller zijn geworden, dat kan natuurlijk ook...

[xAn52]

Uit de FAQ van X3D:
What kind of computer can I use the X3D PC Viewing Systems with?


X3D basic system requirements: Any PC with a CRT monitor and Windows 95/98/2000/ME/XP/NT, 32x CD-ROM drive or 400 MB available storage recommended. For image conversion software Adobe® Photoshop or Adobe Elements is required.

X3D video gaming requirements: NVIDIA Video Card. The NVIDIA 3D Video Gaming Drivers are included with the X3D install software.

En ok, ze adviseren een GF4. Over ATi geen woord btw.

[Anoniem: 52488]

Dat gaat over het weergeven van 3D spelletjes a la Doom. Niet over DVDs naar 3D. (neem ik aan)

[Anoniem: 35832]

Niet.. omdat het zonder zo'n brilletje nieteens waarneembaar zal zijn lijkt me. Oftewel.. Keer op keer in zijn geheel laten converteren.

[Anoniem: 35832]

Met een brilletje op naar de TV kijken.. Dat ze daar niks op kunnen verzinnen.. een kap voor je monitor / TV die je 3D-bril zou kunnen vervangen zou niet gek zijn denk ik..
[edit: Typo]

[Anoniem: 52488]

Jullie kennen de 3D-displays van Philips toch wel? Zo niet -> even zoeken en een kaar naar een demonstratie gaan kijken (dat zal niet mee vallen).

Het is werkelijk FENOMENABEL!!!! [en het werkt door een soort van ribbeltje op je (TFT-)monitor te plakken op zo'n manier dat ieder pixel in een andere hoek afstraalt (9 hoeken). Verlaat uiteraard wel de horizontale en vertical resolutie van je plaatje, maar wat moet je anders met die resoluties van 2048 bij 2048... ]

edit: Uiteraard heeft de manier van 3D-displayen niets te maken met de beelverwerking die nodig is om van een sequence van 2D plaatjes een sequence van 3D plaatjes te maken.
De laatste demo die ik heb gezien stond een dikke vette computer nog een weekje te rekenen op een filmpje van een paar minuten....
'k Vraag me dus af wat de kwaliteit van het resultaat van deze algorithmes is...

[ixl85]

en het werkt door een soort van ribbeltje op je (TFT-)monitor te plakken op zo'n manier dat ieder pixel in een andere hoek afstraalt

JAAA je bedoelt net zo'n ding dat je aan kleine kinderen geeft, die je zo moet opdraaien, en dat er dan een beeld voorbij komt draaien dat net lijkt alsof het 3d is...
(zo werkte die flippo's ook, of wat het ook waren, dat als je hem draaide je een ander plaatje te zien kreeg, dat kwam dan opdat er 2 plaatje op de ondste laag stonden, alleen dan in een lijnraster dat gelijk liep met het doorzichtige (bovenste laag) raster!)

[Makkelijk]

Ja precies.. en philips ontdekte dat dat systeem echt ultiem is voor 3d beelden uit een beelscherm toveren

[Anoniem: 52488]

Precies. En dat werkt echt PERFECT! (Heb een demootje gezien)

[BaatZ]

Ja datr kan dus juist niet, omdat deze techniek gebruik maakt van stereoscopie, en vooral, het misleiden van de hersens (met dus stereoscopie als grondbeginsel).
Doe je een scherm voor je tv, verlies je het effect van 2 verschillende beelden per oog en dus ook de functie van het programma...

[Ruuddie]

Uumh, dat klopt niet helemaal.
Er is een monitor bedrijf (ADI) die ook 3D schermen biedt. Ik zie ze niet in de pricewatch staan, maar ik weet zeker dat ik het ooit us heb gelezen.
Volgens mij was het iig ADI. En je had er thus geen bril voor nodig.
Er is ook nog een ander merk die het kon door licht achter de pixels door te schijnen, waardoor de pixels op een andere plaats oplichtten, of zoiets. Stond ooit op t.net.

[Makkelijk]

Aan de techniek van philips wordt steeds verder gewerkt en heel langzaam komen er beeldschermen mee in de handel. Alleen nog erg duur. Er kleeft ook 1 nadeel aan de techniek van philips, als je een prisma van 16 hoeken maakt krijg je bij een resolutie van 1024x768x32 bit een 3D resolutie van 1024x768x16x32bit. Dat vergt dus enooorm veel meer rekenwerk (minstens 16X, dan nog de z hoeken uit 3D applicaties niet meegerekend)

FF kort uitgelegd hoe deze truc werkt, elke 2D pixel wordt ingedeelt in een aantal vlakken, met een CRT systeem betekend dat dat de lichtstralen niet allemaal per pixel alle kanten op hetzelfde zijn maar bijv. naar links anders dan naar rechts. Als je op normale afstand van je beeld zit pakt je linkeroog dus wat anders op dan je rechter, die ziet de pixels immers vanuit een andere hoek

Het andere systeem uit Dresden was met een eyefinder, die keek hoe je ogen stonden. Kansloos systeem trouwens

Maar goed met TFT moet het philips systeem beter implementeerbaar worden, geen prisma meer nodig om CRT beams te scheiden omdat bij een TFT scherm alle beelden op het scherm zelf worden gemaakt ipv. in een kanon Dus je kunt gewoon van elke pixel een veelhoek maken dan

[Anoniem: 35832]

Zoiets: www.tweakers.net/nieuws/21296/?highlight=3d+monitor
volgens mij iig waarschijnlijk geen ADI

[Diederik]

Je bent in de war met NEC, die hadden een x aantal jaren geleden de NEC 3D, had overigens nix met 3D beelden te maken maar was gewoon het type nummer

[MisterData]

Philips en de Universiteit van Dresden hebben ooit schermen gemaakt waar geen bril voor nodig is. Philips deed het met een soort prisma, en bij het model uit Dresden was er een combinatie van een stel camera's en een prisma om zo het beeld te krijgen dat het per oog verschilt Het heeft twee jaar geleden in de COmputer!Toaaal gestaan trouwens, dus als je zoekt op www.computertotaal.nl zou het te vinden moeten zijn

[Silentpuma]

Wat je zegt is waar, maar om een 3D beeld te creeren gebruikt ADI een andere technologie. Hun beeldscherm plaatst als het ware 2 pixels op elkaar, of over elkaar om zo diepte te generen.

3D beeld via een bril kan met ieder scherm, omdat het een truc uithaald met je ogen. (al uitgelegd hierboven dacht ik)

[Anoniem: 55563]

Misleiden van de hersenen vind ik een verkeerde omschrijving. Beter: gebruikmaken van de werking van de hersenen. Immers, niemand ziet echt 3D-beelden. Diepte wordt gesuggereerd door de 2 beelden van je ogen samen te voegen tot 1 beeld, waarbij de diepteinformatie zit verscholen in het feit dat beide ogen vanuit een iets andere hoek kijken.

[Anoniem: 35832]

hmm.. zit wel wat in Mad-Cow... ff niet aan gedacht

[BaatZ]

Geeft niet Trackz, je word vanzelf wel naar -4 gemod >

[Anoniem: 35832]

[onnodig-mode On]
Shit.. alweer.
[onnodig-mod Off]

[Makkelijk]

Yup, kerel.. en bij deze weer, c'est la vie... c'est la vie....

[ixl85]

jah, maar zit je dan niet met de invalshoek?
misschien werkt het dan niet.

[The Dutch Dude]

Dat zou niet werken, die kap zou dan een apart deel voor links en rechts moeten hebben, en als je er dan een beetje scheef voor zit, of met je linkeroog naar de rechterkant van het scherm kijkt klopt er niets meer van het beeld..
Maar wie weet verzinnen ze daar ook nog wat op...

*edit: w00ps, beetje dubbelpost

[BadRespawn]

de techniek achter dat brilletje is absoluut niet nieuw.

de clou zit m in het bewerken vh 2D beeld, om er een soort nep-3D van te maken. die 2D beelden bevatten geen informatie over hoe een object er van de zijkant (of zelfs maar schuin van voren) uit ziet.
ik denk dat je blijft zien dat het niet echt 3D is, het zal meer een soort kijk-doos effect zijn; voorwerpen zien er plat uit, maar lijken wel achter elkaar te staan (vgl paralax-scrolling in div games).
verder best knap om dat in real-time te doen.

[Anoniem: 52488]

Klopt. Het beeld bestaat uit "lagen". Maar des al niet te min is het resultaat heel verbluffend! (Ik heb een demootje gezien)

[kodak]

Mooi dat dit nu ook voor het grote publiek kan, maar de kwaliteit van het kijkgenot hangt af van de zwakste schakel: het goedzitten van de bril.
Bijna alle 3d brillen dat je maar een beperkt veld hebt waarmee je naar het beeld kunt kijken voordat je de grenzen van de bril zelf ziet.
Het mooiste zou een speciale contactlensen set zijn, maar dat ziet het grote deel van de consumenten weer niet zitten.

[Anoniem: 24394]

Wat voor computer zou je daar voor nodig hebben, of kan je 3D chippie op je vga kaart dit doen?

[Anoniem: 21486]

Als system requirements geven ze:

Requirements
PC with Windows® 9x/ME/2000/XP CRT monitor 32X CD-ROM drive or 400 MB available storage recommended For 3D Gaming: video card with NVIDIA® chipset.

Ik denk dat de systeem eisen wel mee zullen vallen. Als je hier een P4-3GHz voor nodig zou hebben zouden ze het vast wel vermeld hebben.

edit/

nog iets meer info over requirements gevonden:

Before installation: make sure your video card has an NVIDIA® chipset. The newest cards, such as the GeForce 4, provide the best performance. Older cards such as GeForce 2 or 3 with at least 16 MB of VRAM will also work as well.

[Anoniem: 52488]

Ja maar die requirements zijn natuurlijk onzin. Het gaat hier om 2D beelden (bijvoorbeeld een normale film op een DVDtje) die worden omgezet naar 3D. En dat doet een grafische kaart echt niet voor je: Daar is dat ding niet op gebouwd/ontworpen. Dat moet gewoon met de Pentium4 2.4GHz.

[Anoniem: 52488]

Ja maar in 3D weergeven van games met zo'n brilletje is natuurlijk HELEMAAL GEEN probleem omdat je dan al een 3D-representatie hebt van wat je wilt displayen. Dan kan al sinds de eerste 1st-person shooters.

Het gaat juist om de bewerking van platte 2D naar 3D beelden. En dat is gewoon een flinke berg rekenwerk... (en dat kan niet met je 3D-kaart, en al helemaal niet real time i.m.h.o.)

[Makkelijk]

waarschijnlijk doelen ze met die nvidia ook op het games spelen met dit stukje software ipv. film kijken

[[RNMC] Viper]

Doet me denken aan de asus 3d bril. Ze hadden ook ff naar asus kunnen gaan want die hebben zoiets al plaatjes en games die 3d lijken met drivers en een bril.

[mjtdevries]

Het gaat hier natuurlijk NIET om dat brilletje.
Het belangrijke punt is die software die van normale 2D info 3D moet gaan maken.

En daar heb ik zo de nodige vraagtekens bij. Hoe gaat die software in 2D beelden bepalen wat dichtbij en veraf is?
Gaan ze contouren proberen te herkennen en te kijken welke bij bewegingen over andere heen bewegen of zo? Lijkt me nogal moeilijk en erg processor intensief.

Anders gaat het bij een DVD natuurlijk totaal niet werken. Als je 3D beeld eigenlijk nep is, dan ga je dat meteen zien bij bewegende beelden, omdat dan de diepte niet in orde is tov de bewegingen die object in 2D op het scherm maakt.

[MaxxMark]

Bij asus zat (in een van de eerste software pakketen) tevens een programmatje genaamd 3d TV of iets van die strekking. Dit zou er voor moeten zorgen dat televisie beelden ook 3d zouden worden. Het programmatje bevatte enkele algoritmes om te bepalen of iets ver of dichtbij stond. Ik heb het getest en het had niet echt het gewenste resultaat, het gaf niet het beeld diepte, maar wel de ruis je zag duidelijk verschil in diepte in de ruis die er in zat

Ik denk dat om deze rede dit stuk extra software er vrij snel uit was gehaald.

Ik denk dat het pakket van X3D eenzelfde principe volgt, maar alleen veel verder uit is gedacht. Maar toch weer zou ik zeggen : "eerst zien dan geloven"

[Anoniem: 66360]

Ehm, de discussie gaat nu wel de hele tijd over die brilletjes, maar volgens mij was het speciale aan dit apparaat de algoritmes die 2D naar 3D omzetten. Ik heb met aandacht zitten lezen, en al die mensen die denken dat het onmogelijk is, sorry voor jullie, het is wel mogelijk. De vader van mijn vriendin doet veel met beeldbewerking op de TU Delft, en zodoende hoort en ziet hij regelmatig onderzoekjes en -resultaten, en zo weet ik dat ze o.a. in scandinavie met dit soort grappen bezig zijn. (hier ging het dan om het maken van een willekeurige 3D-scene uit een paar plaatjes, oftewel, je hebt een paar plaatjes geschoten vanaf een rechte lijn en door berekening kan je dan elke willekeurige plaats in het zichtveld aannemen... ZELFS achter de boom midden in beeld) Dus ik denk dat het best heel goed mogelijk is, zeker bij films (waar het inderdaad voor ontwikkeld is. Ik ben erg benieuwd hoe het er uit gaat zien, want inderdaad is dat "realtime" mijn punt van scepsis.

Overigens, mensen die zich persoonlijk aangevallen voelen door deze post: zo was 'ie niet bedoeld.

[Anoniem: 22659]

Ik zal je nog eens wat sterkers vertellen, ze zijn zelfs al bezig met het genereren van 3d objecten vanaf 1 foto. Zit alleen ff te denken waar ik dat ook al weer gelezen heb. Resultaten zien er werkelijk briljant uit.

[videodok]

de bril zal wel het zelfde werken als de asus. Het is de software die de diepte creert die redelijk uniek zal moeten zijn.