Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door Julian Huijbregts en Mark van der Kruit

Achter de schermen bij 4DR Studios

Eerste vr- en ar-studio in Nederland

16-11-2019 • 06:00

16 Linkedin

Achter de schermen bij 4DR Studios

Het succes van virtual reality en augmented reality hangt niet alleen af van hardware, maar vooral ook van het aanbod van materiaal dat met de technieken kan worden bekeken. Om dat soort beeldmateriaal te maken, is veelal speciale hardware nodig. Er zijn verschillende camerasystemen ontwikkeld om 360-gradenvideo's te maken. Toeschouwers kunnen op die manier om zich heen kijken in een omgeving, maar het is niet mogelijk om in dat soort beelden objecten of mensen vanuit alle mogelijke hoeken te zien.

Om dat wel mogelijk te maken, moeten voorwerpen gedigitaliseerd worden. Met stilstaande objecten is dat relatief eenvoudig; aan een 3d-model heb je genoeg. Wil je mensen of andere bewegende objecten op die manier vastleggen, dan wordt het een stuk ingewikkelder. Je moet hiervoor in feite een video maken vanuit alle mogelijke hoeken en die omzetten in een bewegend 3d-model.

In Nederland staat nu voor het eerst een opnamestudio voor het maken van dat soort beelden. Het gaat om 4DR Studios in Eindhoven, een studio die is opgezet door een mediabedrijf dat gespecialiseerd is in augmentedrealityapps. Wij gingen langs voor een kijkje achter de groene schermen.

4DR Studios staat in de Effenaar in Eindhoven. Dat is een van de bekendste poppodia van Nederland, een wat vreemde plek voor een opnamestudio. De studio staat hier dan ook niet permanent, maar doordeweeks als er geen optredens plaatsvinden, wordt hij opgebouwd in de grote zaal. 4DR Studios heeft gekozen voor een samenwerking met de Effenaar zodat het niet direct in een eigen ruimte hoeft te investeren. Het poppodium heeft niet alleen de benodigde zaal, maar ook infrastructuur die kan worden gebruikt. De grote, ronde metalen constructie aan het plafond, die normaal voor het ophangen voor verlichting wordt gebruikt, wordt bij de studio ingezet om een groen doek aan op te hangen.

Hardware en software

De Nederlandse studio gebruikt het Holosys-systeem 4D Views. Dat is een Frans bedrijf dat naar eigen zeggen twaalf jaar bezig is met opnamestudios voor 'volumetrische video'. Het bedrijf levert de benodigde camera's, lampen, servers en software om de beelden te maken en te verwerken.

Er zijn wereldwijd maar een paar bedrijven die dergelijke systemen aanbieden, zegt Natasja Paulssen, de oprichter van 4DR Studios. Intel heeft een eigen systeem en een enorme studio in Los Angeles, maar biedt de techniek niet te koop aan. Microsoft heeft een aantal Mixed Reality Capture Studios en levert de gebruikte techniek ook aan anderen, maar klanten moeten eigen hardware uitzoeken en het systeem is duur.

Naast het Franse 4D Views zijn er nog Volucap uit Duitsland en het Amerikaanse 8i. De Nederlandse studio koos voor een samenwerking met 4D Views, omdat de Fransen een bewezen werkend systeem konden aanbieden met zowel hardware als software. Omdat 4DR Studios geen permanente locatie is, zijn er in overleg aanpassingen gemaakt die de complete studio verplaatsbaar maken. Daarvoor zijn de servers in flightcases geplaatst en alle camera's en lampen op verplaatsbare palen gemonteerd.

32 camera's, 16 NUC's, 10 renderservers

In feite is de studio een groot green screen, het bekende groene doek dat in de filmindustrie wordt gebruikt voor special effects. De opstelling van 4DR Studios heeft een opnamevolume van 3x3x2,4 meter. Binnen die ruimte kunnen personen en objecten worden geplaatst, die vervolgens vanuit alle hoeken worden vastgelegd met 32 camera's, verdeeld over acht palen.

Het Franse 4D Views is niet heel vrijgevig met details over welke hardware precies wordt gebruikt. De aanwezige vertegenwoordiger vertelt ons dat het gaat om Flir-camera's met een 1"-sensor. Flir is vooral bekend van zijn warmtecamera's, maar hier gaat het om reguliere kleurencamera's. In een pdf met details over het Holosys-systeem staan verschillende cameratypes die kunnen worden gebruikt, met resoluties van maximaal vijf megapixel per camera. Bij 4DR Studios kunnen opnames met 30 en 60fps worden gemaakt.

De camera's zijn verdeeld over acht palen, de zogenaamde camerapods. Daar hangen ook ledlampen aan en aan iedere paal zijn twee Intel NUC's gemonteerd. De camera's zijn verbonden met deze kleine computertjes en die worden gebruikt om de beelden in eerste instantie op te slaan. Alle NUC's zijn met netwerkkabels verbonden aan twee switches en na de opname worden de beelden gestuurd naar een nas, die op zijn beurt aan de renderservers is gekoppeld.

Met tien renderservers worden de beelden verwerkt. Welke hardware daar precies in zit, geeft 4D Views niet prijs, maar een blik op de systemen maakt duidelijk dat het om Ryzen-cpu's gaat. Dat is te zien aan de AMD Wraith Prism-koelers, die door AMD worden geleverd met de Ryzen 3000-cpu's met acht of meer cores. De videokaarten zijn volgens 4D Views exemplaren met Nvidia-gpu's en aan de ventilators met rgb-leds te zien gaat het om GeForce-kaarten.

Verwerken en renderen

Het hele systeem draait op Linux. Het Franse bedrijf heeft een eigen distributie gemaakt en levert eigen software mee om de beelden te bekijken, te verwerken en te exporteren. Het combineren van alle opnames tot een 3d-bestand is een proces dat veel rekenkracht vergt. Bij filmopnames met 30fps duurt het renderen van een minuut film zo'n vijf uur. Wel kan er een snelle preview worden gemaakt door een klein aantal frames te renderen.

In de software zijn de opnames per camera te bekijken. Het groene doek wordt met de software gemarkeerd, zodat de achtergrond kan worden weggehaald om een vrijstaand 3d-model te maken. Ook markeert de software objecten die altijd een vaste plek hebben, zoals de camera's, de lampen en de reflecties van die lampen. Over die onderwerpen wordt een masker gelegd, zodat ze ook automatisch uit het 3d-model worden weggehaald.

Na een opname wordt eerst een aantal frames gerenderd om aan de hand van die preview foutjes op te sporen die bij het vrijstaand maken kunnen optreden. Vervolgens is het mogelijk om per frame de instellingen aan te passen en de foutjes weg te werken. Na het renderen wordt ook nog een postfilter toegevoegd, waarbij het 3d-model in blocks wordt opgedeeld. Delen die weinig bewegen, kunnen zo worden samengevoegd. Dat maakt het eindresultaat kleiner en gemakkelijker om te verwerken.

Een regisseur kan achteraf met virtuele camera's shots uit alle mogelijke hoeken uitkiezen

Het eindresultaat is een 3d-model dat op verschillende manieren kan worden geëxporteerd. 4D Views werkt met een eigen 4ds-formaat, dat in Unity kan worden geopend. Ontwikkelaars kunnen met die engine bijvoorbeeld augmentedrealityapps maken voor Android en iOS, en daarin de bewegende 3d-modellen plaatsen.

Bij het 4ds-formaat is het 3d-model voorzien van textures. Het is ook mogelijk om het bestand in het universele abc-formaat te exporteren als een alembic sequence. Zo'n bestand kan worden geopend in programma's als Blender, Cinema 4D en Maya. Het gaat dan enkel om een 3d-model, waaraan achteraf textures moeten worden toegevoegd.

Toepassingen

De beelden die bij 4DR Studios worden gemaakt, zijn op allerlei manieren te gebruiken. Je kunt ze importeren in 3d-engines of ze verwerken in video's. In beide gevallen kan dat voor toepassingen met virtual reality of augmented reality worden gebruikt.

Integratie in augmentedrealityapps voor smartphones lijkt momenteel de meest voor de hand liggende toepassing te zijn. 4DR Studios heeft zelf een Android-app gemaakt met daarin een aantal voorbeelden. Tijdens ons bezoek aan de studio komen onder anderen bekende popartiesten langs om opnames te maken. Dat stelt fans in staat om een realistische 3d-weergave van de artiest van dichtbij te bekijken.

Ook is de directeur van voetbalclub PSV aanwezig. Hij maakt opnames die voor een virtuele rondleiding zullen worden gebruikt. Er lijkt in Nederland behoorlijk wat vraag te zijn naar de mogelijkheid om dergelijke 3d-beelden te maken. Volgens oprichter Paulssen is de studio de eerste drie maanden al volgeboekt.

Intel Studios: honderd 5k-camera's

4DR Studios is in Nederland de eerste in zijn soort, maar de techniek voor het maken van 3d-video's is niet nieuw. Met name Intel is er al een aantal jaar mee bezig op grote schaal. In Los Angeles staat Intel Studios. Dat is een gigantische koepel met daarin zo'n honderd 5k-camera’s, waarin opnames van grote groepen mensen op een oppervlakte van drieduizend vierkante meter kunnen worden gemaakt. Hierin wil Intel het mogelijk maken om complete filmscènes op te nemen. Een regisseur kan dan achteraf met virtuele camera's shots uit alle mogelijke hoeken uitkiezen.

Intel zet de techniek onder de noemer True View sinds dit jaar ook in bij voetbalwedstrijden in Engeland. De techgigant heeft de stadions van Arsenal, Liverpool en Manchester City voorzien van 38 5k-camera's op het dak. Die camera's leggen het hele veld vast en de beelden worden gebruikt om herhalingen van bijvoorbeeld goals in 360 graden te bekijken. In Amerika zet Intel dergelijke True View-systemen ook in bij basketbal en American football.

Intel True View-systeem voor 360-gradenherhalingen bij sportwedstrijden

Augmented reality in opkomst

In de afgelopen vijf jaar is er veel gebeurd rondom de ontwikkeling van virtual reality. Fabrikanten als Oculus, HTC, Sony en Valve brachten vr-headsets uit en ook Microsoft kwam met een eigen vr-platform. Hoewel vr-brillen bereikbaar zijn geworden voor consumenten, is de techniek nooit massaal aangeslagen. Veel grote techfabrikanten wedden nog op een tweede paard: augmented reality.

Google was er met zijn Glass-bril in 2013 vroeg bij. Wellicht te vroeg, want dat project stierf een stille dood. In 2017 volgde wel een versie voor de zakelijke markt en dit jaar komt daarvan een nieuwe variant uit. Ook Microsoft mikt met zijn augmented-realityheadset vooral op de zakelijke markt. Dat heeft waarschijnlijk vooral te maken met de hoge prijs van de HoloLens. Inmiddels is de tweede iteratie van die headset beschikbaar voor 3500 dollar.

Apple werkt volgens geruchten en diverse aanwijzingen al jaren aan een ar-headset en een ar-bril. Volgend jaar of in ieder geval in 2022 moet het eerste product uitkomen en het lijkt te verwachten dat Apple zich daarmee op consumenten zal richten. Een bril of headset die digitale beelden kan weergeven die over de echte wereld worden gelegd, lijkt bij uitstek geschikt om beelden te bekijken die in een studio zoals die in Eindhoven zijn gemaakt.

Wat vind je van dit artikel?

Geef je mening in het Geachte Redactie-forum.

Reacties (16)

Wijzig sortering
Ik verbaas me erover dat je dit elke keer weer opnieuw moet opbouwen en afbreken. Bespaar je dan echt wel kosten door het op deze locatie te doen, die verhuurd het ook niet gratis lijkt me. Plus alle opbouw en afbreekkosten, zou dan een permanente locatie in een (goedkope) loods niet veel efficiënter zijn?
Als ik hun setup zo zie, dan hebben ze heel goed gekeken hoe podium bouwers dat aanpakken.
Met een crew van een paar mensen heb je dat opgebouwd en afgebroken in een paar uur.
Ik help tijdens de zomer bij de organisatie van een festival, met 6 mensen bouwen wij in 2 dagen infrastructuur op voor 2 / 3000 mensen
Dat begrijp ik, maar als je elke maandag moet opbouwen, stel dat lukt in 4 uur en vrijdag weer een halve dag afbouwen. Dan ben je 1 van je 5 dagen al kwijt aan je op en afbouw. Dat is 20 procent van je productieve tijd waarin je niets verdient, dat is meer mijn punt.
Dan ga je er vanuit dat ze genoeg werk hebben om 5 dagen non-stop te filmen. En genoeg mensen hebben om al deze data uit die videos ook te verwerken.....

Ik verwacht dat beide nog een probleem is: Ze zullen wel niet 5 dagen non-stop bezig zijn met filmen. En zo wel: Hoeveel man heb je dan wel niet nodig om alles te corrigeren??
Er zijn inderdaad niet genoeg mensen om alle beelden tot in de eind applicatie te verwerken. 1 dag studio levert makkelijk 2 manweken werk op. Daarom is de studio ook te huur voor alle AR en VR bedrijven.
Met z’n allen kunnen we veel mooie dingen maken.
Als ik de setup zo zie dan denk ik dat ze al met al niet meer dan een uur bezig zijn om de boel op te zetten. Alles is geprepped en voorbereid. Dus als het een en ander een beetje goed gemarkeerd is zit dat met een uur in elkaar.
Dat is exact wat ik me ook afvroeg. Je hebt dan ook nog extra opslag nodig en riskeert elke keer weer dat er apparatuur beschadigt raakt.
Ik denk dat goedkope werkkrachten met belastingaftrek goedkoop is voor bedrijven.

In Duitsland heb je zelfs "mini jobs" tot €450,- zonder belasting betalen. Zullen vast wel iets bedacht hebben op dat.
Grappig, ik had eigenlijk wel verwacht dat NEP of United (of een ander lid van de Euro Media Group) hier wel mee zou komen. Die bouwen tenslotte ook die AR sets voor Fox en Ziggo sport.
Hier is een leuke case study (video) over AR - VR door Ralf Van Vegten, CIO van NEP Nederland.

https://youtu.be/LTJOFj_swkM

[Reactie gewijzigd door Dionysiou op 16 november 2019 18:09]

Die jongens zijn goed bezig. Ik hoop dat ze een eigen ruimte krijgen. En ruimte om uit te breiden. Hardware die ik in die video zag waren al meerdere tonnen duur.
Mooi om te zien dat, naast ontwikkeling van hardware voor augmented reality en meer apps, de ontwikkelingen om makkelijker en betere content te maken doorbreken. En dat je nu ook in Nederland dit soort mogelijkheden hebt, en niet ver weg hoeft te gaan.

Lokatie in de Effenaar zal ook wel zijn voordelen hebben: prima plek in de binnenstad (goed bereikbaar), goede zaal (je zult wel flinke hoogte nodig hebben voor die studio) en natuurlijk al allerlei technische apparatuur van hoge kwaliteit (geluid, licht etc.). En artiesten kleedruimtes en een bar natuurlijk, ook belangrijk ;)
Tweakers, leuk item dit!
Klanten zijn lui. En betalen er voor om je te laten komen :)
Het gaat hiermee ook steeds lastiger worden om het nieuws of materieel dat uitgezonden wordt door overheidsinstanties te geloven. Technisch heel knap uiteraard.
Ik vond dit een hele interessante video! Dank! :)

[Reactie gewijzigd door Unites op 17 november 2019 09:17]

Op dit item kan niet meer gereageerd worden.


Apple iPhone 12 Microsoft Xbox Series X LG CX Google Pixel 5 Sony XH90 / XH92 Samsung Galaxy S21 5G Sony PlayStation 5 Nintendo Switch Lite

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2021 Hosting door True