Epic Games werkt aan RealityScan-app die 3d-modellen maakt met smartphonecamera

Epic Games-dochterbedrijf CapturingReality heeft RealityScan geïntroduceerd, een app die foto's van een smartphonecamera kan omzetten naar 3d-modellen. De app heeft een Sketchfab-integratie en is als bètatest beschikbaar voor iOS-toestellen. Later komt de app ook naar Android.

RealityScan laat gebruikers een object scannen, zoals een stoel, waarbij gebruikers door middel van 'AR-begeleiding' zien welke delen van het object nog gescand moeten worden. Volgens 9to5Mac zijn er voor een object minstens twintig afbeeldingen nodig om deze goed te kunnen scannen.

Na het verzamelen van de afbeeldingen maakt RealityScan een 3d-model, dat geüpload kan worden naar Sketchfab. Sketchfab is eveneens onderdeel van Epic Games en heeft Unreal Engine-plug-ins. Gebruikers kunnen dus 3d-modellen maken met een smartphone en deze gebruiken voor bijvoorbeeld games in de Unreal Engine, zoals Epic in onderstaande video ook laat zien.

De RealityScan-app is nu verschenen via Apples TestFlight-programma, waarbij 10.000 gebruikers een bètaversie van de app kunnen testen. Deze lente verschijnt een uitgebreidere Early Access die door meer mensen te gebruiken is. Later dit jaar komt er ook een Android-versie. Het is niet duidelijk welke systeemeisen de app heeft.

CapturingReality zegt voor de app te hebben samengewerkt met scanbedrijf Quixel, dat scans heeft gemaakt die gebruikt worden voor films en games. CapturingReality ontwikkelt fotogrammetriesoftware en werd ruim een jaar geleden overgenomen door Epic Games.

Reacties (53)

3D scannen zal vanuit mijn perspectief een niche blijven voor games/films totdat scans daadwerkelijk zo makkelijk zijn als het maken van foto's. Sommige dingen zoals boomstammen of stenen zijn erg goed te scannen, maar auto's en andere apparaten zijn juist enorm lastig door de reflecties. Ook is het erg lastig om een 3D scan van een ruimte met patroonloze muren te maken zonder LiDAR of TOF sensoren, omdat er dan geen detail is die de software kan volgen.

Hiernaast wordt er veel gebruik gemaakt van PBR (Physically based rendering), waarbij een model niet genoeg heeft aan simpele kleurinformatie. Je moet aangeven hoe sterk reflecties zijn en de kleur moet volledig zonder schaduw zijn. Professionals gebruiken hiervoor ringflitsers op de camera en polariserende lensfilters, maar dat is erg duur. Je kan ook handmatig proberen om de informatie toe te voegen aan je 3D-scan, maar dit kost een hoop werk.

Kort gezegd is het met een beetje moeite is het redelijk goed te doen om een simpele objecten te scannen, maar zodra het complex wordt heb je veel kennis en tijd nodig voor goede 3D modellen. Deze app gaat daar helaas geen verandering in brengen.

Wat ik wel erg belovend vind is de opkomst van neural rendering. Een sterk voorbeeld hiervan is NeRF (Neural Radience Fields). In plaats van foto's letterlijk te vertalen tot punten en metingen voor een 3D model, probeert hier het algoritme alle lichtinformatie op te nemen in een 'volume' en te kijken hoe verschillende perspectieven de werking van het licht veranderen. Je hebt hiermee meteen een 3D model met PBR-achtige informatie, oftewel reflecties! Een auto of zelfs een glas scannen is hiermee prima te doen, Google liet zien dat dit zelfs te gebruiken is met willekeurige foto's op Google Maps.

Het zal nog wel een even duren voordat deze technologie direct in 3D software of games terecht komt aangezien NeRF een speciale renderer nodig heeft, maar ik ben ervan overtuigt dat neural rendering de volgende stap voor (Realistisch) 3D is. Waarschijnlijk zullen we neural rendering eerder zien in de vorm van 'beeldverbeterende filters' die vergelijkbaar zijn in gebruik met DLSS, later krijgen we wellicht software die volledig is gebaseerd op neural rendering.

[Reactie gewijzigd door Powerbyte op 4 april 2022 20:43]

Ik dacht meteen aan het gebruik van stereografie. Zoals wij mensen met twee ogen diepte kunnen zien, zou een 3D-scanner dat ook kunnen met twee camera's. Ik ben benieuwd in hoeverre die techniek wordt toegepast en of dit werkt.

Een stapje verder - handig bij de ruimte met patroonloze muren - is een combinatie van stereografie met een patroonprojector. Zie deze link voor een DIY oplossing daarvoor. Dat zou ook een laserprojectie kunnen zijn die vanwege de hogere helderheid ook buiten werkt.

Zo'n apparaat zou snel achter elkaar een foto met en zonder projectie kunnen nemen voor de 3D vorm en de texture. Misschien zijn met deze methode veel minder foto's nodig van een object dan zonder patroonprojector en zonder 2e camera om diepte te zien.

[Reactie gewijzigd door pmeter op 4 april 2022 22:27]

Stereografie kan inderdaad worden gebruikt voor diepteberekening door middel van de parallax, alleen is de diepte ervan redelijk grof. Voor een nep bokeh effect op je telefoon is het echter prima. Google's ARcore maakt hier wel op sommige telefoons gebruik van, ik betwijfel alleen of dit veel helpt.

Wat ik zelf een keer heb gedaan is een beamer met een ruispatroon richten op een klein object met weinig patronen/contrast om een fotogrammetriescan te verbeteren. Niet bepaald structured light natuurlijk, maar het resultaat was erdoor stukke beter.

Over structured light zelf kan ik zeggen dat het eigenlijk best al veel wordt gebruikt. Bijna alle industriele handbediende 3D-scanners zijn gebaseerd op een vorm van structured light, bijvoorbeeld die van Artec3D en Einscan. Ook wordt dit gebruikt door de eerste kinect en Apple's FaceID sensor.

Op kleinere afstanden werkt strctured light goed, maar helaas niet goed op grotere afstanden (Als je goede details wilt ten minste). Om structured light to te passen heb je namelijk cameras nodig die in een redelijke hoek staan ten opzichte van de projector om de patroonbuiging te waarnemen, grotere scans worden hierdoor best lastig. Beidde fotogrammetrie en structured light vereisen veel parallax voor de diepteberekenningen.

LiDAR/TOF is in het algemeen beter op wat grotere afstanden, hier wordt er gekeken hoe lang licht erover doet om een sensor te bereiken en vervolgens wordt daaromee de afstand bepaald.

Ik ben benieuwd in hoeverre die techniek wordt toegepast en of dit werkt.

Eigenlijk werken dit soort scanners op dezelfde manier als ons stereozicht.
Je maakt meerdere foto's vanuit verschillende hoeken en de software kan door het verschil tussen die beelden berekenen wat de meest waarschijnlijke 3D vorm is van je onderwerp.

Ik gebruik het om objecten die klanten brengen (denk aan beelden of objecten voor beurzen/winkels/etc.) in te scannen en te vergroten waarna deze op een Massivit 3D printer worden geprint (al dan niet in delen). We hebben een stand-alone handscanner aan een laptop maar dat werkt niet zo lekker. Wat dit betreft ben ik erg blij met de software die beschikbaar is op telefoons. Ook voor AR-projecten gebruik ik de scans van de iPhone. Ik zou je perspectief wat vergroten, er zijn genoeg mogelijkheden voor 3D-scans, het is niet alleen voor games/films meer.

Ja dat stukje klopt niet, je hebt gelijk. Voor design is 3D scannen een zeer handige tool, dat had ik er bij moeten zetten.

Het punt dat ik probeerde te maken is dat 3D scannen om modellen (realistich) digitaal te weergeven niet echt toegangelijk is voor de gewone mens, enkel voor producties met erg veel geld. Dat lijkt mij een vooral een belangrijk probleem om aan te pakken als we VR/AR nuttiger willen maken. Het moet net zo makkelijk zijn als het maken van fotos.

Vet! Zou dit ook kunnen werken om onderdelen te fotograferen om later (na) te maken met een 3D printer?
(denk aan kleine objecten zoals bevestigingsdelen voor een luxaflex)

zoals bevestigingsdelen voor een luxaflex

Nee, dat kan niet met zo'n app.
De basis van de "app" is dat er herkenbare punten in elk beeld worden gezocht (key points, b.v. hoeken van een object, of herkenbaar stukje textuur).
Stel dat je een foto maakt, en dan de camera op zij beweegt en weer een foto maakt. Dan zullen herkenbare punten dichtbij veel verschoven zijn in beeld en punten verweg haast niet. Dus uit die verplaatsing van herkenbare punten haal je de diepte (3D) informatie. Om de diepte informatie in mm, te krijgen gebruik je daarbij ook de accelerometer informatie om te kijken hoe ver de camera bewogen is.

Deze methode werkt aardig voor een game waar de vorm maar ongeveer hoeft te kloppen. Maar voor nauwkeurige maten van kleine, glimmende of objecten met weining herkenbare punten is zo'n app niet geschikt.

Eventueel kan je wel een object dof maken met een schuur papiertje en dan met een kwast een object onder spetteren, om de nauwkeurigheid te verhogen.

De accelerometer is niet nodig. Wel is informatie over de sensor en lens nodig.

Zonder iets van een meting in millimeter, weet je niet de absolute schaal van het object. Dus of het object een mineratuur stoel is, of een normale stoel.
Natuurlijk zijn er alternatieven voor de accelerometer, b.v. als de camera de focus-afstand bij een foto kan geven, in millimeter of met behulp van een time of flight (TOF) sensor.

Uiteraard, maar de relatieve afstanden wel. De absolute kan je vaak nog wel afleiden uit andere zaken zoals bijv een deel van een meetlat meefotograferen en dan de schaal van het object in het cad programma daarop aanpassen.

Zonder iets van een meting in millimeter, weet je niet de absolute schaal van het object.

Je kunt die informatie al halen uit foto's die op andere afstanden worden genomen, als je iets weet over de lens.

En wat als je de 'zaklamp' van je telefoon zou kunnen gebruiken als lichtbron voor een opzetstukje dat (met lenzen) een raster projecteert op het voorwerp? Een raster dat je projecteert op een 3D-voorwerp krijgt gebogen lijnen. Als je dan ook nog eens de telefoon (camera èn raster-projector) beweegt, dan wijzigt het raster en de buigingen daarvan. Dan krijgt de app een boel 3D-informatie. Voor de afmetingen zou je eerst een nulmeting kunnen doen door de telefoon vanaf een gemeten afstand het raster op tafel te laten projecteren en de camera dat te laten fotograferen.

[Reactie gewijzigd door pmeter op 4 april 2022 22:35]

Ik zie mensen eerder een miniature kopen om deze daarna te scannen en er meer van te maken. Gegeven dat personen dit natuurlijk niet verder distribueren lijkt mij dat prima legaal. Zie het als een "thuiskopie" .

Ik zie mensen betalen voor een skin van zichzelf in Fortnite ;-)

Daar zit best wel wat werk in om dat op een fatsoenlijke manier te doen.
Fortnite modellen zijn relatief low poly een gescanned object niet. Een scanned object riggen is niet optimaal, je zal eerst het aantal vertices flink moeten reduceren doormiddel van retopo.
Daarnaast is een gescanned object zoals je ziet in het filmpje niet "perfect", de texture komt mee zoals hij gefilmed is. Je krijgt dus delen van een persoon waar een ongewenste highlight of schaduw op kan zitten.

[Reactie gewijzigd door Sp3ci3s8472 op 4 april 2022 16:52]

Er waren een aantal games op de Xbox 360 waar je je gezicht kon scannen voor je personage.

/edit: oa Rainbow Six Vegas

[Reactie gewijzigd door spawnagain op 5 april 2022 02:01]

Ik neem aan dat je Warhammer miniatures bedoeld?
geen usecase denk ik, als je die wilt repliceren kun je ze veel beter in siliconen gieten om die mal vervolgens te vullen met epoxy.
Ik denk niet dat het detail wat in zo'n miniatuur zit goed gescand wordt, en met een normale printer is dit ook niet uit te printen.
Miniatures voor DND print ik dan bijvoorbeeld wel zelf uit, maar met een resinprinter. ook daarvoor geld dat zo'n scan het detail waarschijnlijk niet gaat halen. Dan kun je beter een .STL op heroforge kopen,
Of een cursus blender (of andere 3d software) gaan volgen.
Waar ik wel wat in zie is het scannen van grotere technische delen, om deze vervolgens in CAD te kunnen implementeren.
Voorbeeld: https://www.youtube.com/watch?v=qEDek-ztaAw

Zo'n scan in combinatie met een cursus Blender is meer dan genoeg. Detail zal voornamelijk van je lens en camera afhankelijk zijn.
Miniatures voor DnD print ik ook zelf uit, dan wel met een FDM printer.
Je kan haast alles gratis vinden op theminiindex.com, hoewel de kwaliteit sterk verschilt. Sommige mensen support ik dan tijdelijk op dingen zoals Patreon voor bijvoorbeeld terrein.

Je moet niet de illusie hebben dat je met Blender even zo'n model (van hoge kwaliteit) kan maken. Daar gaat best wat tijd over heen tot je de skills hebt en tot je het in relatief korte tijd kan maken (lees 1-5 dagen). Ik zou het zelf pas overwegen als er geen ander vergelijkbaar model is, dat ik of kan oppoetsen of kan combineren met iets anders; of als je het online wilt plaatsen voor de community/verkoop.

Nouja, met goedkope laserscanners van ali kan het al.

Ja, ikzelf gebruik hier meshroom voor. Dit werkt aardig als er genoeg herkenningspunten zijn (dus zo min mogelijk effen oppervlaktes). Vereist wel VEEL (liefst heel veel) foto's voor een goed effect.

Ben benieuwd of gamebedrijven hierdoor gaan samenwerken met meubelbedrijven om hun meubels in bepaalde games te laten zien. Of valt dit onder verbodensluikreclame?

Vraag me sterk af of dit tot de komst van een tool als dit een beperkend factor was. Ikea heeft bijvoorbeeld veel (alle?) meubels in 3d beschikbaar voor het proef plaatsen van een meubel in je huis. En als je als leverancier reclame wilt van jouw meubel, dan is het maken er van natuurlijk relatief makkelijk te doen door een designer/modeller

Ik denk eerder dat dit een hoop werk scheelt voor indies die mogelijk een specifiek object willen inscannen en modelleren zelf wat lastig vind (of te tijdrovend). Of ik zelf zou dit graag willen voor het aanpassen van een model voor 3d printen of te gebruiken als referentie voor een extra onderdeel van iets

[Reactie gewijzigd door ultimasnake op 4 april 2022 16:20]

Bij zeg eens A in de jaren '80 hadden ze regelmatig dezelfde IKEA meubels prominent in beeld als op de voorpagina van de catalogus

Haha dan wordt het eerdere en strafbaar ding dan een oplossing. Dan kan ik gewoond de Ikea binnenwandelen met deze app. Wat producten scannen en gebruiken in mijn games.

Als ze het duidelijk genoeg aangeven is het geen sluikreclame meer.

reclame in games is ergerlijk, maar niet verboden, tenzij je het niet als reclame gebruikt, maar voor het realiteitsgevoel te vergroten, dan heb je toestemming nodig van de trademarkhouder en moet je vaak licentiekosten betalen om dit te mogen doen.

Dat kan nu al aangezien zaken als IKEA al hun hele voorraad hebben gedigitaliseerd voor o.a. hun VR zooi.
https://store.steampowere...47270/IKEA_VR_Experience/

[Reactie gewijzigd door koelpasta op 5 april 2022 15:29]

Een paar jaar geleden was hier eenzelfde soort app in de store van Autocad 123D Catch.
Helaas was deze er mee gestopt. (https://www.autodesk.com/solutions/123d-apps)

Fijn dat er weer 1 komt in de store. Vond het heel handig.

Zijn er nog genoeg hoor in de appstore:

ScandyPro - gebruikt de iPhone 12 lidar
Qlone - gebruikt een mat en kan met normale camera
Capture - nog niet getest
Heges - ook nog niet

Edit:
EM3D lijkt heel erg op ScandyPro en scant soepel. tnx @livePulse

[Reactie gewijzigd door HenkEisDS op 5 april 2022 09:04]

ScandyPro - gebruikt de iPhone 12 lidar

Volgens mij kom deze ook de TrueDepth FaceID camera gebruiken van de iPhone X een hogere.

Ben héél erg benieuwd hiernaar! De enige scan-app die, voor mij, goede en mooie scans maakt is tot nu toe EM3D en ik heb er al heel wat geprobeerd! Deze app maakt gebruik van de true-depth scanner, deze maakt mooiere scans dan de Lidar-apps... die zijn het gewoon niet, zeker qua resolutie.

Welke heb je al geprobeerd?
Ik ken Qlone en Polycam. Ik ga nu zeker EM3D ook eens testen.

Face Cap, Scandy, Capture, 3dScanner App en nog wat andere die ik niet meer op m'n phone heb staan. Polycam vond ik niet erg geweldig.
Overigens heb ik wel betaald om in EM3D te kunnen exporteren naar obj, is maar €7.

Scaniverse ook geprobeerd? Die valt redelijk goed mee voor scans van wat grotere objecten.

Zeker. Het "probleem" met Lidar-scanners, vind ik, is dat de resolutie van de scan erg tegenvalt, er altijd seams te zien zijn bij grote(re) objecten/omgevingen en de kwaliteit van de textures gewoon slecht is. Bovendien wil ik graag objecten scannen en niet de omgeving meenemen. Dat werkt gewoon het beste met EM3D voor mij.

Dit had Huawei bij zijn P20 pro heel wat jaren geleden al, alleen dan kreeg je niet zulke mooie resultaten. Wel leuk om te zien dit, m'n droom om 3d modeller te worden had ik 10 jaar geleden al opgegeven, maar dit is wel leuk om weer als hobby te doen.

Lijkt me interessant als ik met de app ook gcodes kan maken voor de 3d printer. Dat zou een goedkope manier kunnen zijn ipv een 3d scanner. Hopelijk is iemand zo tof om dat er van te brouwen.

Je kunt stl bestanden toch gewoon omzetten met FreeCAD?

Kunnen we dan onszelf scannen ifv kleding online kopen?

Ja, goed idee wel. Dan kun je een maatpk bestellen aan de andere kant van de wereld.

Zoiets zie ik ze bij corridor crew best wel vaak doen om iets in E computer te krijgen met gezichten. Denk dat ze een andere app daarvoor gebruiken. Maar het bied zeker mogelijkheden.

Begrijp niet hoe het licht gaat werken. De textuur die je met de telefoon vastlegt, is met zonlicht.

Om de textuur goed vast te leggen, moet het allemaal worden gedaan in een kamer met uniform licht.