Epic Games brengt 3d-scan-app RealityScan uit voor iOS

Epic Games en dochterbedrijf Capturing Reality hebben de RealityScan-app uitgebracht voor iOS-toestellen. Met de app kunnen 3d-modellen gemaakt worden van beelden die met een smartphonecamera worden genomen.

De RealityScan-app combineert net als de desktopsoftware van Capturing Reality verschillende 2d-beelden en zet deze vervolgens binnen enkele minuten om in 3d-beelden. Daarvoor heeft de app minstens twintig foto's nodig van een object, dat van alle kanten gefotografeerd moet worden.

Gemaakte 3d-modellen kunnen worden geëxporteerd naar Sketchfab, de app die in 2021 door Epic werd overgenomen. Daardoor wordt het mogelijk om de 3d-modellen te gebruiken in verschillende toepassingen, zoals virtual en augmented reality. De 3d-modellen kunnen ook gebruikt worden in de Unreal Engine en andere postprocessingtools.

Epic Games nam RealityCapture-maker CapturingReality over in maart van vorig jaar en maakte RealityScan eerder al beschikbaar als bèta voor een klein aantal iPhone-gebruikers. Nu is de app voor alle iOS-gebruikers gratis te downloaden in de App Store. Op een later moment komt RealityScan ook naar Android.

RealityScan-app. Beeld: Capturing Reality

Reacties (49)

[slijkie]

Netjes, gaan we eens proberen. Let wel op, er is minimaal iOS 16 nodig. Dus de volgende iPhones zijn mogelijk:

- iPhone 14 & iPhone 14 Plus & iPhone 14 Pro & iPhone 14 Pro Max
- iPhone 13 & iPhone 13 mini & iPhone 13 Pro &iPhone 13 Pro Max
- iPhone 12 & iPhone 12 mini & iPhone 12 Pro & iPhone 12 Pro Max
- iPhone 11 & iPhone 11 Pro & iPhone 11 Pro Max
- iPhone XS & iPhone XS Max
- iPhone XR
- iPhone X
- iPhone 8 & iPhone 8 Plus
- iPhone SE (3rd generation)
- iPhone SE (2nd generation)

[Gethijsem]

iPad OS doet zo te zien ook mee. Vanmiddag even de duinen in voor een paar mooie scans .

[r_255]

@Simkin

Check eens polycam.... daar behaal ik leuke resultaten mee.
https://poly.cam/

[grote_oever]

Net even geprobeerd, iPhone 14 pro, maar het lukt nog niet lekker. Misschien ben ik teveel een man en moet ik de tutorial volgen, maar wil mijn koffiekopje scannen, maar zelfs na 200 foto’s dicht bij kopje met duidelijke verlichting, krijg ik het niet voor elkaar om een goede scan te maken.

Foto’s komen gelukkig niet in je Fotostream. Dus geen 500 foto’s van een kopje koffie.

[T_knoop]

om een 3D model te maken moet zo'n applicatie unieke punten terug kunnen vinden in meerdere foto's. Bij een koffiekopje is dat meestal nogal lastig, alles is glimmend keramiek. Meer dedicated oplossingen gaan daar mee om door zelf een 'waarheid' aan te brengen. bv een random puntenwolk, een laserlijn of reflectieve verlichting met een bekend patroon.

Probeer het eens met een appel, een legopoppetje of een prop van een krant ofzo. Mijn verwachting is dat dat een stuk beter gaat dan je koffiekopje.

[temvdb]

Als ze op de Pro modellen ook de LiDAR Scanner zouden gebruiken zou het veel meer objecten en veel nauwkeuriger kunnen. Polycam doet dat trouwens.

[Ohmarinus]

De Lidar scanner is veel slechter dan de photogrammetry optie overigens. Lidar scant vrij grof vergeleken met photogrammetry.

Bij mij op werk hebben we nu al deze apps en verschillende ipads en iphones om mee te scannen en de photogrammetry methode geeft altijd een beter resultaat met een veel betere mesh. De Lidar werkt wel veel sneller, maar preciezer is het zeer zeker niet.

[temvdb]

Onzin, de LiDAR Scanner op iPhone wordt door de BAM gebruikt. 1 van de ingenieurs heeft metingen gedaan tot 7 meter met een afwijking van 0.3%!!! Dat was zo goed als een 65000 euro scanner! Resultaat de hele renovatie wordt gedreven door iPhone Pro’s en iPad Pro’s, enorme efficiëntie winst en iedereen kan de metingen doen, waar ze vroeger beperkt waren tot een paar teams.
Kijk hier maar eens naar:
https://www.youtube.com/watch?v=W_1pxYUcc6U&t=5s

[Reactie gewijzigd door temvdb op 24 juli 2024 14:05]

[jerisson]

0.3% afwijking op 7 meter lijkt me wel héél erg nauwkeurig voor een handheld consumer device. Heb je ergens een link naar deze info?

canvas.io (een tool voor 3D metingen die werkt met de iPhone/iPad LiDAR) geeft zelf aan dat er een tollerantie is van 1-2%: dus 1-2cm op 1 meter. En ~5% zonder LiDAR. Verweg van een industriële - niet solid state - LiDAR-scanner dus (afhankelijk van type en instellingen 3-12mm op 10m). https://support.canvas.io...-can-i-expect-from-canvas

Uiteraard is het mogelijk dat men nog manueel corrigeert.

[temvdb]

https://nl.linkedin.com/p...-6727337553185382401-cO30

[jerisson]

Bedankt!

[MornixRS]

Eh ja ze gebruiken het om afstand te meten, niet om een goed 3d model / mesh te maken. Dat is echt heel een heel andere toepassing. Dus ik snap dat ze snel kant en klare 3d elementen op basis van de lidar scan kunnen plaatsen. Wat ik graag wil is een badkamer scannen en met zo min mogelijk nabewerking een bruikbare 3d badkamer hebben. Dat lukt je dus 100% niet met lidar op de iPhone.

[temvdb]

Nee vandaar dat het een combinatie is van camera systeem EN LiDAR Scanner, zal altijd veel nauwkeuriger zijn dan alle andere camera only based systemen … De kracht zit hem in de combinatie.

[MornixRS]

Nee? Ik weet niet precies waar je nee op zegt maar wellicht moet je de video even bekijken. Daarin zeggen ze letterlijk "afstand meten" Je ziet ook hoe in de nabewerking in het, redelijk povere resultaat qua mesh, kant en klare 3d elementen worden gesleept. Dus eh...

[temvdb]

Ik zeg LiDAR alleen is niet beter dan image alleen, maar combinatie van camera en LiDAR is superieur, dat jij je laat leiden door een lelijke mesh is verstaanbaar, die app is er niet om beauty pictures te genereren maar punten die in sketch netjes kunnen gebruikt worden. LiDAR met camera zal altijd beter resultaat geven, zeker in moeilijke omstandigheden waar niet altijd voldoende licht aanwezig is. Het is niet omdat er iets mooier uitziet dat het ook juister is … Wat wel is dat de meeste ontwikkelaars cross platform ontwikkelen en dat die enkel voor iPhone pro ontwikkelen tot nu toe meer functioneel ontwikkeld zijn en minder optische geavanceerd zijn, omdat het er ook niet toe doet, omdat ze enkel een 3D cloud point maken die dan in een 3D pakket verder verwerkt kan worden.

[MornixRS]

Dit wordt een beetje een raar gesprek. Ik heb het niet over mooi of beauty pictures. Ik heb het over goed bruikbare 3d meshes in de 3d applicatie. Voor die applicatie is het nu niet meer dat soort van ok startpunt. Ik heb het ook nergens over camera en/of combi maar stel gewoon vast dat de mensen in de video die jij deelt niet meer doen dan meten en vervangen. Dat is voor hun een nuttige applicatie maar voor veel andere toepassingen niet echt.

[temvdb]

Bon dan zijn we het eens dat LiDAR het model better kan maken als het juist gebruikt wordt, top!

[djexplo]

om een 3D model te maken moet zo'n applicatie unieke punten terug kunnen vinden in meerdere foto's. Bij een koffiekopje is dat meestal nogal lastig, alles is glimmend keramiek.

Exact. Oplossing is even een kwastje of je vinger in koffie dopen, en dan je koffie kopje of b.v. beeldje er vies mee maken. Dan zijn er uniek herkenbare punten dus zal de 3D conversie werken.

[philz0333]

Net even geprobeerd met mijn iPhone 11 op een pompoen die nog in de tuin lag, onder de indruk, https://skfb.ly/oAZrK

[Reactie gewijzigd door philz0333 op 24 juli 2024 14:05]

[grote_oever]

Zow, dat is inderdaad mooi. Ik krijg het niet voor elkaar om zulke mooie objecten te maken. Hoeveel foto’s maak je ervan?

[philz0333]

zo'n 70-tal

[MornixRS]

Benieuwd of het resultaat beter en meer bruikbaar is dan de al bestaande photogrammetry apps als Metascan en Scaniverse. Als je er nog uren werk aan hebt schiet het zijn doel voorbij en blijft het spielerei.

[Verwijderd]

Voor nu zal dat nog altijd het geval zijn.
Het probleem hierbij is dat niets perfect gefotografeerd kan worden (zonder speciale apparatuur).
De oplossing hierin is (imho) Neural Radiance Fields (NeRFs):
https://www.matthewtancik.com/nerf

Kort door bocht pak je een paar foto's van het object en Neural Nets vullen de rest in. Je krijgt dus een beetje een combinatie van DALLEE en jouw genomen foto maar dan 3D.

De AI wereld gaat enorm hard momenteel met fenomenale resultaten. Je leest er echter hier niets over (te druk met Elon Musk nieuws, lijkt het). Mocht je meer willen weten. CorridorDigital legt het goed uit: Why THIS is the Future of Imagery (and Nobody Knows it Yet)

[MornixRS]

Bedankt voor de uitleg en de link. Dat zal idd een handige combi zijn. Er wordt wel altijd al snel geroepen de toekomst. Meestal is dat niet zo lang want dan ligt er weer iets beters om de hoek. Goed ook dat hij het heeft over imagery en niet over fotografie of kunst.

[Verwijderd]

Geen probleem, ik vind het zelf een van de meest interessante onderwerpen van dit moment.

[raro007]

Dit soort software klinkt ook interessant voor bender.

[downcom]

Dit doe ik nu al met "Polycam" of "3dscannerApp" beide hebben uitgebreide tools om de polygons te reduceren en slim om te gaan met textures. Exporteren naar het gewenste formaat en klaar..

[Reactie gewijzigd door downcom op 24 juli 2024 14:05]

[Arrogant]

https://c1.staticflickr.c...58070887_50c5cb99c0_z.jpg

[RobWu]

Shut up and take my money!! 😄

[Gethijsem]

Ik ben geen gamer maar zou dit zo cool vinden, een willekeurig stuk boomstam of rots scannen om er vervolgens in VR doorheen te racen in een of ander Star Wars voertuig.

[Damic]

"Nature racers"

[RAMillu]

Of laten we de a2 scannen

[xoniq]

Vergeet niet de grachten, misschien heeft Davilex interesse in dit format.

[Blackbird-ce]

En dan... Stilstaan of een prent krijgen?

[Simkin]

Hoe nauwkeurig is dit eigenlijk om ook de juiste grootte/afmetingen te interpreteren? Ik wil graag een opzet vensterbank bestellen maar dat komt best precies met hoekjes her en der; zou heel graag een accurate 3d tekening mee willen sturen zodat het opzetstuk zeker past. Iemand ervaring hiermee? Mogelijk als je een meetlint mee scanned dat dit werkt?

[Heedless]

Over het algemeen kloppen de maten bij een tool als Polycam behoorlijk goed. Daarnaast hebben ze meestal de optie om in je model de afstand tussen twee punten aan te geven zodat je het model op de goede schaal kan krijgen. Je kan dan gewoon een stuk van je model pakken, of inderdaad even iets waar je de maat van kent meescannen.
Polycam laat je volgens mij 3 gratis scans maken, dus je zou het makkelijk even kunnen proberen.

[Donstil]

Nu is de app voor alle iOS-gebruikers gratis te downloaden in de App Store. Op een later moment komt RealityScan ook naar Android.

Voor het gebruik van de app is echter een Epic account vereist, alleen gratis op het gebied van euro’s dus.

[Therealest]

NEEE je meent het toch niet dat je een epic account nodig heb.. bah wat zijn ze erg lijken wel op FB

manmanman beetje logisch heh, unreal engine is van epic games waarmee je doormiddel van je account in bijvoorbeeld de unreal engine store dingen kan kopen om vervolgens te gebruiken in datgene wat je wil gaan maken (bijvoorbeeld een game)

Hierdoor zou het object dat je scant gelijk in je unreal engine libary komen te staan.

[Reactie gewijzigd door Therealest op 24 juli 2024 14:05]

[Donstil]

NEEE je meent het toch niet dat je een epic account nodig heb.. bah wat zijn ze erg lijken wel op FB

manmanman beetje logisch heh, unreal engine is van epic games waarmee je doormiddel van je account in bijvoorbeeld de unreal engine store dingen kan kopen om vervolgens te gebruiken in datgene wat je wil gaan maken (bijvoorbeeld een game)

Kan je lacherig opschrijven maar dat neemt niet weg dat het helemaal niet nodig zou hoeven zijn.

Hierdoor zou het object dat je scant gelijk in je unreal engine libary komen te staan.

Klopt dit wel? Ik zie in het artikel:

Gemaakte 3d-modellen kunnen worden geëxporteerd naar Sketchfab, de app die in 2021 door Epic werd overgenomen. Daardoor wordt het mogelijk om de 3d-modellen te gebruiken in verschillende toepassingen, zoals virtual en augmented reality. De 3d-modellen kunnen ook gebruikt worden in de Unreal Engine en andere postprocessingtools.

Wat iets anders doet vermoeden dan jij nu beweert.

[Reactie gewijzigd door Donstil op 24 juli 2024 14:05]

[Therealest]

Als het object niet rechtsstreeks op je account komt is het idd useless om te moeten inloggen.

[grote_oever]

Ik heb het net geprobeerd, maar hij genereert via de cloud. Das natuurlijk mooie dooddoener, maar als het echt door epic gegenereerd wordt via de cloud dan snap ik dat account wel.

En agh, ik claim keurig elke week de games van epic. Dus account heb ik al.

[RoelRoel]

Krijg je hierdoor niet heel inefficiënte 3D-modellen die nog heel veel bewerkingen nodig hebben om goed te kunnen presteren in een spel?

[Some12]

In Unreal Engine 5 heb je virtuele polygon streaming, genaamd “Nanite”. Het houdt in dat je je niet meer zorgen hoeft te maken over polygon-count.

https://youtu.be/-50MJf7hyOw

[RoelRoel]

Dat is erg cool en de voorbeelden zien er geweldig uit. Wel erg grappig dat het filmpje helemaal niks uitlegt terwijl ze het een explainer noemen. Het is alleen maar een reclamefilmpje.
Het is wel terecht dat ze het zo prijzen want het werkt wel bizar goed zo te zien: https://www.youtube.com/watch?v=JLUzi3y_uvM

[Reactie gewijzigd door RoelRoel op 24 juli 2024 14:05]

[Gethijsem]

In de applicatie wordt de werking duidelijk uitgelegd en er staan meerdere filmpjes hier op YouTube.

[nevyn67]

We praten over EPIC, met hun UNREAL engine. Hun nieuwe NANITE virtualized geometry lost dit grotendeels op (UNREAL ENGINE 5).

Verder neem ik aan dat hun app ook enige opschoon acties in de geometrie zal doen.

[koelpasta]

Je zult denk ik nog flink aan die voxelclouddata moeten sleutelen om er echt mooie modellen van te maken. Maar qua renderen kan unreal5 ook omgaan met gigantische bergen slordige data. Je krijgt dan dus wel slordige objecten in je spel.

[kamerplant]

Gebruikt die app de ladar scanner die op alle l Pro modellen zit? Daarmee kan de 3D map veel sneller en accurater worden gemaakt.