Niantic test objectherkenning voor engine van Pokémon Go

Niantic heeft het Britse machinevisionbedrijf Matrix Mill overgenomen. Het doel is om Niantics Real World Platform, de engine achter Pokémon Go, een beter begrip van objecten in de fysieke wereld te geven.

Het team van Matrix Mill is afkomstig van de University College London en is gespecialiseerd in het ontwikkelen van diepe neurale netwerken die informatie kunnen afleiden van scans van omgevingen met een camera. Niantic richt zich naar eigen zeggen sterk op computer vision, machine learning en het ontwikkelen van diepe neurale netwerken. Het bedrijf wil zijn Real World Platform verder ontwikkelen en deze objecten laten herkennen. Dit moet voor natuurlijkere beelden van het ar-platform zorgen en ook moeten digitale objecten interactie met de fysieke wereld aan kunnen gaan.

Als de Real World Platform-software bijvoorbeeld begrijpt dat de camera op een bos bloemen gericht is, kan deze zelf besluiten een bij te laten verschijnen, of een eend bij een vijver. Niantic toont daarnaast een proof-of-concept waarbij een virtuele Pikachu achter fysieke plantenbakken rent, een techniek met de naam occlusion. Het bedrijf werkt daarnaast aan het verlagen van de latency, om ar-multiplayer mogelijk te maken.

Niantic opent zijn engine voor een kleine groep ontwikkelaars, zodat derde partijen er ook mee kunnen experimenteren. De Pokemon Go-ontwikkelaar nam eerder dit jaar al Escher Reality over, dat diensten voor cross-platform mobiele ar-games ontwikkelt.

Reacties (14)

[BrbZrk]

DÍT is pas AR. Tot nu toe beleefde ik het meer als iets dat je deed uitkijken naar het echte werk.

[defixje]

Dus als je Pokémon's aan het vangen bent, je gooit die bal en er loopt net iemand voor je telefoon langs. Dan rent de Pokémon snel weg en mis je hem?

Sorry, ben geen Pokémon Go fan. Maar verzon dit scenario, wat mij best frustrerend kan lijken.

Correct me if I'm wrong

[freaq]

Wel 2x hetzefde filmpje op de achtergrond
Had graag verschillende scene’s gezien op verschillende locaties...

Maargoed an sich wel leuk,
Nu not estimation van de environmental lighting conditions en dan begint het ergends op te lijken.

[mat.hi.as]

Het is ook een vergelijking, dat gaat het beste met tweemaal dezelfde achtergrond

[freaq]

ja maar met de 2e test, is het andere locatie van pokemon, niet een andere omgeving.

[Verwijderd]

dit is gaaf. Als dat betekent dat ze dit ook in Ingress gaan gebruiken... zou dat gaaf zijn met een virtual reality bril, zoals de Google Glass of Microsoft Hololens - achtige constructies waarbij ze virtuele objecten en verschijningen/aura's kunnen toevoegen. Dan wordt het spel pas echt levend in de echte wereld.

5/7 will buy!

Zie wat ik bedoel in dit reclamefilmpje van Ingress: https://www.youtube.com/watch?v=X4hY0UBAmlo

Laat ze XM plaatsen op de vloer, en de portals van standbeelden etc. laten gloeien op basis van welke faction het controleert.

Om on topic te blijven: dit zou voor Pogo natuurlijk ook leuk zijn om de beestjes te laten interacten met real-world objects.
Dus hup, Rattata verschuilt zich achter een standbeeld en doet peekaboo met de speler
Waterbeestjes die aan het badderen zijn in die fontein op het kerkplein, etc.

[Reactie gewijzigd door Verwijderd op 23 juli 2024 05:02]

[Robbierut4]

Ik ben niet meer heel up to date met Ingress maar de laatste dingen die ik heb gespot over ingress 2.0 leken wel op pokemon. Als je goed zoekt op google+ kun je verschillende screenshots en tekstuitleg vinden van bijv de community manager van ingress.

[Verwijderd]

klopt, ik heb begrepen dat Ingress Prime wordt gebouwd op dezelfde engine als PoGo.
En dat kan alleen maar een verbetering zijn (ook al ben ik niet zo'n fan van de graphics van Prime... ik heb liever opties om zo weinig mogelijk animaties op het scherm weer te geven en Prime ziet er dynamischer en meer 3D uit dan de huidige Ingress client. Op smartphone heb ik liever zoveel mogelijk high-performance 2D. Leuke animaties zijn twee weken leuk, maar daarna gaat het om de performance, om het resultaat. Net als met shooter games: eerst is het leuk en mooi en wow, daarna zet je alle graphics op laag voor optimale prestaties.
3D effecten zijn dan wel weer leuk met een virtuele bril.
Zo zou ik door de stad willen lopen, met een transparante bril op die effecten weergeeft op real-world objecten.
Maar op een smartphone hoef ik dat niet zo. Ik had in de paar weken dat ik pogo speelde al vrij snel de augmented view uitgezet. Leuk dat het beestje in m'n woonkamer zit, maar het kost weer extra batterij tijd volgens mij
Dus hup, doe maar weer een kale achtergrond.

Maar goed, we gaan het zien.

[Reactie gewijzigd door Verwijderd op 23 juli 2024 05:02]

[Robbierut4]

Ja en de battery drain met de huidige ingress is al behoorlijk als je lang speelt, laat staan met allemaal fancy graphics. Tis alleen wel mooi.

[Verwijderd]

we lopen nu al standaard rond met powerbanks, en zeker tijdens anomalies en mission days.

Dus nee de eerste week is leuk, daarna wil ik al die fancy rommel gewoon uit hebben staan.
Al die kleurtjes word je ook snel zat. Zoals het nu is, is het prima, en zelfs nu zou ik soms wel meer basic graphics willen hebben.
Ik weet inmiddels wel hoe een portal eruit ziet, die hele animatie hoeft voor mij niet meer.

[Robbierut4]

Ja dat is waar. Maar wat ik hoor van fanatieke PoGo spelers is een powerbank daar een must maar wel voldoende om je telefoon vol te houden. Tis neem ik aan niet zo dat zelfs met powerbank je telefoon leeggetrokken wordt.

Zou leuk zijn als ze 2 versies maken, 1 battery friendly en 1 iets meer grafisch maar dat zal dan wel weer te duur zijn.

[lamme23]

Ik heb mijn telefoon er op uitgezocht. 5000 mAh accu. Maar nog steeds staat de camera en dus de AR uit. Battery friendly is camera en geluid uit. Toegevoegde waarde is 'een keer leuk'.

Ook op mijn iPhone (van het werk) staat de AR+ uit. Het ziet er mooi uit, maar is niet de battery drain waard. Bovendien zijn de beestjes beter te vangen zonder AR.

[jochem05]

Kijk, worden mijn uitgaven in pokecoin, incubators en special boxes toch nog goed besteed door Niantic

Hoop dat een dergelijke investering/overname van Matrix Mill inderdaad zorgt voor een versnelling van de doorontwikkeling en toepassing van dit soort technologieen. Ziet er heel gaaf uit!

[Mic2000]

Ik ben heel benieuwd of ze de occlusion met één camera weten te creëren, dat zou wel erg knap zijn.