Kunstenaar maakt audio gelokaliseerd zicht- en hoorbaar met augmented reality

De Amerikaanse kunstenaar en hacker Zach Lieberman heeft een applicatie met Apples ARKit ontwikkeld om zijn stem audiovisueel op te nemen en weer te geven via augmented reality. Zo is de audio terug te bekijken en te beluisteren op de plek waar deze is opgenomen.

In een video op Instagram demonstreert Lieberman zijn werk. Te zien is dat zijn iPhone een spoor van golfvormen creëert op basis van geluiden en zinnen die hij maakt, op de plek waar hij zijn stem gebruikt. Vervolgens is de opname opnieuw te beluisteren, ook achterwaarts, door met de iPhone het spoor opnieuw te volgen.

De New Yorkse kunstenaar, ontwikkelaar en hacker, onder andere betrokken bij de School For Poetic Computation, gebruikt Apples framework voor ar, ARKit, in combinatie met OpenFrameworks voor de demonstratie. OpenFrameworks is een C++-library die hij zelf mede is gestart. Op de Instagram-pagina van Lieberman staan nog meer experimentele ar-video's.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (18)

jaapstobbe 12 september 2017 19:34

Twin Peaks

AOC 13 september 2017 06:23

Handig voor militairen om te bepalen waar een kogel vandaan komt. Of werkt het niet op afstand?

[Reactie gewijzigd door AOC op 26 juli 2024 12:30]

Rmg @AOC • 13 september 2017 14:32

De bron word niet gelokaliseerd. Bekijk het filmpje maar eens.

De locatie van de ontvanger (Telefoon in dit geval) word bepaald/gerecord in een 3d space en er worden geluidsfragmenten aan die locatie gehangen.

Zeker interessante techniek maar het doet geen lokalisatie van waar het geluid vandaan is gekomen

[Reactie gewijzigd door Rmg op 26 juli 2024 12:30]

koelpasta 12 september 2017 19:46

Leuk, maar lang niet zo cool als de titel van het artikel laat denken.
Het is niet echt technisch hoogstaand ofzo en zo te zien heeft hij gewoon wat bestaande api's aan elkaar geknoopt.

Wilglide @koelpasta • 12 september 2017 21:27

Toch een slim concept voor augmented reality.

Ik dacht zelf bij de titel van het artikel wel dat het nuttig zou zijn voor slechthorenden, maar dan zal er tekst in de ruimte zichtbaar moeten zijn, ofwel een (al dan niet gelocaliseerde) live ondertitel, dat moet goed te doen zijn, zolang mensen niet door elkaar praten in een ruimte?

Verder uitgewerkt denk ik aan een slechthorende die comments boven de televisie kan schrijven (vanaf een toetsenbord) en de rest van een gezin dan gewoon terug kan praten, dan hoeft men niet op te kijken van een film voor de gebarentaal.

Maar ik heb persoonlijk geen idee of zoiets nuttig of gewenst zou zijn?

koelpasta @Wilglide • 13 september 2017 13:38

Toch een slim concept voor augmented reality.

Ik zie niet in hoe je dit nuttig kunt toepassen.

Het enige wat je ziet is dat de telefoon door een ruimte wordt getraceerd. Maar dat is ook gewoon hoe een HMD werkt, of een VR-controller.
En dan laat deze jongen dan ook nog op die plek een animatie zien van het geluid dat op die plek op dat moment binnen kwam.

Leuke spielerij, maar niet echt iets met een boel toepassingen (behalve leuke frummels die in de lucht zweven).

Verder uitgewerkt denk ik aan een slechthorende die comments boven de televisie kan schrijven (vanaf een toetsenbord) en de rest van een gezin dan gewoon terug kan praten, dan hoeft men niet op te kijken van een film voor de gebarentaal.

a) Wat jij beschrijft heeft niks te maken met wat deze gast doet.
b) Wat jij beschrijft kan al op redelijk triviale wijze via bestaande API's. Er hoeft niet echt iets voor uitgevonden te worden.
En inderdaad, virtuele chatschermen, of virtuele post-ti notes etc dat kan absoluut nuttig zijn in AR toepassingen. Sterker nog, het projecteren van contextgevoellige textuele informatie is denk ik een van de betere toepassingen van AR.

[Reactie gewijzigd door koelpasta op 26 juli 2024 12:30]

Verwijderd @koelpasta • 13 september 2017 06:45

Het idee van, moderne, kunst is dat het je aan het denken zet over wat je waarneemt, en daar voldoet dit enorm goed aan.
Dat het technisch geen edge case is, sois, maar had je ooit eerder geluid in een ruimte 'gezien'? Nee? Nu dus wel.

koelpasta @Verwijderd • 13 september 2017 13:41

maar had je ooit eerder geluid in een ruimte 'gezien'?

Ik ben er inderdaad van overtuigd dat ik zulke dingen al eerder heb gezien maar kan me even niet voor de geest halen waar dat was. Was wel alweer een jaartje of 10 geleden, toen accelerometers en wiimotes helemaal de shit waren.

evilution @koelpasta • 13 september 2017 13:37

Het aan elkaar plakken van lang bestaande dingen is toch juist cool in het Apple universum?

Verwijderd 12 september 2017 19:24

Wat voor een hekserij is dit? In 1700 was ie op de brandstapel geëindigd.

Fairy @Verwijderd • 12 september 2017 20:14

Gelukkig zitten we nu in 2017

Lijkt me leuk om voor gewone muziek een dikke VU meter in augmented reality op mijn tafel te zetten die lekker te keer gaat op de muziek uit mijn mediacenter.
Genoeg toepassingen en varianten op te bedenken

Keerzijde

13 september 2017 09:34

Dit werkt dus alleen wanneer je een bewegende geluidsbron hebt.
Als hij stil zou staan zitten alle audio samples op 1 punt in de ruimte (en dus in de tijd).
Wat laat je dan horen?

[Reactie gewijzigd door Keerzijde op 26 juli 2024 12:30]

Devaqto 12 september 2017 19:14

Dit zag je altijd in scifi films, geweldig dat dit nu echt bestaat. Geloof het bijna niet.

V1C7OR 12 september 2017 19:21

Ik denk direct aan toepassing in de automotive. Bij een verkeersongeluk etc. direct een berichtgeving over de speakers + visueel een melding kunnen geven dmv head-on display

michelvosje @V1C7OR • 12 september 2017 20:44

Of terug kunnen luisteren/zien waar politieagenten gelopen hebben op welk moment.

tw_gotcha

12 september 2017 19:45

geweldig. Handig als je met aliens wil praten die geen geluidsgolen kunnen waarnemen maar wel licht.

of een beetje kleur eraan toeoegen oor emotie en dan een feestje opnemen.

super leuk

Verwijderd 12 september 2017 23:41

VR DJ console kom er maar in

biteMark 13 september 2017 00:45

Toch leuk idee, zou je een heel concept omheen kunnen bedenken

Op dit item kan niet meer gereageerd worden.

Kunstenaar maakt audio gelokaliseerd zicht- en hoorbaar met augmented reality

Lees meer

Google ARCore Preview

Reacties (18)

Sorteer op:

Weergave: