Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Kunstenaar maakt audio gelokaliseerd zicht- en hoorbaar met augmented reality

Door , 18 reacties

De Amerikaanse kunstenaar en hacker Zach Lieberman heeft een applicatie met Apples ARKit ontwikkeld om zijn stem audiovisueel op te nemen en weer te geven via augmented reality. Zo is de audio terug te bekijken en te beluisteren op de plek waar deze is opgenomen.

In een video op Instagram demonstreert Lieberman zijn werk. Te zien is dat zijn iPhone een spoor van golfvormen creëert op basis van geluiden en zinnen die hij maakt, op de plek waar hij zijn stem gebruikt. Vervolgens is de opname opnieuw te beluisteren, ook achterwaarts, door met de iPhone het spoor opnieuw te volgen.

De New Yorkse kunstenaar, ontwikkelaar en hacker, onder andere betrokken bij de School For Poetic Computation, gebruikt Apples framework voor ar, ARKit, in combinatie met OpenFrameworks voor de demonstratie. OpenFrameworks is een C++-library die hij zelf mede is gestart. Op de Instagram-pagina van Lieberman staan nog meer experimentele ar-video's.

Olaf van Miltenburg

Nieuwsco÷rdinator

12 september 2017 18:46

18 reacties

Linkedin Google+

Reacties (18)

Wijzig sortering
Handig voor militairen om te bepalen waar een kogel vandaan komt. Of werkt het niet op afstand?

[Reactie gewijzigd door Waterkoker op 13 september 2017 06:24]

De bron word niet gelokaliseerd. Bekijk het filmpje maar eens.

De locatie van de ontvanger (Telefoon in dit geval) word bepaald/gerecord in een 3d space en er worden geluidsfragmenten aan die locatie gehangen.

Zeker interessante techniek maar het doet geen lokalisatie van waar het geluid vandaan is gekomen

[Reactie gewijzigd door Rmg op 13 september 2017 14:34]

Leuk, maar lang niet zo cool als de titel van het artikel laat denken.
Het is niet echt technisch hoogstaand ofzo en zo te zien heeft hij gewoon wat bestaande api's aan elkaar geknoopt.
Toch een slim concept voor augmented reality.

Ik dacht zelf bij de titel van het artikel wel dat het nuttig zou zijn voor slechthorenden, maar dan zal er tekst in de ruimte zichtbaar moeten zijn, ofwel een (al dan niet gelocaliseerde) live ondertitel, dat moet goed te doen zijn, zolang mensen niet door elkaar praten in een ruimte?

Verder uitgewerkt denk ik aan een slechthorende die comments boven de televisie kan schrijven (vanaf een toetsenbord) en de rest van een gezin dan gewoon terug kan praten, dan hoeft men niet op te kijken van een film voor de gebarentaal.

Maar ik heb persoonlijk geen idee of zoiets nuttig of gewenst zou zijn?
Toch een slim concept voor augmented reality.
Ik zie niet in hoe je dit nuttig kunt toepassen.

Het enige wat je ziet is dat de telefoon door een ruimte wordt getraceerd. Maar dat is ook gewoon hoe een HMD werkt, of een VR-controller.
En dan laat deze jongen dan ook nog op die plek een animatie zien van het geluid dat op die plek op dat moment binnen kwam.

Leuke spielerij, maar niet echt iets met een boel toepassingen (behalve leuke frummels die in de lucht zweven).
Verder uitgewerkt denk ik aan een slechthorende die comments boven de televisie kan schrijven (vanaf een toetsenbord) en de rest van een gezin dan gewoon terug kan praten, dan hoeft men niet op te kijken van een film voor de gebarentaal.
a) Wat jij beschrijft heeft niks te maken met wat deze gast doet.
b) Wat jij beschrijft kan al op redelijk triviale wijze via bestaande API's. Er hoeft niet echt iets voor uitgevonden te worden.
En inderdaad, virtuele chatschermen, of virtuele post-ti notes etc dat kan absoluut nuttig zijn in AR toepassingen. Sterker nog, het projecteren van contextgevoellige textuele informatie is denk ik een van de betere toepassingen van AR. :)

[Reactie gewijzigd door koelpasta op 13 september 2017 13:39]

Het idee van, moderne, kunst is dat het je aan het denken zet over wat je waarneemt, en daar voldoet dit enorm goed aan.
Dat het technisch geen edge case is, sois, maar had je ooit eerder geluid in een ruimte 'gezien'? Nee? Nu dus wel.
maar had je ooit eerder geluid in een ruimte 'gezien'?
Ik ben er inderdaad van overtuigd dat ik zulke dingen al eerder heb gezien maar kan me even niet voor de geest halen waar dat was. Was wel alweer een jaartje of 10 geleden, toen accelerometers en wiimotes helemaal de shit waren.
Het aan elkaar plakken van lang bestaande dingen is toch juist cool in het Apple universum?
Wat voor een hekserij is dit? In 1700 was ie op de brandstapel geŰindigd.
Gelukkig zitten we nu in 2017 ;)

Lijkt me leuk om voor gewone muziek een dikke VU meter in augmented reality op mijn tafel te zetten die lekker te keer gaat op de muziek uit mijn mediacenter.
Genoeg toepassingen en varianten op te bedenken :)
Dit werkt dus alleen wanneer je een bewegende geluidsbron hebt.
Als hij stil zou staan zitten alle audio samples op 1 punt in de ruimte (en dus in de tijd).
Wat laat je dan horen?

[Reactie gewijzigd door Keerzijde op 13 september 2017 09:35]

Dit zag je altijd in scifi films, geweldig dat dit nu echt bestaat. Geloof het bijna niet. :D
Ik denk direct aan toepassing in de automotive. Bij een verkeersongeluk etc. direct een berichtgeving over de speakers + visueel een melding kunnen geven dmv head-on display
Of terug kunnen luisteren/zien waar politieagenten gelopen hebben op welk moment.
geweldig. Handig als je met aliens wil praten die geen geluidsgolen kunnen waarnemen maar wel licht.

of een beetje kleur eraan toeoegen oor emotie en dan een feestje opnemen.

super leuk
VR DJ console kom er maar in
Toch leuk idee, zou je een heel concept omheen kunnen bedenken


Om te kunnen reageren moet je ingelogd zijn


Apple iPhone X Google Pixel XL 2 LG W7 Samsung Galaxy S8 Google Pixel 2 Sony Bravia A1 OLED Microsoft Xbox One X Apple iPhone 8

© 1998 - 2017 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Hardware.Info de Persgroep Online Services B.V. Hosting door True

*