Valve doet onderzoek naar brain-computer interfaces voor gaming

Valve onderzoekt de mogelijkheden van brain-computer interfaces, onder andere voor gaming. Dat meldt Gabe Newell, de medeoprichter van dat bedrijf, in een interview met het Nieuw-Zeelandse 1News.

Newell vertelt tegenover 1News dat Valve momenteel gebruikmaakt van OpenBCI-headsets voor het ontwikkelen van opensourcesoftware. "We werken aan een opensourceproject, zodat iedereen hogeresolutieafleestechnologieën voor hersensignalen ingebouwd kan krijgen in headsets, op een heleboel verschillende manieren."

OpenBCI onthulde vorig jaar een nieuw ontwerp van een dergelijke herseninterface, genaamd Galea. Galea is bedoeld om geïntegreerd te worden in VR- of AR-headsets en wordt geleverd met sdk's om biometrische data uit Galilea te brengen naar 3d-engines, software van derde partijen en 'alle veelvoorkomende programmeertalen'.

De Valve-topman zegt zelf dat het idee van brain-computer interfaces 'niet van science-fiction te onderscheiden valt', maar hij meldt ook dat het een 'domme fout' zou zijn als ontwikkelaars hier niet mee experimenteren. Newell meldt overigens dat Valve een dergelijk product niet op de korte termijn op de markt brengt. "De snelheid waarmee we dingen leren is zo hoog dat je niet voortijdig alles wil vastleggen, een product wil bouwen en alle goedkeuringsprocessen wil doorlopen, terwijl we over zes maanden iets hebben dat een heleboel andere functies mogelijk zou hebben gemaakt."

OpenBCI introduceerde in november zijn Galea-bci

Brain-computer interfaces zouden onder andere gebruikt kunnen worden in games. Bci's zullen volgens Newell leiden tot spelervaringen die veel beter zijn dan wat een speler via zijn ogen en oren kan krijgen. "De echte wereld zal niet langer de maatstaf zijn die we hanteren voor de best mogelijke visuele getrouwheid."

Buiten games zouden dergelijke brain-computer interfaces verschillende aspecten van het menselijk leven kunnen verbeteren. Newell noemt daarbij slaap als voorbeeld. "Slaap zal een app worden", aldus de Valve-topman. Met bci's zouden gebruikers zelf kunnen bepalen hoelang en hoe diep ze willen slapen. Valve levert ook bijdragen aan projecten die synthetische lichaamsdelen ontwikkelen, in ruil voor expertise.

Newell benadrukt verder enkele risico's van bci's. Hij noemt het idee dat een herseninterface iemand pijn laat voelen een 'ingewikkeld onderwerp', waarbij ontwikkelaars die functie zouden kunnen toepassen om gebruikers de pijn van hun in-game personage te laten voelen. Daarbij voegt de Valve-topman toe dat bci's ook vatbaar zullen zijn voor malware, net als andere digitale apparaten.

Gabe Newell en Valve praatte eerder al over bci-headsets voor gaming. De topman vertelde vorig jaar in een interview met IGN bijvoorbeeld dat 'we dichterbij The Matrix zijn dan mensen denken'. Andere grote bedrijven doen ook onderzoek naar herseninterfaces, waaronder Neuralink, een bedrijf van Elon Musk.

Gabe Newell

Reacties (59)

Interessant uit het interview is dat Gabe het moeilijk heeft om de knoop door te hakken en van research over te stappen naar product-ontwikkeling.
Want binnen 6 maanden zou hij een beter product (headset) kunnen maken omdat zijn research weer veel verder staat. En eens je begint aan je product zit je tech "vast" voor een hele poos.

Ik heb de indruk dat Gabe & Valve hier al 25 jaar met worstelen.

Gelukkig heeft Newell de resources om het uit te stellen en om niet gehaast een product op de markt te brengen, echter is natuurlijk de vraag wat de concurrentie hiermee gaat doen. Stel deze brengen wel sneller een headset als deze uit en het slaat aan, waar komt Valve dan met hun headset te staan?

Lijken me allemaal erg lastige materie voor onze Newell.

En misschien is dit dan ook het moment dat ze toch bezig zijn met HL3 (jaja ik weet het en ken het verhaal erachter).

De Oculus brillen en WMR setjes bestonden ook al jaren voor de Index op de markt kwam.
Toch hebben ze'm uitgebracht, er mee bezig zijn en de ontwikkeling ondersteunen kan ook een strategie zijn om de toekomst van het platform te verstevigen.

De vive was ook al een samenwerking met valve.... Alleen omdat Valve vind dat het te veel richting low end ging, heeft met de index gemaakt

Steam is door de betrokkenheid in de ontwikkeling wel sterk als platform dat VR goed ondersteund.
In geen enkele game store heb je zoveel overzicht en duidelijkheid wat VR betreft als in Steam.
Als platform kunnen ze zich daarmee onderscheiden.
Uiteindelijk hebben ze tot op heden geen enkele hardware die net zo hard €'s voor ze binnenhaalt zoals hun platform doet met verhandelen van software/licenties (games verkopen) en in-game attributen.

Als platform zijn ze bezig om meer en meer te binden aan hun platform.
Doe je aan VR, dan koop je bij hun de nieuwste games die VR ondersteunen dat is ook het uiteindelijke doel met dit soort brain-computer interfaces.

[Reactie gewijzigd door EwickeD op 26 januari 2021 16:53]

Stel deze brengen wel sneller een headset als deze uit en het slaat aan, waar komt Valve dan met hun headset te staan?

Nou waarschijnlijk hetzelfde als met de VR-headsets. Daar waren ze ook niet bepaald de eerste mee, maar zetten vervolgens wel (naar mijn mening) een van de meest complete producten op de markt met de Index en knuckles.

Interessante opmerking!

Ik had dat gevoel ook meteen. Maar als je dan kijkt naar HL2, Portal 1&2, Alyx zie je toch dat ze soms wel nieuw ontwikkelde techniek uitbrengen. Welliswaar blijft het beperkt tot eens in de ~15 jaar, maar toch.
Volgens mij gaat het meer om hoe Valve als bedrijf is ingericht. Een eigenaar die door alle dubbeltjes niet meer weet wat ie moet doen in z'n leven en daardoor in steeds meer exotischer/hogere tech terecht komt (dat ruimtevaartbedrjif heeft ie een belang in toch? en nu dit weer). En aan de andere kant een softwarebedrijf - of is het een gameontwikkelaar - waar volgens mij niemand weet welke kant het bedrijf op moet gaan en ze daarom dus maar doen wat ze leuk vinden en/of goed in zijn. Creatief gezien krijg je dan een hoop mooie dingen, maar de productiviteit blijft dan achter.

Maar wie o wie gaat die knoop doorhakken?

OZC was geflopt in 2008 met de Neural Impulse Actuator. Mede door moeilijke bediening. Ook waren ze pionier op gebied van commerciële gaming en het aansturen van games.

nieuws: OCZ NIA-breininterface voor gamers getest

Maar wie o wie gaat die knoop doorhakken?
Gabe uiteraard. Zie ook hun medewerker handboek (pagina 7):
https://www.valvesoftware...Valve_Handbook_LowRes.pdf

Het bedrijf is een Holacratie. Iets dat je ook steeds meer in Nederland vindt. Vooral als je het nog nooit in de praktijk hebt gezien is het lastig te begrijpen maar het werkt zeker. Ook al heeft het weer zijn eigen uitdagingen.

pagina vii of 7 ? 7 staat niks.

Hij noemt het idee dat een herseninterface iemand pijn laat voelen een 'ingewikkeld onderwerp', waarbij ontwikkelaars die functie zouden kunnen toepassen om gebruikers de pijn van hun in-game personage te laten voelen

Ja ja, "Pijn" laten voelen.... Het zal mijn dirty brein wel zijn wat meteen aan een andere toepassing moest denken.

Maar ook dingen als je slaap kunnen reguleren, wow best eng, maar ook mogelijk een heel goed hulpmiddel voor mensen met een slaapstoornis.

Super interessante materie!

Ik heb zes jaar bij een toko gewerkt die EEG apparatuur ontwikkeld, maar ik heb geen flauw idee hoe ze met de genoemde techniek de hersenen kunnen beïnvloeden.

De huidige techniek "leest" hersensignalen, maar kan deze niet beïnvloeden. Er wordt ook wel brain stimulation gedaan, maar dit gaat via naalden diep in de hersenen (deep brain stimulation, bv voor Parkinson's patiënten), of het is heel ongericht, bv DC stimulatie en shock therapie.

De techniek die Elon Musk nastreeft is ook invasief, er wordt een flink gat in de schedel geboord, waar de elektrode komt. Dat lijkt me voor gaming niet echt acceptabel (Wel als je er ziekte mee kunt bestrijden).

Als je stimuleert op de hoofdhuid, beïnvloed je altijd een enorme hoeveelheid willekeurige neuronen, je kunt niet een specifieke gedachte oid oproepen door een miljoen neuronen een schop te geven.

Hangt af van de manier van signaal overbrenging denk ik.

Een enkel signaal sturen van 1 plek buitenaf zal je inderdaad niet makkelijk gericht iets kunnen sturen.
Maar met om het hoofd verspreide zenders die met golven werken kan je door middel van ingewikkelde interferentiepatronen wel op specifieke plekken in de hersenen pieken creëren die dus heel gericht signalen kunnen doen ontstaan. Als de individuele golven onder de grens zitten die voor de hersenen waarneembaar zijn zie ik zoiets wel werken.

Niet dat ik direct vooraan zou staan want het heeft dan wel iets weg van je kop in de magnetron douwen en dat word niet voor niks afgeraden

Yep, met elektromagnetische straling zou het idd mogelijk moeten zijn om een bepaalde zone diep in de hersenen te targetten. Dit wordt gedaan met grote spoelen, die enorme velden opwekken. (TMS stimulatie). Het motorische gebied kan je hier wel mee activeren, bv iemands armen omhoog laten gaan.

Als Valve (of gerelateerde) het zou lukken om dit type stimulatie minder lomp te maken, zou dat erg interessant kunnen zijn. Om hersengebieden te activeren heb je een veldsterkte van grofweg 100 V/m nodig, om iets specifieks te bereiken, heb je vervolgens ook een veld nodig dat in een mm^3 boven de 100 V/m zit, en één mm verderop al weer ruim onder deze grens zit. Voor zo ver ik weet, lukt dit nog totaal niet. Als diep in de hersenen iets geactiveerd moet worden, gaat dit altijd gepaard met activatie van allerlei andere gebieden die dichter aan de oppervlakte liggen.

je kunt niet een specifieke gedachte oid oproepen door een miljoen neuronen een schop te geven

Een oneindig aantal apen op een oneindig aantal typemachines genereren op een gegeven moment een kopie van alle werken van Shakespeare.

Dus; een oneindig aantal rotschoppen op een oneindig aantal neuronen geeft mij op het gegeven moment het gevoel dat ik zoek.

Of een hersenbloeding.

Vond dat altijd zo'n gekke stelling met die apen. Veel te veel variabelen (bijvoorbeeld een fysieke voorkeur om met de rechterhand de rechterkant van het toetsenbord te raken en met links de linkse, of het feit dat 1 toets per slag erg onwaarschijnlijk is met apen) om het daadwerkelijk willekeurig te noemen.

Een totaal niet-relevante opmerking over iets waar ik kennelijk teveel tijd aan heb besteed in mijn hoofd, I know...

De techniek die Elon Musk nastreeft is ook invasief, er wordt een flink gat in de schedel geboord, waar de elektrode komt. Dat lijkt me voor gaming niet echt acceptabel

Als ze dat gat nou toegankelijk maken met een grote rode draaiknop heb je meteen een mooi logo te pakken

Dit lijkt me een interessant artikel voor een 'premium' artikel. Vooral ook omdat ik me niet kan voorstellen hoe dit werkt. Communiceert dit apparaat 'draadloos' met ons brein? Hoe werkt dat? Wat zijn de kansen dat een gebruiker overlijdt door een bug? En zo kan je vragen blijven stellen.

Inderdaad. Een premium artikel die diep ingaat over hoe de helm werkt, welke techniek erachter zit en hoe dit (eventueel) in de toekomst eruit gaat zien voor (VR)gaming zou leuk zijn om te lezen.

Overigens dat een gebruiker overlijdt door een bug moest ik gelijk aan de anime Sword Art Online denken

Ondanks de gevaren lijkt me het wel echt heel gaaf om een dergelijk systeem uit te proberen (Full Dive zoals dat zo mooi heet in SAO). Mocht het ooit zover komen dat een dergelijk systeem op de markt komt dan zijn er talloze toepassingen voor. Eigenlijk gewoon een Holodek zoals in Star Trek alleen ben je zelf dan ook virtueel.

Idem voor Log Horizon.

Weet niet meer of het SAO was, Black Mirror, of een andere serie/film waar een personage verlamd was en via de helm weer vrij kon bewegen (in de virtuele wereld).

Alleen dan krijg je weer taferelen (ook voor niet-verlamde mensen) dat de fantasy wereld "fijner aanvoelt" en mensen niet meer in de echte wereld kunnen/willen functioneren.
Zo'n beetje als Inception (Al die mensen in N-Afrika onder invloed van het slaapmiddel, gedeelde droom), of passages uit de boekenreeks The Beam.

Dat zal nog wel een ethisch vraagstuk zijn.. Als de mens zijn fysieke lichaam verwaarloosd (idem voor de verplichtingen, zoals niet meer werken of de vaste lasten niet meer betalen), omdat men liever in de virtuele wereld wilt verblijven.

In Black Mirror was een aflevering waar iemand terminaal ziek was en via de helm weer vrij kon bewegen. Misschien dat je die bedoeld?

Het ethische vraagstuk zal denk ik nog lang over gediscusseerd worden. Uiteraard over de punten die jij aanhaalt maar vast nog veel andere punten waar we nu nog niet eens meteen aan denken.

In SAO S2E18-24 is een meisje genaamd Zekken / Yuuki Konno die permanent in een ziekenhuis ligt en alleen via full dive kan communiceren. Klinkt erg als wat je mogelijk bedoelt.

Qua ethisch vraagstuk; Ja, zodra het virtuele leven beter voelt dan het echte leven dan kan het verworden tot een soort drug, met alle gevolgen (verslaving) van dien. Heroïne voelt ook "fijner aan" dan de echte wereld, daarom zijn opiaten ook zo streng gereguleerd. Er zal héél goed nagedacht moeten worden over de gevolgen van dit soort "playing God" technologieën, want de risico's kunnen catastrofaal zijn…

Dit lijkt me een interessant artikel voor een 'premium' artikel.

Dat is de eerste keer dat iemand dat openlijk durft te zeggen...

Vooral ook omdat het totaal geen "nieuws" is. Dit zei Valve namelijk 4 jaar geleden ook al.

Sword Art Online vibe iemand?

Ik vind het te gek dat de techniek in VR / AR zich razendsnel ontwikkelt. De stap richting Neurolink komt hiermee alleen maar dichterbij.
De dag dat je full body & mind in een VR MMORPG wereld waant is de dag ik op wacht. Een echte SAO belevenis.

Sword Art Online vibe iemand?

Ja inderdaad, hadden de bedenkers van de serie toch een goed vooruitziende blik.
Zou je dan kunnen stellen dat spyware/malware/virussen ook effect kunnen hebben op onze hersens via zo'n ding, of is dat een stap te ver

Count me in!

Naast gamen is het ook handig om even "op" vakantie gaan. Hoewel het niet in alle gevallen kan tippen aan een echte vakantie (in ieder geval niet meteen) zou je bijvoorbeeld wel kunnen gaan jagen of vissen. Of wat dacht je van even terug in de tijd en bijvoorbeeld New York verkennen in de jaren 30.

Zelf zou ik wel is willen rijden door de straat met een tank
Ja ik ben een tankfanaat

En die nieuwe brain computer interface gaat Headcrab heten?

LOL!

Helaas missen we de 'grappig' moderatie, dus dan maar een +1'tje van mijn kant.

Als het maar geen poison headcrab wordt, die dingen waren doodeng!

Ze zijn in HL:Alyx nog steeds doodeng!

Valve is hier al heel lang mee bezig. Mike Ambinder, experimenteel psycholoog bij Valve, voorziet drie toepassingen: meten tijdens playtesting (al zo'n tien jaar in gebruik), adaptieve gameplay, en vervanging van input devices. Deze presentatie uit 2019 vat het mooi samen.

OZC was in 2008 hier al mee bezig, echter het was moeilijk en erg intensief om de Neural Impulse Actuator te bedienen.

nieuws: OCZ NIA-breininterface voor gamers getest

Kan ik hier uit opmaken dat ze in principe The Matrix aan het ontwikkelen zijn?

LOL, als ik zo naar de nieuws berichten kijk, zou je denken dat we allang in een Matrix zaten

The Matrix, mensen als batterij..
Vandaag in NRC (corona gerelateerd):

Kinderen bleken dubbel zoveel naar een scherm te kijken ten opzichte van voor corona, bijna 7,5 uur per dag. In het VK was dat meer dan 9 uur.
[..]
Een derde van de ouders zag dat na de eerste lockdown mediagebruik permanent was veranderd, en dat zal na de tweede lockdown alleen maar meer zijn.
[..]
Kinderen missen nu niet alleen fysieke prikkels, die ze krijgen bij het buitenspelen of het rennen op het schoolplein. Ze hebben ook gebrek aan cognitieve, sociale en emotionele impulsen.
Sociale media kunnen dat niet vervangen.
"In het echt geeft iemand inhoud aan z'n woorden, door een wenkbrauw op te trekken bijvoorbeeld. Met sociale media geef je vooral woorden over. De emotionele interactie is bijna non-existent.
[..]
"Ze gaan alleen nog om met mensen die ze al goed kennen. Terwijl je op school verplicht bent ook met anderen samen te werken. Zelfs als iemand je niet mag. Nu leren ze niet met iedereen omgaan"

Maar je kan 'kinderen' prima vervangen met 'volwassenen' en 'school' met 'werk'.

Leuk maar ook een beetje 'eng'.

Stel, in game wordt je ongemerkt geconfronteerd met (achtergrond) gebeurtenissen of bijvoorbeeld afbeeldingen op muren dan kunnen ze je reactie hierop vastleggen en je zo beter leren kennen dan dat je jezelf kent. Zou dit kunnen? Zo ja, dan is dat wederom kostbare (persoonlijke) data.

Ja, zelfs alleen met eyetracking kunnen ze al veel over je te weten komen, laat staan met braintracking.

Gevaar daarvan is dat men je nog beter kan doorzagen dan een psychiater en die info vervolgens gebruiken om je subtiel te manipuleren. En natuurlijk kunnen ze die data dan weer doorverkopen aan marketeers, politieke campagnes en ander gespuis wat jouw gedrag / gedachten wil beinvloeden.

Al acht ik Valve betrouwbaarder dan big tech...
en big tech komt straks ook met deze technologie.

GabeN gaf vorig jaar in een interview met IGN al aan te werken aan een 'Brain-computer-interface'. Zelfs met sterke woorden als; "If you're not thinking about this right now, you are too late" - naar andere game-developers.

Hier een stukje uit dat interview;
https://youtu.be/I0zXkwLs_lo?t=610

Ook zegt hij hier al; "Half-Life series is about new technology", Alyx kwam met VR, HL2 met Physics etx. Dus HL3 met een Brain-computer-interface?

Hebben mensen hier toevallig al ready player two gelezen?

OT:
Wat zou de kans zijn dat er binnen afzienbare tijd (10-20 jaar) een commercieel werkende Brain Computer Interface op de markt komt en ook een succes wordt?

[Reactie gewijzigd door bramgozer op 26 januari 2021 12:32]

Ik moet denk aan Daydream van google. In theorie gaaf, in de praktijk werd er niet voor ontwikkeld.

Maar VR en AR headsets zijn handig voor bijvoorbeeld architecten. Een simpele BCI toevoeging voor 'maak licht', 'maak donker' is dan mogelijk een leuke (maar gimmicky) toevoeging. Maar wel erg niche-markt. Maar die headsets bestaan al naar mijn weten. Slaap en emoties van gebruikers meten en gebruiken vind ik persoonlijk een eng idee. Mensen verzetten zich nu al tegen 'geleefd worden door algoritmes'.

Een BCI echter die kan, wat een smartphone allemaal ook kan, die sneller en efficiënter werkt, zonder teveel false positives? (denk aan je autocorrect)
No chance in 20 jaar naar mijn mening, signalen in de hersenen zijn daar te 'fuzzy' voor. Robuust, maar fuzzy. Daar is een smartphone een veel betere interface apparaat voor.