Besturing computercursor met hersenen flink verbeterd

Onderzoekers hebben een nieuw algoritme ontwikkeld waarmee signalen die worden opgevangen door hersenimplantaten voor de aansturing van computers sterk verbeterd kunnen worden. De bewegingen worden met het algoritme niet alleen sneller, maar ook nauwkeuriger.

Bij patiënten die hun ledematen niet kunnen bewegen, kunnen hersenimplantaten signalen van motorische centra, die verantwoordelijk waren voor het bewegen van die ledematen, opvangen. Die signalen kunnen vervolgens gebruikt worden om een muiscursor van een computer te bewegen en de patiënt zo de computer te laten bedienen. Een nieuw algoritme moet de nauwkeurigheid van de vertaalde signalen sterk verbeteren, terwijl ook de snelheid waarmee de muis bediend kan worden, verbeterd wordt.

Het algoritme werd ontwikkeld door onderzoekers van de Stanford-universiteit en is ReFIT genoemd. De software werd niet met menselijke proefpersonen getest, maar met rhesusaapjes. In vergelijkingen met bestaande algoritmes bleek ReFIT tweemaal sneller en veel nauwkeuriger een muiscursor aan te kunnen sturen: volgens de onderzoekers zouden de prestaties die van een echte arm benaderen. Na de testen met de rhesusaapjes zouden klinische tests met menselijke patiënten moeten volgen.

Proefpersonen zouden een silicium implantaat krijgen die via elektrodes signalen van motorneuronen ontvangt. De signalen worden doorgestuurd naar een computer die meet hoe vaak de neuronen geactiveerd worden: op basis van die analyse wordt een cursor aangestuurd. Het nieuwe algoritme onderscheidt zich door zijn feedback-systeem: oog-'hand'-coördinatie wordt gebruikt om de nauwkeurigheid te verbeteren. Tevens werd data van intacte ledematen gebruikt om het algoritme de juiste bewegingen te leren.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (26)

[FragFrog]

Proefpersonen zouden een silicium implantaat krijgen die via elektrodes signalen van motorneuronen ontvangt.

Waar komt deze opmerking vandaan? Motor neuronen bevinden zich doorgaans veel later in de aansturing van beweging; de celkern van de meeste motor neuronen bevindt zich in het ruggemerg, en projecteert naar spiercellen. Dit artikel gaat specifiek over de motor cortex, een gebied waar je eerder een specifiek soort pyramidaalcellen vindt (die op hun beurt via het interneuroncircuit weer motorneuronen aansturen).

En, helaas voor mensen met een handicap, dit systeem trainen ze initieel door de echte beweging van een arm te vergelijken met de signalen vanuit de hersenen; ergo, het werkt vooral als je nog steeds je ledematen kan bewegen. Nochtans een interessante aanpak; een online leeralgoritme is een logische stap hier, ik ben vooral benieuwd of dit ook toepasbaar is op technieken als electroencephalography zodat niet eerst je schedel opengemaakt hoeft te worden.

[Reactie gewijzigd door FragFrog op 22 juli 2024 20:27]

[narotic]

En, helaas voor mensen met een handicap, dit systeem trainen ze initieel door de echte beweging van een arm te vergelijken met de signalen vanuit de hersenen; ergo, het werkt vooral als je nog steeds je ledematen kan bewegen.

Dit is niet het geval. Geamputeerden genereren nog altijd signalen als ze hun fantoomledemaat proberen te bewegen. Ondanks dat er dus geen beweging uit voorkomt, zijn deze signalen wel degelijk sterk genoeg om door middel van elektromyografie te meten. Aangezien het hier om een hersenimplantaat gaat welke dicht op de motorcortex geplaatst wordt, is het al dan niet kunnen bewegen van ledematen in nog mindere mate relevant. Integendeel, het principe achter dit soort prostheses is dat slechts het denken aan een beweging voldoende is.

Daarnaast is een belangrijk element dat adaptatie tweeledig is, namelijk zowel in het algoritme als in de patient. Het komt vaak voor dat de patient namelijk een bepaalde mapping moet leren tussen de signalen die hij/zij afgeeft en het resultaat dat dit heeft op het ledemaat. Aangezien dit om het besturen van een cursor gaat (2 dimensies dus), kun je bijvoorbeeld denken dat de signalen voor de antagonisten biceps/triceps voor de controle in een horizontale dimensie ingezet worden, terwijl twee andere spieren voor de verticale dimensie ingezet worden. In dit voorbeeld kun je dus niet spreken van een directe en natuurlijke relatie tussen de oorspronkelijke ledematen/spieren en het gedrag van de prosthesis en vereist het de patient om geleidelijk vertrouwd te raken met de nieuwe functies van deze controlesignalen.

Overigens heb ik persoonlijk enige twijfels bij deze studie. In meerdere publicaties van deze groep worden harde conclusies getrokken uit resultaten met slechts een (1) aap. Dit is voor mij eerder al reden geweest een van hun papers te verwerpen voor een conferentie. Helaas kan ik hun recente journalpaper (nog) niet inzien, dus ik kan hier weinig met zekerheid over zeggen.

[Reactie gewijzigd door narotic op 22 juli 2024 20:27]

[FragFrog]

Het probleem is niet het gebrek aan input vanuit de mortorcortex, maar de initialisatie van het algoritme:

The team had a unique way of “training” the algorithm about movement. When the monkey used his real arm to move the cursor, the computer used signals from the implant to match the arm movements with neural activity.

Hoe essentieel dit bootstrappen is voor verdere training kan ik helaas moeilijk beoordelen, maar ik vermoed dat zonder deze stap hun algoritme wel eens minder goed zou kunnen presteren.

[narotic]

Het bootstrappen is volgens de auteurs niet heel belangrijk; uit het originele artikel:

The aforementioned training protocol used arm-controlled reaches as training data. In a paralyzed individual, it is not possible to record arm kinematics for this step. Instead, this training step could rely on the individual imagining a set of instructed movements. To test this possible strategy, we trained the initial algorithm based on visual-cue observation8,12, removing the requirement for arm control in step one.[snip]The performance, as measured by Fitts’s law25 (Supplementary Modeling), for these sessions was similar to that attained for the native arm control–initiated sessions described (Figs. 1 and 2).

http://www.nature.com/neu...current/full/nn.3265.html

Overigens zijn deze resultaten inderdaad gebaseerd op meerdere trials met slechts 2 apen.

[MrQuincle]

Tweeledige adaptatie. Ja, dat vind ik inderdaad ook vreemd. Je verwacht toch eigenlijk dat onderzoekers eerst gaan kijken wat voor patronen er onstaat in de hersenen (proefpersonen dagelijkse activiteiten laten ondernemen, brein lezen en video opnemen), voordat ze een Kalman filter gaan inzetten. En wat betreft het meenemen van positie informatie en niet alleen velocity in de state estimation, ja, daar sla ik ook niet steil van achterover. :-) Echter, ik kom vanuit de robotica (waar je wordt doodgegooid met Kalman filters), dus ik kan me voorstellen dat dat soort werk niet direct doorsijpelt richting BMI onderzoek.

Ik moet nog wel een keer kijken naar hoe ze nu om gaan met die interventies. Ik heb het boek van Pearl over causaliteit half uit, maar hoe dat nu daadwerkelijk toe te passen blijft een beetje magisch. Er wordt gesteld dat de feedback van de gevisualiseerde cursor de positie variable p_t exact maakt, maar niet van v_t? Dus dit komt neer op dat wij exact kunnen bepalen (aangenomen een perfect forward model, dus perfect oog-hoofd/nek coordinatieframe transformaties neem ik aan) wat de positie van een cursor is, maar niet de snelheid. Zou wel kunnen inderdaad...

Link: pdf

[Mont2uk]

Inderdaad denk ik ook niet dat actiepotentialen uit motorneuronen gehaald worden hier. Maar meer direct uit zenuwcellen in de motorcortex zelf (piramide-/ piramidale cellen inderdaad).
Daarnaast gebruiken ze niet individuele neuronen, maar kleine groepjes. Om het meer fout tolerant te maken. Vanwege de kleine schaal waar neuron/ implantaat interactie plaats vindt voorkom je zo beter problemen die ontstaan door verschuiving in contact tussen neuron/ implantaat.

Overigens is deze alinea interessant:
"The system relies on a silicon chip implanted into the brain, which records “action potentials” in neural activity from an array of electrode sensors and sends data to a computer. The frequency with which action potentials are generated provides the computer key information about the direction and speed of the user’s intended movement."

Dit soort dingen werkt dus alleen bij mensen die geen hersenbeschadiging hebben opgelopen in hun motorische cortex door bv een hersenbloeding. Maar dus wel bij mensen die hun nek gebroken hebben en daarmee zenuwen in hun ruggemerg beschadigd hebben.

[Verwijderd]

Ieeeee, hersenimplantaten . Daar zou ik dus echt als de dood voor zijn, ook al lijkt het me wel handig om te hebben, ze zouden het toch echt wel HEEL erg veilig moeten maken.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 20:27]

[Verwijderd]

Zou het dan mogelijk zijn om een aantal (zeg 100) profielen vast te stellen en van daaruit het profiel aanpassen aan de gehandicapte?

[FragFrog]

Ik vermoed van niet; in grote lijnen zijn onze hersenen (bijna) altijd opgedeeld in specifieke gebieden, die elk hun eigen functie hebben. Het is mogelijk om een kaart te maken van welk specifiek gebiedje in de motor cortex een specifiek ledemaat aanstuurt (dan krijg je zoiets). Maar de preciese signalen die je opvangt verschillen per mens, per locatie waar je meet, en zelfs over tijd.

Een deel van de verbetering hier zit er ook specifiek in dat ze niet meer 1 neuron per input meten, wat na een half jaar kan veranderen, maar een groepje neuronen. Dit is stabieler, blijft beter werken, zelfs na vier jaar nog, wat natuurlijk goed nieuws is voor mensen met een implantaat. Maar waarschijnlijk kun je alsnog niet zomaar een profiel van iemand anders gebruiken; ik vermoed dat het alsnog wel mogelijk is om dit systeem te trainen op iemand die geen controle heeft over zijn ledematen, maar het zal waarschijnlijk langer duren en mogelijk uiteindelijk minder accuraat zijn.

Aan de andere kant, hersenen zijn verbazingwekkend flexibel, met genoeg training en slimme algoritmes als deze moet het mogelijk worden semi-natuurlijke bewegingen te genereren. Erg mooi om te zien waar deze techniek toe kan leiden!

[tomskio]

Ze zouden het misschien al kunnen gebruiken voor patienten die een amputatie moeten ondergaan door de training alvorens de amputatie te doen.

[Mont2uk]

Het mooie is ook dat hersenen erg flexibel zijn!
Na verloop van tijd zullen hersenen zich dan ook aanpassen aan de electronica in hun hoofd, en het algoritme.
Er staat bijvoorbeeld een interessant filmpje over een kleurenblind persoon op TED die met behulp van een apparaatje kleuren kan horen (ja horen). Hij heeft het er ook over dat na verloop van tijd zijn hersenen zich compleet aanpassen aan zijn hulpmiddel. -> http://www.ted.com/talks/...on_i_listen_to_color.html

Na verloop van tijd kunnen we dit misschien wel gebruiken als gaming device als de leercurve niet te stijl is.

[Verwijderd]

Dat laatste lijkt mij wel leuk. Diegene met de "slimste hersens" wint. haha

[FragFrog]

Na verloop van tijd kunnen we dit misschien wel gebruiken als gaming device als de leercurve niet te stijl is.

Sterker nog, dat bestaat al

Helaas nog buiten mijn prijs-range

[johnkeates]

ReFIT.. ik denk bij die lettercombinatie en volgorde aan rEFIt, en dat is heel wat anders. Hadden ze geen andere naam kunnen bedenken? Het lijkt me dat voor zo'n project toch genoeg geld beschikbaar is om tenminste een 100-dollar prijsvraag uit te schrijven

Maargoed, de naam doet er niet toe, het algoritme wel! Uitstekende vooruitgang dit, want door gewoon op een laag genoeg niveau zo'n algoritme voor het verwerken van signalen te maken, kan je stellen dat het dus ook mogelijk is andere signaalsoorten te verwerken en misschien wel terug te koppelen...

[sfranken]

Inderdaad, ik moest meteen aan dit project denken: http://refit.sourceforge.net/

Is niet helemaal hetzelfde... *understatement van de eeuw*

[Patriot]

Alsof het tegenwoordig makkelijk is om namen te verzinnen die werkelijk uniek zijn en ook nergens op lijken

[johnkeates]

rEFIt is vrij zinnig EFI, plus twee letters, en het 're fit' ook dat informatie op de schijf (Bootloader).

ReFit is gewoon de amerikaanse manier om zonder al te veel creativiteit een naam te verzinnen die niet perse slecht klinkt.

[Carharttguy]

Heel mooi, al schat ik in dat dit gewoon zal doorgetrokken worden naar 'gezonde' mensen.
Nu dit nog vrij experimenteel is, is het misschien nog geen goede vervanger van een muis. Maar binnen enkele jaren moet dit zoiezo sneller worden dan de beweging van onze arm. Zou wel een hele boost aan productiviteit zijn.

[jj71]

Alleen zou ik geen silicium implantaat in m'n hoofd geïmplanteerd willen hebben alleen maar omdat ik dan sneller en makkelijker de muispijl kan besturen... dus er moet dan ook nog een manier uitgevonden worden om het te laten werken zonder dat je iets in je lichaam geïmplanteerd hoeft te hebben.

[LetsReact]

Aapjes worden zo ook steeds slimmer, ik heb nog nooit een aap een cursor zien besturen.
Typische en gevalletje van evoluerende hardware (knipoog naar ander topic vandaag).

Waarschijnlijk zijn de resultaten nog sneller als je een kat de muiscursor laat besturen ;-)

[Reactie gewijzigd door LetsReact op 22 juli 2024 20:27]

[skai21]

Het mooie aan deze technologie is ook dat het waarschijnlijk betekend dat een gehandicapt persoon ook met zijn hersenen bij voorbeeld robot(vervangende) benen en armen kan aansturen.

Dit alles natuulijk op verloop van tijd.

[bossssie1]

Ik moest gelijk denken aan de aap die een robot arm bestuurde om eten te pakken

link

[eddyjohn]

Ik ga weer super pessimistisch doen.

Dit is niets nieuws tov dit meer dan 4 jaar geleden.

Die universiteiten moeten maar eens lekker bij elkaar gaan zitten en dit oplossen ipv apart steeds met nieuwe bevindingen komen, waarbij stukken van het puzzel ontbreken. Wie weet is het puzzel al compleet, maar moeten alleen al de stukken bij elkaar.

[Reactie gewijzigd door eddyjohn op 22 juli 2024 20:27]

[Mont2uk]

Neuroscience is één van de meest ingewikkelde gebieden in de wetenschap.
Het lijkt misschien allemaal simpel, of een herhaling van reeds ontwikkelde dingen.
Feit is dat men eigenlijk nog bar weinig van het brein weet. De ontwikkelingen gaan wel steeds sneller, mede door gebruik van computers om niet invasief in het brein te kunnen kijken.

Het gaat om de details. Als je wetenschap bedrijft in een bepaald gebied in de wetenschap, ben je vrij goed op de hoogte van de ontwikkelingen en het lopende onderzoek bij andere onderzoeksgroepen. Natuurlijk is het zo dat op een moment meerdere onderzoeksgroepen onderzoek doen naar een specifiek onderwerp. Dat is ook deel van de wetenschap: proberen het onderzoek of de resultaten van de "concurrent" onderuit te schoppen.
Dat is meestal alleen maar bevordelijk voor het bewijzen van een resultaat!
Ik ben het wel met je eens dat het in sommige gevallen wat efficiënter kan, maar dat is nog niet zo makkelijk op te lossen.

[Carharttguy]

Dat is inderdaad wel erg pessimistisch.

Want het eerste filmpje dat je toont is inderdaad even snel als degene in dit nieuwsbericht. Maar zie je het verschil in oppervlaktes die gebruikt worden? Je ziet duidelijk dat deze nieuwe uitvinding 10 keer nauwkeuriger is.

En dat tweede fimpje van jou is wel heel erg traag.