Onderzoekers ontwikkelen zuinige kunstmatige synaps voor neurale netwerken

Onderzoekers van Stanford en Sandia hebben een organische synaps ontwikkeld op basis van het ontwerp van een batterij. De synaps zou hoge prestaties en energiezuinigheid combineren en op termijn voor neurale netwerken ingezet kunnen worden. De TU/e wil de synaps verder ontwikkelen.

De wetenschappers hebben hun synaps Enode gedoopt, wat staat voor electrochemical neuromorphic organic device. Het doel is om tot een daadwerkelijk neuraal netwerk te komen in plaats van een simulatie van een neuraal netwerk, claimt Yoeri van de Burgt, een van de onderzoekers en inmiddels verbonden aan de Technische Universiteit Eindhoven. Ze hebben zich daarbij laten inspireren door de manier waarop synapsen in de hersenen leren door het over en weer versturen van signalen. De synaps is het contactpunt van neuronen waartussen de elektrische en chemische impulsen in de hersenen plaatsvinden. Ze vormen de basis van het zenuwstelsel.

De huidige computerarchitectuur is niet erg geschikt voor het imiteren van het neurale stelsel. "De algoritmes voor deep learning zijn erg krachtig, maar de berekeningen en simulatie van elektrische signalen gebeurt door processors waarna de opslag op geheugen elders plaatsvindt. Dat is niet efficiënt wat betreft de energie en tijd die het kost", aldus Van der Burgt. De hersenen doen dat veel beter: na verloop van tijd kost de verbinding van signalen met de synapsen steeds minder energie.

Ze maakten daarom een synaps op basis van een geheel andere architectuur. De kunstmatige synaps bestaat uit twee dunne, flexibele filmlagen met een elektrolyt ertussen. Op de onderste laag zijn de source en de drain aangebracht en op de bovenste laag zorgt een contactpunt voor het aanbrengen van een spanning. Zo is de synaps een klein beetje te laden of te ontladen, waarbij de weerstand van de onderste laag toe- of afneemt. De gewijzigde staat van de weerstand blijft behouden als de spanning wegvalt en het geheugen kan meer waardes vertegenwoordigen dan alleen 0 of 1. Zo is de synaps te trainen en is te voorspellen welke spanning nodig is om een bepaalde elektrische staat te verkrijgen, vergelijkbaar met de 'training' van synapsen in de hersenen.

Onderzoekers experimenteren al langer met non-volatiel geheugen zoals memristors voor neurale netwerken. De vinding van de Stanford-onderzoekers zou echter aanzienlijk minder energie vergen en bovendien meer dan vijfhonderd verschillende waarden aan kunnen nemen. Er is 10 picojoule stroom nodig om de kunstmatige synaps naar een andere stand te brengen. Daarnaast zouden de organische synapsen op flexibele substraten te vervaardigen zijn, voor gebruik bij rekbare elektronische systemen, en gaat het om gebruik van goedkope polymeren. Van de Burgt zinspeelt zelfs op de mogelijkheid dat ze ooit gebruikt kunnen worden voor dataverbindingen met de hersenen.

Voorlopig gaat het om een enkele werkende synaps. Dat hun architectuur kan werken, leidden de onderzoekers af van simulaties van gebruik in een netwerk. Dat gesimuleerde netwerk wist geschreven cijfers van 0 tot en met 9 met een accuraatheid van 93 tot 97 procent correct te identificeren. Van den Burgt wil nu in Eindhoven werken aan een reeks van duizend kunstmatige synapsen om de werking in de praktijk te testen.

Het onderzoek met de titel A non-volatile organic electrochemical device as a low-voltage artificial synapse for neuromorphic computing is gepubliceerd bij Nature Materials.

Reacties (13)

[FragFrog]

Neuromorphic engineering is eigenlijk niets nieuws: daar wordt al een jaar of dertig aan gewerkt, en voordat computers krachtig genoeg waren om simulaties van neuronen te draaien was dat eigenlijk de standaard. Een groep in Heidelberg heeft een paar jaar geleden al een brain in silicon gemaakt met honderdduizenden neuronen.

Wat hier vooral nieuwswaardig aan lijkt is hoe gedetailleerd de synapse is, maar het op zich creeren van hardware neuronen met synapsen ertussen is niet erg spannend. De grote vraag lijkt te zijn hoe goed dit schaalt, en hoewel simulaties je daar veel over kunnen vertellen lijkt het in de praktijk - voor zover ik weet - nog knap tegen te vallen met wat je hier uiteindelijk mee kan bereiken. Uiteindelijk is het kennelijk toch simpeler om de hele simulatie in een computer te gooien, al dan niet op FPGA's voor extra snelheid.

[the_yoeri]

Het was ook niet onze bedoeling om te concurreren met True North of gesimuleerde neural networks. Of met silicon technologie in het algemeen. Het idee van deze synaps, en de kracht ervan, is dat hij veel meer verschillende standen kan bezitten (in tegenstelling tot 0 en 1) en deze te benaderen of te veranderen zijn met veel minder energie dan huidige memristors of CMOS technologie. Het idee van het loskoppelen van de lees en schrijf actie maakt dat hij desondanks toch heel stabiel is en de geheugenstand niet verliest. Daarnaast is het natuurlijk leuk dat we dit konden doen in commercieel verkrijgbare polymeren wat het toepassingsgebied vergroot. Ik zie dan ook eerder gespecialiseerde toepassingen waarbij het fysieke neurale netwerk lokaal aanwezig is op de chip.

[japieb]

Een gesimuleerde synaps kan ook meer verschillende standen hebben door de state niet in een bit maar bijvoorbeeld in een int op te slaan...

[Nicael]

Het hele punt is dat je de "state" kan opslaan in 1 synaps in plaats van 16 bits (ofwel één integer getal), wat tot gevolg kan hebben dat;

- Hogere informatie dichtheid (ervan uitgaande dat deze nieuwe synapsen goed kunnen schalen)
- Energie efficiënter (potentieel)

[sygys]

Ik las in 2013 een stukje over de toen een van de snelste super computers die 1% van ons brein simuleerde. Hierbij werden 1,73 miljard zenuwcellen en 10.4 biljoen synapsen gesimuleerd. Het menselijk brein heeft hier 1 seconde voor nodig en gebruikt naar schatting 1% van de totale reken capaciteit. Deze super computer doet over dezelfde berekening 40 minuten. Als je dit in gedachten houd en dan ook nog eens de massa vergelijkt die 1% van onze hersenen hebben en de massa die de super computer heeft. Dan denk ik dat we nog een hele lange weg te gaan hebben om dit ooit te kunnen evenaren.

Technieken als deze zullen dit wellicht dichterbij laten komen. Wat zou volgens jou de schatting zijn in jaren, voordat we een menselijk brein kunnen nabouwen met dezelfde rekenkracht als een echt brein? Die ook nog eens niet met een fan gekoeld hoeft te worden en zo weinig stroom verbruikt dat hij portable is.

Onbegrijpelijk wat de evolutie allemaal heeft gecreëerd. Dat maakt onze huidige chipjes in telefoons en pc's doen aanvoelen als dinosaurussen.

[erik_97]

Er is 10 picojoule stroom nodig om de kunstmatige synaps naar een andere stand te brengen.

Picojoule stroom? Volgens mij worden er hier twee grootheden door elkaar gehaald.
Moet picoJoule energie of picoAmpere stroom zijn

[Reactie gewijzigd door erik_97 op 22 juli 2024 13:53]

[Coffee]

Moet je even plaatsen op Geachte Redactie !

[geekeep]

Zo is de synaps een klein beetje te laden of te ontladen, waarbij de weerstand van de onderste laag toe- of afneemt. De gewijzigde staat van de weerstand blijft behouden als de spanning wegvalt en het geheugen kan meer waardes vertegenwoordigen dan alleen 0 of 1.

Quantum computing anyone?

Ik vrees voor en kijk tegelijkertijd uit naar de periode waarin quantum computers echt gaan doorbreken. Er zal een boel veranderen denk ik.

[Allovich]

Als je de zin er voor erbij neemt, dan kun je afleiden dat het om een netwerk van synapsen gaat. Dit lijkt een beetje op een "yay first post!!1!!" reactie zo.

On-topic: een mooie vinding, vooral dat het een stuk energiezuiniger is!

[Verwijderd]

Ja, nee, natuurlijk. Maar we weten toch al lang dat een netwerk van synapsen werkt?

[RoelRoel]

Het gaat natuurlijk om deze specifieke synaps.