Onderzoeker wil memristors gebruiken voor neurale netwerken

Een Duitse onderzoeker wil een kunstmatig brein bouwen met memristors als belangrijkste bouwstenen. Dergelijke neurale netwerken zouden tot leren in staat moeten zijn. De wetenschapper wil een blauwdruk voor de bouw van kunstmatige hersenen ontwikkelen.

De Duitse onderzoeker Andy Thomas is docent aan de natuurkundefaculteit van de universiteit van Bielefeld en publiceert zijn plannen voor een blauwdruk in maart in het Journal of Physics. Uitgangspunt voor de bouw van een neuraal netwerk dat tot leren in staat is, moet het gebruik van memristors zijn. Die relatief recent ontdekte elektronische bouwstenen zijn passieve elementen, net als weerstanden. Anders dan weerstanden behoudt een memristor echter zijn laatste weerstand wanneer het circuit onderbroken wordt. Aan dat geheugengedrag dankt de memristor zijn naam.

Bovendien zou een 'geheugenweerstand' die zijn laatste weerstand onthoudt, het elektronische equivalent van een synaps zijn. In hersenen zorgen synapsen voor de onderlinge verbindingen tussen neuronen. Omdat memristors in functie op synapsen lijken, wil Thomas ze inzetten als bouwstenen voor zelflerende neurale netwerken. Hun geschiktheid werd al eerder aangetoond door Thomas' eigen onderzoeksgroep en door andere onderzoekers, onder meer van Intel.

Omdat de weerstand van een memristor afhankelijk is van de stroom die er doorheen gaat, is veel meer variatie mogelijk dan bij bits; die kunnen immers alleen een 1 of een 0 representeren. Memristors fungeren meer analoog, zoals samenwerkende synapsen in hersenen dat ook doen. Bovendien zou een neuraal netwerk met memristors niet alleen in staat zijn tot leren, maar ook tot vergeten. Een dergelijk neuraal netwerk is in theorie ook te bouwen met conventionele, op transistors gebaseerde circuits, maar gebruik van passieve componenten als memristors, met hun aan synapsen analoge functie, maakt dat een stuk eenvoudiger.

Reacties (17)

[Dobbelstein]

De memristor is een niet lineair element dat "analoog" wordt gebruikt. Het zal dus een hele klus worden om ze "stil" te houden omdat ze spontaan kunnen gaan oscilleren zodra ze vastlopen aan de grens van het dynamisch weerstandsbereik. Epilepsie heet dat. Ook vraag ik me af of ze alle functionele eigenschappen van synapsen wel aankunnen, summatie, subtractie, (tijdsafhankelijke) potentiatie, integatie, degradatie, etc. Feitelijk zou je nog en stap verder moeten en ion kanalen gaan simuleren die weer netjes binair zijn.
Edit: referentie toegevoegd
http://www.sciencedirect....cle/pii/S0026269211001431

[Reactie gewijzigd door Dobbelstein op 24 juli 2024 07:45]

[Gelunox]

Ik vraag me af of we dit eigelijk wel willen.
Tuurlijk is het waarschijnlijk extreem handig om het functioneren van ons eigen brein beter te begrijpen.
Maar als we iets hebben gecreërd dat zelf denkt en volledig op zichzelf dit verder kan ontwikkelen, is het dan niet eigelijk zo dat we het "vermoorden" op het moment dat we het uitzetten en demonteren voor analyse?

[teacup]

Tja, dat is een filosofisch uitstapje dat je daar maakt, en naar ik vermoed is het minder theoretisch dan je nu denkt. Technological Singularity (wiki), het punt in de tijd dat kunstmatige intelligentie de menselijke intelligentie "passeert", wordt momenteel gezet op 2045. Op een dergelijke datum is natuurlijk het nodige af te dingen. Hoe definieer je die intelligentie en welke criteria leg je er aan om deze intelligentie te toetsen.

Eerder heb ik op Tweakers wel eens het belang gerelativeerd van het weten of iets intelligenter dan de mens is of niet. Een dergelijke gedachte maakt van de mens een soort absoluut referentiekader. En hoe meer we leren van onze omgeving, hoe meer we ons als mens realiseren dat wij helemaal niet zo belangrijk zijn. Ik verwacht dan ook dat hoe dichter we die singulariteit naderen, hoe minder belang we in dit gegeven stellen.

Het mooie van AI is dat door de gedachtenexperimenten die AI onderzoek opwerpt mensen zichzelf de spiegel kunnen voorhouden, en inderdaad zichzelf met andere ogen kunnen bekijken. Dat dit soms confronterend kan zijn is wel te verwachten, toch kunnen we daar alleen maar beter van worden. En in reactie op wat je zegt, op een bepaald punt zal ethiek in het AI onderzoek betrokken raken. Vele schrijvens en filmers hebben dit domein al verkend, maar dan moeten we heel wat stappen verder zijn.

Deze memristors zijn naar ik begrijp analoge circuits. Het lijkt me heel complex om het gedrag van dit soort gestackte analoge schakelingen te analyseren, laat staan te voorspellen, iets wat Dobbelstein ook treffend toelicht. Factoren complexer dan digitale techniek. De "kans" van dit alles is een natuurlijker gedrag van een dergelijk neuraal netwerk, en dat maakt deze stap belangrijk, denk ik. Een leuk topic trouwens Tweakers, zou vaker moeten gebeuren.

[Reactie gewijzigd door teacup op 24 juli 2024 07:45]

[Sibylle]

Nou, leuk voor hem en zijn onderzoeksgroep. Dit gebeurt echter al in simulaties en er wordt al veel langer over nagedacht (zoals ook in het artikel staat) dus ik mis eigenlijk de nieuwswaarde. Op de websites van universiteiten en de nieuwsbladen van verschillende faculteiten zijn altijd dit soort berichten te vinden.

Ik ben benieuwd wat er uiteindelijk uit gaat komen, maar daar moeten we nog een paar jaar op wachten

Overigens vraag ik me af in hoeverre dit voordelig is ten opzichte van softwarematige simulaties a la: http://en.wikipedia.org/wiki/Blue_Brain_Project

[Reactie gewijzigd door Sibylle op 24 juli 2024 07:45]

[Cyberwizzard]

Je mist het punt: een memristor kan direct gebruikt worden voor een synaps waar een software simulatie de synaps na moet doen. Daardoor zijn dergelijke simulaties doorgaans alleen aan superclusters voorbehouden en duurt het dagen zo niet weken om een paar seconden aan hersenactiviteit voor een fruitvliegje te berekenen.

Zou het 'kunstbrein' echter volledig in hardware uitgevoerd worden, dan gaan dergelijke simulaties vele malen sneller waardoor er grotere netwerken gebouwd en geevalueerd kunnen worden.

Het is dus wel degelijk een flink verschil t.o.v. een softwarematige oplossing en dus nieuwswaardig. Overigens is dit idee ook bij meerdere onderzoekscentra in de states al meer dan 2 jaar geleden aangeslagen; dus deze Duitse meneer is potentieel niet de eerste die op dit idee is gekomen.

Edit: het memristors voor synapsen verhaal heb ik voor het eerst gehoord bij een praatje van ene meneer L.O. Chua van UC Berkeley. Zie ook het programma van DATE'12 (pdf)

[Reactie gewijzigd door Cyberwizzard op 24 juli 2024 07:45]

[Sibylle]

Ik mist het punt niet, ik twijfel gewoon of alle onderzoeken en alle interessante opstartjes hier moeten worden vermeld. Anders kunnen we gewoon linken naar: http://www.tue.nl/onderzoek/ bijvoorbeeld. Zoals je zelf al zegt is dit eigenlijk geen/oud nieuws.

Er is zeker een flink verschil in hardware en software simulaties, ik vraag me alleen af hoeveel (dat zeg ik toch ook?!), je wilt zo'n hardwarebrein namelijk flink begrijpen en zult alsnog heel veel elektronica moeten neerzetten om alles werkende te krijgen. Of het veel sneller is, is nog maar de vraag want voordat je een optimaal en robuust netwerk van enkele honderdenduizenden tot honderdenmiljoenen neerzet ben je wel even bezig.
En als je inzicht wilt krijgen in de processen dan zul je toch echt goed moeten meten en dus veel meetpunten moeten maken en die date weer snel verwerken. In software heb je dit sowieso al.
Het grootste nadeel is echter dat je niet flexibel bent en je model/brein geheel afhankelijk is van je hardware. Als er dus een gedeelte stuk gaat of simpelweg niet werkt zoals het echte brein, is het veel werk om het model aan te passen. In software gaat dit makkelijker.

Dus daarom zei ik "in hoeverre dit voordelig is ten opzichte van".... hopelijk snap je nu wat ik bedoelde.

[Swerfer]

Leuk dat 'zelf' leren, maar om het geheel op te starten zou je het toch moeten programmeren. Als ze dat ook automatisch voor elkaar krijgen (zoals een ontwikkelend brein bij een embryo), dan heb je pas echt een zelf lerend systeem.

Moet je natuurlijk wel voor prikkels zorgen van buitenaf zoals 'ogen' en 'oren' en voelen dat iets 'pijn' doet of warm of koud is enzv. Anders hoeft het kunstmatige brein niks te leren...

[Reactie gewijzigd door Swerfer op 24 juli 2024 07:45]

[Br4mmie]

Kunstmatige breinen kunnen leren door de hardware "feedback" te sturen. Positieve feedback houdt de huidige staat van het kunstbrein vast, negatieve feedback stelt de verbindingen wat meer bij, zodat je door een "evolutie" proces gaat. Er gaan echter wel heel veel cycli overheen voordat je er wat aan hebt. Wij mensen komen al met een hoop kennis op de aarde.

[Reactie gewijzigd door Br4mmie op 24 juli 2024 07:45]

[SuperDre]

niet alleen in staat zijn tot leren, maar ook tot vergeten.

hmm.. maar dat laatste lijkt me nou niet iets dat je wilt bij een neuraal netwerk..

[Art-X]

Juist wel, dit maakt het verschil tussen ons 'filterend' brein en een opslag. Wanneer je bijvoorbeeld autorijdt, dan ben je op dat moment bezig met verwerken van informatie. Door relevante gegevens te onthouden en de rest te vergeten fungeer je effectiever en 'zuiniger'.

Als je 's avonds terugdenkt aan de dag ben je vrijwel alles vergeten, behalve de zaken die belangrijk waren, en die onthoudt je.. een neuraal netwerk kan niet functioneren zonder te vergeten.

[Timfonie]

Zeer interessant voorstel !

Om lerende neurale netwerken efficiënt na te bootsen, moet de geheugenfunctie immers verweven zijn met het 'rekengedeelte'. Alleen op deze manier kan een systeem zijn functies massaal parallel verrichten. Bij traditionele computersystemen is er een scheiding tussen CPU en geheugen, wat voor een enorme bottleneck zorgt, waardoor zelfs de meest krachtige supercomputers van nu nog lang niet in staat zijn om de menselijke hersenen op detailniveau na te bootsen.

[sun0000]

Het gebruik van memristors is een ding. Het programmeren lijkt me een stuk lastiger.
Er is wel een mogelijkheid om te testen of her goed werkt. Stel de vraag wat de zin van het leven en het universum in zijn algemeen en er komt 42 uit dan werkt e.e.a. naar behoren

[Amanoo]

Ik vraag me af wanneer we thuis beginnen simpele breinen na te bouwen, zoals sommigen van ons nu al allerlei elektronica in elkaar zetten uit dergelijke bouwstenen.

[torp]

Inderdaad een leuke hobby voor als Lego Technic begint te vervelen. De memristor-steentjes (Frankensteintjes) kun je uiteraard combineren met gewone Lego.

[Reactie gewijzigd door torp op 24 juli 2024 07:45]

[martijnmaas]

We moesten toch bezuinigen, of ben ik nou gek ??

[Stukfruit]

Als je bezuinigt op onderzoek en vooruitgang ben je inderdaad een beetje gek. Bezuinigen doe je door in onnodige uitgaven te snijden. Onderzoek naar een (mogelijk) betere wereld is imho niet onnodig...

[Verwijderd]

Ik lees laatste tijd steeds dat er onderzoeken gedaan worden om iets wat al bestaat te simuleren, zoals de brein van een mens of van een fruitvlieg. Vragen de onderzoekers dan niet af hoe zoiets is ontstaan, als dat iets is wat met veel complexe systemen nagebouwd wordt. Zoals recent geleden dat onderzoekers voor elkaar hebben gekregen data opslag in de vorm van dna-methode op kunnen slaan waardoor duizenden malen meer opslag mogelijk is op dezelfde vierkante cm.
Gaan mensen dan niet nadenken wie de designer is van dat soort zeer complexe systemen is.

Verder vraag ik me ook af of we er beter van worden? Wie verdient er geld aan, want het wordt niet voor niets geinvesteerd. We zijn de laatste honderd jaar enorm vooruit gegaan als het gaat om technology, maar zijn wij als mens er beter van geworden?

Sorry dat het een beetje off-topic is, maar dat soort vragen rijzen in mijn hoofd als ik dit soort artikel lees.