Om de volgende generatie microchips, of misschien beter gezegd atomaire netwerkprocessors, te begrijpen, moet je alles loslaten wat je weet van digitale, binaire chips. En het ergste is: er bestaat nog geen wiskundige theorie die dit soort systemen beschrijft. Wat we wel kunnen, is ze per stuk iets aanleren en daarmee experimenteren. Zo wisten onderzoekers van het Brains Center van de Universiteit Twente een chip te bouwen waarmee de herkenning van handgeschreven cijfers een stuk verbeterd kan worden. Is dat knap? Wel als je bedenkt dat de Twentse chip gebaseerd is op een netwerk van circa honderd booratomen, ingebed in een silicium-kristalrooster met maar drie controleparameters, terwijl een normaal, op ons binaire stelsel gebaseerd digitaal systeem hier veel meer hardware en energie voor nodig heeft.
Om te weten te komen hoe dat kan, spreken we met Herbert Jaeger, hoogleraar in onder andere kunstmatige intelligentie aan de Rijksuniversiteit Groningen, en Wilfred van der Wiel, hoogleraar in de nano-elektronica aan de Universiteit Twente. We bekijken waarom de hersenen zo lastig zijn na te bouwen en we bespreken de chip die de groep van Van der Wiel in de afgelopen jaren steeds verder wist te verfijnen. Gooi al je middelbareschoolnatuurkunde overboord en kom een kijkje nemen in de wereld van materiaalkunde en informatica op het scherpst van de snede.
Zoals elke tweaker weet: digitaal werken gaat met nullen en enen. Hiervoor maken digitale computers gebruik van transistors, die in essentie niets anders doen dan wisselen tussen nul en een. Een transistor wijzigt zijn toestand bij een zekere input. Die input is heel helder bepaald: dat is een specifieke spanning. Digital computing is daarom heel schaalbaar en redelijk ongevoelig voor ruis. De hardware die daaruit voortkomt, kun je geschikt maken voor een scala aan taken, van simpel e-mailen tot gamen. Het nadeel is dat het niet heel energiezuinig werkt.
Het brein
Dat ligt anders bij het menselijk brein. Jaeger: “Het brein presteert vrij goed, maar het gebruikt geen schakelaars of switches, al zijn er wel neurowetenschappers die denken dat ergens in de hersenen bistabiele schakelaars zitten, dus het is niet helemaal uitgesloten. Wat we wel weten, is dat het brein zijn taken uitvoert met behulp van fysiologische, biochemische en elektrofysiologische effecten. Er is geen sprake van een enkel mechanisme dat vergelijkbaar is met een digitale computer. Het brein gebruikt allerlei mechanismen door elkaar op verschillende schaal.”
Terwijl achter Jaeger de minuten wegtikken op een analoge klok aan een muur van de kamer waaruit hij zijn Skype-gesprek voert, duiken we verder de biologie van de hersenen in. “Wat er gebeurt in een enkele synaps, is anders dan wat er gebeurt in een dendriet, de zogenaamde ontvangende takken van een neuron. Het is anders dan wat er fysiologisch en chemisch gebeurt in een soma, het cellichaam van een neuron, en ga zo maar door.
"Het lijkt de moeite waard om op deze manier signalen te verwerken, omdat onze hersenen een enorme verwerkingsbandbreedte hebben in vergelijking met digitale computers door de parallelliteit. Alleen weet niemand precies hoe dit werkt, omdat de taken die de hersenen uitvoeren, niet vergelijkbaar zijn met wat digitale computers doen. Het is een beetje een fuzzyargument, maar het brein kan bijvoorbeeld verbazingwekkende dingen doen in spraakverwerking die tot nu toe geen enkele computer kan, en het brein doet dat met die beroemde twintig watt. Samengevat zijn de hersenen heel energiezuinig en kunnen ze heel veel taken parallel uitvoeren. De hersenen halen hun kracht niet uit de snelheid van individuele neuronen, maar juist uit die parallelliteit. Een verklaring hiervoor is dat de hersenen zich niet beperken tot het gebruiken van één fysiek aan-uitprincipe."
"Evolutie heeft geleid tot een systeem met neurofysiologie waarin van alle mogelijke fysische en chemische processen gebruik kan worden gemaakt. Evolutie volgt niet dat enkelvoudige wiskundige principe van wat dan ook, het gebruikt simpelweg alles dat werkt. Grof gezegd: als het goed werkt, blijft het bestaan. Dit leidt tot de ongelukkige toestand dat ons brein zo moeilijk te begrijpen is, omdat dit orgaan het resultaat is van miljarden jaren knutselen en zo complex is als een samenleving. Maar het is wel erg efficiënt wat eruit komt.”
Van der Wiel wijst er later nog op dat de verwerkingsbandbreedte niet verward moet worden met de snelheid van individuele neuronen ten opzichte van digitale computers. Die laatste zijn vele miljoenen malen sneller. De kracht van de hersenen komt uit de gigantische parallelliteit; er gebeurt heel veel tegelijk. Een neuron vuurt een keer per 10 tot 100 milliseconden, wat neerkomt op 10 tot 100Hz.
Ongeordend neuraal netwerk
Het apparaat, of eigenlijk het ‘brain inspired’-netwerk dat de onderzoekers in Twente onder leiding van Van der Wiel wisten te maken, bestaat uit silicium met booratomen en werkt bij kamertemperatuur, hoewel de meeste experimenten nu nog in vloeibaar stikstof bij -196 graden Celsius worden gedaan. Dat is al een enorme stap voorwaarts, aangezien eerdere versies van het device alleen functioneerden bij temperaturen tegen het absolute nulpunt en gebruikmaakten van bijzondere materialen, zoals gouden nanodeeltjes. Het woord 'device' wordt bij gebrek aan beter gebruikt. Jaeger legt uit dat materiaalwetenschappers met 'device' doelen op een enkelvoudig onderdeel en niet op een heel systeem. Het gaat dus bijvoorbeeld om een enkele transistor of memristor, in dit geval een enkele plak silicium met booratomen en vijf aansluitingen.
Van der Wiel: “De Wet van Moore begint aan zijn eind te komen en de hoeveelheid energie die IT-systemen gebruiken, neemt schrikbarend toe. Digitale computers zijn erg goed in het uitvoeren van logische en rekenkundige operaties, waarvan ze ongeveer 10¹¹ operaties per seconde kunnen uitvoeren. Die cpu-kloksnelheid is al een aantal jaar min of meer hetzelfde. Het grote biologische voorbeeld, het brein, kan tot iets van 10¹⁵ operaties per seconde bereiken door zijn parallelle manier van werken. Dat zijn ordes van grootte meer dan wat een cpu kan. Daarbij heeft het brein maar iets van twintig watt nodig, terwijl een normale processor al snel honderd watt gebruikt. Wil je hetzelfde aantal operaties per seconde bereiken met een supercomputer, bestaande uit duizenden cpu’s in parallel geschakeld, dan zit je al op megawatts.”
Schematische weergave deep neural network: elke node van een laag is verbonden met alle nodes in de vorige en volgende laag in het netwerk, waarbij de gewichten die aan de verbindingen worden gehangen, zorgen voor het 'leerproces'
Van der Wiel toont via Microsoft Teams de volgende slide, met daarop het bekende plaatje van een deep neural network of dnn. “Je kunt zeggen, kopieer gewoon het brein, maar dat is lastig. Wat we wel kunnen doen, is de abstracte principes overnemen, zoals het parallel verwerken.” Het model waar we naar kijken, toont wat je makkelijk in software kunt gieten met digitale computers om zo kunstmatige neuronen te vormen. Die kunstmatige neuronen zijn dan de nodes in het systeem. Elke node is verbonden met de daaropvolgende laag nodes. Dit is geen programma, maar een netwerk en dit netwerk leert door het constant te voorzien van inputdata en vervolgens te kijken wat voor output eruit komt.
“Stel, je maakt een systeem voor patroonherkenning en je wil het netwerk zo trainen dat het Mark Rutte herkent. Je moet het dan met heel veel voorbeeldfoto’s voeden, waarbij je steeds controleert of het netwerk het goede antwoord geeft, dus Rutte ja of nee. Afhankelijk van de prestaties van het netwerk, ga je de gewichten van de verbindingen aanpassen, zodat het systeem steeds beter wordt in het herkennen van een foto van Mark Rutte. Daar heb je een leerproces voor nodig met misschien wel tienduizenden voorbeelden. Die gewichten van de verbindingen in zo’n netwerk zijn numerieke factoren. In een kunstmatig neuron of kunstmatige node wordt de som genomen van de gewichten van alle binnenkomende verbindingen en vergeleken met een bepaalde drempelwaarde. Als die drempelwaarde is bereikt, schiet de uitkomst van 0 naar 1. Dat is een heel rudimentaire manier van het modelleren van neuronen. Het nadeel van digitale computers is dat ze eigenlijk helemaal niet geschikt zijn voor het doorrekenen van dit soort systemen.”
Materiaalsystemen
Om systemen te bouwen die misschien beter geschikt zijn voor het meer parallel verwerken van processen, kun je gebruikmaken van materiaaleigenschappen. “Maak gebruik van alle fysische en chemische processen van materialen en gebruik die voor computing”, zegt Van der Wiel. Hij vergelijkt het met digitale computers die bestaan uit robuuste componenten, zoals transistors en weerstanden. “Een transistor is alleen maar een aan-uitknop. Zo krijg je heel robuuste systemen die niet gevoelig zijn voor ruis. Je gooit alleen wel meteen aan het begin heel veel potentieel bruikbare effecten weg, omdat je je beperkt tot de simpele aan-uitfunctionaliteit. Dat maakt digital computing in wezen heel energie-inefficiënt”, zegt hij. “Dat heeft geleid tot ontwikkelingen als neuromorphic computing of de neuromorphic chip.”
Idealiter hebben die chips geen last meer van de von Neumann Bottleneck. Dat is de beperking die voortkomt uit het feit dat data voortdurend heen en weer gaat tussen geheugen en cpu, die zijn in de von Neumann-architectuur van digitale computers gescheiden. In ons brein zit het geheugen in de sterkte van de synapsen. Als je leert, worden bepaalde verbindingen sterker en als je ze niet gebruikt, worden ze zwakker: een soort colocatie van verwerken en geheugen. In de elektronica probeert men dergelijk gedrag na te bootsen met zogenaamde memristors, een soort instelbare weerstanden met geheugenfunctie. “Memristors zijn erg geschikt voor lineaire operaties, zoals het vermenigvuldigen van een vector met een matrix, een operatie die veelvuldig voorkomt in kunstmatige neurale netwerken. Wij waren vooral geïnteresseerd in het gebruikmaken van niet-lineaire eigenschappen.”
Hoe kun je een systeem gebruik laten maken van niet-lineaire eigenschappen die niet zo makkelijk te realiseren zijn met de simpele aan-uitschakelaars in digitale computers? Een systeem waarvan we niet per se weten hoe het intern precies werkt?
Gouden nanodeeltjes
In dit onderzoek worden Booleaanse operatoren, zoals de nand-gate, gebruikt om uit te vinden of het systeem werkt. De nand-gate is een basisblok binnen de digitale logica en is een niet-lineaire operatie.
Artist impression van de lay-out van de schakeling. De gouden bolletjes zijn ongeveer 20nm groot. Twee van de elektrodes leveren spanning als input en er is outputstroom. De overige zes elektrodes, waarvan een aan de onderzijde, zorgen voor de controle van de schakeling.
Het onderzoek begon in Twente in 2015 met gouden nanodeeltjes van 20nm in diameter. Elk nanodeeltje heeft zijn eigen organische schilletje, waardoor ze elektrisch van elkaar gescheiden zijn. Om dat duidelijker te maken, laat Van der Wiel een slide zien met een elektronenmicroscoopfoto van zo’n verbinding. Hier gaat precies één elektron per keer doorheen, daarom wordt ook wel gesproken van een single-electron transistor. Het is een sterk niet-lineaire schakeling, want deze transistor staat alleen aan bij een heel specifieke spanning. Het elektrische gedrag van enkele nanodeeltjes is goed te beschrijven. Nu dachten de onderzoekers: wat als we hier een wanordelijk netwerk van maken? Een netwerk waarin we niet meer kunnen bepalen waar welke stroom naartoe loopt? Je zet er aan de ene kant een spanning op en aan de andere kant komt er een stroompje uit. De andere elektrodes die aangesloten zijn op het device, zorgen voor regelspanningen en zo is het stroomtraject te regelen.
Dit klinkt best lastig, maar Van der Wiel stelt het voor als een berglandschap waar een riviertje doorheen loopt. “Als je het landschap iets aanpast, dan verleggen die rivierstroompjes zich ook. Kun je dat ook met zo’n systeem om er een booleaanse operator zoals de nand-gate van te maken?” Het korte antwoord is: ja. Het lange antwoord is dat je je systeem moet trainen, omdat je met iets begint waarvan je geen idee hebt hoe het zich gedraagt. Het is een black box met twee ingangen, x en y, en één uitgang, z.
Kunstmatige evolutie
Van der Wiel: “We zijn begonnen met een aanpak die we ‘kunstmatige evolutie’ noemen of 'evolution in materio'. We vergelijken bij een bepaalde input de output van het device met het gewenste gedrag, zoals een logische schakeling. Op die manier kun je elke keer de zogenaamde fitness bepalen aan de hand van hoe goed de input-output- of i/o-relatie zich verhoudt tot je gewenste patroon.”
Omdat het device anders reageert bij verschillende controlespanningen, zijn de onderzoekers als het ware bezig met het aanpassen van het ‘genotype’ van zo’n device. In het geval van het Twentse device zijn er vijf controlespanningen aan te bieden. De hoogte van de spanning op één elektrode is dan een ‘gen’ en een set van vijf controlespanningen bepaalt het genotype. De combinatie die uiteindelijk het gewenste resultaat oplevert, is dan de juiste of fittest combinatie van spanninkjes. Van der Wiel gaat nog een stap verder door spontane aanpassingen van de spanninkjes ‘mutaties’ te noemen. Zelfs ‘selectie’ en ‘crossbreeden’ of kruisen komen voor in het jargon. Hij noemt het ook een genetisch algoritme om zo tot een configuratie te komen die hopelijk het gewenste gedrag geeft.
“Je hebt nu een processor op nanoschaal gemaakt die veel meer kan dan alleen maar aan- en uitstaan. Vergelijk dat met het aanpassen van de weegfactoren van zo’n neuraal netwerk waar we het eerder over hadden. Wij hebben niet die mathematische controle in ons systeem, maar in plaats daarvan een beperkt aantal controleparameters waarmee we de uitgangsstroom kunnen sturen. We hopen dat we die zo kunnen verleggen dat de gewenste functionaliteit wordt gerealiseerd.”
Mnist
Was het werk uit 2015 nog een academisch proof-of-concept, inmiddels zijn we ruim vijf jaar verder. Het device bestaat nu niet meer uit gouden nanodeeltjes, maar uit een plak silicium waarin booratomen zijn verwerkt. Dit wanordelijke netwerk van booratomen is veel bruikbaarder en presteert zelfs bij kamertemperatuur nog redelijk goed, al vonden de meeste tests plaats bij 77 kelvin, ofwel de temperatuur van vloeibare stikstof.
Met dit systeem hebben de onderzoekers handgeschreven cijferherkenning uitgevoerd door gebruik te maken van de beroemde Mnist-database van het Amerikaanse meetinstituut NIST. Deze database bestaat uit zestigduizend handgeschreven cijfers om neurale netwerken te trainen.
Van der Wiel klikt verder in de PowerPoint-presentatie. Er verschijnt een afbeelding van een kat in een klassiek neurowetenschappelijk exeriment. De kat kijkt naar een plaatje dat het meest weg heeft van een backslash. “Wat we hebben gedaan, is het laten herkennen van specifieke kenmerken. Het brein van een kat reageert bijvoorbeeld heel selectief op de oriëntatie van bepaalde objecten. Zoiets hebben we nagemaakt. Ons device is heel gevoelig voor bepaalde zwart-witpixelcombinaties in een patroon van 2x2 pixels. Er zijn zestien mogelijke uitkomsten van hoe de pixels verdeeld zijn, bijvoorbeeld 3 pixels wit, 1 pixel zwart, 4 pixels zwart enzovoort. We kunnen ons device in zestien verschillende configuraties zetten, waarbij elke configuratie gevoelig is voor één pixelpatroon; dan is de outputstroom hoog. We scannen dan met dit raam van 2x2 pixels langs de plaatjes van de handgeschreven cijfers die 28x28 pixels groot zijn. Na een volledige scan kunnen we dan in 96 procent van de gevallen het juiste cijfer identificeren. In het volledige algoritme maken we nog steeds gebruik van een conventionele computer, maar dit percentage is een stuk hoger dan wanneer we geen gebruik maken van de filtering door ons niet-lineaire device. Dat kan op den duur leiden tot zuinigere chips voor specifieke toepassingen.”
Crazy physical phenomena
Al met al zijn er honderden groepen over de hele wereld bezig met vergelijkbaar onderzoek of onderzoek dat hierop aansluit, bijvoorbeeld in Zwitserland bij het Institute of Neuroinformatics Zürich. Met behulp van niet-digitale neuromorfische hardware is een camerasysteem ontworpen voor extreem snelle beeldverwerking, een heel specifiek doel waarin neuromorphic computing heel goed is, samen met het gebruik van traditionele, lineaire computers. Maar ook bij imec in België worden goede resultaten geboekt, zoals met hun oogtracker en neuro-interface.
Jaeger omschrijft het onderzoek waarbij hij betrokken is, als een demonstratie en indicatie van het vinden van computationele trucs en oplossingen om zo crazy physical phenomena uit te buiten. “Zo wordt het mogelijk om steeds dichter te komen bij wat de huidige deep-learning onderzoekers weten voort te brengen, maar met een fractie van de energie, fysieke complexiteit, kosten of fysieke inspanning. Maar nogmaals, we hebben nog geen theorie achter dit alles.”
Een leuk onderwerp, ik denk alleen wel dat wat minder artist impressions, en meer verduidelijkende plaatjes hadden geholpen. Het wordt mij iig nog niet duidelijk nu waarom het met die booratomen nou precies beter wordt dan met alternatieven. Wat kunnen die, wat normale chips niet kunnen?
Uit de tekst hebben we bijvoorbeeld:
Hoe kun je een systeem gebruik laten maken van niet-lineaire eigenschappen die niet zo makkelijk te realiseren zijn met de simpele aan-uitschakelaars in digitale computers?
Die simpele aan-uit schakelaars (transistoren) kan je ook 'gewoon' half aan, half uit, zetten. Dan zitten ze er een beetje tussen in, en maak je een analoge chip ipv een digitale. En hoewel een CPU bijvoorbeeld voor 99.9% digitaal is, zijn er ook zat mixed signal chips in ons leven, bijvoorbeeld je bluetooth oortjes: Er zit behoorlijk wat digital signaalverwerking in dit chips, en zelfs complete processortjes, maar je hebt ook een grotendeels analoge bluetooth ontvanger, batterijbeheer circuits, microfoon inputs en speaker drivers, etc.
Tegelijk is zo ongeveer regel 1 van analoog chip ontwerpen: Je doet alleen analoog wat je niet digitaal kan doen, want digitaal is bijna altijd superieur aan analoog. Dus hoe is dat met deze boor atomen nou anders dan als je het vergelijkt met transistoren die analoog gebruikt worden?
En als algemene feedback: Dit is door een freelancer geschreven, maar misschien kijken of er toch iets meer een generieke Tweakers huisstijl ingedrukt kan worden? Ik ben iig niet echt een fan van dat het geschreven is vanuit het oogpunt van de schrijver.
Van der Wiel toont via Microsoft Teams de volgende slide, met daarop het
Oftewel ik vind het een interessant onderwerp, maar imo is er zeker ruimte tot verbetering, waarbij ik het liefst zou zien dat het meer geschreven wordt met als doel ons uit te leggen hoe het werkt.
Ha, de artist impressions.. ja, ik had heel graag de originelen uit de Nature-artikelen gebruikt, maar dat kan copyrighttechnisch helaas niet. Gelukkig kun je wel de figuren uit de artikelen zien in de Nature-artikelen zelf door in het rechtervlak op het tabje 'figures' te klikken, zoals hier: https://www.nature.com/articles/s41565-020-00779-y of hier: https://www.nature.com/articles/nnano.2015.207 (daar hoef je niet voor in te loggen bij Nature, verder kun je de abstracts lezen maar zijn het verder geen open access-artikelen).
Overigens, ja ik ben freelancer, maar heb in het verleden zo'n 2 jaar voor Tweakers geschreven. Toen ook wel vaker dergelijke onderwerpen bij de kop gehad. Voor mijn gevoel leende dit verhaal zich veel meer voor een interview-achtige stijl omdat het zo ontzettend veel verschillende wetenschappelijke disciplines nodig heeft, waardoor je onmogelijk heel exact kunt zijn en het ook nog leesbaar houden. Wat dat betreft, ja, anders dan hoe we meestal schrijven bij Tweakers. Iets met experimenten he
Niks mis mee en by far het beste van de drie premium artikelen.. maar ik sluit me wel aan bij de feedback van @Sissors. Veel dingen zijn me nu nog steeds niet duidelijk (wáárom is dat dan zo...?) en ik vond het interview-achtige ook niet zo super.
Maar in ieder geval een goede poging voor een premium artikel qua content :-)
[Reactie gewijzigd door Basjuh84 op 27 juli 2024 12:42]
Ik vond het een prima artikel. Er staat kort en bondig duidelijk in voor een 'leek' om inzicht te hebben hoe de nieuwe techniek werkt en wat het verschil is met wat we nu hebben.
Het enige wat ik zelf wil toevoegen met betrekking tot het beleid van Tweakers; is dat ik vanuit een financieel perspectief er niet voor zou betalen omdat naar mijn mening informatie altijd gratis zou moeten zijn. Maar goed dat verschilt per persoon hoe zij daarover denken net zoals een stroompje dat van een impuls naar de andere gaat
Als informatie altijd gratis moet zijn, wie zorgde er dan voor dat de gene die informatie maken en beschikbaar stellen ook te eten hebben en een dak boven hun hoofd.
En niet alleen kosten maken om het beschikbaar te maken voor jou en tijd investeren voor jou?
Als geld verdienen dan uit andere zaken moet komen, hoe zorg je dat de informatie makers dan voldoende tijd, ruimte en middelen hebben om jou tijdig te voorzien van goede kwaliteit informatie.
Naar mijn mening zijn de echte 'informatie makers' de mensen die aan het technische onderzoek werken. De auteur heeft niet echt iets gemaakt, hij heeft geschreven over wat een ander gemaakt heeft. Hij lift dus mee op het succes van een ander. Eigenlijk een soort parasiet maar dan anders. Enige meerwaarde zou kunnen ontstaan door leesbaarheid en begrijpelijkheid te vergroten. Wat je dat waard is, ligt aan je zelf. Ik zou er niet voor betalen. Met weinig moeite vind ik betere, diepgaander en begrijpelijker uitleg geheel gratis.
Daar zit een gedeeltelijke waarheid in echter als je kijkt hoe informatie binnen de universiteiten wordt gedeeld dan is dat te allen tijde beschikbaar.
Maar als ik het goed begrijp oog je meer op het doel van kapitalisme en dat is een systeem waar we nú in leven en de toekomst zal ons leren als dat zal blijven.
Volgens mij worden de informatie makers op de universiteit gewoon betaald en kunnen ze daardoor de informatie gratis en vrijelijk beschikbaar stellen.
Heel goed want daardoor hoeven andere slimme koppen niet steeds het wiel opnieuw uit te vinden en kunnen ze op elkaars schouders staan en elkaars informatie valideren. Dat komt de kwaliteit ten goede, en zo ontstaat er sneller nieuw inzicht en dus nieuwe informatie.
Dus de vraag blijft nog steeds: hoe wil je gratis informatie faciliteren én zorgen dat iedereen goed kan leven.
Tot nu toe kopen we voedsel, onderdak, scholing en zorg met geld, vandaar dat ik het over betalen heb. Dat is onafhankelijk van het kapitalisme, al duizenden jaren wordt geld gebruikt.
Een neuron vuurt een keer per 10 tot 100 milliseconden, wat neerkomt op 10 tot 100Hz.
Niet helemaal correct. De meeste neuronen vuren ongeveer in dit bereik, maar er zijn er ook die langzamer of sneller vuren. De typisch genaamde Fast Spiking Neurons gaan tot ~ 600Hz, en de vrij specifieke Cochlear Spiral Ganglion Neurons die geluid verwerken kunnen meer dan 1kHz halen.
Zoals het artikel gelukkig al opmerkt, het is goed om in je achterhoofd te houden dat hersenen heel veel verschillende technieken gebruiken om informatie te versturen. Het parallel verwerken van informatie is geinspireerd door hersenen, maar verre van een realistische benadering van hoe hersenen werken. Wel zijn er inmiddels een aantal vergevorderde neuromorphic computing projecten die leren met hardware in plaats van software, en dat vele malen sneller en efficienter doen dan normale computers. Het zou me niet verbazen als we dergelijke chips straks terug gaan vinden in consumentenelectronica.
Ja tijdje terug ook organische hardware gezien die handschrift herkende en een som kon uitrekenen en het antwoord tonen.
Erg cool dat dit zonder software kan.
Leuk om te lezen! Dank. Ik werk zelf aan de andere kant van DNNs (of ConvNets) in de traditionele bit computers. Dus ik vind het tof om eens ,laagdrempelig een idee te krijgen hoe nieuwe chips zouden kunnen werken.
Een opmerking over de performance op MNIST, die is niet bijzonder hoog. MNIST is niet echt een goede benchmark. Wel makkelijk (want kleine plaatjes) en toegankelijk (elk deep learning pakket heeft een ‘load MNIST’ functie).
In het algemeen: echt een meerwaarde als Tweakers zich meer gaat richten op onderzoek (uit NL) en wetenschappelijke ontwikkelingen (met duiding van uit wetenschappers!)
Ten eerste wil ik even gezegd hebben dat ik als trouwe lezer (jaar of 20 nu) zeer tevreden ben over wat Tweakers biedt, de kwaliteit van jullie werk en alles eromheen. Er is een zekere verandering in strategie door verdere commercialisering en professionalisering van het internet in het algemeen en van Tweakers zelf oa door overnames. Ik zie dit als onvermijdelijk en meegaan met de tijd. Ik hoop dat jullie je de harde kritiek die een aantal luide stemmen hier laten horen niet persoonlijk aantrekken.
Wat opbouwende kritiek op dit artikel; bij een artikel als dit past een laatste alinea met doorverwijzingen naar meer informatie voor wie interesse heeft. Vraag eens aan de volgende professor die jullie spreken wat een aantal goede papers zijn die een introductie geven in het veld en een aantal die de laatste ontwikkelingen goed weergegeven (of zelfs systemic reviews die de status van het veld samenvatten). Niet alles zal vrij beschikbaar zijn maar (in elk geval toen ik nog studeerde) was een mailtje naar de auteur om een gratis kopie te krijgen meestal succesvol.
Hmm.. als je dus begint met dit soort links, dan blijf je bezig. Wellicht leuk om dit draadje verder te verrijken met interessante links die more or less aan dit onderwerp gelieerd zijn.
Veel is ook wel weer op pre-publicatieservers te vinden. Overigens, ja ik heb dus alle papers en ook doorgenomen. Helaas kunnen we niet (makkelijk) copyrighted plaatjes en dergelijke in artikelen zetten. Gelukkig zijn de figures in het geval van beide papers gelukkig wel zichtbaar zonder paywall: https://www.nature.com/articles/s41586-019-1901-0 en https://www.nature.com/articles/s41565-020-00779-y
Wellicht is een optie in de toekomst een eigen variant tekenen van een beeld wat je nodig hebt/graag zou gebruiken.
Ik moet zeggen dat ik dit artikel een heel stuk informatiever en (in tegenstelling tot het marketing verhaal van gister) minder commercieel vind overkomen, wellicht omdat dit uit een universiteit komt. Het was wel fijn geweest als er iets dieper was ingegaan op lineare vs. niet-lineare schakelingen;
Hoe kun je een systeem gebruik laten maken van niet-lineaire eigenschappen die niet zo makkelijk te realiseren zijn met de simpele aan-uitschakelaars in digitale computers? Een systeem waarvan we niet per se weten hoe het intern precies werkt?
En vervolgens gaan we meteen door naar hoe het gerealiseerd wordt. Ik mis achtergrondinformatie over wat de voordelen van niet-lineare systemen zijn en waarom die hier toegepast worden.
Buiten dat ben ik alleen bang dat er een hoop 'Premium' artikelen klaar liggen om elke dag te posten zodat het lijkt dat we dit altijd gaan krijgen. Als dat zo is, en het zijn artikelen zoals deze, ben ik zeker in. Maar gisteren was gewoon een afgang.
[Reactie gewijzigd door tweegroenethee op 27 juli 2024 12:42]
Ik denk dat het probleem is met dit onderwerp dat je oneindig diep kan gaan. Hierdoor zou je sommige lezers kunnen verliezen, omdat hun de artikel dan niet meer begrijpen. Ik denk dat het eerder interessant is om bijvoorbeeld dit onderwerp op te splitsen in een reeks.
edit; verder vind ik dit een interessante artikel die fijn is weg te lezen!
[Reactie gewijzigd door Tjahneee op 27 juli 2024 12:42]
Het artikel bevat 2.649 woorden / 16.993 tekens en toch reageren binnen 5 minuten na publicatie mensen dat het artikel slecht geschreven is, onwaarheden bevat, niet in de diepte gaat etc.
Ja, er bestaat zoiets als scannend lezen, maar naar mijn mening kan je niet zo snel een oordeel klaar hebben staan omtrent een artikel van deze omvang.
Het lijkt wel of mensen haten om te haten. Als je wilt discussiëren over Tweakers Premium doe dat dan alsjeblieft op het GOT i.p.v. in de reacties en ga ook niet medewerkers afsnauwen. Ook gister zag ik allerlei haatdragende reacties naar de medewerkers van Tweakers dat ze al jaren slecht werk leveren. Ik vind het jammer dat er op zo'n toon gecommuniceerd wordt.
Ook bij Tweakers doen ze dagelijks hun best om ons te vermaken/informeren met het laatste technieuws en verdieping hierop.
[Reactie gewijzigd door robcoenen op 27 juli 2024 12:42]
Ik moet je helemaal gelijk geven. Ik heb netjes het hele artikel gelezen en dit sluit ook aan bij mijn interesse.
Op het artikel van gisteren heb ik kritiek geuit, maar ik houdt het altijd netjes en ik ben nooit haatdragend.
Het artikel van gister kwam over als een advertorial en miste duidelijk wat basale fact-checking. Het was gebaseerd op een interview. Een aantal punten waren voor zoete koek aangenomen, terwijl daar iets verder doorgevraagd had moeten worden. Nu kwam het meer over als een marketing verhaal. Ik ga ervan uit dat Tweakers medewerkers de stukken met een journalistieke, dus kritische inslag, willen brengen.
Het geven van kritiek kan best nuttig zijn. De kritische inslag miste ik gister. Dit artikel is ook niet kritisch, maar hier gaat het om een informatief artikel. Het doel is hier niet om een (nieuw) product te presenteren met allerhande voor- en nadelen, maar om een stuk nieuwe kennis uit een jonge wetenschapstak te presenteren.
Dit artikel is eigenlijk veel moeilijkere materie, zeker voor iemand die meer in de elektronica zit. In elk geval merk je nu dat geprobeerd is om het verhaal duidelijk te krijgen en zijn er ook netjes links naar pagina's met uitleg over een aantal begrippen opgenomen.
Het artikel geeft goed de perceptie weer van de werking van het brein zoals men zich dat in Twente voorstelt. Elders bestaan er wel vakgroepen die her en der voor een andere benadering kiezen. Dat maakt afwijkende beweringen niet gelijk onwaar. De waarheid is dat de werking van het brein nog steeds een groot raadsel is. Men weet nu wel welke processen in welke gebieden in de hersenen plaatsvinden, Dat is echter slechts een plaatsaanduiding. Hoe de processen zelf plaatsvinden is nog een groot vraagteken.
In een jonge wetenschapsrichting is het normaal dat er diverse stromingen ontstaan. Dit is één interview, met één persoon. Lezers moeten dan ook beseffen dat de informatie maar uit één invalshoek is bekeken. Als je echt een mooi overzichtsartikel wilt lezen zal je naar verslagen en samenvattingen van congressen moeten zoeken.
Ik ben op dit vakgebied echt een leek. Ik lees wel meer van dit soort artikelen, op dit niveau tot eenvoudig geschreven (populair) wetenschappelijk. Wanneer men echt de details gaat beschrijven moet ik ook passen. Ik zie in dit stuk wel een paar beweringen waar ik anders over denk. Dat kan ik als kritiek neerzetten, maar dat soort meningsverschillen vormen nu net de basis van de wetenschap. De wetenschappers moeten onderling maar zien te bewijzen welke stroming de juist is.
Als ik de kritieke hieronder lees, vraag ik me echt af waar men mee bezig is en wat men nu van een Premium artikel verlangt. Ik kan me voorstellen dat je hier echt niets van snapt, maar dat maakt het geen slecht artikel. Toch lijken er mensen te zijn die dan moeten gaan spuien dat het een waardeloos artikel is, of dat er niets van klopt. Misschien zeggen die opmerkingen meer over de mensen zelf dan over het artikel.
Als dit een beetje de standaard kwaliteit van de Premium artikelen wordt, dan past zou dat best in een magazine passen, met een niveau een beetje tussen Quest en National Geographic in.
Dit is niet wat robcoenen naar hint.
In plaats van dat hij kritiek heeft op de kritiek, geeft hij aan argwaan te hebben over de kwaliteit van de kritiek als mensen binnen enkele minuten een > 2500 woorden artikel lezen, en daar al een reactie op hebben.
Daarnaast is het ironisch dat je kritiek hebt op robcoenens reactie.
Geef je zelf dan namelijk niet, kritiek op kritiek?
Tof onderwerp. Dit is wel de content die al jaren mis, waar T.net is gaan focussen op games en reviews die voor consumenten leuk zijn, zijn dit soort verdiepingen op technologie beetje ondergeschoven kindje geworden. Een reden dat ik niet meer dagelijks op tweakers kijk.
Premium klinkt leuk, maar ik vraag me serieus af of je niet gewoon weer meer bezoekers en vaste klanten trekt als je dit soort content vaker terug laat komen.
Persoonlijk zou ik het in ieder geval zeer jammer vinden als dit achter een paywall verdwijnt. Dan haak ik definitief af. Ja journalistiek mag beloond worden - maar kwaliteit wordt echt wel gewaardeerd door loyaliteit, imo.
Leuk artikel, maar bij premium had ik eerder verwachtingen van een daadwerkelijke deep dive in bijvoorbeeld de nieuwe ZEN of RDNA2 architectuur. Igorslab heeft leuke resultaten omtrent overklokken en undervolten. Een PBO2 test met ZEN, Der8uaer laat zien hoe je de RX6800 het hardst op zijn staart trapt. GamersNexus laat zien welke behuizingen in 2020 het beste zijn (en dan niet lafjes met alleen de stock configuratie, maar met onderzoek naar de verschillende versies van één behuizing, met en zonder sidepanel, met en zonder extra fans etc.)
Een beetje praktischer dan een promo verhaal voor een universiteit. Jaeger omschrijft het onderzoek waarbij hij betrokken is, als een demonstratie en indicatie van het vinden van computationele trucs en oplossingen om zo crazy physical phenomena uit te buiten. “Zo wordt het mogelijk om steeds dichter te komen bij wat de huidige deep-learning onderzoekers weten voort te brengen, maar met een fractie van de energie, fysieke complexiteit, kosten of fysieke inspanning. Maar nogmaals, we hebben nog geen theorie achter dit alles.”
Je hebt zelf die laatste zin dikgedrukt, waarmee je volgens mij probeert te benadrukken dat het een promo verhaal over de universiteit zou zijn. En ja, een fundamenteel deel van de universiteit is onderzoek doen om dingen te begrijpen en dus om een theorie achter fenomenen te formuleren om ze beter te begrijpen en gebruiken.
Je moet je ook realiseren dat dit verhaal gaat over dingen die redelijk nieuw zijn, waar alles nog niet duidelijk is. Dus het is ook niet zo raar dat er nog heel erg naar theorieën word gezocht (en Jaeger is daar absoluut onderdeel van).
Dat het niet jouw interesse heeft dat kan ik goed begrijpen, lang niet alles interesseert mij, maar om het een promo verhaal van de universiteit te noemen vind ik echt een stap te ver gaan. Dat zou betekenen dat al het onderzoek wat op een semi-populair wetenschappelijke manier word verteld een promo verhaal van de universiteit is en daar kan ik mij niet in vinden.
Eh, ja, dat ik die laatste zin zelf dikgedrukt hebt, lijkt me redelijk evident voor iedereen die het artikel heeft gelezen. Was om te illustreren dat de mensen erachter zelf ook al aangeven dat het eigenlijk nog in de kinderschoenen staat.
Ik snap misschien de nieuwswaarde gewoon niet zo goed van dit artikel. Heeft er recent een doorbraak plaatsgevonden? Heeft de professor een prijs gewonnen?
Ik noem het woord "promo" omdat ik een beetje mis dat de redacteur of journalist zelf onderzoek heeft gedaan, en bijvoorbeeld duidelijk uiteenzet was de nadelen zijn, waar in de wereld ze verder zijn, loopt Nederland voorop of achteraan? Dit artikel leest voor mij meer als "professor geeft spreekbeurt voor de klas".
Dit bjivoorbeeld: Na een volledige scan kunnen we dan in 96 procent van de gevallen het juiste cijfer identificeren. In het volledige algoritme maken we nog steeds gebruik van een conventionele computer, maar dit percentage is een stuk hoger dan wanneer we geen gebruik maken van de filtering door ons niet-lineaire device.
Is 96% goed? Wat zou een conventionele computer scoren? Het gaat om OCR, dus volgens mij zijn andere bedrijven daar ook al behoorlijk ver mee. Hell, Excel voor Android kan al hele handgeschreven tabellen digitaliseren. Dus ik verwacht iets meer "duiding" van een Premium artikel.
Ze geven ook aan dat zij gebruik maken van 2x2 pixels om een afbeelding van 28x28 pixels te scannen. Dus ze zien telkens een deel van het cijfer, en trekken op basis van meerdere unieke vormen een conclusie welk getal er getoond wordt. Maar is dat efficiënter dan simpelweg in één keer het getal in beeld te brengen?
Premium heeft kennelijk voor iedereen andere waarde
Ik ben een leek op dit onderwerp, de termen die je opschrijft zeggen me helemaal niets. Wat ik dan wel tof vind aan Tweakers is dat jij door middel van je comment aangeeft dat er (natuurlijk) nog meer verdieping mogelijk is. Jammer genoeg zonder linkjes om dit 'premium' artikel - met voor mij behoorlijk wat nieuwe inzichten en informatie - nog verder te verreiken.
Leuk artikel, maar bij premium had ik eerder verwachtingen van een daadwerkelijke deep dive in bijvoorbeeld de nieuwe ZEN of RDNA2 architectuur.
En als die komt staat er als eerste reactie dat je die ook bij locatie X kan lezen zonder dat het premium is .
Nu is zoiets denk ik overigens ook een prima onderwerp voor een achtergrond artikel (er is ook al wel wat over geweest volgens mij), maar dat veranderd niks eraan dat zulk soort onderwerpen ook prima zijn.
Leuk artikel, maar bij premium had ik eerder verwachtingen van een daadwerkelijke deep dive in bijvoorbeeld de nieuwe ZEN of RDNA2 architectuur.
Als je enkel Premium artikelen over dergelijke onderwerpen verwacht hoeven ze niet veel meer te schrijven, dan heb je de grens vrij snel bereikt. Daarnaast sluit het één het ander niet uit, het kan goed dat die verdieping later nog volgt.
Een beetje praktischer dan een promo verhaal voor een universiteit.
Wil je daadwerkelijk diep in gaan op een onderwerp kom je al gauw in theoretischer gebied terecht, praktijk bouwt namelijk simpelweg op theorie. Je kan het een promoverhaal noemen, of onderzoekers met een passie. Bij promoverhaal denk ik aan een artikel dat de belangen van een partij anders dan de schrijver dient, en ik betwijfel eerlijk gezegd of op tweakers.net voor een hoogleraar veel aanzien of onderzoeksfinanciering te behalen valt.
Wat mij betreft is dit juist een goed voorbeeld van verdieping die Premium zou moeten leveren, en inderdaad, hopelijk mogen we dit soort artikelen op meerdere onderwerpen gaan zien zodra Premium daadwerkelijk geïmplementeerd wordt.
1- waar komt de idee vandaan dat Tweakers een volledig homogene groep is met dezelfde achtergrond, opleiding, kennis, interesses en verwachtingen van deze site?
2- wanneer is een insteek geen advertorial meer? Mag je dan überhaupt nog iemand spreken van het bedrijfsleven, instituten of overheden?
3- wat zijn de eisen die we aan een premium stuk mogen stellen?
[Reactie gewijzigd door boschhd op 27 juli 2024 12:42]
Ik ben niet direct enthousiast over dit artikel. Het voelt haastig geschreven, onlogisch in elkaar gezet en ik mis bijvoorbeeld bij het voorbeeld dat deze techniek is toegepast op de mnist dataset de resultaten daarvan?!
Verder ben ik redelijk bekend met neurale netwerken en dit onderwerp. Ik wens mensen zonder een dergelijke basiskennis veel succes met het begrijpen van dit artikel.
snapte er inderdaad weinig van. Zowel van de fysieke techniek en vergelijking met hoe hersens zouden werken en de de toepassingen in vergelijking met neurale netwerken,
Aan de andere kant, ik vind dit wel een echt tof onderwerp, kom ik hiervoor naar een site? Zeker,
:strip_exif()/i/2004045670.jpeg?f=imagenormal)
/i/2004042302.png?f=imagenormal)
/i/2000752002.png?f=imagenormal)
:strip_exif()/i/2004042340.jpeg?f=imagenormal)
:strip_icc():strip_exif()/i/2005085684.jpeg?f=fpa_thumb)
:strip_icc():strip_exif()/i/2004968122.jpeg?f=fpa_thumb)
:strip_icc():strip_exif()/i/2001749905.jpeg?f=fpa_thumb)
/i/2004611214.png?f=fpa)
:strip_exif()/i/2003847926.jpeg?f=fpa)
/i/1353342221.png?f=fpa)
:strip_icc():strip_exif()/u/145751/check-in-minion-small2.jpg?f=community){kind=small}
/u/12967/c5512929c5778c25c9da2378c7dbb01b.png?f=community){kind=small}
/u/12436/p1_normal.png?f=community){kind=small}
/u/35984/crop67a0be11e3453_cropped.png?f=community){kind=small}
:strip_icc():strip_exif()/u/449787/crop5620cdd400f4a_cropped.jpeg?f=community){kind=small}
:strip_icc():strip_exif()/u/611711/crop63189b7544364_cropped.jpg?f=community){kind=small}
:strip_exif()/u/467778/crop5d7a5dd1f296a.gif?f=community){kind=small}
/u/330457/Knipsel.JPG?f=community){kind=small}
:strip_icc():strip_exif()/u/452253/crop6432e4afa5c59_cropped.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/956101/crop5cada6085eee0_cropped.jpeg?f=community){kind=small}
/u/331213/crop56ef13408ff38_cropped.png?f=community){kind=small}
/u/243953/crop56f55a7bcf291.png?f=community){kind=small}
:strip_icc():strip_exif()/u/511559/crop5afaa030963dc_cropped.jpeg?f=community){kind=small}
:strip_icc():strip_exif()/u/81611/headcrop.jpg?f=community){kind=small}