Neurale netwerken

De beslissende kracht achter internet

Neurale netwerken zijn overal

Bijna iedereen met een computer heeft dagelijks te maken met kunstmatige intelligentie, meestal onopgemerkt als het allemaal goed gaat, maar vaak een beetje koddig als het verkeerd gaat. Hoe ziet dat er dan uit? Laten we een gemiddelde dag van iemand met een Android-telefoon nemen. Als je opstaat, krijg je van je Google Now-stream te zien of er file is op het traject naar je werk: dat doet ai voor je. Onderweg luister je misschien naar Spotify of een andere muziekdienst. Dikke kans dat je playlist gemaakt is op basis van aanbevelingen naar aanleiding van eerder beluisterde muziek en daaruit geëxtrapoleerde voorkeuren. Het werk van ai.

In je lunchpauze kun je mooi even wat cadeautjes voor de komende feestdagen bij elkaar shoppen. Of je dat nu bij Amazon, Bol.com of een andere winkel doet, bijna allemaal maken ze gebruik van aanbevelingen en geven ze suggesties om ook andere producten te kopen, op basis van jouw eerdere koopgedrag, dat van anderen die dezelfde producten kochten, en wat populair is. Opnieuw het werk van ai.

Als je toevallig uit eten gaat en een plaatje schiet van je dessert om anderen jaloers te maken, wordt je foto als dessert geclassificeerd en automatisch in een lijst met soortgelijke foto's ingedeeld. Ook het zoeken naar soortgelijke afbeeldingen, zowel binnen je eigen foto's als online, is het domein van ai.

En als je 's avonds op de bank ploft en wat Netflix wil kijken en door je aanbevolen lijst films of series scrollt, worden die lijsten weer gemaakt op basis van eerder kijkgedrag en dat van anderen. Uiteraard zit ook daar weer een ai-toepassing achter.

Kortom, je dagelijks leven wordt in hoge mate geregeld door diverse vormen van kunstmatige intelligentie. Je merkt er alleen weinig van zolang het goed gaat. Pas als er een in jouw ogen volledig idiote beslissing gemaakt wordt, valt op dat er misschien een algoritme achter al die dingen zit. Tijd om in de wereld achter onze wereld te duiken.

Is een neuraal netwerk een ai?

De bekendste termen uit de wereld van kunstmatige intelligentie of de Engelstalige variant artificial intelligence zijn waarschijnlijk machinelearning, deep learning, big data en natuurlijk neural networks. Wat betekenen die termen en wat zit erachter? Leiden neurale netwerken tot echte kunstmatige intelligentie, staat Skynet op het punt om bewustzijn te krijgen of besluipt kunstmatige intelligentie, mogelijk gemaakt door neurale netwerken, onze samenleving gewoon langzaam en ongemerkt?

Een bekende uitspraak in onderzoek naar kunstmatige intelligentie is dat het geen ai meer genoemd wordt zodra het werkt en dat alles wat nog niet lukt, ai is. Dat het steeds beter en in steeds meer toepassingen werkt, merk je aan alles. Veel bedrijven zijn er niet scheutig mee om iets als ai te classificeren, maar een neuraal netwerk in een product of toepassing wordt wel met veel tamtam aangekondigd. Het is het buzzword van 2017 en dat zal in 2018 vast niet veranderen. Om een voorbeeld te noemen: smartphonefabrikant Huawei adverteert zijn Mate 10 Pro met het vermelden van een npu of neural processing unit aan boord en AMD sprak al voor zijn Zen-architectuur van een neuraal netwerk in zijn branch predictor om zijn processors sneller te maken.

De weg naar kunstmatige intelligentie is in het verleden al op verschillende manieren bewandeld. Een van de aspecten van ai waar we steeds vaker over horen en mee te maken hebben, zijn neurale netwerken. Ze kunnen afbeeldingen herkennen, geschreven en gesproken tekst vertalen en patronen distilleren uit grote hoeveelheden data. Hoe werken die neurale netwerken, wat is het principe erachter, wie houden zich ermee bezig en hoe verschillen die implementaties?

Laten we eerst eens naar een neuraal netwerk kijken en met een gedachte-experiment een simpel neuraal netwerk maken. Wat een neuraal netwerk niet is, is een simulatie van een stel neuronen, zoals die zich in onze hersenen bevinden. Wegens de analogie houden we wel de term 'neuronen' aan, omdat neuronen in een neuraal netwerk, net als biologische neuronen, inputs kunnen middelen en anders dan bits een variabele waarde kunnen hebben tussen 0 en 1. Een eenvoudig neuraal netwerk bestaat uit drie neuronen: een invoerneuron in de inputlaag, een verwerkingsneuron in een verborgen laag en een uitvoerneuron in de uitvoerlaag.

Een neuraal netwerk kun je dan ook zien als een grote rekensom. Een groot neuraal netwerk heeft navenant meer rekenkracht nodig, niet zozeer meer transistors om een neuron te simuleren. Meer hardware tegen een neuraal net aangooien heeft zin, want het trainen en berekenen van uitvoer is rekenintensief. Als architectuur bestaat een neuraal netwerk uit een laag inputneuronen, een verborgen of hidden laag die uit een of meer lagen neuronen bestaat, en een uitvoerlaag. Een netwerk kan tientallen lagen bevatten, maar vooralsnog zijn de neuronen in die lagen nog in de honderd- of duizendtallen te tellen.

Hoe werkt een neuraal netwerk?

Een van de eenvoudigste neurale netwerken, in de ruime zin van het begrip, is een netwerk dat handgeschreven cijfers kan herkennen. Uiteraard is input nodig, in dit geval een afbeelding die een raster van 28 bij 28 pixels naar het neurale netwerk stuurt. Niet geheel toevallig bevatten de grootste datasets voor het trainen van neurale netwerken op handschriften ook cijfers in afbeeldingen van 28 bij 28 pixels. Elke pixel heeft een grijswaarde en wij mensen herkennen zonder problemen elke variatie van een cijfer. Ons neurale netwerk moet echter gaan rekenen en dat doet het allereerst door alle inputs, 28 maal 28, dus 784 grijswaarden, een waarde tussen 0 en 1 te geven. Let op dat een neuraal net dus niet binair is, maar analoog; een neuron is niet 1 of 0, maar een willekeurige waarde tussen 1 en 0.

Die data wordt naar een tweede laag 'neuronen' gestuurd. Die tweede laag bestaat uit een veel kleiner aantal, zeg vijftien, neuronen en elk neuron krijgt input van elk neuron uit de eerste laag. Daarbij wordt de data, de grijswaarde, dus, een weging gegeven. De data van de tweede laag neuronen, ook weer waarden tussen 0 en 1, wordt weer naar de uitvoerneuronen gestuurd, opnieuw met een weging. Het neuron dat het dichtst bij waarde 1 komt, geeft aan welk cijfer het neurale net heeft 'gezien'. We moeten overigens opmerken dat een neuraal net meestal verschillende lagen heeft, maar voor de eenvoud houden we het op een enkele tussenlaag.

Die wegingen kun je je misschien makkelijker voorstellen als je je een neural net inbeeldt dat je wellicht dagelijks toepast: autorijden. Bij het autorijden kun je de wegingen, of hoeveel belang je hecht aan de verschillende inputs, laten variëren. Dat heeft steeds andere outputs, of rijsnelheden, tot gevolg. Met de juiste parameters of wegingen kom je veilig thuis, met de verkeerde krijg je een ongeluk. Zo kun je een neuraal netwerk ook fijn afstemmen om het succesvol te laten zijn of te laten falen.

De grote vraag is: hoe zorg je ervoor dat alle wegingen die nodig zijn om een cijfer te herkennen, aan je algoritme worden meegegeven? Om dat met de hand te programmeren is bijna onbegonnen werk. Een neuraal netwerk zoals we dat hier beschrijven, met één tussenlaag en 28 bij 28 pixels input, heeft al 784 maal 15 plus 15 maal 10 wegingen. Bovendien kan aan elk neuron nog een extra weging worden gegeven, dus dat zijn nog eens 15 plus 10 wegingen, voor een totaal van 11.935 variabelen die je moet bedenken en fijn afstemmen.

Voor een complexer neuraal net wordt het aantal variabelen vanzelfsprekend nog groter. Dus laat je het neurale netwerk zichzelf leren hoe het dingen moet herkennen, vandaar de term machinelearning, want de machine leert zichzelf. Dat is overigens niet de enige vorm van machinelearning, maar in deze context is dit wat we bedoelen.

Het trainen van het netwerk

Je hoort of leest vaak over het trainen van een neuraal netwerk. Nu zijn er verschillende soorten neurale netwerken en verschillende methodes om ze te trainen. We kijken eerst naar het trainen van het eenvoudige feed-forward-netwerk waar we het tot dusver over hebben gehad. Dat trainen we met een methode die supervised learning wordt genoemd. Simpel gezegd geef je het neurale netwerk een grote hoeveelheid voorbeelden, in dit geval dus cijfers, met een gewenst ofwel bekend resultaat. De eerder genoemde dataset voor cijferhandschriftherkenning bevat een trainingsset van zestigduizend plaatjes van cijfers met de gewenste uitkomst. Je begint met willekeurig gekozen parameters en kijkt welke uitvoer dat oplevert: waarschijnlijk gewoon ruis.

Elke keer dat het neurale netwerk een output geeft, vergelijk je die met het gewenste resultaat. Hoe meer dat afwijkt, hoe sterker variabelen moeten worden aangepast. Elke parameter kan een positieve of negatieve vector krijgen, die aangeeft hoeveel de parameter moet worden aangepast om de gegeven uitvoer met de gewenste uitvoer overeen te laten komen. Een veelgebruikte wiskundige methode daarvoor is optimalisatie. Bij een eenvoudige functie is dat makkelijk, maar met meer variabelen moet met afgeleide functies gewerkt worden, waarbij in kleine stapjes de minima worden opgezocht. Voor die minima geldt dat het neurale netwerk een uitkomst geeft die zo min mogelijk afwijkt van de bekende, gegeven waarde. Het trainen van een netwerk is dus feitelijk een optimalisatie of het zoeken van de lokale minima van een multivariabele functie. Met grote trainingssets kunnen deze parameters steeds beter afgesteld worden, zodat betrouwbare resultaten worden geleverd.

Optimalisatie van variabelen bij het trainen van neurale netwerken

Het trainen van het neurale netwerk, in dit geval het aanpassen van de parameters om de verschillen tussen de cijfers die het neurale netwerk waarneemt, en de correcte cijfers te minimaliseren, wordt ook wel backpropagation genoemd. Het optimalisatiealgoritme moet immers van de gewenste toestand terugwerken naar alle lagen in het neurale netwerk, door steeds de wegingen en andere parameters aan te passen. Uiteraard moet zo'n aanpassing voor alle afbeeldingen in de trainingsset worden berekend en vervolgens moeten al die aanpassingen gemiddeld worden, omdat je neurale netwerk anders maar één uitkomst oplevert. En je mag ook weer niet te veel trainen, want dan krijgt je netwerk alleen de trainingsafbeeldingen goed en kan het niets met nieuwe data.

Soorten neurale netwerken en training

We hebben net een voorbeeld bekeken van een heel eenvoudig neuraal netwerk. Er zijn echter veel verschillende soorten neurale netwerken, waarvan twee typen vaak genoemd worden: deep neural nets en convoluted neural nets.

In het netwerk voor handschriftherkenning hadden we één tussenlaag tussen invoer en uitvoer. Je kunt je voorstellen dat die laag de lijntjes van de cijfers herkent, door randen te detecteren. In de praktijk zul je extra lagen nodig hebben, die aan de hand van de gedetecteerde randjes weer vormen herkennen en zo de juiste output kunnen aansturen. Als je neurale netwerk complex wordt, met meer dan twee tussenlagen, dan spreek je van deep neural networks. Elke laag heeft een specifieke taak, waardoor een vraagstuk in steeds eenvoudigere deelvragen kan worden opgesplitst. Denk aan gezichtsherkenning. Dat kan worden opgesplitst in het zoeken naar een oog, neus en mond, en dat kan weer onderverdeeld worden in zoeken naar een neusgat, een wenkbrauw of een lip. Zo kun je zeer complexe taken onderverdelen in eenvoudige taken, die door de eerder beschreven neurale netten kunnen worden uitgevoerd, met diepere lagen die een steeds hoger abstractieniveau mogelijk maken.

Daarmee gepaard gaat deep learning, het trainen van een deep neural network of dnn. Als zo'n netwerk net als een neuraal netwerk met één tussenlaag moet worden getraind met backpropagation en het zoeken naar lokale minima, zou dat erg veel tijd kosten. Daar komt bij dat niet alle lagen zich even snel laten trainen, zodat bijvoorbeeld de eerste lagen veel langzamer getraind worden dan de diepere lagen. Soms gebeurt het tegenovergestelde; de eerste lagen worden veel sneller getraind dan de diepere. Oorzaak is dat de leersnelheid van de eerste lagen het product is van de snelheid van de diepere lagen. Als die klein is, dooft de leersnelheid uit, en als die groot is, explodeert de leersnelheid. Die instabiliteit is dus een intrinsiek probleem van neurale netwerken met veel lagen.

Convolutional neural net

We hebben het tot dusver over volledig verbonden neurale netwerken gehad en voor kleine afbeeldingen werken die prima. Voor visuele taken, zoals objecten op foto's herkennen, heb je echter niet veel aan een input van 28 bij 28 pixels, zoals bij de handschriftherkenning. Een foto is immers veel groter en er staan vaak verschillende objecten op. Als je dat met dezelfde methode zou benaderen als het herkennen van cijfers, dus alle neuronen met elkaar verbonden, dan zou je een absurd complex neuraal netwerk krijgen. Voor een foto van 600 bij 400 pixels met laten we zeggen één tussenlaag van vijftig neuronen, zou je al twaalf miljoen variabelen voor de eerste laag moeten doorrekenen. Dan hebben we het nog niet over diepere lagen en de uitvoer gehad; dan zou het netwerk nog veel complexer worden.

De oplossing die hiervoor ontwikkeld is, wordt een convolutional neural network genoemd. De naam komt van bepaalde wiskundige bewerkingen die op de benodigde vergelijkingen worden uitgevoerd, die convoluties genoemd worden. Bij een convolutie worden twee functies gecombineerd tot een nieuwe functie.

Eigenlijk is een convolutional neural net, kortweg cnn, een type deep neural network waarin niet alle neuronen met elkaar zijn verbonden. Dat reduceert de complexiteit en maakt het netwerk geschikter voor zijn taak. Over het algemeen heeft een pixel linksboven in een foto immers weinig te maken met een pixel rechtsonder. Bij cnn's worden afbeeldingen opgedeeld in kleine rasters van goed behapbare stukjes. Zo worden de eerder gebruikte vierkantjes van 28 bij 28 pixels verder opgedeeld in gebiedjes van 5 bij 5 pixels, die local receptive fields worden genoemd. Die 25 pixels staan in verbinding met slechts één neuron in de eerste verborgen laag neuronen en delen bovendien de parameters voor de weging van de input. Voor elk volgend neuron in de eerste verborgen laag schuift het local receptive field één pixel op en vormt zo een eerste detectielaag van 24 bij 24 neuronen.

Zo'n detectielaag zoekt specifiek naar één eigenschap in de afbeelding en vormt zo een featuremap, bijvoorbeeld om naar een horizontale lijn te zoeken. Om zinvolle herkenning mogelijk te maken moet je natuurlijk ook naar andere features kijken, dus heb je verscheidene featuremaps nodig in de eerste laag neuronen. Dan heb je nog steeds vele malen minder parameters nodig. Als we het voorbeeld van plaatjes van 28 bij 28 pixels aanhouden en een local receptive field van 5x5 pixels hanteren en geen drie, maar twintig featuremaps gebruiken, komen we op slechts 520 parameters. Dat is nogal een verschil met het eerdere voorbeeld van een volledig verbonden neuraal net van 28 bij 28 pixels, dat met veel minder neuronen in de verborgen laag al meer dan tienduizend parameters had. Zo kun je met cnn's dus grotere afbeeldingen verwerken zonder een explosie in het aantal parameters en wordt het resultaat bovendien beter.

De output van die feature maps wordt weer in de volgende laag verwerkt. In poolinglayers worden featuremaps vereenvoudigd, waarbij voor elke feature map een reeks poolingneuronen nodig is. Misschien zijn nog extra lagen in de 'hidden layer' nodig, maar het principe van het cnn blijft hetzelfde. Uiteraard staat de laatste laag neuronen weer in contact met de uitvoerneuronen. Voor de pooling- en andere lagen bestaan weer diverse methodes die elk voor specifieke doeleinden ontwikkeld zijn, en vaak is een mix van verschillende methodes nodig om de beste resultaten te halen. Vaak is zelfs flink wat geëxperimenteer nodig en dan nog is niet altijd duidelijk waarom de ene architectuur betere resultaten oplevert dan de andere.

Neurale netwerken in de praktijk

We hebben aan de hand van de voorbeelden van neurale netwerken net gezien dat neurale netwerken, en dan vooral cnn's, geschikt zijn voor beeldherkenning als handschriftherkenning, maar ook voor complexere afbeeldingen. Dat is echter niet de enige toepassing van neurale netwerken, want zoals we al op de eerste pagina zagen, worden ze in bijna alle moderne toepassingen gebruikt. Zo wordt een speciaal type neurale netwerken, recurrent neural networks genoemd, gebruikt voor stemherkenning, bijvoorbeeld in je Google Home of voor Siri. Een ander type wordt gebruikt voor het aanbevelen van producten als je gaat kopen. Met de kennis over neurale netwerken op zak is het iets makkelijker om te bedenken hoe dat werkt. De inputneuronen krijgen bepaalde producten te zien en zijn getraind met de aankopen van andere klanten. Zo kunnen ze voorspellen wat je nog meer zou willen bekijken of kopen op grond van wat anderen al kochten.

Zo werkt een dienst als Spotify of Netflix natuurlijk ook. De trainingsdata wordt gevormd door het kijk- en luistergedrag van alle andere abonnees en jij krijgt de output van de neurale netwerken te zien. En als je dit jaar een AMD-processor met Zen-cores gekocht hebt, heeft de branch prediction, het stuk in de cpu dat gokt welke operatie op een voorgaande bewerking volgt, een neuraal net aan boord om betere prestaties te bieden.

De foto's op je telefoon worden automatisch ingedeeld naar categorie. Vrienden en familie worden volautomatisch herkend en getagd. Er is een steeds grotere kans dat je telefoon een neuraal netwerk aan boord heeft voor dat soort taken. Zo heeft Apple een neural engine om Siri te verbeteren en om de telefoon met gezichtsherkenning te ontgrendelen. Huawei heeft in zijn Mate 10 een npu of neural processing unit ingebouwd, die onder meer vertalingen met Microsoft Translator moet versnellen en die veelgebruikte taken moet versnellen doordat de telefoon leert wat de gebruiker wil.

Dat zijn lang niet alle toepassingen voor neurale netwerken. Ook in datasets die voor mensen lastig te doorgronden zijn, kunnen neurale netwerken inzichten bieden. Zoals bekend wordt big data steeds belangrijker, voor toepassingen van het analyseren van dna tot het speculeren op aandelenmarkten, bijvoorbeeld op basis van het verwerken van grote hoeveelheden aandelen die verhandeld worden. Maar ook in de gezondheidszorg kunnen neurale netwerken ingezet worden, om bijvoorbeeld een tumor in een mri te herkennen. Cnn's zouden dat met kleinere foutpercentages kunnen doen dan zelfs geoefende artsen. Ook het zoeken naar medicijnen kan door neurale netwerken worden gedaan; die kunnen dan op zoek naar moleculen die de gewenste eigenschappen hebben.

Een van de toepassingsgebieden waarop machinevision een grote en cruciale rol moet gaan spelen, is het verkeer, in zelfrijdende auto's. Daarbij zijn diverse factoren uiteraard van groot belang. Het systeem moet objecten, personen en situaties, goed classificeren, en dat moet zeer snel gebeuren. Bovendien is een complicerende factor dat het systeem geen statische plaatjes te zien krijgt die zorgvuldig zijn geprepareerd, maar met snel bewegende beelden in sterk wisselende omstandigheden moet omgaan. Een deel van die data kan dankzij 5g-verbindingen wellicht in krachtige clouds worden verwerkt, maar neurale netwerken of alternatieve technieken zullen ook in auto's moeten zitten.

Hardware en software

Neurale netwerken en machine vision hebben in de afgelopen jaren enorm aan populariteit gewonnen. Toch zijn neurale netwerken niet nieuw. Al in de jaren zestig en zeventig van de vorige eeuw werden ze beschreven en ontwikkeld, maar computers waren destijds natuurlijk stukken minder krachtig. Tegenwoordig kunnen de complexe berekeningen, en dan vooral de enorme hoeveelheid herhalingen bij trainen, binnen een acceptabele tijd voltooid worden.

Het gebruik van een neuraal net hoeft niet eens zo rekenintensief te zijn, want eigenlijk is zowel het gebruik als het trainen gewoon een grote matrixberekening. Juist daar zijn computers goed in, zo goed dat neurale netwerken inmiddels ook op een Raspberry Pi of je telefoon kunnen draaien. Je telefoon is echter niet toereikend voor een complex neuraal netwerk en zelfs een krachtige desktop- of serverprocessor heeft moeite de vele berekeningen in een realistische tijd te volbrengen.

Gelukkig zijn vectorberekeningen, waaruit de matrixberekeningen voor het trainen en draaien van neurale netwerken grotendeels bestaan, de specialiteit van grafische processors. Die kunnen bovendien de werklast prima parallelliseren, waardoor complexe neurale netwerken vaak op videokaarten of acceleratorkaarten gedraaid worden.

Voor het trainen van een cnn zijn grote databases met gelabelde afbeeldingen nodig

Een van de grootste uitdagingen is echter het trainen van een neuraal netwerk. Bij de trainingmethodes die we tot dusver besproken hebben, zijn zeer grote datasets nodig die correct zijn gelabeld, zodat de parameters gecorrigeerd kunnen worden. Er zijn diverse publieke databases met onder meer afbeeldingen die zijn onderverdeeld in duizend klassen, maar in de echte wereld zijn complexere problemen, die nog geen grote trainingsset hebben. Dan werkt de methode die we tot dusver geïllustreerd hebben voor cnn's niet goed.

Sommige neurale netten maken dan ook gebruik van unsupervised learning, waarbij niet veel meer dan een paar algemene regels worden gedefinieerd en het algoritme uit de gepresenteerde data moet opmaken wat gewenst is en wat niet. Een ander voorbeeld is Googles DeepMind, die zich onlangs schaken leerde door tegen zichzelf te spelen en niet veel meer had meegekregen dan de basisregels. Een paar uur later wist DeepMind met deze vorm van reinforcement learning een van de beste schaakprogramma's te verslaan.

Tot dusver hebben we alleen neurale netwerken bekeken die speciaal worden ingericht voor een specifieke taak. De architectuur en algoritmes worden afgestemd op de taak en het neurale net wordt getraind met data, waarna het met echte samples aan de slag kan. Inmiddels worden ook neurale netwerken en zelfs chips ontwikkeld die blijven leren en dus met nieuwe situaties kunnen omgaan. Daarmee lijken ze nog sterker op de manier waarop hersenen werken. Zo kunnen recurrent neural networks, of rnn's ingezet worden om te leren en te blijven leren. Daarbij worden de parameters van de neuronen niet na het trainen vastgelegd, maar kunnen ze aangepast blijven worden, waarbij eerdere activaties van een neuron de latere activaties beïnvloeden. Ze veranderen dus in de loop van de tijd en kunnen meeveranderen met veranderende data.

Nog een stapje verder gaan neuromorfe chips. Ook hun architectuur is geënt op neuronen. Zo zijn er chips waarvan onderlinge verbindingen fysiek veranderen naarmate die verbindingen vaker geactiveerd worden. Onder meer Intel heeft dergelijke chips ontwikkeld, waarbij geheugencellen geëmuleerd worden. Dergelijke oxramcellen, zo genoemd omdat een hafniumoxideverbinding dikker of dunner gemaakt kan worden en zo van geleidbaarheid kan veranderen, fungeren als neuron-analogen en gebruiken net als biologische neuronen zeer weinig energie. Met zulke geheugencellen kunnen ook weer cnn's gemaakt worden.

Andere fabrikanten kiezen voor een architectuur die is geoptimaliseerd voor het type berekeningen dat voor neurale netwerken wordt gebruikt. Zo zijn gpu's dankzij hun vele kleine processors al erg geschikt voor de vele parallelle berekeningen die nodig zijn om een neuraal netwerk te trainen, maar fabrikanten als Nvidia hebben dat voor bepaalde acceleratorkaarten verder geoptimaliseerd. De nieuwste generatie Tesla- en Titan-kaarten van dat bedrijf hebben zogeheten Tensor-cores aan boord die geoptimaliseerd zijn voor matrix-bewerkingen. De naam komt van een wiskundige term die relaties tussen variabelen aangeeft. Naast de Tensor-cores van Nvidia heeft ook Google speciale processors ontwikkeld die toegespitst zijn op dergelijke berekeningen.

Tot slot

De grootste spelers op het vlak van neurale netwerken, zoals Google met Tensorflow, de Tensor Processing Unit en DeepMind, of IBM met zijn Watson-ai en Microsoft en Facebook, zijn eigenlijk de bekende grote technologiebedrijven. Iedereen is druk met ai en neurale netwerken bezig en 'de sector' denkt dat dit in de toekomst een nog grotere rol gaat spelen.

Vooralsnog lijken neurale netwerken en afgeleiden daarvan als neuromorfe chips een in ieder geval veelbelovende techniek, die kunstmatige intelligentie een grote sprong voorwaarts heeft laten maken. Dat wil niet zeggen dat we over enkele jaren ook een echte kunstmatige intelligentie, een zelfbewust systeem, kunnen realiseren met deze techniek. Neurale netten, machineleren en machinevision laten sterke staaltjes slimme techniek zien, maar of dat zich ooit laat vertalen in een omnipotent Skynet, is nog maar de vraag.

Reacties (115)

[jsaturnus]

Voor iedereen die eens met een neural network wil spelen: MNIST heeft een hele mooie dataset met 60.000 handgeschreven cijfers, en 10.000 test afbeeldingen.
Aan de hand van de testafbeeldingen kun je zien hoe goed je neural net is, en dat vergelijken met de resultaten van anderen.

https://en.wikipedia.org/wiki/MNIST_database

Deze dataset is ook zeer geschikt om te experimenteren met de configuratie van je net. Aangezien de plaatjes 28 x 28 pixels zijn heb je 784 input neurons nodig, en 10 output neurons om aan te geven welk getal er aangeboden wordt.

Om te beginnen is een 784 x 132 x 10 neural net een goede start. Je kunt daar tot 95% van alle afbeeldingen mee herkennen. Om in de buurt van de besten (foutmarge onder 0.8%) te komen zul je meer hidden layers moeten toevoegen, en moeten spelen met de grootte van de hidden layers.
Verder is rekentijd van belang, aangezien je nogal wat slagen moet maken om 1 plaatje te processen. Het slim schrijven van de software kan daar grote gevolgen hebben.

Tot slot: de video's op channel 9 van James McCaffrey in Visual Studio is aardige background info:

https://channel9.msdn.com/Events/Build/2014/3-643

n.b. James McCaffrey is een wetenschapper en geen programmeur

edit: typos

[Reactie gewijzigd door jsaturnus op 22 juli 2024 16:55]

[NTwoO]

Een mooie engine om een beetje mee te spelen is ook te vinden van Tensor flow.

[steveman]

Dat werkt echt super! Doodeenvoudig GPU-accelleratie aan de praat krijgen en gaan met die banaan!

Pilotstudie mee gedaan voor image recognition op het werk, management meteen enthousiast

[SuperGuest]

Wat ik een beetje mis in dit verhaal is dat we het hier vooral hebben over de simulatie van een stukje hersenschors waarin vooral de functie van het herkennen van beeld, geluid en andere sensorische input zit. Niet het denken of beslissingen nemen. Wel een hele belangrijke functie, omdat software hier juist veel problemen had.
Verder is een aardige anekdote dat ik hier 25 jaar geleden al mee bezig was op de universiteit. Toen was het al the next big thing voor financials, haha. Het heeft dus een tijdje stilgestaan, maar is nu weer hip, hot en happening. Onder meer natuurlijk door wat slimme nieuwe wiskunde.

[Verwijderd]

Wat ik juist interessant vind is dat je met zo'n slechte simulatie van echte neuronen al de werelds beste Go spelers kan verslaan. Dat is echt wel indrukwekkend. Het geeft je ook te denken wat intelligentie nu eigenlijk is.

[SuperGuest]

Waar het lastig wordt is denk ik 'bewustzijn'. Wat de neurale netwerken bieden is herkenning van patronen. Dat helpt bij het spelen van schaken en Go en het is een onderdeel van intelligentie. Wat mist is dan de vonk van creativiteit, bijvoorbeeld gedreven door bewustzijn.

[keeperson]

Ik heb een schoolproject gemaakt aan de hand van de MNIST dataset, ware het in iets andere vorm dan de originele dataset.

Het neurale netwerk wat ik gebruikte, een conventioneel netwerk aangeboden door de SKLearn Python library, bestond uit 784 - 300 - 10 neuronen en ik kwam op een gemiddelde accuracy van 96,01%. Aan de hand van @jsaturnus zijn bevindingen loont het dus niet echt om zoveel extra neuronen toe te voegen in de hidden layer. Het zou wel kunnen helpen door meer hidden layers toe te voegen, alleen ben ik dan al afgestudeerd voordat het neurale netwerk klaar is met trainen.

Ik heb helaas geen tijd gehad om nog wat met Tensor Flow te spelen om het eens te proberen. Mocht je eens de resultaten willen vergelijken, er is een hele handige site waarop je de resultaten van verschillende soorten neurale netwerken kunt bekijken.

[Reactie gewijzigd door keeperson op 22 juli 2024 16:55]

[Wut]

Deze dataset is ook zeer geschikt om te experimenteren met de configuratie van je net. Aangezien de plaatjes 28 x 28 pixels zijn heb je 784 input neurons nodig, en 10 output neurons om aan te geven welk getal er aangeboden wordt.

Correctie: je hebt niet 784 input neurons nodig, maar een willekeurig aantal input neurons >= 1 die een 28x28 matrix, of een 784 lengte vector als input accepteert.

Een goeie in-depth resource is de Stanford computer vision class:
http://cs231n.stanford.edu/
Voor video's en uitleg: http://cs231n.stanford.edu/syllabus.html
Voor code-voorbeelden: http://cs231n.github.io/

[Jefrey Lijffijt]

De gangbare terminologie is toch echt dat je dan dus een eerste laag van 784 input neurons hebt.

http://www.deeplearningbook.org

[Reactie gewijzigd door Jefrey Lijffijt op 22 juli 2024 16:55]

[Renzmeister]

Interessant! Ik ben zelf de cursus van Andrew Ng aan het doen op Coursera: https://www.coursera.org/learn/machine-learning/home/welcome
Daarin leer je ook hoe je die keuzes (grootte neurale netwerk, hidden layers etc.) moet maken.

Ik kan het iedereen aanraden die de basics wil leren van machine learning en neurale netwerken.

[fommes]

Die heb ik een aantal maanden terug ook gedaan en gehaald, erg interessante cursus om een goeie basis te krijgen in machine learning hoewel met bijv. tensor flow het niet geheel nodig is, maar ik vind het wel fijn om een goed inzicht te krijgen in de verschillende mogelijkheden en de werkingen ervan.

[dakathefox]

Complimenten voor Willem die zoiets complex toch een stuk gangbaarder heeft weten te maken.

[Verwijderd]

AI is vind ik wanneer je kunt spreken van zelflerend of aangeleerd gedrag en niet voor een groot deel hardcoded per design.

Dit is namelijk het werk van de afdeling 'intelligence' en in samenwerking met 'development'... mensen.

Heb er zelf jaren in, aan en mee gewerkt.

De ontwikkelingen die we meemaken zijn "nieuwe", meer elementaire systemen van opslag en benadering, het zelf vinden en/of het aanmaken van relaties en "waarderingen" op een veel meer basaal en breed inzetbaar niveau. Bovendien is het zo veel beter te schalen over resources.
En hoewel een aantal grote spelers daar zeer zeker erg ver mee op weg zijn is het effect wat wij veel online zien zeer zeker niet allemaal toe te schrijven aan AI.

Dus ja... Het kan, het bestaat. Maar toch ook weer een deel stemmingmaking of anders wel de stemming van mijnheer de auteur zelf.
Het is nog niet dusdanig inzetbaar en daadwerkelijk ingezet als zijn schrijven doet voorkomen en de lijn is vind ik overtrokken.

Het idee is eigenlijk om in plaats van vantevoren identifier toe te kennen aan een abstract object of type, zelf uit herhaling patroon te herkennen waardoor uiteindelijk objecten kunnen worden geabstraheerd en met voorkeur uit scherpe contrasten.

Wanneer, tot nu toe, de overige onbegrepen ruis steeds duidelijker context vormen beginnen er corelaties te ontstaan die je ziet wanneer kijkt over time.

Denk aan een toestroom van atomen/impulsen en schijnbaar willekeurig gedrag, tot er patronen en wetten ontdekt worden, waardoor relaties tot en vormen als moleculen naar voren komen, enz.

Denk aan een 'blanco' babybrein die uit herhaling objecten begint te herkennen.
Hoe meer dezelfde objecten naar voren komen, des te prominenter zullen ze naar voren komen en andere zaken als ruis verdrukken.
Rond dit soort objecten persoonlijkheid en karakteristiek zich vormen en andere zaken later relateren. Enz.

We hebben de techniek en het begrip van werking van ons eigen verstand om het werk van een Paul Dirac in de schaduw te zetten.
En dat we op dit moment spelen met foto's en text input om context te bepalen is 'spelerij' om interesse van mensen te wekken die er een aandeel in kunnen hebben.
Maar ondanks dat het in principe heel eenvoudig is, en de techniek zelf beschikbaar is, is de mens er op een grotere schaal nog niet toe om lagen voor toepassing en interfacing op een nuttig en breed inzetbaar niveau te verkopen.
Bovendien is het in potentie dusdanig waardevol dat je dat ook niet op kort termijn publiekelijk en groot ingezet moet verwachten.

Hooguit sterk gelimiteerde experimenten as a service terwijl al je kostbare data en experimenten bij grote spelers terecht komen.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 16:55]

[mrsyntax]

Dit dacht ik dus ook al. Een AI zou toch zelf moeten kunnen kiezen ofdat het de berekeningen uberhaupt wil uitvoeren voor ons, of ofdat het liever iets anders onderzoekt bijvoorbeeld. Daarnaast wordt niet AI breed uit gebruikt, maar machine-learning en behaviour-trees en dat is heel wat anders.

De term AI wordt te snel gebruikt IMHO. Het is vaak eerder een gigantisch switchboard / behaviour-tree die al voorgedefinieerde functies / stappen uitvoert en wanneer je het dan iets vraagt waar het niet voor geprogrammeerd is, krijg je 'heh watte' terug En zelfs daarvoor zijn weer behaviour trees geschreven, zodat je als mens kunt aangeven wat je bedoelde. En dan komt het allemaal meer op een 'monkey see, monkey do' techniek uit dan daadwerkelijk Artificial Intelligence. ( oftewel eigenlijk vergelijkbaar met BOTS in games)

Wanneer ik AI hoor / lees, dan denk ik : een programma met vrije keuze dat zichzelf alles zou kunnen aanleren, de eigen interesses en acties defineren en uitvoeren, etc. etc. Maar dan klinkt het al heel snel creepy, want wat als die AI dan opeens Terminator style wordt

[Verwijderd]

Voor mij lijkt het meer op brute force evolutie algoritmes dan echte AI. Maar ja, wat is ECHTE AI ?
Ik vind persoonlijk ook dat AI een marketing term is geworden wat overal tegen aan gegooid wordt om hip en modern te klinken.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 16:55]

[Brousant]

Maar ja, wat is ECHTE AI ?

Je kunt je ook afvragen wat niet-kunstmatige intelligentie is. Ons brein is opgebouwd uit neuronen die met elkaar samenwerken op een in redelijk eenvoudige termen te beschrijven manier, en de werking van de kunstmatige neuronen van een KNN is dan ook gemodelleerd naar die biologische neuronen. Maar omdat ons brein er zoveel van bevat is de schaalgrootte zodanig dat de analyse op microniveau maar bar weinig over de complexe werking van het geheel kan zeggen. Eigenlijk weten we net zo weinig van hoe intelligentie in een mensenbrein werkt als hoe dat in een KNN zou kunnen werken. Het is denkbaar dat een voldoende complex KNN gedrag zou kunnen ontwikkelen waarin wij intelligentie en zelfs bezieling zouden herkennen.

[Reactie gewijzigd door Brousant op 22 juli 2024 16:55]

[bbob]

Wat ik top op heden zie noem ik geen AI (en ja dat mag ik niet roepen hier, gezien discussie van vorige week met veel - tekens maar doe het gewoon)

Tot op heden zijn het idd brute force of afgeleide daarvan algoritmes. Netflix denkt mij te kunnen vertellen welke films ik leuk zou vinden op basis van wat ik eerder bekeken hebt. Dat is geen AI maar gewoon algoritmes. Sterker nog ik kijk soms films die netflix mij niet zou adviseren en waarvan ik op basis van de informatie die ik lees zou denken dat is niets. Toch kijken en wat blijkt, het is anders en toch leuk te kijken. Op die manier verbreed je als mens ook je horizon. Netflix en Spotify zullen mij dat echter nooit adviseren omdat ze deels op safe spelen met hun algoritme en ook niet kunnen voorspelen of ik het afwijkende ook echt zou waarderen.

Als je als mens zelf soms over iets heen moet stappen om je leefwereld te vergroten is dat een mooi en dat maakt je ook tot mens.

Stel me dat de vraag als AI zelfbewustzijn krijgt is dat dan individueel zelfbewustzijn waarbij een AI systeem ook voorliefdes heeft voor kleuren, smaak, geur, geluid enz. Of houden alle ai systemen van hetzelfde of hebben helemaal geen voorkeur. Als dat laatste zo is kun je dan weer spreken over AI.

[Xirt]

Ik ben het totaal niet met je eens. Te vaak probeert men AI te vergelijken met het menselijk brein of moeten er 'emoties' / voorkeuren aan te pas komen: het is niet het doel van AI om het menselijk brein na te maken. In plaats daarvan houdt AI zich bezig met het zoeken naar (alternatieve) oplossing voor complexe problemen. Dat een neuraal netwerk daarbij op hoog niveau op een menselijk brein lijkt betekent niet dat we binnenkort onze grijze massa met een chip kunnen / willen vervangen of dat onze computer binnenkort groene stroom prefereert ten opzichte van grijze stroom of graag een witte casing wil hebben.

Ik heb vrij recent nog een keer een duik genomen in de definitie van AI en moet zeggen dat iedereen (ook wetenschappers) een andere mening heeft over wat AI nou precies is. Als je puur naar de definitie van intelligentie kijkt dan vind ik dat een neuraal netwerk zeker onder AI valt:

Intelligence (bron)

the ability to learn or understand or to deal with new or trying situations

In zekere zin is AI dan ook veel breder, want ook simpele voorgeprogrammeerde systemen vallen onder deze definitie (e.g. geef een programma met een voorgedefinieerde regelset, bijv. een knowledge system, een nieuwe situatie en het programma zal - indien de regelset een beetje slim is opgezet - ook voor deze nieuwe situatie een output geven).

Het heeft in mijn ogen dan ook veel meer zin om AI als parapluterm te gebruiken en de technieken te classificeren op een andere manier. Zelf vind ik de classificatie van DARPA (hier) heel geschikt voor. Hierbij zie je duidelijk een verschil tussen de oudere AI technieken (wave 1), de huidige AI technieken (wave 2) en de toekomstige AI technieken (wave 3) incl. een indicatie van de 'intelligentie'.

NB. Met bovenstaande in gedachte kan ik dan ook de vraag op de tweede pagina dan ook met een duidelijke "ja" beantwoorden. Helaas werd de mening van de schrijver hierover mij pas duidelijk in de laatste paragraaf: ook hij verward AI met het menselijk brein en zet veel lezers dus op het verkeerde spoor.

[Reactie gewijzigd door Xirt op 22 juli 2024 16:55]

[bbob]

Voor het woord intelligentie zijn vele bronnen te vinden en je kan uit een deel van die bronnen altijd een zin halen die past bij je motivatie.

Wiki:

Intelligence has been defined in many different ways including as one's capacity for logic, understanding, self-awareness, learning, emotional knowledge, planning, creativity, and problem solving. It can be more generally described as the ability or inclination to perceive or deduce information, and to retain it as knowledge to be applied towards adaptive behaviors within an environment or context.

Vele manier om intelligentie te zien dus.

Je schrijft bijv: the ability to learn or understand or to deal with new or trying situations

Leuke definitie maar stel je de vraag met huidige computers of ze wel begrijpen wat ze leren. Heel simpel als mens leer je je brand je vingers als aan vuur zit. Wij begrijpen dat.
Zeg een computer om planeten te herkennen op basis van een instructieset zal hij dat doen. Maar begrijp hij dan ook wat hij aan het doen is. Begrijpen valt als je er goed over nadenkt onder het zelfbewustzijn van een mens. Een computer begrijpt op dit moment niet, het begrijpt in die zin alleen de instructies, opdrachten, grenzen die wij ze meegeven, daaruit kunnen ze leren maar begrijpen is toch iets heel anders.

Is een rekenmachine ai, geef met je stem een opdracht bereken 34875x234 met de wortel van 4 dan tot de macht 48738. Een computer zal dat sneller berekenen als de mens. Geval met stemherkenning en rekenmachine, is dat intelligentie ?

Het darpa verhaal is leuk 1e 2e 3e enz. Maar kijk je verder heeft het heel eenvoudig gewoon te maken met de rekensnelheid van computers die toen, nu en in de toekomst beschikbaar zijn. Wat een computer nu kan, meer zelf leren, heeft puur te maken met snelheid. Net als wij mensen ook een snelheid hebben om bepaalde zaken te verwerken. De ene mens kan dat ook beter dan de andere mens

AI wordt al als een soort algemene term gebruikt,te pas en te onpas en zal het modewoord van 2018 worden als het dat in 2017 nog niet is.

Maar niet voor niets wordt er gewaarschuwd voor de gevaren van ai in de toekomst. Die gevaren zullen er zeker zijn en komen, sneller dan we denken.

[Xirt]

Het darpa verhaal is leuk 1e 2e 3e enz. Maar kijk je verder heeft het heel eenvoudig gewoon te maken met de rekensnelheid van computers die toen, nu en in de toekomst beschikbaar zijn. Wat een computer nu kan, meer zelf leren, heeft puur te maken met snelheid. Net als wij mensen ook een snelheid hebben om bepaalde zaken te verwerken. De ene mens kan dat ook beter dan de andere mens

Prima om je standpunt te verdedigen, maar in mijn ogen is het incorrect om de verschillende technieken af te doen als verschillen in rekenkracht. Als je de DARPA informatie leest dan zal je zien dat de definitie van intelligentie daar meer aansluit bij de door jou gerefereerde definitie en als basis de onderdelen perceiving, learning abstracting en reasoning in overweging neemt. Op basis van de 'scores' op deze kenmerken worden verschillende technieken (onafhankelijk van hun rekenkracht) ingedeeld in de verschillende waves.

In de informatie zie je verder dat de Wave 1 technieken laag scoren op perceiving en learning: twee items die jij in voorgaande comments belangrijk lijkt te vinden. In Wave 2 (en de toekomstige Wave 3) zie je dat de scores op deze punten hoger zijn en deze technieken dus meer binnen AI vallen volgens jouw definitie. Dit sluit aan bij het perspectief van veel mensen, waar alleen de meer 'menselijke' / complexere AI technieken in overweging worden genoemd. Ik snap dit ook wel: deze technieken zijn momenteel 'hip' en bieden veel nieuwe toepassingen die regelmatig in het nieuws komen. Dat neemt niet weg dat het perspectief (in ieder geval in mijn ogen) veel te klein is.

AI in de afgelopen decennia namelijk ook al veel technieken voorgebracht die ons vooruit geholpen hebben en nu 'normaal' zijn geworden (bijv. Bayesian Networks die gebruikt worden voor spam filtering). Dat betekent volgens mij niet dat deze niet meer onder de noemer AI vallen (dan zouden we van de definitie een "moving target" maken wat discussies zeker niet ten goede komt). Wel maakt dit goed duidelijk dat AI, en gerelateerde mogelijkheden, grote stappen heeft gemaakt in de afgelopen jaren.

[Durandal]

Stel me dat de vraag als AI zelfbewustzijn krijgt is dat dan individueel zelfbewustzijn waarbij een AI systeem ook voorliefdes heeft voor kleuren, smaak, geur, geluid enz. Of houden alle ai systemen van hetzelfde of hebben helemaal geen voorkeur. Als dat laatste zo is kun je dan weer spreken over AI.

Op de vraag of alle zelfbewuste AI's met de zelfde hardware ook dezelfde voorkeuren hebben is moilijk te zeggen. Wel kan je bedenken dat als ze geladen worden met dezelfde data dat ze (i.i.g. initieel) dezelfde uitkomsten geven.
Gaandeweg echter, als ze bijleren zullen ze divergeren en individueler worden; Je eigen voorkeuren zijn ook deels gebaseerd op ervaring. Kijk maar naar tweelingen. Die hebben ook hun eigen voorkeuren/

[bbob]

Tweelingen is leuk thema en paar programma's over gezien van tweelingen die gescheiden opgegroeid waren. Dus bei andere omgeving en toch ontwikkelden ze dezelfde voorliefdes voor muziek, kleur enz.
Soms zit het dus schijnbaar ergens in ons dna.

Maar goed een groot deel is ook gebaseerd op ervaringen. Emotie van de mens speelt daar natuurlijk een rol in.

Dat brengt ook meteen de vraag van traumatische gebeurtenis, die kunnen op mens grote impact hebben. PTST kan een AI systeem daar ook last van krijgen en doordraaien. Krijgen we adhd AI systemen, egocentrische, egoistisch borderline, noem het maar op. Wij geven er naam aan maar kan een algoritme ook op hol slaan.

[ouweklimgeit]

Maar die tweelingen waren niet gescheiden tijdens de zwangerschap Ik durf toch wel met enige zekerheid te stellen dat een groot deel van je ‘muziek-dna’ opgebouwd wordt voordat je geboren wordt. Net als dat een net geboren kind rustig wordt van de stem van de moeder en niet van andere personen (vader natuurlijk ook in mindere mate).

[Verwijderd]

Hardware is nooit hetzelfde. Er was ooit een AI projectje geweest met FPGA. Dat werkte toen alleen op die specifieke FPGA omdat de AI een kortere weg naar zijn doel vond in de specifieke onderliggende hardware. Welke dus weer niet aanwezig was bij "dezelfde" andere fpga chip.

Je mag dus hierbij nooit zeggen: "Dezelfde hardware" tenzij je een volledig gesimuleerde hardware omgeving hebt. Maar als je AI op baremetal dingen laat gaan doen zal hij ook loop holes vinden in de hardware.

[Origin64]

Ik zou zeggen dat het onder andere een voorwaarde is, dat het apparaat daadwerkelijk een keuze maakt, wil het de actie uitvoeren die jij aanvraagt, of niet, op basis van zijn eigen fitness function. En vervolgens moet het zelf ook enige input hebben in de manier waarop de aanvraag wordt uitgevoerd.

[Verwijderd]

Maar wil je dan ook dat hij als voorwaarde heeft de taak zo snel mogelijk uit te voeren? Je kan tegen dingen aanlopen als... het probeert om de aanvraag heen te werken om zo nog sneller de taak uit te voeren.
Zo zette een AI ooit met een spelletje tetris het spel op pauze om "niet te verliezen".

[Origin64]

Dat doen mensen ook in een potje starcraft, dus dat is wat mij betreft een voorbeeld van AI ja. Hij verzint zelf een originele oplossing voor een onwinbare situatie. de Kobayashi Maru voor kunstmatige intelligentie.

[skatebiker]

Wat ik alleen raar vind, is dat tekst invoeren (typen dus) nog steeds zo primitief is, waarbij je het meeste nog steeds (net als in 1860 toen de typemachine uitgevonden werd) letter voor letter moet intypen.
Weliswaar zijn er (alleen voor Andoid en iOS, voor de PC helemaal niet eens) toetsenbord apps met suggesties zoals bijv. Swiftkey, maar deze zijn nogal dom, zeker als je bepaalde woorden in een context typt zou een beetje zelflerend systeem moeten snappen welke suggesties die weergeeft.
En op de PC zijn er bepaalde apps (Libreoffice, Atom editor) die wat simpele suggesties hebben, maar geen 'system wide' tekstinvoer.
Wat meer zelflerendheid zou een hoop schelen.

[Gopher]

Ik zou graag dan een suggestie horen hoe je dit zou zien werken.
Als het als een soort autocomplete zal werken kom je er vaak achter dat het zelf uittypen sneller is, in software ontwikkeling gebruiken we het vaak omdat niet iedereen uit zijn hoofd weet hoe alle methodes geschreven zijn.

Ik kan mijzelf niet zo snel veel opties bedenken.

[Jantimon]

Bij bovengenoemde software Libreoffice krijg je suggesties van een woord, welke je met een druk op de enter knop kunt bevestigen. Dit kan handig zijn voor langere woorden. Echter is dit een vrij dom systeem dat gewoon met een bibliotheek werkt.

Het heeft geen besef van context ( of door jou veel gebruikte woorden ). Skatebiker noemt al dat het tevens jammer is dat dit niet os-wide geïmplementeerd wordt. Dat geeft uniformer en voorspelbaarder gedrag, wat de bruikbaarheid ten goede kan komen. Daarin zal een neuraal netwerk een grote rol kunnen spelen.


Bij software ontwikkeling wordt prediction met name gebruikt om methodes / functienamen / variabelen - snel op het scherm te krijgen. Ik denk dat een neural netwerk hier ook wel van toegevoegde waarde zou kunnen zijn. Hoe fijn zou het zijn als de computer snapt wat je wil uitdrukken en statements, functies of methodee voor je aanvult. Dat klinkt als toekomst muziek.

[bbob]

Zelf typen is idd vaak sneller. Een vertaler zal bij liever en sneller een tekst van 0 vertalen dan beginnen met een door jou aangeleverde vertaling (suggestie) en die corrigeren.

[CAPSLOCK2000]

Ik zou graag dan een suggestie horen hoe je dit zou zien werken.
Als het als een soort autocomplete zal werken kom je er vaak achter dat het zelf uittypen sneller is, in software ontwikkeling gebruiken we het vaak omdat niet iedereen uit zijn hoofd weet hoe alle methodes geschreven zijn.

Ik heb ooit zo iets gebouwd.
Ten eerste probeerde het recent gebruikte bestandsnamen aan te vullen.
In veel gevallen is dat heel voorspelbaar. Als je eerste een 'chown' doet op een bestand, en het volgende commando is een 'chmod', dan kun je er van uit gaan dat het om hetzelfde bestand gaat.
Ten tweede probeerde het het volgende commando te voorspellen uit het huidige. Wederom zijn 'chown' en 'chmod' een prima voorbeeld. Wie het ene commando gebruikt heeft daarna een sterk verhoogde kans om het andere commando te gaan gebruiken.
Ten derde probeerde het commandline opties aan te vullen op grond van opties die je eerder hebt gebruikt. (Het was mijn bedoeling om dit te integreren met bash autocomplete maar dat is er nooit van gekomen).

Het ging verbazend vaak goed, maar niet vaak genoeg om echt nuttig te zijn. Toch ben ik benieuwd wat er zou gebeuren als een team ervaren wetenschappers en programmeurs een jaar lang aan deze opgave zouden werken.

[bbob]

Laatst is er op die manier zoals jij zegt een compleet nieuw harry potter boek geschreven gebruik makend van data uit de vorige boeken. De computer voorspelde dan het woord.
Heel erg grappig wat er dan uitkomt maar echt serieus kun je dat niet nemen. Wel mooi voorbeeld van wat jij bedoelde.

Probleem van taal en voorspellen blijft het begrijpen van taal in een bepaalde context. Vraag een vertaler maar eens vertaal van de ene naar de andere taal. Het is dan soms heel moeilijk om de juiste woorden in de andere taal te kiezen die hetzelfde betekenen in de brontaal. Daarnaast heb je te maken met dubbele betekenis van sommige woorden. Laat een doorsnee politicus iets vertellen of een normaal iemand en je krijg verschillende teksten.

Als mensen al soms problemen hebben te begrijpen wat iemand bedoeld, hoe moet een computersysteem dat dan begrijpen.

[verleemen]

Ja dat is iets wat mij ook altijd opgevallen is. Vroeger had je t9 die je hielp op een knoppentelefoon woorden te voorspellen en op een iPad wrede woorden vaan ook afgemaakt voor je ze helemaal gespeld hebt. Meestal trouwens verkeerd dus er word helamaal niet naar de syntax gekeken. Dat merk je vooral als je een moeilijk woord wil tikken dat op een makkelijk woord lijkt. Bv teleporteren wordt als je tele intikt afgemaakt als televisie. Dan mag je dus nog steeds opletten wat je tikt. Het rare is dat dit in pc texverwerkers helemaal niet gebeurd, daar worden alleen, net als hier verkeerde woorden onderstreept.
Waar blijft die textverwerker die snapt wat je tiept zodat je geen spelfouten meer maakt?

[WoutervOorschot]

Windows 10 heeft bij de laatste update textsuggesties voor hardware kb gekregen, macOS heeft het al veel langer in de vorm van autocorrect

[Johan9711]

Er komt echter een moment dat je er niet meer om heen kunt omdat er dan simpelweg te veel factoren zijn om het te hardcoden. Het zal efficiëntie niet ten goede komen qua rekenkracht, maar wel geschikt zijn om beter om te gaan met variabelen lijkt mij?

[Verwijderd]

De invloed van prominente objecten, die zich dus blijven openbaren en (her)bevestigen, zullen voor het grootste deel de "huidige" aandacht opeisen terwijl de rest, wat we als mens onbewust noemen, ook doorontwikkelen.

Andere zaken zijn dusdanig ver van elkaar af toe te relateren dat het inderdaad onwaarschijnlijk wordt dat deze relatie ooit 'huidig' of oppervlakkig openbaar wordt en er de 'nood'zaak niet voor zal ontwikkelen om daar verder "aandacht aan te besteden".
Geen relaties, geen significante massa geen aantrekkingskracht, dus waait het voorbij.

Wat dus niet dicht genoeg tot elkaar relateerd zal weinig prominent grip vormen/door reflecteren en nooit als waardevol naar voren komen en vervallen.
Je kunt er naar kijken als stof en gravitatie die uiteindelijk een relational tree vormen of een bloemkoolbrein

Zo zal het chaotische buitengeluid in de achtergrond verdwijnen en niet als iets vast vormen, want er is weinig relatie tot elkaar, of naar voren komen totdat iets ofwel door een opmerkelijke hoeveelheid enorme hoeveelheid aan prikkels de aandacht opeist ofwel eenvoudigweg in sterk contrast staat ofwel door veel herhaling herkenbaar wordt.

Zo is de vraag "waar begint het bewustzijn" en "zijn we echt verantwoordelijk voor onze schijnbaar losstaande keuzes" allemaal niet nieuw maar reuze interessant als je deze vreemde vogel vraagt.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 16:55]

[Origin64]

ik vind de vraag wat men bedoelt met het woord bewustzijn een stuk interessanter dan de vraag hoe intelligent je moet zijn om te kwalificeren als zelfbewust. ik denk niet eens dat die 2 dingen veel met elkaar te maken hebben.

[Verwijderd]

Dat zeg ik ook niet.
Ik stelde dat het op zijn best een emulatie is die het leren nabootst en niet bewustzijn op zich.

Dat zijn aanverwante topics waar ik graag over nadenk.

Allen hebben vanzelfsprekend wel veel met elkaar te maken want ze liggen op één plek, van en tot structuren en verbindingen komt het samen in ons brein.
Het is echter de vraag of het nodig is het tot in den treure in kaart proberen te brengen en de nodige lessen er door te missen.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 16:55]

[Origin64]

Maar wat is dan het verschil tussen een neuraal netwerk en hersenen. Ik denk dat een emulatie die leren nabootst functioneel identiek is aan leren zelf.

[Verwijderd]

Een daadwerkelijk lichamelijk gevoel... Sensaties, ervaring. Als input en output. Niet enkel en zonder gevolgen een intellectueel gegeven.
Al nemen sommigen teveel afstand er van en weer anderen zijn verstandelijk/geweten zo goed als dood en gaan alleen hun gevoel achterna.

Wanneer intellect en gevoel op juiste wijze hand in hand gaan hebben we een mate van empathie, medeleven.
Iets wat we tot op een bepaalde hoogte ook kunnen emuleren maar wat een computer niet op dezelfde wijze echt zou kunnen ervaren.

Apathische conclusies en beoordelingen of zelfs veroordelingen is waar een deel van ons mensen bang om zijn terwijl anderen denken dat het de volmaakte wet voltrekt.

Sentiment leren gebeurt al. Vrij vroeg al werd er onder anderen door Facebook en Google geprobeerd uit de context op te maken hoe iets emotioneel ervaren wordt.
Denk aan de verschillende versies van Likes...

Ik denk dat er niet goed nagedacht wordt over complicaties en implicaties omdat de verdeeldheid in meningen dusdanig groot zijn en je het altijd om de één of de andere als "nuttig product" kunt verkopen.
Je hebt mensen die meer geven om de data en hoe ze het zelf intellectueel, apathisch en oneerlijk, zonder empathie kunnen gebruiken (misbruiken) om zelf voordeel te behalen en overdreven emotionele consumenten die het sensationeel en "wowie" vinden wat ze nu weer allemaal kunnen kopen en mee kunnen spelen zonder enig verstand.
De mens kan zijn eigen brein niet eens eerlijk en lief gebruiken laat staan een emulatie op steroïden op een hoge troon te zetten.

Ik vind het prima. De tijd die nodig is voor de mens om te leren hoe dwaas we bezig zijn word verkort.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 16:55]

[Origin64]

Het is mogelijk om AIs te bouwen die net als mensen meerdere min of meer parallelle systemen hebben. een die met exacte getallen rekent, een andere die schattingen doet. een neuraal netwerk met hidden layers kun je al als een primitief emotioneel systeem aanmerken. de ai heeft geen weet van wat die laag doet. hij weet alleen zijn output.

een consequentie van zo'n systeem is dat het niet gegarandeerd eerlijk of lief is. het kan een ongewenst resultaat produceren. Chatbots kunnen worden getraind om racistische opmerkingen te maken. een ai die op een echte dataset wordt getraind zal systematisch de oneerlijkheid van mensen, die die dataset produceerden, nabootsen

ik denk dat een ai gemaakt kan worden die empathisch handelt aan de hand van een utiliteitsfunctie. ik denk ook dat het mogelijk is om neurale netwerken in zo'n ai te bouwen die de stemming van mensen leest die er interacties mee aangaan, zoals onze mirror neurons doen als we sociaal contact hebben.

op dezelfde manier zie ik geen wezenlijk verschil tussen informatie die jouw lichaam aan je hersenen geeft, of een sensor die informatie aan een ai in een computer doorgeeft. met als voorwaarde dat die ai gemaakt is zodat hij een zeer sterke impuls krijgt om op bepaalde inputs te reageren, zoals reflexief weg bewegen van iets dat te heet is. als je kunt kiezen om het te negeren zonder straf dan is het anders. dat geldt eigenlijk ook voor het emotionele systeem.

[Reactie gewijzigd door Origin64 op 22 juli 2024 16:55]

[Verwijderd]

Dat je het kunt emuleren staat wat mij betreft niet ter discussie maar of het gewaardeerd en gedaan, per default, is te betwijfelen.
Namelijk om use-cases/toepassing en groeiende extreme rechtsheid.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 16:55]

[MSalters]

AI is vind ik wanneer je kunt spreken van zelflerend of aangeleerd gedrag en niet voor een groot deel hardcoded per design.

Dat is ook alweer achterhaald. Google presenteerde vorige maand AudioSet een set YouTube geluiden. Google's netwerk dat die geluiden herkend was niet met de hand ontworpen, maar door een AI. En díe AI kreeg z'n design criteria weer van een derde AI.

Persoonlijk geloof ik niet in de "singularity", maar dat we een technologische versnelling doormaken nu AI's door AI's ontworpen worden is wel zeker.

[Verwijderd]

Even helemaal lezen. Ik ontken niet waarvan ik weet wat er is.

[Jaco69]

AI is vind ik wanneer je kunt spreken van zelflerend of aangeleerd gedrag en niet voor een groot deel hardcoded per design.

Denk aan een 'blanco' babybrein die uit herhaling objecten begint te herkennen.

Als een computer volledig zelf lerend gedrag heeft zonder hardcoded parameters dan is daar niets artificial aan. Dat is dan echte intelligence.

[Origin64]

jammer dat je hier -1 voor kreeg, best relevante opmerking

[nietorigineel]

Eens! Wat dat betreft ook tekenend dat (nu in ieder geval) een compliment bovenaan staat bij de comments, in plaats van een (helaas vaak broodnodige) aanvulling/uitbreiding/verbetering van het artikel

[NTwoO]

Alleen jammer dat neurale netten != AI/ML is

Meeste cursussen gaan meer op de algehele lijnen uit op:
Supervised learning en Unsupervised learning en dan voor regressie en classificatie.
Verder zijn state based learning, topic modelling en collaborative filtering (suggesties op de gebruik van anderen) allemaal weer technieken die != neurale netten zijn.

Dit onderwerp had heel goed een serie van 4 of 5 edities kunnen zijn waarvan deze een heel goed verhaal over neurale netten was geweest.

[fre0n]

bij het zien van de afbeelding "Voor het trainen van een cnn zijn grote databases met gelabelde afbeeldingen nodig" op de laatste pagina besefte ik ineens dat we met zn allen input leveren voor het hernennen van afbeeldingen, via de huidige captcha's

[coldasice]

Een uitvinding van Luis von Ahn, de persoon die daarna verder ging met Duolingo en daarmee een database creerde over heel veel vreemde talen en de beste manier om een taal te leren.

Little sidenote, maar zijn ted kun je dan niet negeren:
https://www.ted.com/talks...cale_online_collaboration

[fre0n]

thanks

[quizzical]

Informatief filmpje vandaag van CGP Grey over dit onderwerp: https://youtu.be/R9OHn5ZF4Uo
EDIT: en deze ook: https://youtu.be/wvWpdrfoEv0

[Reactie gewijzigd door quizzical op 22 juli 2024 16:55]

[FuZZbaLL]

Mooie samenvatting. Het is nogal een breed vakgebied on in één post te vangen, maar dit is wel z'n beetje de essentie.

Voor de gene die nog wat meer willen weten over hoe neurale netwerken intern werken, raad ik deze YouTube serie aan.

https://youtu.be/aircAruvnKk

[Verwijderd]

Deze is ook wel goed en simpel uitgelegd:
https://www.youtube.com/watch?v=F_BYg2QGsC0

[Reactie gewijzigd door Verwijderd op 22 juli 2024 16:55]

[mrsyntax]

Top. Die afspeellijst ga ik verder kijken, legt 't goed uit en bevestigd wat ik al dacht ; het is een grote functie die allerlei factoren afweegt en dan met een nummer komt ( doet me denken aan greyscale noisemaps en automatisch gegenereerde levels gebaseerd daarop ).

Maar een A.I. is het dus niet zozeer, eerder een gigantisch (voorgedefinieerd) switchboard.

disclaimer; ik ben geen expert op gebied van AI, maar programmeur.

[Tripple20]

https://waitbutwhy.com/20...ligence-revolution-1.html

Dit artikel vind ik wel toepasselijk. Het is een erg uitgebreid stuk, maar wel de moeite waard.

[snippiestgem]

Wilde bijna hetzelfde gaan delen totdat ik jouw reactie zag.
Knap hoe men zo'n ingewikkeld onderwerp zo 'simpel' uit kan leggen, beide top artikels.
(Complimenten aan Willem)

[friend]

Het kunnen trainen met gelabelde plaatjes is natuurlijk eenvoudig te realiseren met CAPTCHAs. Die worden uiteraard door mensen geïnterpreteerd en kunnen die dus perfect labelen. Zet bv. 3 plaatjes van de 8 plaatjes neer van een al gelabeld plaatje met een truck en 1 extra plaatje waarvan je niet weet of het een truck is. Vraag aan de gebruiker alle plaatjes met een truck aan te wijzen. Als die 4e ook als truck geselecteerd wordt, dan is het waarschijnlijk dus een truck (keur sowieso alle antwoorden met 3 of 4 trucks goed). Door dit aan meerdere gebruikers te vragen kan je statistisch bepalen of het plaatje een truck bevat of niet.
Op die manier kan je eenvoudig je dataset vrijwel oneindig uitbreiden met gelabelde plaatjes.

[alexiooo]

Dit is volgens mij ook al precies wat er gebeurt als je een (Google) CAPTCHA invult.

[Ytrog]

Is AI nog steeds iets wat alleen weggelegd is voor mensen die daadwerkelijk AI gestudeerd hebben of is het met alle toolkits (Azure bijv.) e.d. inmiddels ook toegankelijk voor meer de gewone developer?

[MSalters]

Er zijn bedrijfjes die proberen het net zo toegankelijk te maken als Excel. Maar voor developers is het niet heel erg moelijk. Doe Andrew Ng's cursus bij Coursera, of iets vergeliijkbaars, en je schrijft zelf de hele code om een netwerk te trainen en vervolgens toe te passen. Tensorflow is daarna een snelheidsoptimalisatie maar niet verder bijzonder.

[Ytrog]

Maar is het dan nog steeds niet vrij ingewikkeld om te bepalen hoe je een machine moet trainen, welke doelen geoptimaliseerd moeten worden e.d.?

[MSalters]

Het doel wat je optimaliseert is de herkennings-fout op je trainingsdata, de methode om dat te trainen is backprop. Dat is echt niet moeilijk als je Andrew Ng's cursus hebt gevolgd. Let wel: dat kost je een paar dagen, en is HBO nivo.

[Ytrog]

HBO niveau geen probleem

[Becquerel]

Het mooiste is dat dit helemaal niet nieuw is, alleen dat we vandaag de dag genoeg data en belangrijker nog, genoeg computing power hebben om dit soort netwerken aan te leggen.

Veel mensen leggen een grote poeha op argumenten zoals:"We weten niet wat het network doet" et cetera, maar dat is totaal niet van belang. We weten hoe een netwerk werkt, en hoe de gewichten van neuronen worden bepaald, dat uit zich dus in wat er komt na trainen.

Verder kan je deep dreamen om te zien wat een network ongeveer doet, maar om nou te claimen dat die netwerken echt als mensen intelligentie hebben en / of denken gaat een beetje ver.

[oli4100]

"Sommige neurale netten maken dan ook gebruik van unsupervised learning, waarbij niet veel meer dan een paar algemene regels worden gedefinieerd en het algoritme uit de gepresenteerde data moet opmaken wat gewenst is en wat niet. Een voorbeeld is Googles DeepMind, die zich onlangs schaken leerde door tegen zichzelf te spelen en niet veel meer had meegekregen dan de basisregels. Een paar uur later wist DeepMind een van de beste schaakprogramma's te verslaan."

Dat is niet juist. DeepMind is reinforcement learning, en dat is geen unsupervised learning.

Willem, op zich een interessant artikel voor de absolute leek maar ik denk dat het nuttig zou zijn om eerst conceptueel machine learning uit te leggen:

(1) Uitleggen wat machine learning is en dat er drie varianten zijn: supervised, unsupervised, reinforcement
(2) Uitleggen dat vanwege de vele dimensies van problemen (door het hoge aantal variabelen) het niet mogelijk is om met look-up tabellen te werken
(3) Oplossing voor het gebruik van tabellen is het gebruiken van zgn function approximators - met andere woorden in plaats van een look-up tabel gebruik je een functie die je de relevante waarde geeft voor een bepaalde input in plaats van dat je het uit een grote tabel haalt
(4) Er zijn meerdere typen function approximators, waarvan 1 neural networks zijn.
(5) Neural networks zijn momenteel hip oa omdat:
- Je met een enkele hidden layer al zeer complexe niet-lineaire functies kunt maken;
- Rekenkracht is enorm toegenomen waardoor het mogelijke is grote complexe netwerken door te rekenen en backprop is redelijk efficient ten opzichte van standaard gradient descent type optimalisatie algoritmen, waardoor het dus voor hoge dimensie problemen geschikter is geworden tov andere algoritmes.

[willemdemoor]

Dank @oli4100 ik heb iig het Deepmind-stukje aangepast, de overige suggesties zijn genoteerd, misschien voor een vervolgstuk

[MSalters]

Ben ik niet met je eens.

Puntje 2 : dat is best haalbaar in de praktijk, met zogenaamde k-neasrest neighbour tabellen.

Puntje 3/4: Dat is niet hoe moderne classifiers op basis van neurale netwerken werken. Met een enkele functiewaarde kun je alleen een wel/niet onderscheid maken. Nu kun je een moderne classifier op basis van een neuraal netwerk benaderen als een stelsel van wel/niet classifiers. Maar die benadering is onvolledig. De "kat" classifier leert van de "hond" classifier en omgekeerd.

Punt 5a: Single-hidden layer neurale netwerken waren de hype van de 2de generatie neurale netwerken. We zitten nu aan de 3de generatie. Dat is meer dan alleen Deep Neural Networks (2 tot wel 50 lagen), dat zijn ook (puntje 5b) fundamenteel betere algoritmes [dropout], betere inputs voor backprop [loss functies], weight sharing, normalisatie en nog wat van dergelijke zaken. Tel daarbij op dat we ook complexere netwerkvormen krijgen. Niet alleen de al genoemde CNN's en RNN's, maar ook bijvoorbeeld LSTM's. En moderne succesvolle classifiers combineren die concepten tot hybride netwerken.