Generative modelling is een van de heetste trends binnen AI. Deze toepassing van deep learning is toegankelijker dan veel developers denken, en zal volgens David Foster (Applied Data Science) de komende jaren een belangrijke rol gaan spelen. Hij spreekt er binnenkort over op de Developers Summit.
Waarom generative modelling zo tot de verbeelding spreekt, is goed te begrijpen: het maakt het mogelijk om een machine te leren uit te blinken in ‘menselijke’ kwaliteiten zoals schilderen, schrijven en het componeren van muziek. Op 13 februari zal Foster, medeoprichter van Applied Data Science, erover vertellen in Utrecht. Hij zal dan demonstreren hoe modellen ontstaan, waaronder variational autoencoders, generative adversial networks (GAN’s) en encoder-decoder-modellen, en hoe developers hun eigen modellen efficiënter kunnen maken.
Robots schilderen, schrijven, componeren en spelen
Foster schreef een boek getiteld “Generative Learning: Teaching Machines to Paint, Write, Compose and Play”. Zijn eigen ervaringen heeft hij hierin meegenomen, met zijn achtergrond als wiskundige (Cambridge, UK) en co-founder van een datascience-bedrijf, en met een MSc in Operational Research. Wat hem vooral opvalt, is dat er een grote kloof lijkt te bestaan tussen wat bedrijven als Google en DeepMind doen met het bouwen van AI- en wereldmodellen, en het werk van de gemiddelde developer. In werkelijkheid liggen de onderliggende principes niet ver van elkaar af. “Er is geen reden om er zelf niet mee aan de slag te gaan en je eigen ideeën uit te proberen. Het is cutting edge, maar ook toegankelijk.”
Het liefst zou hij zien dat meer developers zich gaan richten op deep learning, maar daarvoor moeten ze wel hun koudwatervrees overwinnen. “Daar wil ik aan bijdragen. Mijn geloof is dat de belangrijkste ontwikkelingen in de toekomst niet alleen van de grote bedrijven komen. Er is enorm veel informatie, van online cursussen tot YouTube-tutorials, beschikbaar voor developers die ermee aan hun vaardigheden kunnen werken.” Toegegeven, hij heeft zeker plezier van zijn universitaire opleiding, maar belangrijker is het om kritisch te zijn en een opinie te vormen. “We moeten oppassen dat we het internet niet als vanzelfsprekend gaan zien. Voor het eerst hebben we bijna ongelimiteerd toegang tot kennis. De belangrijkste vaardigheid is daardoor niet langer hoe goed je feiten kunt onthouden, maar meer hoe je informatie verwerkt en daarmee je eigen visie ontwikkelt.”
"Je hebt geen Ferrari nodig om te leren autorijden, dus ook geen GPU's all over the place om te leren programmeren"
Kennis is toegankelijk, ook voor wie niet bij Google werkt
Het belangrijkste idee dat Foster wil overbrengen, is dat kennis toegankelijk is. "Er heerst een grote angst, ook onder developers, dat deep learning buiten het bereik ligt van iedereen die niet voor Google of DeepMind werkt." Een van de argumenten die hij daarbij vaak hoort van developers, is dat ze een gebrek aan toegang tot middelen zouden hebben. "Je kunt aan die bedrijven zien dat zij GPU's all over the place hebben. Dat klopt ook, maar die middelen heb je niet nodig om zelf te beginnen met deep learning. Het is eigenlijk net als autorijden: dat leer je toch ook niet in een Ferrari? Je begint in een banger en voor je vaardigheden is dat eigenlijk ook maar beter. Zonder onbeperkte mogelijkheden leer je ook efficiënter programmeren."
Een ander punt dat hij graag aanstipt, is dat AI een veld in beweging is. "Wat we nu zien, is niet meer dan hoe we dingen op dit moment doen. Dat beeld is niet statisch, want van hieruit leren we verder." Het idee dat robots creatief kunnen zijn, is daar een voorbeeld van. Zo kunnen robots nieuwsartikelen schrijven, wat nieuwe implicaties met zich meebrengt. "Als lezer moet je jezelf af gaan vragen of wat je online leest, door een mens is geschreven of is gegenereerd door AI." Toch is er nog altijd een verschil, namelijk de context waarbinnen dit gebeurt. Foster is onder de indruk van een AI zoals DeepMind's AlphaZero, maar hij wijst ook op de beperkingen die de technologie nog altijd heeft. "Hij functioneert binnen een vastgestelde context. Dan nog is er een enorme prestatie geleverd, maar eigenlijk is een kind dat iets bouwt van blokken, meer bijzonder. Je kunt een machine leren om blokken te plaatsen, maar hem geen creativiteit bijbrengen. Een AI kan er geen verhaal bij verzinnen of je een knuffel komen geven, hij kan alleen eindeloos produceren."
Een AI begrijpt schoonheid niet
AI is dus nog lang niet 'opgelost', vindt Foster. "Hooguit is een computer in staat een nauwkeurig gedefinieerde probleemstelling op te lossen binnen een bepaalde visie. Je kunt een AI leren om net zo mooi te schilderen als Picasso, maar hij zal niet begrijpen waarom dit mooi is. Hij reproduceert een beeld, zonder emotionele respons." De eeuwige vraag of machines mensen kunnen vervangen, is dan ook onzinnig. "Een journalist hoeft zich bijvoorbeeld geen zorgen te maken dat een AI binnenkort zijn baan overneemt. Juist omdat context in dit beroep zo belangrijk is."
Waar wordt het dan wel spannend? "Door minder vanuit vastliggende structuren te denken, wordt het mogelijk om toekomstscenario's beter te voorspellen." Foster noemt de MuZero, een nieuwe AI van DeepMind die zich toelegt op het spelen van bordspellen zoals schaken. Hij doet dit door eindeloos partijen tegen zichzelf te spelen en daarvan te leren. "Er zijn overeenkomsten tussen deze manier van leren en hoe een baby leert. Niemand leert een baby bijvoorbeeld grammatica als het gaat om taal; dat is iets wat het kind zelf gaandeweg uitvindt."
Wie voedt de robot op?
Bij het ontwerpen van een AI moeten we ook weg van het idee dat we een robot een vastgestelde omgeving geven. "Het is veel interessanter om de AI te stimuleren met eigen ideeën te komen, zonder vooraf gedefinieerd doel en door hem steeds meer data te voeden. Nu nog leren we de AI vooral om ergens steeds beter in te worden. Zoals een rat in een doolhof leert steeds sneller de uitgang te vinden. Maar een baby geven we een knuffel wanneer hij iets goeds doet, zonder dat we precies weten hoe deze persoon zich gaat ontwikkelen. Op dezelfde manier moeten we ook gaan leren hoe we een robot een knuffel moeten gaan geven. Het is een andere manier van denken, veel organischer. Het is een krachtig idee. Niet om een schilderij te maken of een boek te schrijven, maar om modellen te bouwen die ons iets vertellen over de wereld om ons heen."
Ook benieuwd naar hoe je een robot opvoedt? Ga naar David Fosters' talk tijdens de Developers Summit op 13 februari 2020 in DeFabrique in Utrecht.