Ik vind het een zeer interessant initiatief, maar ben er erg sceptisch over. (Ter duiding, ik bezit een "advanced master's" diploma in AI en ben me aan het verdiepen in een doctoraatsproject in machinevertaling en NLP. Dat zeg ik niet om op te scheppen maar om duidelijk te maken dat ik bekend ben met het veld. edit: Ik vermoed dat enkele mensen me hier een 0 of zelfs -1 voor gegeven hebben, jammer.)
Zoals ik het hier lees willen ze meer bereiken met minder data ('training') (edit: bij het herlezen van het artikel zou het ook om minder training tijd (epochs) kunnen gaan, wat meer steek houdt). Een mooie uitdaging, maar een zeer moeilijke. Vergeet niet dat de basisalgoritmes binnen AI en machine learning (ML) als sinds de jaren 50 onderzocht worden (typevoorbeeld Naive Bayes) en grote vooruitgang dus niet op een jaartje gemaakt wordt. Tussen de jaren 70 en begin jaren 90 heeft het onderzoek naar efficiënte algoritmen ietwat stil gelegen. Deels uit desinteresse, deels uit scepticisme, en deels uit het gebrek aan computationale kracht. Je kan zoveel mathematische algoritmes uitvinden die je wil, maar om ze toe te passen en hun effect en impact te testen moet je wel over (relatief) krachtige hardware beschikken.
Ik zei dat grote vooruitgang niet op korte termijn gemaakt wordt. "Wat dan met Deep Learning, en neurale netwerken (NNs)?" De theorie achter deze technieken is niet hard veranderd. Het basis idee van een neuraal netwerk bestaat al sinds 1950s, waar men vertrok van een perceptron, de basiscomponent van wat wij kennen als een neuraal netwerk. Een perceptron is in wezen niets meer dan een enkele functie die uit een gegeven input een classificatie kan opmaken. Heden ten dage zijn neurale netwerken uiteraard veel groter, met veel meer van deze functies (inputs), en wordt de output van de ene functie als de input voor de volgende gebruikt (hidden layers).
Waar ik naartoe wil, is dat er op korte tijd geen grote theoretische veranderingen zijn gebeurd (neem dit met een korreltje zout, natuurlijk). Vooral praktisch werd er meer mogelijk. We kunnen grote neurale netwerken opzetten omdat we meer geheugen en processorkracht ter beschikking hebben. Maar vooral, we hebben veel data. Onze voorspellingen zijn zo goed omdat we al die informatie hebben die we als input voeden. Zo veel data zodat er een fine-grained model gegenereerd kan worden. En hier ben ik dus kritisch over de doelstelling van DARPA. Ze zullen grote theoretische vooruitgang moeten boeken (wat niet vanzelfsprekend is, zie boven) als ze betere prestaties willen neerzetten met minder data. Als je daarnaast ook zegt dat de accuraatheid van je model erop zal verbeteren ook al gebruik je minder data, dan vind ik dat de lat hoog leggen.
Then again, it's DARPA. Ze hebben de middelen om de beste wiskundigen, computer scientists, en AI-specialisten aan te werven (geloof me vrij, échte wiskundigen hun algoritmeskills overstijgen alles dat toegepaste wetenschappers kunnen bewerkstelligen - zelf ben ik geen wiskundige maar heb enorm veel respect voor hen). Dus wie weet. Ik ben benieuwd.
Bonus voor de mensen die heel dit dagboek gelezen hebben: er staat een online "playground" voor neurale netwerken op
https://playground.tensorflow.org. Je kan op een visuele manier een beter inzicht krijgen in wat neurale netwerken doen, en hoe hun input/output propageert tot een uiteindelijke classificatie.
[Reactie gewijzigd door BramVroy op 26 juli 2024 04:58]