Door Tweakers Partners

Dev Summit 2024: serieus aan de slag met generatieve AI

29-10-2024 • 08:00

9

Begin december is het zover: dan vindt de Developer Summit 2024 plaats. Op 4 december opent de Fabrique in Utrecht opnieuw zijn deuren voor een dag vol keynotes, workshops en masterclasses. Met vijf tracks in uiteenlopende disciplines - backend, frontend, devops, privacy & security, en AI - is er voor ieder wat wils. Techexpert, trainer en opstomend YouTube-talent Thomas Janssen verzorgt de workshop ‘Hoe bouw ik een RAG’.

Thomas’ interesse in techniek begon al op jonge leeftijd, toen hij zichzelf leerde om te programmeren in HTML, PHP en andere talen. Hoewel hij oorspronkelijk elektrotechniek, commerciële economie en uiteindelijk information management studeerde, bleek zijn ware passie toch altijd bij IT en software te liggen. In de loop der jaren heeft hij zich steeds verder in diverse automatiseringstechnieken gespecialiseerd.

Tom's Tech Academy

In 2019 richtte hij een YouTube-kanaal op: Tom’s Tech Academy. “Dit kanaal begon tijdens de coronapandemie, toen ik mijn energie wilde steken in het helpen van mensen bij het ontwikkelen van nieuwe skills. Er was weinig vraag naar trainingen en ik vond het leuk om kennis door te geven. Door het bescheiden succes van mijn kanaal en de vraag naar aanvullende kennis, ben ik het maken van video’s gaan combineren met trainingsmogelijkheden. Dat bevalt prima.”

Thomas merkte al snel dat bepaalde onderwerpen beter aanslaan bij zijn publiek. Aanvankelijk maakte hij vooral video's over rpa (robotic process automation), een nichemarkt waarin hij minder concurrentie had. Hoewel deze video's hem bekendheid gaven, bleek de doelgroep beperkt te zijn. Toen hij begon met het delen van content over Python en web scraping, zag hij direct een toename in populariteit. “Ik heb inmiddels geleerd dat je als maker niet je publiek kiest; het publiek kiest jou.”

“Toen ik begon met het delen van content vroeg ik me af of ik ooit nog een training zou verkopen”, aldus Thomas. Het liep anders: door de groei van zijn YouTube-kanaal weten steeds meer bedrijven hem te vinden voor trainingen. Ze maken kennis met hem via YouTube, dus ze zijn al bekend met zijn manier van lesgeven. Begin 2024 neemt hij een belangrijke beslissing: hij maakt van zijn YouTube-kanaal een bedrijf, helemaal gericht op het geven van trainingen, en stopt met andere activiteiten, zoals IT-consulting.

Diverse cursisten: jong en oud

Door de groei van zijn YouTube-kanaal en de opkomst van nieuwe technologieën, zag Thomas zijn werkveld sterk veranderen. Waar hij aanvankelijk voornamelijk door bedrijven werd ingehuurd om trainingen te geven, heeft hij inmiddels een divers klantenbestand opgebouwd. Dit varieert van grote corporates tot IT-professionals en zelfs particulieren die hun kennis willen uitbreiden. Vaak geeft hij trainingen binnen afdelingen die specifiek gericht zijn op automatisering, zoals IT en business operations. Zo gaf hij recent een training over testautomatisering, gericht op efficiënter testen met behulp van automatiseringstechnieken.

Wat Thomas opvalt, is dat verschillende generaties en functiegroepen heel anders leren. Oudere cursisten geven vaak de voorkeur aan traditionele leermethodes, zoals boeken. “Maar,” zegt Thomas, “boeken verouderen snel in deze sector. "Over drie maanden is een tool alweer geüpdatet, en dan kan het boek de prullenbak in.” Jongeren daarentegen willen vaak snel aan de slag en zoeken aanvullende uitleg via YouTube-video’s of online tutorials. Thomas merkt dat de combinatie van theoretische uitleg en hands-on sessies voor beide groepen goed werkt. Daarnaast ziet hij dat sommige cursisten, vooral degenen die al een programmeerachtergrond hebben, nieuwe tools snel oppikken. Voor hen draait de training vaak meer om best practices en duurzame bouwmethoden.

Rag: poor man’s AI?

Op de Tweakers Dev Summit 2024 zal Thomas een workshop geven over rag-tools (retrieval-augmented generation). Volgens hem is er momenteel veel hype rondom kunstmatige intelligentie, vooral door tools zoals ChatGPT en Copilot. Hij merkt echter dat deze technologieën vaak verkeerd worden begrepen en gebruikt. “Veel mensen gebruiken ze als een zoekmachine, en dat kan prima zijn. Maar bedrijven die echt profijt willen hebben van AI, moeten leren hoe ze hun eigen data effectief inzetten met deze tools”, legt hij uit.

Veel organisaties hebben moeite om AI in hun bedrijfsprocessen te integreren, omdat ze niet weten hoe ze de modellen effectief kunnen trainen of hoe ze deze kunnen laten werken met hun eigen gegevens. Zelf een AI-model trainen is voor veel bedrijven geen optie vanwege de hoge kosten en complexiteit. Hier komt rag in beeld, wat Thomas knipogend beschrijft als de 'poor man’s AI'. Het maakt gebruik van bestaande grote taalmodellen, maar voegt een slimme laag toe die deze modellen kan koppelen aan bedrijfsspecifieke data. Daardoor kan AI meer relevante antwoorden geven, zonder dat het een volledig nieuw model hoeft te trainen.

Thomas: “Het probleem met taalmodellen is dat ze een keer getraind worden op publieke data. Als er daarna nieuwe inzichten zijn, weten deze modellen dat niet meteen. En heel veel data is natuurlijk helemaal niet publiek, zoals specifieke bedrijfsdata.”

“Stel, iemand vraagt een AI-model naar de prestaties van een bepaald bedrijf in het afgelopen kwartaal”, vervolgt hij. “In plaats van alleen algemene kennis te gebruiken, zoekt rag eerst in een database naar relevante informatie over dit bedrijf. Op basis van die gegevens selecteert het model enkele bronnen die semantisch overeenkomen met de vraag. Vervolgens wordt de vraag opnieuw aangeboden aan het AI-model, maar nu met deze specifieke informatie, waardoor het een nauwkeuriger antwoord kan geven. Als de beschikbare gegevens geen antwoord bieden, zal het AI-model simpelweg aangeven dat het geen passend antwoord heeft, wat zorgt voor meer betrouwbaarheid en transparantie. En de database kan regelmatig worden geüpdatet, bijvoorbeeld bij het uitkomen van nieuwe kwartaalcijfers.”

Thomas benadrukt dat deze manier van werken voorkomt dat AI verkeerde of verouderde informatie gebruikt die het tijdens zijn training op het internet heeft gevonden. Hierdoor krijg je een scheiding tussen de verschillende bronnen die het model gebruikt. Thomas: “Modellen hebben de menselijke taal geleerd door te trainingen op informatie van internet. Het is prima dat die data niet altijd correct is, dat maakt voor dit doel niet uit. Met rag leren we AI om die data als het ware uit te zetten, en bepalen wij de bronnen die het gebruikt.”

Bij een mens werkt dit net zo. Wij leren ook taal op basis van alle bronnen die we zien. Maar dat wil niet zeggen dat we het met al die bronnen eens zijn. Dit maakt het mogelijk om betrouwbare en gerichte antwoorden te krijgen.

Wat hebben deelnemers nodig voor de workshop ‘Hoe bouw ik een RAG?’

Met zijn ervaring en enthousiasme wil Thomas tijdens de Dev Summit deelnemers laten zien hoe technologieën als rag kunnen helpen om efficiënter te werken. Tijdens zijn workshop leren deelnemers niet alleen de theorie, maar gaan ze ook weg met een werkende rag-tool die ze zelf hebben gemaakt. De meerwaarde van het bijwonen van de workshop in vergelijking met het kijken naar een YouTube-filmpje is dan groot, aldus Thomas. “Op YouTube kan je prima een video bekijken over hoe je een rag-tool bouwt, maar in mijn workshop gaan deelnemers echt aan de slag met hun eigen data. Ze leren de techniek niet alleen begrijpen, maar ze bouwen ook zelf iets dat ze mee naar huis kunnen nemen.”

Deelnemers moeten wel rekening houden met een aantal ‘harde’ eisen. Ze moeten:

  • Python op hun laptop hebben staan,
  • Beschikken over een codeeromgeving zoals VS Code
  • De mogelijkheid hebben om libraries te installeren via pip

Voor degenen die dit niet kunnen installeren, bijvoorbeeld vanwege beperkingen op bedrijfsapparatuur, is er de mogelijkheid om Python in de cloud uit te voeren via Replit.

Het sterke punt van deze workshop is de hands-on aanpak, waarbij deelnemers actief aan de slag gaan en vragen kunnen stellen. Dit directe contact zorgt ervoor dat zij eventuele hindernissen direct kunnen tackelen, iets wat bij het kijken van een video niet mogelijk is. “Bij een fysieke workshop kunnen mensen meteen vragen stellen, hun code laten zien en feedback krijgen. Dat maakt het leerproces niet alleen effectiever, maar ook een stuk leuker,” aldus Thomas.

Inspirerend en toepasbaar

Thomas’ enthousiasme en toegankelijkheid maken hem niet alleen tot een populaire YouTuber, maar ook een veelgevraagde trainer die zijn cursisten weet te inspireren. Zijn verhaal laat zien hoe de combinatie van een passie voor technologie en de juiste vaardigheden kan leiden tot succes, zowel online als in de echte wereld. “Mensen willen niet alleen maar droge kennis; ze willen verbinding maken en geïnspireerd worden,” zegt hij. Met zijn aankomende workshop op de Tweakers Dev Summit lijkt hij dat ook te gaan bieden: een praktische, leerzame en inspirerende ervaring die veel verder gaat dan het kijken naar een schermpje.

Koop nu je tickets voor de Developers Summit

De kaartverkoop voor hét evenement van het jaar dat developers in het zonnetje zet, loopt behoorlijk hard, dus zorg dat je niet naast het net vist. Tickets zijn nu nog verkrijgbaar voor 299 euro (plus 1,99 euro servicekosten) of als ‘3 halen, 2 betalen’-deal. Als jouw werkgever de tickets vergoedt, ontvang je uiteraard een factuur voor administratieve doeleinden. Persoonlijke gegevens worden niet gedeeld met partners.

Meer infot button

Kijk hier voor het privacybeleid van Tweakers.

Ben je student? Mail ons dan via concepts@tweakers.net, zodat je een ticket kan kopen voor een gereduceerd tarief van 75 euro.

Dev Summit partnerblok

Reacties (9)

9
9
5
1
0
4
Wijzig sortering
vrij duur betaald evenement dat vooral op de genAI bandwagon wil meeliften lijkt mij. Wil je als bedrijf je bedrijfsdata wel in zo'n model hebben? Dat verouderd ook heel snel en als je er aan begint, moet je ook commitment hebben om het te blijven updaten.

Sowieso is het nut van AI relatief (waarmee ik niet zeg dat AI, DL/ML technieken niet nuttig zijn, integendeel). Wij hebben b.v. een model getraind om genen te voorspellen in DNA sequenties. Voor een gemiddeld bacterieel genoom doet het AI model er 20 minuten over op een A100. Een dynamisch algoritme uit 2010 doet er op een 5 jaar oude laptop.... 74 seconden over, tegen een fractie van het stroom verbruik. De uitkomsten zijn nagenoeg identiek.

Zo ook voor genAI. Als een ervaren medewerker hierdoor sneller en beter een klant kan helpen, helemaal OK. Als het ingezet wordt als FAQ beantwoorder, dan levert het waarschijnlijk alleen maar ergernis op bij de klant. Echt klant contact kun je er toch niet mee vervangen.
Sowieso is het nut van AI relatief (waarmee ik niet zeg dat AI, DL/ML technieken niet nuttig zijn, integendeel). Wij hebben b.v. een model getraind om genen te voorspellen in DNA sequenties. Voor een gemiddeld bacterieel genoom doet het AI model er 20 minuten over op een A100. Een dynamisch algoritme uit 2010 doet er op een 5 jaar oude laptop.... 74 seconden over, tegen een fractie van het stroom verbruik. De uitkomsten zijn nagenoeg identiek.

Zo ook voor genAI. Als een ervaren medewerker hierdoor sneller en beter een klant kan helpen, helemaal OK. Als het ingezet wordt als FAQ beantwoorder, dan levert het waarschijnlijk alleen maar ergernis op bij de klant. Echt klant contact kun je er toch niet mee vervangen.
Ik heb niet zo'n mooi voorbeeld als jij, maar dit is precies wel wat ik voorspelt had/heb. Ik kan mij niet voorstellen en weet ook dat niet alleen AI modellen dit kunnen, maar vooral het stroomverbruik is waar ik mij erg zorgen over maak. Het is in mijn ogen qua berekeningstijd en stroomverbruik allemaal niet efficiënt. En men doet maar alsof het de heilige graal is. Alsof er niet al jaren (specifieke) algoritmes bestaan ook, zoals je zelf aangeeft, die dit ook nog eens veel efficiënter kunnen aanpakken.
Omdat er nu veel aan wordt gewerkt komen er ook steeds meer mogelijkheden om het sneller en resourcevriendelijk te maken. Zie bijvoorbeeld dit.

Je zag 20 tot 30 jaar geleden hetzelfde bij raytracing. Voor games én artists was dat veel te traag. Tegenwoordig zijn er zoveel snufjes (en snelheid) bijgekomen dat het realtime op je telefoon kan ipv met een zware machine naast je bureau.

En de rest is simpel: het gaat om tijd en inzet van mensen met kennis. De meeste developers zitten qua kennis niet heel diep in het konijnenhol en produceren spaghetti door met modder te gooien in de hoop dat er iets werkt zonder te weten waarom. Dit soort technieken gaan helpen om het gemiddelde niveau van de output omhoog te duwen.

Dát is de heilige graal en niet het gemiddelde chatbotje dat momenteel zaken via bruteforce oplossingen uitvoert.

Als Tweaker die hier zit om vooruitgang te vieren zou dat je moeten bevallen ;)
De meeste developers zitten qua kennis niet heel diep in het konijnenhol en produceren spaghetti door met modder te gooien in de hoop dat er iets werkt zonder te weten waarom
Je geeft hier exact de workflow weer voor het AI gen predictie project

Het 15 jaar oude algoritme gebruikt biologische kennis en klassieke ML. Inmiddels is het algoritme aangepast aan nieuwe kennis en nog net zo snel
Terrie Titelspecialist Tweakers @fenrirs30 oktober 2024 10:51
Dat is dan meer een onderbuik gevoel, want dat is iets wat wij op de Tweakers Developer Summit juist proberen te voorkomen. De feedback qua prijs krijgen wij inderdaad elk jaar terug, we hebben daarom ook al sinds 2019 geen prijsverhoging meer doorgevoerd. De Developer zal op onze Developer Summit centraal staan en niet AI.

Bedrijfsdata in zo'n model en commitment om te blijven updaten zijn inderdaad zaken die heel erg goed ter discussie staan. Ik denk ook dat de hype natuurlijk vooral komt omdat het gevoel is dat specifieke algoritmes niet meer nodig zijn en dit nu beschikbaar is voor de 'normale' man zonder de specialistische kennis. Als ik dan kijk wat voor onzin het model (betaald of niet betaald) soms uitspuwt en zelf dus ook bedenkt, wordt je er echt niet blij van.

In onze zoektocht word je doodgegooid met sprekers die alleen maar wat over (gen)AI gaan roepen zonder inhoudelijk kennis en hier kritisch naar durven te kijken. Soms zijn er mensen die hier wel kritisch naar durven te kijken maar wordt het meer een verhaal om de bezoeker bang te maken en er niks nuttigs uit te halen.

KCC vervangen met (gen)AI is inderdaad ook drama. Ik typ zelf altijd de magische woorden; Medewerker spreken en dan skip je vaak het hele riedeltje in de chatbot of de FAQ.
Jammer dat het samen valt met SymfonyCon, dus dit jaar slaan we over. Vorig jaar heb ik als feedback gegeven dat het vooral een duur betaalde banenmarkt leek te zijn. Hoop dat ze daar dit keer wel wat aan gedaan hebben want daar ergerde ik me behoorlijk aan.
Dit is wel een super handige functie en in denk dat het nuttig is, ook als je zou trainen op bedrijfsdata. Daarbij is de kans op hallucinaties altijd aanwezig terwijl je hier de bronnen kunt checken.

We hebben dit als functie ook ingebouwd in Nextcloud (marketing term: context chat), dus als je het als Nextcloud gebruiker voor je eigen data wilt gebruiken is het een paar kliks en je data word geïndexeerd en door je (zelf gehoste of remote) ai gebruikt.
€300+service kosten. Auch.
Vooral die servicekosten ook. Beetje droevig op 300 euro.

Op dit item kan niet meer gereageerd worden.