Door Luke van Drie en Arnoud Wokke

AI-chatbots zijn fantastisch! Maar hoe werkt ChatGPT?

16-06-2023 • 19:00

74

ChatGPT, Microsoft Bing, Google Bard - al die chatbots die afgelopen jaar zijn verschenen, werken op basis van grote taalmodellen. Het lijkt zo simpel: je stelt een vraag en je krijgt antwoord. Maar onder de motorkap zijn het razend ingewikkelde systemen, die alleen zo goed kunnen werken omdat ze zoveel training hebben gehad. Hoe werkt dat precies? En wat zijn precies de risico's en bezwaren van deze nieuwe technologie?

00:00 - Dit is hoe ChatGTP onder de motorkap werkt! ChatGPT, Microsoft Bing, Google Bard

00:20 - Large Language Model voor AI-chatbots

01:00 - De training van een taalmodel

01:59 - Hoe wordt het model getraind?

03:25 - Wat kun je ermee doen?

04:15 - Het gaat ook wel eens fout

05:24 - Desinformatie

05:48 - Wetgeving

06:32 - Taken van mensen overnemen

08:21 - Conclusie

Reacties (74)

Sorteer op:

Weergave:

If then else

Weinig ai, of heb ik iets gemist en bestaat er al echt ai
AI is dus absoluut niet gebaseerd op if-then-else, ondanks dat dit een (overgebruikte) grap over het hele internet is. Een deel van AI gaat juist om het creëren van (non-lineaire) transformaties van in- naar output bijvoorbeeld. Neurale netwerken werken op een hoop calculus en lineaire algebra om de juiste transformaties of functies te leren.

Binnen AI wordt er nog wel eens onderscheid gemaakt tussen "AI" zoals we die nu kennen en AGI of artificial general intelligence. Die laatste hebben we natuurlijk nog niet, maar dus wel een hoop domein-specifieke "intelligentie", bijvoorbeeld ChatGPT. Het veld heeft een beetje het probleem dat zodra iets mogelijk is, het niet meer als AI bestempeld wordt (zoals ook gebeurd is met bijvoorbeeld schaakcomputers). Dan krijg je inderdaad het idee dat intelligentie nog ver weg is, terwijl er al een hoop bereikt is natuurlijk. Ondanks dat ChatGPT wellicht niet intelligent is op de manier dat mensen dat zijn, produceert het toch belachelijk goedlopende antwoorden en doet het dingen die je niet met een traditioneel "if-else" paradigm kunt bereiken.
"Het veld heeft een beetje het probleem dat zodra iets mogelijk is, het niet meer als AI bestempeld wordt"

Dat is een heel belangrijke observatie. Religie heeft een soortgelijke evolutie doorgemaakt. Aanvankelijk had je de god van de donder, en de god van de goede oogst, etc. zaken die we niet begrepen. Toen we wolken en gewassen gingen begrijpen, 'verhuisde' God naar hogere, ongrijpbaarder sferen.

Het lijk erop dat nu hetzelfde met AI gebeurt precies wat je zegt. Het pakt een stukje op, en we zeggen, nee dat is geen - echte-intelligentie, want dit is alleen maar een getraind model dat x en y... Enz. Wat dan echte AI is, schuift een stukje op.

De vraag dringt zich op of 'echt bewustzijn' überhaupt wel bestaat, of dat het net zo'n fantoom is als een goddelijke macht.
Dat vind ik een erg interessante vergelijking - die had ik nog niet eerder gehoord! En de kwestie over echt bewustzijn, tja... dat is vooral filosofisch natuurlijk en kun je eindeloos over doorgaan. Mocht de ontwikkeling van AI naar AGI ook zo doorgaan, dan komen natuurlijk ook de vragen of wij überhaupt wel definitief kunnen vaststellen of iets bewustzijn heeft (volgens mij is er (nog steeds) geen test die hier definitief uitsluitsel over kan geven). Hoe weten wij tenslotte dat onze medemensen allemaal bewust zijn, en niet gewoon extreem geavanceerde AI? :)
Zie de tv serie: "upload", een mooi after Life crisis
Bedankt voor de aanrader! Ga ik naar kijken :)
Krijgen we dan straks ook aitheïsten?
Bewustzijn als 'fantoom' of als 'stemmen' is een concept dat mooi is uitgewerkt door de psycholoog Julian Jaynes, in zijn boek uit 1976: The Origin of Consciousness in the Breakdown of the Bicameral Mind. Een erg ondergewaardeerd werk in de filosofie en psychologie van het bewustzijn. De tv-serie Westworld haalt er redelijk wat inspiratie vandaan, ook over hoe artificiale autonome systemen (androids) bewust zouden kunnen worden.
Dat is een interessante vraag, of bewustzijn wel bestaat. En al zeker de implicaties daarvan. Als bewustzijn een illusie blijkt te zijn, dan bestempelen we ons bewustzijn (beter gezegd: ons brein) als niet meer dan een voorspellingsapparaat dat door toevallige input getraind wordt en binnen de capaciteiten van dat brein reageert. Onterecht zouden we dit dan als een 'ik' beschouwen. Het verschil met een plant, of ChatGPT, is wel dat we in staat zijn om proactief en creatief te handelen. Dat doet toch vermoeden dat we op z'n minst een begeesterde machine zijn.

[Reactie gewijzigd door Login als Gast op 23 juli 2024 15:40]

Ik denk zelf dat alles – ook het levenloze – bewustzijn bevat, zij het in verschillende vormen. Menselijk bewustzijn voelt continu (en creëert een illusie van vrije wil), omdat we feedback loops hebben tussen geheugen en ervaring. Maar neem je dat geheugen weg, kun je alsnog stellen dat bewustzijn er nog steeds is, alleen dan sporadisch of "on-demand".

Dit soort ideeën vallen onder 'panpsychisme', een filosofie met verschillende stromingen. Olivia Goldhill heeft daar een goed artikel over in Quartz: "The idea that everything from spoons to stones is conscious is gaining academic credibility"
Ik ben het met je eens dat de termen teveel gehyped worden, maar dit betekent nog niet dat het niet bestaat. Zoals ik eerder probeerde uit te leggen bestaat het dus niet uit if-then constructies. Ben je bekend met hoe een neuraal netwerk werkt?

Dit werkt op basis van zogenaamde "artificial neurons" die allemaal geassocieerd zijn met een bepaald gewicht; meerdere invoer wordt dan door een vaak non-lineaire functie gehaald om tot een output te komen. Dan zijn er meerdere lagen met elk een groot aantal "neurons" die allemaal input en output produceren. Om zo'n netwerk dan te trainen, wordt er eerst gebruik gemaakt van een soort "student-leraar" constructie met een zogenaamde error of loss function. Deze functie duidt aan hoe "verkeerd" het netwerk zit door te laten zien wat de voorspelling is van het netwerk en wat het juiste "antwoord" had moeten zijn. Door middel van non-lineaire optimalisatie op deze error function kunnen dan de gewichten in het netwerk aangepast worden waardoor de voorspellingen dichterbij de verwachtte output komen. Natuurlijk worden hier allerlei slimme wiskundige foefjes aan toegevoegd zodat het netwerk niet precies leert wat je het laat zien, maar kan generaliseren naar onbekende inputs.

Punt van het verhaal: zo'n neural netwerk gebruikt nergens if-else statements en is dus al helemaal geen aaneenschakeling van if-then constructies. En de term "neuraal netwerk" is gekomen omdat het geïnspireerd is op biologische neurale netwerken (zenuwstelsels...). Uiteraard bestaan er wel if-then methoden zoals decision trees maar deze zijn een stuk minder krachtig.
AI is al redelijk lang aanwezig, in verschillende vormen. Vooral machine learning zie je veel. LLMs waren tot een aantal jaar geleden lastig (lees heel duur) te trainen. Wat rekenkracht betreft is het de laatste jaren zo verbetert dat het trainen van een LLM haalbaar was.

Ik vermoed dat wat hij AI noemt de "hollywood" AI betreft ala jarvis, space oddysey, kitt, I Robot enz.

If rhen else is wel een versimpelde representatie maar uiteindelijk komt het er wel op neer dat er enorme wiskundige modellen aan vast zitten die tot een resultaat leiden. Het doet alsof het een mens is, maar mist 90% van wat een menselijk brein doet.
Het mooie is dat het niet opmerkelijk veel rekenkracht hoeft te kosten maar vooral opslag.

Vooral het vastleggen van relaties in twee dimensies is kostbaar en niet de meest natuurlijke en handige manier.
Het missen van een geschikt/toepasselijk medium is vooral het probleem.

Bovendien is het meeste ruis en niet direct relevant, nog in de toekomst.

Mooi plaatje voor het artikel
"Waarom bedenken AI-chatbots dingen?"

[Reactie gewijzigd door Verwijderd op 23 juli 2024 15:40]

Het mooie is dat het niet opmerkelijk veel rekenkracht hoeft te kosten maar vooral opslag.
Misschien begrijp ik je verkeerd, maar dit lijkt niet te kloppen, verre van zelfs.

Het model van ChatGPT wordt geschat op 570GB. Dat is natuurlijk helemaal niks qua grootte.
Zelfs de totale trainingsset van (een versie van) ChatGPT was 45 TB. Dat heb ik als consument zelfs gewoon thuis liggen...

Het grootste llama model van Facebook was 120GB.

Het probleem ligt bij het trainen én gebruiken van de modellen!
Heb het inderdaad niet over ChatGPT
Waarom zou je 2x dezelfde zin in z'n geheel opslaan, dat kan best een count worden. Ikzelf heb nu Wikipedia english als bron 90 GB en open text web, +/- 50 GB. Ik hoop daar een heel eind mee te komen met deze uitlegvideo: https://m.youtube.com/watch?v=PaCmpygFfXo&t=2083s
Het mooie is dat het niet opmerkelijk veel rekenkracht hoeft te kosten maar vooral opslag
Het trainen van een model vergt enorm veel rekenkracht en wordt doorgaans gedaan met een enorme hoeveelheid gpus. Ik weet dus niet hoe je aan deze stelling komt. Let wel, ik heb het over het trainen van het model.
Dus niet. Dat ligt volledig aan het type AI en meer specifiek, dat is mijn punt, aan de manier van vastleggen.
Ik noemde niet voor niks een LLM als type waar enorm veel rekenkracht voor nodig is. Het kan best zijn dat voor andere vormen van AI je minder afhankelijk bent van rekenkracht. Maar voor LLM is dat noodzakelijk voor zover ik me heb ingelezen
Okey, tof, misschien een beetje out of the box denken in het vervolg.
:? ik ben je kwijt met deze opmerking. ik denk dat we elkaar niet begrijpen. moet ik nu zeggen beter lezen in het vervolg?
We weten helemaal niet wat het menselijk brein precies doet, misschien zijn er wel meer overeenkomsten dan we vermoeden
Volgens de buhne is AI al helemaal geintegreerd in de samenleving.

Helaas blijkt niks minder waar, gewoon een buzzword afkorting.

Stukje clever programming, maar nog altijd niet in de buurt van intelligentie of bewustzijn.

Een baby koppelen we ook niet aan een dataset met een kabel om vervolgens alles al in zijn geheugen te proppen.

[Reactie gewijzigd door Marctraider op 23 juli 2024 15:40]

Of is intelligentie niet meer dan clever programming? :)
Zouden we willen
Sowieso lastig, vraag wat bewustzijn is aan een neuroloog, psycholoog, filosoof en theoloog en allen zullen je een ander antwoord geven.
Tsja, ze hebben het niet voor niets afgekapt tot eind 2021.
En ook bepaalde voor geprogrammeerde antwoorden meegegeven.

Poosje terug kon je hem 'iemand anders' laten zijn door hem DAN te noemen, Do Anything Now.

Verbazend wat er toen allemaal uitkwam.

Maar nu komen er allemaal AI bots van streamers enzo, maar het is best bijzonder hoe die reageert.
Bekijk deze video maar, die voorspeld het volgende karakter. https://m.youtube.com/watch?v=PaCmpygFfXo&t=2083s
Leuk om wat te weten over de werking van dat systeem. Duimpje omhoog.

Verder vind ik "fantastisch" niet de kwalificatie voor chatgpt, wel "hype".

1) ChatGPT hangt de moraalridder uit zonder antwoord te geven. Zoek maar eens op "Hack atm in GTA-5". Dat "intelligente systeem" begrijpt niet dat het een spel is. Een populair spel.
2) ChatGPT vind weinig. Zoek maar eens naar "free signing certificates for pdf". De gratis Actalis certificaten werken prima voor het digitaal ondertekenen van word en pdf documenten. ChatGPT weet dat niet.
3) Rondout foute informatie. Zoek maar eens naar "Braille diploma". De verwijzingen naar sommige Nederlandse websites is fout.
Maar dan begrijp je naar mijn idee niet wat ChatGPT is. ChatGPT is "vergelijkbaar" met het menselijk brein, en weet dus lastig de precieze pagina waar hij iets heeft gelezen (bing gaat daar omheen door het te laten zoeken zodat het AI model dan wel weet naar welke pagina hij kijkt).

Gebruik dus voor bovenstaande vragen inderdaad een zoekmachine, daar zijn ze voor bedoeld, of Bing Chat, welke zoekresultaten laat samenvatten door GPT-4 en waar je vervolgens linkjes bij krijgt voor de bron.

ChatGPT moet je dan ook zien als taalmodel, laat die dus lekker pagina's samenvatten, verbanden trekken tussen meerdere teksten, vragen beantwoorden (bijvoorbeeld van tests (LSAT), programmeren (dus niet verwachten dat hij hele grote programma's schrijft, daar is de context nog te klein voor (2000 tokens input, 2000 tokens output (als we het over ChatGPT hebben)), uitleg geven over hoe je een PDF ondertekend en welke tools je daarvoor gebruikt, recepten geven (en tegenwoordig berekenen hoeveel calorieën het zijn met wolfram alpha).

ChatGPT-4 in het plus abonnement heeft bijvoorbeeld ook browsing, zodat hij je bovenstaande vragen wel kan oplossen:
1) Hack ATM in GTA-5: https://chat.openai.com/s...97-447e-938c-54d014a52ca2
2) Digitally sign PDF: https://chat.openai.com/s...19-4166-821d-6aa2cc123864
3) Braille leren / diploma: https://chat.openai.com/s...9c-4a58-a0ed-0e7a783b9176

[Reactie gewijzigd door XiniX88 op 23 juli 2024 15:40]

Wow, hij hebt dus helemaal niet begrepen wat een generatieve AI is. Heb je het artikel wel gelezen?
Top filmpje! Erg informatief. Ik denk dat we in het begin zijn van een grote AI revolutie. Enerzijds kunnen we dit in ons voordeel gebruiken en vooral de efficiëntie vergroten. Anderzijds moet het controleerbaar blijven om te voorkomen dat we te afhankelijk of voorbij worden gestreefd hierdoor.
ChatGPT is totaal de naam Artificial Intelligence niet waardig.

Bewijs? Nou ja een voorbeeld:
2 reacties van mij in andere artikels, gemaakt door ChatGPT, werden binnen enkele minuten herkend.

Ik heb ook vaak het gevoel bij reacties van deze bot dat het enkel zwaar gescript is er allemaal en niets intelligent in te ontdekken valt. Zelfs kinderen van 6 jaar geven vaak nog intelligentere antwoorden.

Dat de bot veel informatie over oneindig veel onderwerpen binnen seconden op het scherm zet betekend nog niet dat er kunstmatige intelligentie achter zit. het kan enkel veel sneller informatie ophalen en delen.
Ik herken het helemaal niet. ChatGPT-4 wordt hier veel gebruikt, voor zowel beleidsstukken, e-mails en inhoudelijke onderwerpen. Natuurlijk moet je zelf alle kennis hebben om de spaarzame fouten te herkennen, maar het scheelt wel zeer veel tijd. Een stuk samenvatten bijvoorbeeld, doet het echt goed.
Te weinig informatie. Om deze stukken te maken? Over welk onderwerp, en waarom precies vertrouw je voor zulk vakwerk op ChatGPT? E-mails, hoe precies? Laat je die opstellen?
User honey

Beroep - Arts
Opleiding - Geneeskunde

Ik mag toch hopen dat @honey een grapje maakt.
Nee, ik maak geen grapje. Het is van belang dat je zelf boven de stof staat. Soms maakt ChatGPT een fout en dat kun je alleen herkennen als je het zelf goed weet. Je moet ChatGPT niet op deze manier gebruiken als je zelf geen kennis hebt.

Hoewel, … ik moest een stukje HTML schrijven, maar ik heb geen enkele kennis. Ik heb ChatGPT gevraagd om deze code te schrijven op basis van mijn wensen. Meteen perfect.
Dat is dus exact wat ik ook dacht.
Voorbeelden:

* Schrijf een beleidsstuk waarin de infectierisico’s van zwemmen in oppervlaktewater uitgelegd wordt.
* Leg in simpel taalgebruik uit wat Charcot-voet is.
* Schrijf een e-mail aan naam, en bedank hem voor de organisatie van het symposium op die dag.
* Vat dit beleidsstuk samen in maximaal 2 alinea’s en benadruk het belang van …
* Vertaal deze tekst naar het Engels…
* Kijk deze tekst na op spelling, grammatica en schrijfstijl: …

Etc etc.

Natuurlijk heb je niet altijd een perfecte output, maar je komt al heel snel een heel eind. Ik moet wel zeggen dat ik zelf ChatGPT-4 gebruik.
Dus je laat je beleidsstukken schrijven door bot. Got it. Dat van die e-mail is te belachelijk. Een bedankje van 3 regels schrijven, wat je eveneens door een bot laat doen. Heel persoonlijk.

Vertaal en spelling engines zijn er al 20 jaar of langer.

[Reactie gewijzigd door pennywiser op 23 juli 2024 15:40]

Het sleutelwoord is tijdswinst. Ik werk nu al 7 dagen in de week, vind ik wel voldoende, hoeft niet meer bij.

... Maar, ik geef enkel voorbeelden hoe het ingezet kan worden door collega's en bestuurders. Van mij krijg je gewoon een persoonlijk berichtje. 😘
Wat je omschrijft is dat je dus meer werk wilt afleveren in die 7 dagen, want meer dagen in de week zijn er niet, en dat doe je dan door middel van tools die minder kwaliteit leveren dan nodig, en dan jij zelf zou kunnen.
Hoe kom je erbij dat de kwaliteit minder zou zijn? Alsof het gebruik van een hulpmiddel ten koste gaat van de kwaliteit.

Sterker nog, ik denk dat de kwaliteit voor veel mensen een stuk beter gaat worden. Een collega vroeg regelmatig zijn schrijfsels na te kijken. Vaak had ik veel commentaar. Hij schrijft sinds kort opvallend veel beter.
Heb je ChatGPT al wel eens ingezet bij programmeren of SQL? Het is wel echt tamelijk bizar hoor, wat het oplepelt, verbetert, corrigeert. Als je hem goed aanwendt is het next level wat je eruit kan halen. Maar ook prive heb ik al eens een hele reis door Corsica met 10 gasten voor 10 dagen uitgestippeld met hem in een uur tijd. Binnen paar minuten 5 verschillende reisplannen. Doorgezoomd op een favoriet. En daarna de details voor 90% uitgewerkt. ChatGPT heeft me in mijn prive en werk echt al flink wat uren tijd bespaard en kwaliteit geleverd. En nieuwe SQL geleerd ;)
Ik ben er nu wel achter hoe vaak ik altijd gelijk had als ik zei dat bepaalde informatie gewoon niet vindbaar is en er alleen maar een heleboel 'bronnen' zijn die doen alsof ze het hebben om bezoekers te trekken.
Dit gaat nog wel oorlog worden. Zowel met valse lokkertjes als het uit commercieel belang juist niet weergeven van informatie.

[Reactie gewijzigd door blorf op 23 juli 2024 15:40]

SQL is een rechtlijnige taal, daar kijk ik niet van op. Jij kent niet alle functies, ChatGPT wel. Corsica is een eiland dat al door miljoenen toeristen is bezocht, lijkt me ook niet ingewikkeld om daar reisplannen uit te verzamelen.

Wat @Trinitronic is ook wat ik vind, veel voorbeelden snel oplepelen. En dat is precies wat jij ook omschrijft. Tijdsbesparing.
Wat is je punt precies? ;)
ChatGPT geeft, in tegenstelling tot jij en de gemiddelde mede Tweaker, een grammaticaal correct en gestructureerd antwoord. Dat valt op, zeker omdat reacties vaak zijn bedoelt om snel een punt te maken of argumenten te geven, niet om in opstel vorm een uiteenzetting te geven.
Over grammaticaal correct gesproken...en dan neem ik voor het gemak ook spelling mee: Het is in jouw bovenstaande commentaar ' zijn bedoeld' en niet 'zijn bedoelt'.
Wanneer je iemand hierop wijst, check dan in elk geval even je spelling. :P
Ik wees niemand op zijn spelling; ik vertelde dat ChatGPT een opvallende stijl had die opvalt tussen andere reacties. Ik zal de laatste zijn die iemand anders aanspreekt op grammatica, dat is niet mijn sterkste kant :p
In de titel staat ‘chatgtp’ ipv ‘chatgpt’. Kleine typo
En ik kwam heel even kijken omdat ik dacht dat het om Video AI ging :D
Bewijs dat het door een echt mens is geschreven :)

Ok, ik breng mezelf wel naar buiten.
Format van de titel (statement! Maar..!) is gru-we-lijk irritant en heel erg tiktok en YouTube achtig. Moest het even kwijt.
Haha ja dat ook idd.. Het gedeelte van plagiaat verbaasd me in deze fase ook echt niets, denk ook niet dat dit snel zal veranderen als het voornamelijk getrained is op “data” van het internet.

Was van mijn kant uit ook geen “goed pratertje” meer gewoon hoe het puur technisch werkt. 😉

Ik denk juist dat het ook best problematisch wordt dat men meer weet hoe ze met de API kunnen werken, het kunnen voeden, maar eigenlijk niet echt snappen hoe het op de onderlaag werkt.

En ja the obvious foute dingen die ermee gedaan kunnen worden, nu al met relatief weinig middelen. Ik denk dat je ter vergelijking goed/fout, je NU met minimale investering, meer schade doormiddel van social steering, idd ook malware creëren, etc kan toepassen dan dat je als mkb ondernemer echt iet betekenisvols meekunt jammer genoeg. Dit gaat wel snel veranderen.
Leuke video, zeer gewaardeerd. Vergeet ook vooral deze AI special van VPRO's Tegenlicht niet, ook heel interessant vanuit een ander perspectief.
https://www.vpro.nl/progr...2024/de-prijs-van-ai.html

[Reactie gewijzigd door Streamert op 23 juli 2024 15:40]

Ik moet iedere keer terugdenken aan The Animatrix: The Second Renaissance
https://www.youtube.com/w...AqFmZgkYFEpKmPa1KsFmyRBXi.

Best scary. Vooral de verhaallijn is zo realistisch. AI robots gaan uiteindelijk voor ons produceren etc willen ook rechten etc bewustzijn etc.

Soms denk ik weer terug aan de tijd toen ik mijn account aanmaakte op deze site in de begin periode. Wat een verschil.


AI gaat zo’n impact hebben. Een explosie in kunst en cultuur. Voorbeelden. Iedere dag maak je on the fly een South Park aflevering ipv het nieuws op de NOS volgen. Omdat het kan.

Of als voorbeeld, ik vond de early hardstyle periode 2013-2016 heel goed. Fantastische tijd. Maar er zijn maar zoveel tracks gemaakt destijds. Een AI kan straks op commando op basis van al die nummers 10.000 unieke tracks genereren.

Bizar toch? En dat kan 1 mens dan genereren achter de knoppen van AI. Laat staan wat andere gaan doen.

AI gaat pas echt krachtig worden als die language model op een quantum computer staat te draaien.

Eerder zat ik altijd in de modes, IT maakt de wereld beter en mooier. Hopelijk blijft dat zo.

[Reactie gewijzigd door FireStarter op 23 juli 2024 15:40]

Mooi filmpje, heb hem gedeeld met mijn niet-technische familie leden. Voor hen is dit niet veel minder dan magie namelijk, en ze kennen een intelligentie toe wat er niet is. Zo denken ze vaak dat ChatGPT ècht begrijpt wat er wordt gevraagd. Het idee dat het een woord voorspeller is, komt er nog niet zo makkelijk in.

Op dit item kan niet meer gereageerd worden.