Het idee is toch dat woorden/zinnen bij elkaar horen met een bepaalde waarschijnlijkheid?
Ja, dat is correct maar uiteraard een sterke versimpeling van hoe het in de praktijk werkt. Het draait hier vooral om '
transformers' en 'Self-Attention'. Dat laatste is het beste uit te leggen door ChatGPT

:
Het kernidee van een transformer is het self-attention mechanisme. In plaats van lineaire sequentiële verwerking, kijkt het naar alle woorden in de zin om de betekenis van elk woord te bepalen. Het berekent gewichten (attentiegewichten) voor elk woord, die aangeven hoeveel aandacht eraan moet worden besteed bij het begrijpen van andere woorden in de zin.
Het is dus niet enkel relaties tussen woorden maar er worden dus zwaartes aan woorden in zinsverband gemaakt. Dit zie je goed terug in vertalingen. Waar een machine normaal simpelweg woord voor woord vertaald en je dus rare zinnen krijgt, neemt een transformer architectuur een andere route en kijkt naar de gehele zin, neemt de belangrijkste context en 'vertaalt' dan pas. Het klinkt simpel maar het is een absolute doorbraak.
Waarom het zo goed functioneert? Die vraag kun je ook uitbreiden - waarom functioneert het soms zo bijzonder slecht terwijl het in veel gevallen juist prima functioneert? Hallicinaties daargelaten.
Goede vraag en het algemene antwoord is: it needs more data...
Maar ook dat is weer sterk oversimplificeren. Het zal in de praktijk een combinatie van zaken zijn. De vergelijking wordt sterk getrokken met het menselijke brein dat ook aparte segmenten heeft voor specifieke zaken. Waarschijnlijk zullen ze dus verschillende gespecialiseerde ML netwerken in moeten zetten voor specifieke taken. Een voorbeeld zag je met ChatGPT dat niet goed kan rekenen. Dat is niet heel bijzonder want het is getrained op taal, niet wiskunde. Maar als je ChatGPT combineert met Wolfram|Alpha, dan krijg je
erg indrukwekkende resultaten.
Maar alleen dus gebaseerd op feiten (als in bestaande teksten/foto's/video's).
Mwa, daar is het inderdaad op getraind maar of het als creativiteit gezien wordt is nu dus de vraag.
Je zou kunnen claimen dat onze creativiteit ook gebaseerd is op feiten (als in bestaande teksten/foto's/video's). Daar komt ook het gezegde vandaan “If I have seen further it is by standing on the shoulders of Giants” (Isaac Newton). Men zou kunnen claimen dat huidige modellen niet creatief zijn maar dat zijn de meeste mensen ook niet echt... Die bouwen voort op wat ze weten of knopen 1+1 bij elkaar.
Het puur creatieve aspect blijft nog ongrijpbaar denk ik.
Zeker, maar dat maakt het juist ook zo mysterieus. Wat is creativiteit nou eigenlijk? Mogelijk zijn het simpelweg hallucinaties en logica. Dan zijn we dichterbij dan we denken met ChatGPT
/Edit: voor wie echt een goed stuk hierover wil lezen, Arstechnica is je man:
A jargon-free explanation of how AI large language models work
[Reactie gewijzigd door Verwijderd op 22 juli 2024 21:20]