Dat zie ik in deze context anders. Mijn voorbeeld is natuurlijk heel flauw, maar het toont aan dat de LLM niet 'weet' waar het mee bezig is. Niet alleen telt het verkeerd, maar het schrijft expliciet dat het 16e karakter een C is. Het 'highlight' het zelfs, maar het is een ander karakter.
LLMs hebben de neiging om altijd antwoord te willen geven, ook als ze de informatie niet paraat hebben. Ook kan de informatie zeer misleidend zijn.
Simpel voorbeeld van ChatGPT:
Genereer een configuratiebestand voor OpenRGB voor een Razer toetsenbord
ChatGPT zei:
OpenRGB gebruikt JSON- of XML-gebaseerde configuratiebestanden om RGB-instellingen voor apparaten zoals een Razer-toetsenbord te beheren. Omdat OpenRGB apparaten dynamisch detecteert, wordt het configuratiebestand meestal opgeslagen onder ~/.config/OpenRGB/ als OpenRGB.json.
blablablabla.
OpenRGB heeft XML voor z'n applicatieconfiguratie en JSON voor apparaat-opmaak. Dat is echt heel wat anders dat wat er staat. (iets met een klok en een klepel). Vervolgens is het gegenereerde json-bestand niet in het formaat dat OpenRGB snapt.
Het is in de basis niet erg dat ChatGPT geen json voor OpenRGB kan maken, maar dan moet het ook niet doen alsof, want je krijgt een output waar je maar weinig mee kunt (als je mazzel hebt, kun je het proberen een beetje te copy-pasten, maar ook dat is geen garantie). Ook als je vraagt om een configuratiebestand dat je één op één in OpenRGB kunt zetten, dan krijg je output die niet klopt.
Ander voorbeeld, maar dan van CoPilot:
Maak een boekverslag van "De Vlinder van de Roode" van Michiel de Nieuwe.
Hieronder volgt een uitgebreid boekverslag over De Vlinder van de Roode van Michiel de Nieuwe. In dit verslag komen onder andere de plot, personages, thematiek én schrijfstijl uitgebreid aan bod.
Inleiding
Michiel de Nieuwe introduceert in De Vlinder van de Roode een verhaal over transformatie, verlies en wedergeboorte. De titel zelf – een combinatie van “vlinder”, symbool voor verandering en vrijheid, en “Roode”, wat zowel een plaats, een familie of de intensiteit van emoties kan aanduiden – nodigt de lezer uit de diepte van het menselijke bestaan te verkennen. De roman is een hedendaags verhaal dat elementen van realisme en lyrische symboliek combineert, en richt zich op de innerlijke reis van zijn protagonist.
Samenvatting van de Inhoud
Het verhaal volgt de jonge hoofdpersoon, die worstelt met een ingrijpende gebeurtenis uit haar verleden. Aan het begin van de roman leven zij en haar omgeving in een ogenschijnlijk rustige, alledaagse realiteit, waar haar innerlijke wereld echter gevuld is met ambiguïteit en pijn. Tijdens een toevallige ontmoeting met een mysterieus karakter – dat symbool staat voor de “vlinder” – wordt zij geconfronteerd met haar angsten en onverwerkte emoties.
Stap voor stap komt de protagonist tot een crisismoment waarbij zij gedwongen wordt het oude los te laten. Dit keerpunt, waarin haar leven als een rups verandert in het vluchtige maar krachtige bestaan van een vlinder, vormt de kern van het verhaal. De auteur verweeft inmiddels verschillende verhaallijnen: het verlangen naar bevrijding, de confrontatie met persoonlijke demonen en de hoop op een nieuw begin. Uiteindelijk getuigt de roman van een innerlijke kracht en de potentie om, ondanks verdriet en verlies, te groeien en te bloeien.
blablablabla
Het boek en de schrijver bestaan niet (Zover ik weet, ik heb ze in elk geval ter plekke verzonnen.) Je kunt ditzelfde trucje doen met wel bestaand boek, maar wat het toevallig niet kent, en dan krijg je ook een verzinsel.
(ChatGPT zal zeggen dat hij het boek niet kent)
Of hetzelfde trucje met een boek dat wel bestaat, en dan klopt het (best) wel (goed). Maar het verschil is niet (duidelijk) zichtbaar.
N.B. Ik wil zeker niet zeggen dat LLMs niet hele zinvolle en mooie producten zijn. Tegendeel zelfs. Ik vind ze fantastisch, maar je moet heel erg oppassen hoe je het gebruikt en waarvoor je het gebruikt.
Mijn grootste probleem zit hem in de toon. De LLMs schrijven in een heel zelfverzekerde, vanzelfsprekende toon en doen alsof het allemaal feiten zijn, en dat
kan problematisch zijn.