Voordeel van Google is dat je aan de hand van de website die je bezoekt redelijk kan inschatten of de informatie juist is. Voorbeeld: Ik wil weten hoe je de afstand tussen donder en bliksem kunt berekenen.
Bij Google kom ik terecht op een Amerikaanse overheidswebsite die de formule geeft. Je kan dan met redelijke zekerheid de aanname maken dat het de juiste formule is.
Bij ChatGPT krijg ik ten eerste bij iedere keer vragen een iets andere formule en daarnaast heb ik geen enkele referentie om de betrouwbaarheid van de informatie te controleren omdat er niet aangegeven wordt hoe of waar deze info vandaan wordt gehaald. Het leuke is dat dus daadwerkelijk soms een verkeerde formule wordt gegeven en soms de juiste. Maar hoe weet je of informatie die ChatGPT je geeft betrouwbaar is?
Je laat heel mooi de zwakke kant van GPT zien, het is eigenlijk alleen maar een taalmodel en geen bron van informatie. GPT heeft zeg maar leren praten van z'n ouders maar is nooit naar school geweest. GPT heeft een vlotte babbel en kan over vrijwel ieder onderwerp een gesprek faken. De nadruk ligt op een mooi verhaal, niet op inhoudelijk of doordachte informatie. Nu lijkt GPT wel degelijk een beetje te kunnen redeneren maar dat lijkt meer een bijeffect te zijn van het inzicht dat je nodig hebt om taal te gebruiken*.
Dat kleine beetje werkt af en toe zo verbluffend goed dat het lijkt alsof het de bedoeling is, maar het is een beetje alsof je met de secretaresse van de tandarts praat in plaats van met de tandarts zelf. Die is niet gekozen op medische kennis maar meer op sociale vaardigheden. Door dag in dag uit op een tandartspraktijk te werken krijgt zo'n assistent uiteindelijk wel iets mee van het vak en kan zo de woorden van de tandarts herhalen "3 keer per dag poetsen, 2 keer flossen, 1 keer spoelen!" of zo iets.. Dat is prima advies ook al is het zelf geen arts en je moet niet te ver doorvragen.
Maar als het moet kan de assistent het wel alles aan de tandarts vragen. Als vaste collega's kunnen die vast heel goed met elkaar communiceren en hebben ze aan 2 woorden genoeg om elkaar te begrijpen. ("Kies trekken?" "20 minuten") Daarna gaat de assistent het netjes aan de beller uitleggen en een afspraak maken.
Dat gezegd hebbende is de volgende stap duidelijk, we moeten deze vlotte babbelaar koppelen aan een bron van informatie. Dus de mens stelt een vraag in menselijke taal aan GPT. GPT vertaalt het van normale mensentaal in een vraag die beter begrijpbaar is voor zo'n zoekmachine. Vervolgens vangt het de resultaten op, filtert die op grond van relevantie en maakt een samenvatting van de belangrijkste informatie voor de gebruiker.
Vervolgens kan de gebruiker reageren "nee, dat is niet wat ik bedoel, dat andere onderwerp graag".
Nu doen ze ook al zo iets bv door niet alleen op de opgegeven zoekterm te zoeken maar ook op synoniemen. Als je op "auto" zoekt dan gaat google ook zoeken naar "wagen" en "kar" en "automobiel", of zo iets. Maar dat gaat makkelijk fout. Het woord "automaat" wordt ook wel eens gebruikt om een bepaald soort auto aan te duiden, maar het kan ook op allerlei andere soorten apparaten slaan zoals een koffiezetter.
Een kleine misinterpretatie en je zit naar een totaal ander onderwerp te kijken en je schreeuwt "niet die!" tegen je computer. Je voegt wat termen toe en de computer denkt dat je een spelfout maakt en komt met "bedoel je ... ?".
Ik zie dus verschillende plekken waar GPT iets toe kan voegen:
- de vraag van de gebruiker begrijpen en vertalen naar een zoekopdracht
- de resultaten filteren, bundelen
- de resultaten samenvatten
- met de gebrek overleggen om betere resultaten te krijgen
Maar hoe weet je of informatie die ChatGPT je geeft betrouwbaar is?
Door te vragen om het antwoord te onderbouwen, net zoals Wikipedia dat doet door ieder feitje te voorzien van een link met bewijs. Momenteel kan GPT dat niet omdat het geen bibliotheek heeft om naar te verwijzen want het is niet verbonden met internet.
* Zelf ben ik van mening dat we onze eigen intelligentie overschatten en dat veel van wat we doen niet beter of anders is dan wat GPT doet. We reageren op patronen die we herkennen met andere patronen die we hebben aangeleerd zonder echt na te denken over wat we nu eigenlijk zeggen of doen. Baby's draaien bv hun hoofd naar geluid toe. Zo lijkt het alsof ze pappa en mamma herkennen. Dat vinden pappa en mamma leuk en dan geven ze eten. Lijkt heel wat maar is het niet.
Demente bejaarden doen hetzelfde, die kunnen hele gesprekken voeren en voor zichzelf zorgen op grond van ervaring, ingesleten patronen die zo gewoon zijn dat het niet opvalt. Tot iemand merkt dat er 30 biefstukken in de koelkast liggen omdat oma nog steeds iedere week een biefstuk koopt maar opa er niet meer is om ze te bakken.
Volgens mij werkt best wel veel van onze intelligentie zo en is het geen toeval dat menselijke intelligentie en ons taalvermogen zich hand in hand hebben ontwikkeld.