OpenAI haalt tool offline die door AI gegenereerde teksten moest herkennen

OpenAI heeft stilletjes de tool waarmee door AI geschreven tekst als zodanig herkend kan worden, offline gehaald. De ChatGPT-maker motiveert dat door te zeggen dat de nauwkeurigheid van de tool onvoldoende was.

OpenAI zegt op de AI Classifier-pagina verder dat het 'feedback aan het verwerken is' en 'onderzoek doet naar effectievere controlemethodes voor tekst'. Het onderstreept tot slot dat het 'een verplichting aan is gegaan om methodes te ontwikkelen en vrijgeven die gebruikers in staat stellen om te zien of audio of visuele content door AI gegenereerd is'.

Uit de praktijk bleek ten tijde van de release al dat de tool er vaak naast zat. In een challenge set van teksten waarop het model niet is getraind, zei de tool bij 30 procent van de teksten die door mensen geschreven waren, dat het 'misschien' of 'waarschijnlijk' door een AI gegenereerd was. Bij andere talen dan Engels en bij teksten van kinderen werd hij nog minder nauwkeurig.

Ars Technica's AI-redacteur tekent aan dat ook onderzoek uitwijst dat dergelijke tools niet goed werken. De site heeft daar zelf ook een achtergrondverhaal over geschreven.

Reacties (109)

[Zoijar]

Misschien moeten we gewoon accepteren dat het bestaat en dat het niet meer uitmaakt wie of wat iets geschreven heeft of hoe, zolang de inhoud maar goed is. Mensen kunnen ook onzin schrijven (dat zie je wel aan mijn reacties hier ). Uiteindelijk is het net als een rekenmachine. Als jij bv voor school met behulp van AI een tekst kan leveren die aan alles voldoet, go for it. Dat moeten we toejuigen. Dus wat heb je aan zulke detectietools eigenlijk...

[Tom-Z]

Dan krijg je dus een generatie die hun hele middelbare school hun huiswerk door AI kunnen laten maken en dan als ze op de universiteit komen ineens een probleem hebben omdat daar de AI het niveau niet meer haalt.
En in veel gevallen is het doel niet het schrijven van een tekst die "voldoet", maar is het schrijfproces zélf het doel. Bijvoorbeeld als studenten een literature review moeten schrijven. De uiteindelijke tekst maakt niet zo veel uit, het gaat om het proces van het bestuderen van de literatuur en daar een samenvatting van maken. Een AI kan dan heel geloofwaardige onzin verzinnen, en de enige manier om er achter te komen dat het niet voldoet is om als docent alle referenties die in de tektst zijn opgenomen te gaan controleren of de inhoud daarvan wel overeenkomt met wat de AI er over heeft verzonnen. Dat kost enorm veel mentale energie.

Met programmeeronderwijs: AI kan alle opdrachten uit "introductie programmeren" foutloos maken. Maar hoe wil je ooit een betere programmeur dan ChatGPT worden zonder zélf te oefenen met die opdrachten?

[jopiek]

ChatGPT is juist enorme meerwaarde zeker voor programmeeronderwijs. Ik ben opgegroeid met programmeertoetsen op papier. Dat kan nog steeds, of het wenselijk is een andere vraag. Maar waar ChatGPT juist mee kan helpen is algoritmisch denken (het geeft immers vaak 'stappenantwoorden'). Je zult daarnaast nog steeds moeten begrijpen wat er achter zit om de juiste vraag te kunnen stellen. Het is veel meer een kwestie van je didactiek er op aanpassen dan een échte bedreiging. Nu gebruikte iedereen stackoverflow en/of Google. Ik heb wel eens tijdje codeschool gebruikt voor programmeerles. Dan leren je leerlingen perfect syntax, maar nog steeds niet de concepten er achter. Als je opdrachten anders formuleert kan ChatGPT juist een prima aanvulling zijn.

Maar het is net zoals bij de eindeloze discussie over typen rekenmachines, als je niks aan je didactiek wilt veranderen dan blijven we oeverloze discussies houden over hoe nieuwe technieken het onderwijs vernielen.

(Ik geef les in zowel VO als HO en heb eerstegraads bevoegdheid Informatica).

[Reactie gewijzigd door jopiek op 22 juli 2024 20:22]

[Tom-Z]

Ik geef een vak over algoritmiek. Één van m'n favoriete huiswerkopdrachten is een wollig verhaaltje over een falende overheid die deadlines nooit haalt, maar in feite komt het er op neer dat je een DAG topologisch moet sorteren en vervolgens het langste pad moet bepalen. Het was een opdracht waar ik heel tevreden over was, omdat je, met de juiste hints (die natuurlijk in de opgave stonden), het algoritme voor topologisch sorteren heel goed zelf kan ontdekken zonder dat je expliciet weet wat topologisch sorteren is.

Vorig jaar die opgave gebruikt, ging prima. Je kan 'dr echt een leuke aha-erlebnis van hebben. Dit jaar weer gebruikt, ik denk dat 90% van de oplossingen verbatim uit ChatGPT kwam inclusief overname van precies de éne fout die ChatGPT nog maakte. Zelfs studenten aan m'n kantoor gehad die hulp vroegen met hun code en vervolgens van geen enkele variabele konden uitleggen wat die moest voorstellen...

Een andere opgave die ik gaf was om met simulated annealing een zo winstgevend mogelijk schema te maken voor een bezorgservice. Het hele idee van simulated annealing en hoe je dat (voor een vergelijkbaar probleem) aanpakt bespreken we uitvoerig. Dit was de eerste opdracht die ik gaf die te complex was om door ChatGPT opgelost te worden (de start van mijn vak en de introductie van ChatGPT doorkruisden elkaar, dus veel tijd om aan te passen had ik niet), en ik ben geschrokken van de hoeveelheid knip-en-plakwerk van niet-begrepen ChatGPT-snippets die ik tegenkwam. Nauwelijks (of niet) werkende code met fouten die een normaal mens nooit zou maken.
Bij m'n "favoriete" oplossing was ook het begeleidende verslag door ChatGPT geschreven. Heel rooskleurig verhaal over hoe fantastisch de oplossing wel niet was en hoe goed het wel niet werkte, maar de bijgeleverde code crashte gewoon.

Ik ben nog niet heel enthusiast over de toegevoegde waarde van ChatGPT. Kan je me wat voorstellen doen hoe ik m'n opdrachten moet aanpassen en wel enthusiast kan worden?

[bzuidgeest]

Dat is waarom je examineert. Als ze niet de moeite nemen om te leren en te begrijpen dan falen ze op het examen waar de chat robot niet gebruikt mag worden. Als ze het wel begrijpen en de robot gebruiken voor het gemak, dan halen ze het examen.

Ik denk dat ze vooral even tegen de muur van een examen moeten lopen en falen en dan laten ze chatgpt weer links liggen of vragen ze de volgende keer het ding om meer uitleg zodat ze het begrijpen.

Je opdrachten zijn goed, je hebt alleen gemist hoe je chatGPT gebruik in je realiteit moet brengen.

[Reactie gewijzigd door bzuidgeest op 22 juli 2024 20:22]

[kodak]

Je lijkt te doen alsof ai-tools hoe dan ook maar een oplossing zijn voor gemak. Een leervak kent niet voor niets grenzen wat onderdeel van een vak is. Het doel is namelijk het vak leren, niet een tool leren voor het gemak om het vak te leren. Als studenten willekeurig maar ai gaan gebruiken terwijl dat geen onderdeel van het vak is dan ligt dat niet aan de docent, eerder aan de leverancier van de tool die geen duidelijke grenzen stelt aan betrouwbaarheid en de gebruiker die willekeurig een tool gebruikt alsof je de grenzen aan het vak er zijn om te negeren om te doen alsof je het snapt.

[bzuidgeest]

Je lijkt te doen alsof ai-tools hoe dan ook maar een oplossing zijn voor gemak.

Dat zijn ze ook, net als een hamer of google of een boek, rekenmachine of computer.

Een leervak kent niet voor niets grenzen wat onderdeel van een vak is. Het doel is namelijk het vak leren,

Ook het leren van een vak ontwikkeld zich. Een architect gebruikt nu rekenmachines, computers en simulaties. Tools die de eerste architecten niet hadden. Het vak heeft zich ontwikkeld. Architecten moeten nog steeds een diploma halen

Als studenten willekeurig maar ai gaan gebruiken terwijl dat geen onderdeel van het vak is dan ligt dat niet aan de docent,

Geen idee waar je dat vandaan haalt, maar dat is niet iets dat ik probeer te zeggen. Het vak is aan het veranderen. @Tom-Z moet zich daar nog aan aanpassen. Hij ziet dat als slecht. Ik zie dat als een verandering als alle anderen. Niet anders dan de introductie van de rekenmachine. Toen waren er dezelfde bezwaren.

om te doen alsof je het snapt

Zoals ik al zeg, dat kan alleen tijdens de lessen. Je valt altijd door de mand tijdens examinering. Je kunt een chatrobot dus alleen gebruiken om je lessen vlugger en makkelijker te maken. Als je het niet begrijpt. Dan val je door de mand bij examinering, want daar heb je de robot niet voor hulp.
Examinering word dus belangrijker.

[Reactie gewijzigd door bzuidgeest op 22 juli 2024 20:22]

[Tom-Z]

Ik zie ChatGPT niet per definitie als iets slechts. Het is alleen een uitdaging bij bepaalde vormen van examinering, want niet alles kan je toetsen met pen en papier.

Ik zie AI ook niet als iets anders als de introductie van de rekenmachine, maar zelfs voor de rekenmachine geldt dat je die niet overal bij mag gebruiken. Het is een hulpmiddel, maar hoe geavanceerder het hulpmiddel hoe meer je het gebruik ervan moet beperken. De spellingscontrole mag je niet gebruiken tijdens een dictee maar wel bij het schrijven van je scriptie. In de onderbouw mag je een normale rekenmachine, in de bovenbouw pas een grafische, maar dan wel een die niet symbolisch kan differentiëren. ChatGPT is zó geavanceerd dat je het gebruik ervan heel lang moet beperken. Je geeft leerlingen/studenten niet zomaar het antwoordenboekje erbij, want dat gaat meestal niet goed en de verleiding om te "spieken" is te groot.

De studenten bij het tentamen keihard laten zakken moet als het nodig is, maar dat is geen ideale optie. Je verwacht wel heel veel van studenten/leerlingen dat ze "verantwoord" omgaan met AI en alleen op zo'n manier prompten dat ze er wat van leren. Ik probeer echt wel m'n onderwijs er op aan te passen, maar dat is verdomd lastig en soms moet je gewoon zeggen "deze opdracht moet zonder AI". En dan zou het wel verdomd handig zijn als er een goedwerkende AI-detector is.

[bzuidgeest]

Ik zie ChatGPT niet per definitie als iets slechts. Het is alleen een uitdaging bij bepaalde vormen van examinering, want niet alles kan je toetsen met pen en papier.

Waarom? ChatGPT kan je toch gewoon verbieden tijdens een examen? Net al een rekenmachine. Daar zijn tools voor. Wellicht even langs bij je school zijn beheerders?

ChatGPT is zó geavanceerd dat je het gebruik ervan heel lang moet beperken.

Waarom? Hoe vlugger ze door krijgen dat ze falen als ze niet zorgen dat ze het zelf moeten begrijpen, hoe beter

De studenten bij het tentamen keihard laten zakken moet als het nodig is, maar dat is geen ideale optie.

Het is de enige optie. AI word alleen maar beter en een detector gaat nooit perfect zijn. Keihard laten zakken is wat zal moeten. Je hebt allerlei tussentoetsen e.d. Het is niet alsof ze er pas bij het eindexamen achter hoeven te komen dat ze zelf hadden moeten leren.

[kodak]

Na het basisonderwijs mag wel minimaal verwacht worden dat studenten een mogelijk hulpmiddel niet gaan inzetten om hun werk te doen alsof ze het werk zelf gedaan hebben. Dat accepteren we ook niet als de hulp een ander persoon of middel is, dan is er bij die studenten een gebrek aan motivatie en/of ethisch besef. Dat is eerder hunzelf te verwijten dan een docent die een specifiek vakgebied geeft waarbij het duidelijk de bedoeling is dat ze zelf hun werk doen. Anders valt er eerder te stellen dat die studenten niet geschikt zijn om de het vak te volgen en meer iets hebben aan een cursus eigen verantwoordelijkheid of ethiek.

[bzuidgeest]

Ik beweer nergens dat het de docent te verwijten is dat studenten een hulpmiddel gebruiken om zich er vanaf te maken. Het enige wat ik docenten en ander onderwijs personeel kan verwijten is dat ze er geen rekening mee houden dat het gebeurd. En dat examinering van de student dus belangrijker word om (mis)bruik van tools te herkennen.
Een docent kan niet vermijden dat een leerling tools gebruikt. Het is ook niet erg als een goede student die het toch wel snapt dat doet. Wat een docent wel moet doen is wellicht regelmatiger examineren. Wat mogelijk extra werk betekend. Bij examinering vallen de leerlingen die hun lesje niet zelf kennen er vanzelf uit. Dat was ook al zo met alle andere mogelijke vals-speel middelen die jij noemde. Dus op dat punt veranderd er weinig.

[Reactie gewijzigd door bzuidgeest op 22 juli 2024 20:22]

[kodak]

Het is onredelijk docenten of het onderwijs zulke verwijten te maken te weinig rekening te houden met gebruik van ai zonder aan te tonen dat het redelijk is dat studenten het gebruiken. Die redelijkheid van gebruik zit niet in het willen gebruiken van een mogelijk hulpmiddel of in het negeren van de grenzen van de lesstof in de hoop minder moeite te hoeven doen. Docenten zijn er niet om de gemakzucht of eigenwijsheid van studenten te bedienen.

[bzuidgeest]

Het is moeilijk aan het worden te ontcijferen wat je echt wil zeggen. Volgens bij probeer je vooral "duur" over te komen in je taalgebruik. Maar het resulteert vooral in kronkelige uitingen, met wankele logica.

[koelpasta]

Dat zijn ze ook, net als een hamer of google of een boek, rekenmachine of computer.

Ik wil je erop wijzen dat geen van deze gereedschappen er slechts voor het gemak zijn.
Ze stellen je stuk voor stuk in staat dingen te doen die je niet met enkel je lichaam kunt doen. Ik bedoel, veel success met het inslaan van een spijker met je blote hand of het uit je hoofd uitrekenen van alle pixels in 1 frame van een modern computerspel.
Het is dus niet enkel 'gemak'. Gereedschappen maken dingen mogelijk die zonder die gereedschappen niet realistisch zijn om te willen.

[bzuidgeest]

Is dat niet de definitie van gemak? Dingen mogelijk maken die anders moeilijk of niet mogelijk zijn. Overgens zijn er mensen die spijkers kunnen slaan met hun handen

[koelpasta]

Is dat niet de definitie van gemak?

Nee. In het geval dat dingen zonder een gereedschap niet mogelijk zijn gaat het niet meer om gemak. Gemak kan dan alsnog wel een bijkomend doel zijn.
Je kunt een gereedschap dus soms gebruiken om je gemak te vergroten, maar niet elk gereedschap is er om gemak te vergroten.

Overgens zijn er mensen die spijkers kunnen slaan met hun handen

Enkel voor demostraties en in zeer gecontrolleerde omgevingen. Met andere woorden, grotendeels fake en voor entertainmentdoeleinden.

[bzuidgeest]

Tuurlijk was dat laatste voor Entertainment. Smily gemist?

Ik denk dat de discussie over de definitie van gemak niet verder relevant is.

[kodak]

Het vak is aan het veranderen. (de docent) moet zich daar nog aan aanpassen.

Als personen willekeurig een hulpmiddel gaan gebruiken dan is niet het vak aan het veranderen maar zijn de gebruikers aan het experimenteren met hulpmiddelen. Dat experimenteren is niet zomaar onderdeel van een specialisatie waarbij het om basiskennis gaat omdat de personen die het als oplossing willen zien het graag willen gebruiken, het gaat ook om aantonen dat het geschikt is en betrouwbaar is.

Natuurlijk kun je dat experimenteren onderdeel van de lesstof maken, omdat je mensen wil leren hoe ermee om te gaan, maar willekeurig ia als oplossing willen zien en docenten verwijten te maken dat ze niet met een mogelijk hulpmiddel experimenteren om de basiskennis te laten snappen gaat mij te ver. Zeker als studenten geen verantwoordelijkheid willen nemen dat er een verschil zit tussen zelf iets leren en een hulpje je huiswerk laten doen alsof je zelf de basis geleerd hebt. Van studenten mag wel een minimaal besef over verantwoordelijkheid verwacht worden niet zomaar hulpmiddelen in te zetten voor dat soort doelen.

[bzuidgeest]

Je maakt er een potje van. Wat ik zeg is dat examinering is wat aantoont of ze hun les wel of niet geleerd hebben. Hoe ze hun lessen leren is niet relevant. Zolang ze het examen maar zelf zonder verboden tools (zoals robot assistentie) kunnen doen. Als ze dat kunnen begrijpen ze genoeg.
Je kan leerlngen al "waarschuwen" voor dit principe met tussen toetsen. Dan hoeven ze niet bij het eindexamen pas tegen de muur te lopen.

[kodak]

Hoe ze hun lessen leren is niet relevant.

Dat is wel degelijk relevant, aangezien examineren zowel gaat om gebruik van de lesstof en de aangewezen hulpmiddelen. Dus door te stellen dat een docent zich maar moet aanpassen aan het gebruik van nieuwe hulpmiddelen stel je hoe dan ook onderdeel van de lesstof moet zijn. Andere zou het uitsluiten al genoeg moeten zijn om duidelijk te maken wat de basis voor het examen is. Natuurlijk kan een student eigenwijs proberen te experimenteren of dat hulpmiddel helpt de basis te snappen, maar dat is eigen verantwoordelijkheid en geen doel op zich.

[bzuidgeest]

Ik begin moeilijkheden te krijgen je texten te volgen, het word hoe langer hoe krommer. Je maakt het veel te ingewikkeld.

[PjotrX]

Als je code krijgt van studenten die gewoon crasht dan hebben de studenten niet eens moeite genomen om de code te runnen. Waarschijnlijk hebben ze te weinig incentive. Geen ze een groot dataset om hun algorithme te testen, zeg maar programmeerwedstrijdstijl. Je kan de antwoorden op de dataset meegeven. Of je kan een server maken waar ze hun programma voor automatische beoordeling insturen, je kan dan spelen met hoeveel hints de server terug geeft bij een fout programma. Bij simulated annealing verwacht ik dan een dataset waar je makkelijk in een lokaal minimum/maximum kan vallen bij verkeerde parameters.

[Tom-Z]

Het hele vak is in programmeerwedstrijdstijl opgezet, en ik had zo'n server draaien. Dat creëert helaas de incentive dat studenten alleen maar programmeren naar het geacepteerd krijgen van de code, en omdat die wedstrijdopdrachten heel duidelijk gespecificeerd moeten zijn is ChatGPT er heel goed in als je gewoon de opdrachtbeschrijving copy/paste doet. Voor dat simulated annealing verhaal had ik een mooie dataset met honderden locaties in Nederland en code voor een checker aangeleverd die de score van een oplossing uitrekende en alle constraints controleerde (met feedback).

Die studenten met dat lyrische rapport en de crashende code waren gewoon heel lui/dom/tijdsnood. Hopelijk zullen ze met de tijd wel doorkrijgen dat al je opdrachten door ChatGPT laten doen niet werkt om je studie te halen, maar kan je je voorstellen dat ik er érg moe van wordt om dit soort onzin ingeleverd te krijgen?

[Zynth]

Hoe werkt het als je zo'n student betrapt? Op afkijken, plagiaat e.d. staat voor zover ik weet, uiteindelijk permanente schorsing; i.e. verwijdering van de school.
Dat moet na een aantal gevallen onder de studenten toch gaan leven en afschrikken zou je denken.
Het enige wat je hoeft te doen is bij het huiswerk aangeven wat de regels zijn.

[Reactie gewijzigd door Zynth op 22 juli 2024 20:22]

[jopiek]

Nou je hebt het iig perfect voor elkaar gekregen de fraudeurs er uit te halen.

Ik zie idd een aantal verbetermogelijkheden voor je opdracht:
- expliciet aangegeven dat ChatGPT als tool alleen gebruikt mag worden als men aangeeft hoe men het heeft toegepast;
- een uitwerking die overduidelijk ChatGPT is, zonder vermelding ervan, met niet werkende code etc. gevalletje examencommissie wordt;
- je zou afhankelijk van het leerjaar ook nog GIT er aan toe kunnen voegen. Zonder fatsoenlijke GIT historie is het niet ontvankelijk;
- reflectie op proces vragen.

Ik accepteer overigens ook nooit code zonder uitleg / toelichting. Pas had een jonge vriend een binary gestuurd en was verbolgen dat ik dat niet goedkeurde. Gelukkig had ik een rubric achter de hand die aantoonbaar op ruim op tijd met hem gecommuniceerd was, scheelt dan weer hoop gedoe.

[walteij]

Ik als niet-programmeur maak juist op die manier gebruik van OpenAI Copilot in VS Code om wat beter te leren programmeren. Ik tik wat code waarvan ik denk dat die juist is, laat deze controleren door copilot en uitleggen wat er waarom mis gaat, om daarna de gecorrigeerde code te genereren.

Als ik niet weet waar ik moet beginnen, schrijf ik gewoon logisch uit wat ik wil dat er gebeurd.
Stap 1: Vraag dit op
Voorwaarde 1: Bij ja doe dit, bij nee doe dat
En zo doorgaan. En uiteraard doet de gegenereerde code dan nog allerlei dingen die je niet wilt, maar de start is er, waarna je zelf kunt gaan finetunen aan:
- de code
- de vraagstelling
En zolang je de antwoorden en uitleg van Copilot goed doorneemt, zal je kennis van programmeren steeds een beetje toenemen.

[jopiek]

Ja mooi! En je hoopt dat je leerlingen en/of studenten het dus met zo'n instelling toepassen. Daar zullen we een deel van hen wel bij moeten helpen met 'externe perverse prikkels' zoals een collega van me placht te zeggen

[Tintel]

Waar jij op doelt is een situatie waarbij de leerling/gebruiker van de AI-tool, het algorimte al voor zich ziet. Daarbij geeft de AI een waardevolle toevoeging. Maar het punt blijft dat een AI op een gegeven moment net zo goed zou kunnen zijn als een andere leerling/student en dat reldelijk zelfstandig kan. Als je die dan het werk laat doen dan heb je dus geen 'leer'-effect.

[jopiek]

Ja maar dat is dus vooral een kwestie van je opdrachten er op aanpassen. Ik geef ook wel vaak groepsopdrachten, dan heb je ook altijd leerlingen in groepjes die niets er van begrijpen en anderen puur het werk laten doen. Tijdens assessment prik je daar zo door heen. Helaas is het zeker niet voor elk vak haalbaar om assessment af te nemen (o.a. afhankelijk van hoe veel studenten/leerlingen meedoen en hoe groot het vak is). Maar je kunt het echt wel zo inrichten dat er leereffect is. Ik had afgelopen semester groepje technische bedrijfskunde studenten, die zijn vaak niet heel technisch. Van mijn tutorials knippen en plakken leren ze minder dan van eigen opdracht die ze i.s.m. ChatGPT maken. Maar dat is totaal anders casus dan bij @Tom-Z zijn studenten. Lesgeven is ook niet een 1-size-fits-all, 4 HAVO economie en maatschappij is totaal anders dan deeltijd technische bedrijfskunde of master computer science zeg maar. Toch denk ik dat als leerlingen/studenten gemotiveerd zijn ze juist veel hebben aan ChatGPT of CodePilot en verder kunnen komen dan ooit. Maar we moeten onze vakdidactiek én pedagogiek er op aanpassen. Je hebt onderwijskundigen die vakdidactiek totaal onderschikt vinden aan algemene didactiek, maar daar ben ik het pertinent mee oneens, want je ziet dat zo'n ontwikkeling als deze ons ook echt voor nieuwe vakinhoudelijke uitdagingen stelt ('exciting', maar tegelijk hoofdbrekers).

[ETH0.1]

Ik heb er toch wat moeite mee merk ik. Is het echt zo slecht om technologie te gebruiken, en waren wij vroeger echt anders?

Zelf geboren in 1982, in mijn tijd kwam internet net op en had je uittreksels.com (ofzoiets) waar je boekverslagen kon krijgen. Ik heb daar regelmatig verslagen vandaan getrokken, stukjes herschreven in 'eigen woorden', ik kan mij herinneren dat ik bij maatschappijleer bonuspunten kreeg omdat ik wist dat de lerares blij was met gerecycled papier.

Als ik terug kijk maakte ik gebruik van de voordelen die ik zag, ik kwam er mee weg, de huidige jeugd doet hetzelfde als ik 30 jaar geleden, met nieuwe technologie

En dan denk ik terug aan een liedje van 25 jaar geleden: "Everybody's Free (to wear sunscreen) van Baz Luhrmann

"Accept certain inalienable truths
Prices will rise, politicians will philander, you too, will get old
And when you do, you'll fantasize that when you were young
Prices were reasonable, politicians were noble
And children respected their elders"

https://www.youtube.com/watch?v=sTJ7AzBIJoI

Als 40 jarige 'kijk ik neer en vergelijk ik' op de huidige jeugd
Was dat echt anders dan toen ik 15 was, en hoe de destijds 40 jarige over ons dachten?

[Tintel]

Dat mensen dus 'shortcuts' nemen is niet nieuw idd. Maar als de shortcuts zo simpel te nemen zijn dan valt dus op een gegeven moment dat onderdeel van de opleiding gewoon uit.
En op de een of andere manier geeft dat toch soms (kleine) problemen. Sommige simpele zaken zijn dus voor een grote groep mensen niet meer uitvoerbaar omdat een 'shortcut' al zo lang bestaat.
Ik kan vermoedelijk erg slecht vuur maken zonder aansteker/lucifers...maar echt erg is dat niet...tot dat...

Als je verslag herschreef dan heb je het in ieder geval moeten lezen en dat is het belangrijkste.

[i-chat]

precies dezelfde ervaringen als jij en toch een andere conclusie...

een deel van wat je zegt klopt natuurlijk, zelfs op de UNI gaat het er uiteindelijk niet om of je je thesis nu hebt geschreven op 70% feitenkennis en 30% onderzoeksvaardigheden of precies andersom..

het gaat er uiteindelijk op of je A: eerst niet vaardig was in de materie en later wel, B: of je belangrijk, nuttig, relevant en correcte informatie hebt weten te scheiden van trash en onwaarheden. C: en of je tot een degelijke conclusie wist te komen.

en ja uittreksel-websites waren en ding tegenwordig is google en ding en in de toekomst zal ai mogelijk een ding zijn.

het probleem zal altijd zijn dat hoe slimmer de tool hoe minder oefening jij als persoon hebt. met uittreksels.com moest je (of dat deed ik tenminste) op zijn minst A: dat uitreksel lezen, B het vergelijken met minstens 3 anderen om een nog beter beeld te krijgen en om te beoordelen welke mij de beste leek. en an sich leerde ik daar nét genoeg mij om later niet in de problemen te komen.... maar je zult er maar staan.. tijdens mijn rechtenstudie heb ik HEEEEL erg veel samenvattingen moeten lezen en schrijven. als me die vaardheid wat uitgebleven zou ik vreselijk voor lul hebben gestaan - en eerlijk - hoe ga je een skill dan nog leren... een jaartje stoppen met je studie om jijbuisfilmpjes te kijken om het uiteindelijk alsnog te leren.. een advertentie plaatsen op bijscholingssites en uitleggen dat je door al dat gecheat nu je studie niet redt?

vergeleken met uittreksels.com is chatGPT Over Powered en dat lijkt me wel echt een probleem.

[the_stickie]

Of we moeten accepteren dat we naar een toekomst evolueren waar de computer gewoon beter is in kennisverwerving en -verwerking.
We hebben ook geen menselijke computers/rekenaars meer. We houden geen bakjes met vistekaartjes van onze klanten meer bij. Nog amper mensen die teksten moeten corrigeren. Allemaal dingen die nu heel gewoon aan een computer kunnen vragen, zelfs eentje die in je handpalm past.

Als we destijds hadden vastgehouden aan die oude methodes, had de wereld dan beter geweest? Niet leren werken met Office, maar met rekenlineaal, classeur en elke dag toets spelling en schoonschrift!

Die AI's gaan meer en meer verworden tot een tool van elke dag, voor iedereen. En wie weet is degene die straks een of andere AI het best kan bedienen, wel de beste programmeur die de AI de beste verbeterde AI kan laten schrijven.

Ik ben het met je eens dat er altijd (of voorlopig) een bepaald niveau van specialisme en kunde moet aangeleerd worden (kinderen leren nog altijd maaltafels en spelling). Maar op een bepaald moment moet je kunnen zeggen dat tools er zijn om gebruikt te worden, en ze leren gebruiken (ook door je leerkracht te proberen foppen ) erg waardevol kan zijn.

[Tintel]

De huidige AI is niets meer dan een 'tekst-combineerder' - om die reden eigenlijk dus nog onbetrouwbaarder dan een rekenmachine. Alsof een rekenmachine dus verschillende antwoorden zou geven al naar gelang zijn gebruiksduur (vanwege de steeds veranderende trainingset).

[the_stickie]

En wat doet iemand die een boekbespreking maakt of een programma schrijft?
Een hele hoop wetenschappelijk werk bestaat juist uit het combineren van resultaten.

Ik ben het zeker met je eens dat er nog veel werk aan de winkel is. Maar ik ben er ook van overtuigd dat het niet meer zo lang zal duren voor die 'tekst-combineerders' (die overigens ook overweg kunnen met afbeeldingen, tabellen, geluiden, stemmen, gezichten en gezichtsuitdrukkingen,...'t is maar welke AI je kiest) convergeren in iets wat wél waarheidsgetrouw zal zijn en ook veelgebruikt.

En ja, een recente rekenmachine geeft een ander (juister/preciezer) antwoord en/of heeft verbeterde functionaliteit dan eentje uit de jaren 1623, '60 of '80.

[Tintel]

een recente rekenmachine geeft een ander (juister/preciezer) antwoord

Een preciezer antwoord maar niet falicant fout dus. Iets wat de huidige AI wel doet.

En wij [de mens] zijn natuurlijk geen tekst-combineerders op basis van statistiek. We dienen eerst de tekst te lezen en te begrijpen. De huidige AI lijkt 'slim' maar is oerdom.

[the_stickie]

Again: ik erken dat er nog werk aan de winkel is
Stellen dat Pi=3.14 of een vermenigvuldiging onmogelijk is, is in sommige contexten wel degelijk fout
Ik vind het niet zo 'natuurlijk' dat wij niet functioneren op basis van een vorm van statistiek. Dan kan ik nog een boompje opzetten over de werking van neuronen, of er zelfs kwantumtheorieën bij betrekken Onze context is inderdaad breder dan tekst. Er zijn ook een hoop AI's met verschillende contexten.

Begrijpen is een subjectief begrip, en geen louter menselijke eigenschap. Begrijpen is het aan elkaar rijgen van eerder verworven ervaringen en in staat zijn outputs te genereren die consistent zijn met die ervaringen.
Exact wat AI's doen; alleen is hun context naar menselijke maatstaven nog héél (en momenteel vaak té) beperkt, waardoor we door onze bredere context de fouten zien en idd terecht kunnen stellen dat AI's (nu nog) niet even slim zijn als wij - ofte zoals jij formuleert "oerdom".

PS: DM me maar als je dit in een bar wil voortzetten; maar eigenlijk ging het over of het nodig is chatgpt ed in scholen te "verbieden"

[Tintel]

Ja in een bar voortzetten klinkt goed.

Maar het is zoals jij zegt inderdaad dat de context van de AI nog te beperkt is. De grap is dat ook wij beinvloed worden door ervaringen en invloed van buitenaf. Daar is toch een proef voor gedaan: groep van mensen waar er een klein deel niet de instructie heeft gehad: "Je moet beweren dat 2x3, 7 is". Als de persoon redelijk beinvloedbaar is dan kan deze hetzelfde gaan beweren maar lang niet altijd zal dat zo zijn. En dat komt om we dit op een niet abstracte wijze kunnen valideren (met onze vingers). Dus ondanks een statistische aanpassing van het feit (die dus onjuist is) blijven sommigen volhouden dat het onjuist is. Als je alleen statistiek gebruikt dan gaat het dus snel mis (waarbij het menselijke statistische geheugen al weer beperkter is dan die van een computer).

Maar ChatGPT verbieden is dus niet nodig - echter wel het gebruik niet overal/altijd toestaan. En dat geeft een beste uitdaging.

[Darksteel83]

Het doel van de huidige versie van ChatGPT is toch makkelijk goede teksten schrijven, die lekker lopen?
Tenminste daar gebruik ik het af en toe voor. Het is geen bronnen checker.

Je moet hier en daar nog wel eens iets aanpassen aan een tekst. Maar ook bij een rekenmachine moet je ook weten op welke knoppen je moet drukken en wat je uit wil rekenen.

ChatGPT kan wel lijken op een bronnen checker afhankelijk van de vragen en doet dit soms ook nog wel redelijk, maar vaak niet.
Zelfs als ChatGPT wel een bronnenchecker was zul je afhankelijk van de vraag nooit de betrouwbaarheid halen die een rekenmachine haalt. Want 1+1 blijft altijd 2. Maar de grens tussen Rusland en de Oekraïne bijvoorbeeld is erg afhankelijk van wie je het en ook wanneer je het vraagt.

Ook de plaatjes AI tool Stable Diffusion kan veel beter "tekenen" dan ik. Maar ik zou het niet gebruiken om te weten hoe een bepaald dier eruit ziet. Want de kans is groot dat dit niet klopt.

[Darksteel83]

Wanneer de text die moet schrijven geen huiswerk is. Maar gewoon op school geschreven moet worden heb je hier toch weinig last dat mensen dit structureel door een AI kunnen laten doen?

Rekenmachines bestaan ook al lang. Maar toch heb ik nog wel tot een bepaald niveau rekenen geleerd zonder rekenmachine.

Ik heb niet zo goed geleerd als mijn ouders. En helemaal niet zo goed als wiskundigen en vooral jongen vrouwen die rekenen als werk hadden voordat er computers waren. Maar dat maakt volgens mij niet uit.

Mogelijk kun je ook met een AI ook juist beter dingen leren. Omdat dit bijvoorbeeld juist veel sneller feedback kan geven op wat er goed en fout gaat dan een leraar die meer dan 20 kinderen aandacht moet geven.

DouLingo vindt ik bijvoorbeeld echt een stuk beter dan sommige taallessen van vroeger.

Soms hebben AI's wel rare nadelen. Want Stable Diffusion kan eigenlijk alles mooier tekenen dan ik. Maar 5 normale vingers aan een hand dat is vaak teveel gevraagd.

[Eusebius]

Het gaat niet alleen om het schrijven, maar ook omgaan met feiten. ChatGPT verzint nu soms baarlijke nonsens. Dat zal over een tijdje minder zijn. Gaat een nieuwe generatie AI gebruiken om teksten te schrijven, dan leren ze nooit de vaardigheid van onderzoek en weging van feiten.

Nu al zie je dat 'dressing' vaak meer effect scoort dan inhoud, in de toekomst is het gevaar dat dit erger wordt.

Maar: elke tijd kent zo zijn uitdagingen. Een rekenmachine helpt ons ook verder en mijn oudste leert taal mbv duolingo. Dus ik wil niet alleen leeuwen en beren op de weg zien. Ben wel beducht of leeuwen en beren als zodanig herkend worden ..

[Darksteel83]

Ja bijvoorbeeld ChatGPT kan zeker dingen verzinnen. Maar met wat kleine aanpassingen kun je heel snel bijvoorbeeld een goed verhaal schrijven.

Een character story voor een spefiek dungeons and dragons character. Dat gaat echt top. Met wat kleine aanpassingen is het echt veel beter dan dat ik het zelf kan.

De ChatGPT zinnen lopen beter dan degene die ik zelf schrijf.

Maar het verzinnen van feiten is inderdaad wel tricky. Vooral omdat het soms wel redelijk klopt en dan niet zo opvalt.

[Tintel]

Het maakt niet uit dat er tools zijn die iets beter kunnen. Als het leren erbij gebaat is om het zonder tools te kunnen doen, dan moeten tools dus opzij worden gelegd.

Bij leren/studeren is de output an-sich niet belangrijk (zoals bij regulier werk wel het geval is) - het gaat om het feit dat die output door de leerling/student is gemaakt en daarom wordt het beoordeeld.

[Darksteel83]

Wanneer het voor het leren belangrijk is om iets zonder tools te doen, moeten de tools inderdaad niet gebruikt worden.

Mijn punt was eigenlijk meer dan wanneer er bepaalde tools zijn bepaalde vaardigheden niet meer hetzelfde belang hebben wat ze vroeger nog wel hadden.

Een voorbeeld mijn vader heeft nog leren reken met de rekenliniaal. Ik weet een beetje hoe de rekenliniaal werkt uit nieuwsgierigheid. Maar het is niet nuttig meer om de rekenliniaal nog te behandelen tijdens school lessen omdat een rekenmachine/computer/telefoon veel meer en ook beter kan.

[Tintel]

Ja dat klopt - eigenlijk is school voor een deel het leren omgaan met tools die relevant zijn. Maar als het vak "begrijpend lezen is" (ik noem maar wat) dan heeft het gebruik van een tool een averechts effect.

[Darksteel83]

De huidige versie van ChatGPT zal inderdaad waarschijlijk niet helpen met bijvoorbeeld begrijpend lezen. En eerder zorgen dat je kunt cheaten.

Maar ik kan me wel voorstellen dat je in de toekomst een AI tool krijgt. Die juist heel goed kan controleren of je het gelezen hebt en begrijpt. Een soort super DuoLingo bijvoorbeeld.

[bamboe]

Je kan je afvragen of dat een probleem is dat kinderen die het niveau van de universiteit niet halen en daardoor naar een hbo of mbo doorstromen. Je had vroeger ook kinderen die proberen de docenten te beduvelen dat zal in de toekomst ook blijven gebeuren. Ik vind het belangrijker dat een universiteit hier goed mee om gaat en gewoon studenten van een te laag niveau gewoon laat zakken.

[dasiro]

Maar hoe wil je ooit een betere programmeur dan ChatGPT worden zonder zélf te oefenen met die opdrachten?

Welk gereedschap wordt er nog zonder ander gereedschap gemaakt? Welke chip wordt er nog zonder een andere chip gemaakt? De vraag is niet meer hoe veel, maar wanneer menselijke input nog nodig is in welke processen. Daarmee hangt de existentiële vraag samen hoe je het leven een invulling geeft. Ironisch genoeg was die vraag in het verleden ook van toepassing op arbeiders en slaven, maar dan volledig omgedraaid, van geen énkele (leven om te werk tot je stierf) binnenkort het volledige leven.

[uiltje]

Mja, maar zolang we in een kapitalistische samenleving wonen moeten we er natuurlijk wel voor zorgen dat AI & robots niet alle taken overnemen. Want uiteindelijk moeten we ook iets doen dat centen oplevert. Dat invullen van je leven is erg leuk hoor, maar je moet wel de middelen hebben om dat te kunnen doen.

[dasiro]

dat is een keuze die op het hoogste niveau zal gemaakt worden, niet alleen door overheden, maar ook de megacorps, want zonder consumenten geen verkoop.

[Sinester]

Want uiteindelijk moeten we ook iets doen dat centen oplevert

uiteindelijk wordt dat misschien ook gewoon een achterhaalde gedachte, nu leven vele mensen om te werken, wat ik persoonlijk van de zotte vind

AI is denk ik niet meer tegen te houden, zelfde met robotisering en deze zaken nemen nou eenmaal werk over van mensen en kunnen het ook nog eens veel beter

Hier zou eigenlijk nu al zwaar over nagedacht moeten worden voor wat als het echt zo ver is

[svenk91]

Mensen kunnen ook een hoop onzin schrijven (en dat gebeurd ook genoeg bij wetenschappelijke publicaties, als ik soms zie wat mensen blijkbaar uit mijn artikelen hebben gehaald als ze mij citeren dan is dat in 1 op de 4 gevallen iets dat ze zelf verzinnen op basis van de titel en het abstract...).

Toch hebben docenten het al snel door als je boekverslag van de film kwam. Samenvattingen en werkstukken die online gedeeld werden gebeurde ook al 20 jaar geleden.

Basisvaardigheden toetsen blijft natuurlijk belangrijk in het onderwijs. Dus moet je daar je manier van toetsing op aanpassen. Maar als die basisvaardigheden eenmaal bewezen zijn, dan moet je het werken met AI tools juist motiveren. Een opleiding doe je voor de banenmarkt van de toekomst, niet voor de wereld van toen de docent nog jong was...

[Weicool]

Het is goede tool voor brainstormen over onderwerpen waar je niet veel over weet. Bronnen controleren kan makkelijk als men een beetje moeite neemt. Het gebrek aan precisie en de grote hoeveelheid te algemene informatie en clichés die AI genereert is lastig eruit te halen zonder zelf al veel voorkennis te hebben… Dus de nieuwe “GPT-4 Turing-tests” zullen zich in de toekomst op deze zwakheden kunnen richten. En wat GPT-5 gaat doen weten we nog niet…

[Reactie gewijzigd door Weicool op 22 juli 2024 20:22]

[mmjjb]

Met programmeeronderwijs: AI kan alle opdrachten uit "introductie programmeren" foutloos maken. Maar hoe wil je ooit een betere programmeur dan ChatGPT worden zonder zélf te oefenen met die opdrachten?

Lijkt me vrij makkelijk te toetsen op een blanco computer zonder Internet, niet?

[Anoniem: 80910]

Moet je wel de documentatie beschikbaar hebben

[merethan]

Is dat ook niet als spieken?

[Anoniem: 80910]

Tsja, als je elke functie met bijbehorende parameters uit je hoofd moet weten, blijft er weinig over voor het implementeren van het algoritme. Waarom zou je alle functies met bijbehorende parameters en volgorde uit je hoofd stampen. Waar is dat goed voor?

[Dwinges]

Voordat ze door de naar de vervolgopleiding kunnen, zullen ze toetsen en examens moeten maken. Ik ben een beheerder op school en moet zelfs spellingscontrole uitschakelen, wat tegenwoordig ook met browsers wordt meegleverd. Op dat moment hebben ze geen toegang tot internet en ook geen toegang tot ChatGPT. Ook de Bing sidebar in Edge wordt nu uitgeschakeld tijdens examens.

Huiswerk laten maken door AI? Prima! Dan leer je niks en val je bij toetsen en examens door de mand. Dat heeft geen gevolgen voor de opleiding of de maatschappij, maar wel gevolgen voor een individu.

AI en het gebruik ervan is niet het probleem. We moeten iedereen leren dat zij op een verantwoordelijke manier ermee omgaan.

[FrostyPeet]

Het is voorkomen of moeilijker te maken door de leerling/student bij het schrijfproces te bewerken. Laat ze een concept inleveren, vragen waarom ze een standpunt innemen en hoe ze verder willen gaan met hun werkstuk. Maar dat kost tijd en energie van beiden en dat kan vaak niet in de High Intensity Impact Learning environment, of wat het nieuwste buzzword tegenwoordig is qua "leerproces".

[Frame164]

Dan moet je het onderwijs daar op aanpassen. I.p.v. dat een docent het hele werk nakijkt moet hij/zij misschien een paar gerichte vragen over de inhoud aan de leerling stellen. Als de leerling het zelf heeft geschreven of de inhoud van de AI tekst volledig in de vingers heeft is het goed. Vrieger dachten we slim te zijn door ipv boeken alleen de samenvattingen te lezen. Docenten prikten daar met 1 of 2 vragen doorheen.

[mphilipp]

Lekker laten gaan. Iemand die zo dom is om alles door AI te doen en nog trots is op zijn diploma valt natuurlijk gruwelijk door de mand in de praktijk. Als je er eigenlijk niets van snapt, zou het eigenlijk ook niet mogelijk moeten zijn om te slagen. Wellicht een paar controlemomenten inbouwen met echte praktijktoetsen die je zonder hulp van internet e.d. moet maken. Dat zou niet zo moeilijk moeten zijn. Of wat mondelinge toetsen. Dan heb je zo in de gaten of iemand écht iets kan of alleen maar voorgebakken spullen gebruikt.

[walteij]

Dit is van alle tijden.
Of het nu om uittreksels van een boek gaat, testkings/examendumps voor Microsoft examens, of ChatGPT om de tekst te laten schrijven.
Er zullen altijd mensen zijn die valsspelen, of 'oneigenlijk gebruik maken van de tools die ze tot hun beschikking hebben'. En ja, die mensen zullen uiteindelijk gewoon hard door de mand vallen.

Wat ik zie als infra-beheerder in de detachering, is dat dat soort mensen dan dus gewoon naar een andere werkgever gaan, met een of ander smoesje dat er geen match was, terwijl ze op hun CV nu naast dat examen ook een opdracht hebben waar die kennis voor nodig was en ze dus gewoon weer opnieuw worden aangeboden door een andere opdrachtgever. En als ze geluk hebben, komen ze terecht bij een multinational of groot overheidsorgaan, waar ze gewoon anoniem low-profile kunnen blijven en lekker geld kunnen binnenharken zonder veel bij te dragen aan het bedrijf.

[Tintel]

idd - diezelfde mensen maakten toen gebruik van de mazen in het leersysteem en dus nu van de mazen in het arbeidsproces. Heel vermoeiend om daar tegen aan te lopen. En het probleem is dus de echte meetbaarheid van kwalificatie.

[walteij]

Ik ga overigens niet zeggen dat ik roomser ben dan de paus, ik maak namelijk zelf ook gebruik van die mazen.

Bijvoorbeeld: Examendumps kunnen gebruikt worden om alle vragen uit je kop te stampen, maar ook om de kennisgaten te vinden en daar dan op te acteren. Ik krijg wel eens vragen van mensen naar examendumps, geef die dan en zeg er ook meteen bij dat ze beter hun tijd kunnen besteden aan het leren van de stof, dan aan het uit je kop stampen van alle mogelijke vragen die er in een examen voorbij kunnen komen, want dat zijn er al snel meer dan 300.

[kdekker]

Kortom zijn de kinderen van nu luier dan die van vroeger?

Ik weet het niet. Misschien zijn de ouders van nu zo erg gewend aan welvaart, dat kinderen daardoor luier worden, gefaciliteerd door de ouders (bijv. voorzien van allerlei (dure) gadgets, zonder dat de echte prijs van een product geteld wordt).

Hoe dan ook: je kunt niet alles over 1 kan scheren. Ergens komt er een moment dat je niet voor docenten of ouders je werk doet, maar voor jezelf. Dat moment lijkt er wel steeds op latere leeftijd te komen. Of soms nooit. Maar ook dat was vroeger al zo. Luiaards en (over)ijverige werkers, het is van alle tijden. Wel is het met bijna alomtegenwoordige internet toegang met minimale inspanning te realiseren. In mijn tijd moest ik kilometers fietsen, voordat je bij de bibliotheek was

[avlt]

Een AI kan dan heel geloofwaardige onzin verzinnen, en de enige manier om er achter te komen dat het niet voldoet is om als docent alle referenties die in de tektst zijn opgenomen te gaan controleren of de inhoud daarvan wel overeenkomt met wat de AI er over heeft verzonnen. Dat kost enorm veel mentale energie.

Ik zie geen verschil tussen de behandeling van AI gegenereerde teksten en door mensen/studenten geschreven teksten. In beide gevallen kan er onzin, verzonnen data/referenties en wat al niet meer in staan. Zegt de naam René Diekstra je nog wat? Het is van alle tijden; AI verandert daar weinig aan https://universonline.nl/.../fraudeurs-op-een-rijtje/
Het min of meer random genereren van wetenschappelijke rapporten die ook nog op conferenties geaccepteerd worden bestaat al heel lang zie https://en.wikipedia.org/wiki/SCIgen

Als je het zelf eens wilt proberen, kijk dan eens hier: https://thatsmathematics.com/mathgen/

[WillySis]

Dat AI gebruikt gaat worden om huiswerk te maken is niet te voorkomen. Het onderwijs zal zich daarop aan moeten passen.
ChatGPT is geen allesweter en je moet wel de juiste opdracht geven om een juist antwoord te kunnen genereren. Echte taal/schrijf opdrachten kan je altijd nog klassikaal doen, waarbij geen AI gebruikt kan worden. Ouderwets op pen en papier is dan een goede mogelijkheid.

[JorzoR]

Dan krijg je dus een generatie die hun hele middelbare school hun huiswerk door AI kunnen laten maken en dan als ze op de universiteit komen ineens een probleem hebben omdat daar de AI het niveau niet meer haalt.

En dat is een probleem, omdat?

Het is volledig de eigen verantwoordelijkheid van de student. Dus een beetje dom als diegene dan het niveau niet kan bijbenen en door de mand valt.
Kortom, universiteit onwaardig. Dus iets anders zoeken.

[Reactie gewijzigd door JorzoR op 22 juli 2024 20:22]

[aikebah]

[...]
Kortom, universiteit onwaardig. Dus iets anders zoeken.

En dan komt de politiek langs 'de student heeft VWO gehaald, dus kan de universiteit aan.' De universiteit moet vervolgens zorgen dat de studie voor iedere VWOer haalbaar is en mag niet selecteren. Dat is het probleem...

[Tintel]

Ja - want de AI de boel laten uitvoeren is gewoon hetzelfde als een andere student/leerling, die dat deel van de opleiding al heeft doorlopen, het werk laten doen. Niets nieuws aan. Werd al veel meer gedaan en is natuurlijk 'sub-optimaal'.

[Moogles]

... en de enige manier om er achter te komen dat het niet voldoet is om als docent alle referenties die in de tektst zijn opgenomen te gaan controleren of de inhoud daarvan wel overeenkomt met wat de AI er over heeft verzonnen.

Is dat echt de enige manier? Of kun je ook gewoon met de student in gesprek en valt een AI-gebruiker dan direct door de maand? Het zal allemaal wel wat doen met hoe we naar onderwijs kijken, maar ik verwacht juist dat er in de toekomst meer parate kennis benodigd zal zijn. Je zal in een vroeger stadium aan moeten tonen dat je iets echt begrijpt en het inleveren van een stuk op papier is niet meer voldoende.

[Reactie gewijzigd door Moogles op 22 juli 2024 20:22]

[Jerie]

Er zijn nu al een boel programmeurs die gewoon goed kunnen Googlen of zoeken op SO. Als je een library van een ander gebruikt, scheelt je dat ook werk.

Ik denk dat de regel moet zijn dat er geen gebruik gemaakt mag worden van ML tijdens een opdracht. Doet de student dat wel, dan moet hij of zij dat aangeven. Dan kan worden aangegeven waar en kan gevraagd worden aan student om uit te leggen. Blijkt dat de student het wel heeft gedaan maar niet heeft aangegeven dan is dat jokken/fraude en volgt een straf (antwoord fout, cijfer 1 als resultaat, enz).

En anders een airgapped computer waar verboden is enig electrisch apparaat te dragen.

[J_van_Ekris]

Uiteindelijk is het net als een rekenmachine. Als jij bv voor school met behulp van AI een tekst kan leveren die aan alles voldoet, go for it. Dat moeten we toejuigen. Dus wat heb je aan zulke detectietools eigenlijk...

Nee, want we gebruiken rekenmachines pas als we kinderen de basis van het rekenen hebben bijgebracht. Hoofdrekenen wordt nog echt onderwezen op de basisschool. Pas als men dat kan, dan krijgen pubers op de middelbare school een rekenmachine. En daar leren ze: reken mee, schat de uitkomst af om zo tikfouten af te vangen.

En het gaat er niet om of mensen kunnen schrijven (als in opstel maken). Het gaat er om of mensen kunnen laten zien dat ze stof beheersen, en dat toetsen docenten soms door mensen iets te laten doen en daar een verslag van te laten maken. Dan zit het gebruik van genererende tekst AI eerder in het gebied van afkijken of plagiaat.

Als gastdocent heb ik een paar weken geleden mogen ervaren hoe studenten hier nu mee omgaan. In plaats van een gebruikelijk inhoudelijk gedegen verslag in slecht Engels krijg ik nu soms een enorm oppervlakkig stuk dat ongeveer het onderwerp beschrijft in perfect Engels. Maar de kern raken ze niet: wat hebben ze gedaan en waarom. En de mensen die de studenten dagelijks begeleiden pikken feilloos de zinsnedes eruit die een student zelf niet zal verzinnen (het helpt om een native speaker aan boord te hebben). Teksten die uit lesboeken komen zijn vaak een stuk formeler dan een student ooit gebruikt. En dus zakken ze voor het vak vanwege een te oppervlakkig verslag met een verdenking van plagiaat. Als we niet oppassen is dat de generatie die we aan het opleiden zijn.

Net zoals met de rekenmachine: eerst moet je het zelf goed kunnen voordat je het weg kunt automatiseren en je als mens alleen de bijsturing/controle doet.

[Reactie gewijzigd door J_van_Ekris op 22 juli 2024 20:22]

[Jerie]

Klopt, dit zie je ook steeds terug bij mensen die ChatGPT (of andere AI) testen op hun vakgebied. Bijvoorbeeld iemand laat ChatGPT een stukje Python programmeren maar diegene kan al prima Python programmeren. Vervolgens de foutjes eruit halen en het werkt. Maar diegene had het ook zonder ChatGPT gered.

[Banshax]

Dat is inderdaad een prachtige usecase van AI

Met een vrij heftige leercurve omhoog. Hoe beter je kan programeren en hoe beter je weet wat je wil, des te effectiever worden de programma’s die je kan ‘genereren’.

Heb af en toe dat bepaalde classes en functies gewoonweg perfect eruit rollen doordat ik de requirements zo strak had gedefinieerd dat chatGPT er uitstekend van kan bakken wat ik vroeg.

[Reactie gewijzigd door Banshax op 22 juli 2024 20:22]

[Jerie]

Mijn ervaring is niet mbt programmeren (ik heb deze voorbeelden wel uitgewerkt gezien) maar o.a. *NIX (CLI, tooling, configuratie). Ik heb bijvoorbeeld gehad dat ik met dat ding blijf argumenteren van je hebt het fout je vergeet dit en dat. 'Hij' (zo noem ik 'het' maar even) negeert dan een element uit mijn definities, ik geef dat aan, hij excuseert zich en komt dan op de proppen (op een arrogante manier) met een ander foutief antwoord. Waarbij hij weer een andere parameter negeert. Vervolgens gaat hij dan loopen in z'n antwoorden. Want hij is niet in staat de antwoorden te combineren. En dan gaan die excuses die hij maakt (die ik zie als manipulatief) me tegenstaan. Het is net zoiets als dat ik een automatisch gegeneerde reactie krijg op een e-mail met 'wat vervelend voor u'. Ja wat vervelend voor mij, en dat hoor ik dan niet eens van een mens. Een support medewerker geloof ik er al nauwelijks meer op (al hangt het van de markt af); een computer kan geen empathie tonen. Een zelfgegenereerde e-mail kan dat niet, en een AI kan dat ook niet. Ik ben zelf autistisch, ik heb er ook moeite mee, en als ik dan zie dat een computer erover jokt en er mee wegkomt dan doet dat ergens wel zeer, ja. Het gaat net zo irritant worden als een keuzemenuutje als je naar een klantendienst belt. Je weet wat je wilt, je wilt een mens spreken, maar je komt er niet doorheen. Google support is hier sinds jaar en dag ook heer en meester in btw.

[IStealYourGun]

Je kan dit toch ook doen met ai taalmodellen met dat verschil dat je dat misschien al beter geeft op de basisschool om kinderen duidelijk te maken dat het een goede tools is en niet meer dan dat.

Het ene moet het andere niet vervangen, een dictee of een opstel schrijven gaat nog steeds zijn plaats hebben, al was het maar omdat je die kennis nodig hebt om goed met ai modellen te werken. Dat gaat ook op voor een rekenmachine. Als je niet weet waarvoor +, -, x of = staan op een rekenmachine dan ben je er ook niets mee.

Het doel van school is toch dat leerlingen leren. En ai gaat niet meer verdwijnen, dus kan je leerlingen maar beter leren om daarmee te werken op een juiste manier.

[xleeuwx]

Probleem daarmee is dat we willen kunnen toetsen of iemand een bepaalde kennis heeft en dat met dit soort tools dat lastig is of iemand echt dat stuk tekst zelf kan schrijven of dat je vast zit aan AI.

De vraag echter is of dat op langer termijn een issue gaat zijn. Maar het voorbeeld wat je aandraagt over de rekenmachine, iedereen op de basis school leert rekenen zonder rekenmachine en hoort dit uit ze hoofd te kunnen, en ter vergelijking nu heeft iedereen op de basis school toegang tot een rekenmachine.

[Darksteel83]

Ik kreeg rond 1993 rekenmachine les in groep 7 en 8 volgens mij. Maar veruit het grootste deel was nog zonder rekenmachine in groep 7 en 8.

In de brugklas bleek dat sommige andere kinderen toen nog geen rekenmachine les hadden gehad. Maar hun liepen dan in het begin van de brugklas wel echt even achter.

Is dit dan tegenwoordig heel anders geworden?

[uiltje]

Zolang ze maar beter taalonderwijs krijgen

[Reactie gewijzigd door uiltje op 22 juli 2024 20:22]

[Darksteel83]

Ik hoop een ChatGPT achtige spellingcontrole in de toekomst.

Ik ben nooit goed in talen geweest. Ik zie bepaalde fouten in zinnen ook echt niet. Er zal vast wel iets beter hebben gekunt in de lessen. Maar waarschijnlijk ben ik geen talent is talen. Ik hoor de fouten wel als je text to speech gebruikt.

[uiltje]

Volgens mij kan je al prima aan ChatGPT vragen om een tekst te herschrijven. Het is natuurlijk makkelijker als dat in de tekstverwerker zelf kan gebeuren, maar voor dit soort dingen draait de AI/LLM z'n hand niet om.

[Darksteel83]

Dat klopt. Maar ik weinig zin om bijvoorbeeld deze reactie steeds eerst in ChatGPT te zetten.

Binnenkort zal dit soort functionaliteit er vast wel komen.

[klakkie.57th]

Als je een AI voor jou laat schrijven, dan bezit jij toch niet de kwaliteit waarop je beoordeeld wordt, wat is dan het nut van de taak ?

[Frame164]

In mijn tijd (opa vertelt) schreven we hele stukken tekst over uit bibliotheekboeken. Is dat zoveel anders?

[klakkie.57th]

In kan me niet inbeelden dat je hiervoor werd beoordeeld op je creatieve kwaliteiten.

[CH4OS]

Ik denk dat bepalen of iets goed is ook voor de mens al lastig genoeg is soms. Laat staan dat een AI dat zal kunnen bepalen.

[NielsFL]

Inderdaad. Als leerlingen hun opstel inleveren pik je er een paar uit die je voor de klas over hun werk bevraagd. Komen ze daar zonder kleerscheuren doorheen dan maakt het eigenlijk niet meer uit of ze het helemaal zelf schreven of niet.

[TweakerCarlo]

Ik lees dit eigenlijk zo: Als je een tool door tools gegenereerde output laat genereren. Inception AI.

[Vlizzjeffrey]

Dit artikel laat juist blijken dat AI nog helemaal niet zo vooruitstrevend is als wat veel mensen nu denken, in meer dan 30% van de gevallen zat die ernaast, dit zal ook in veel andere onderwerpen het geval zijn.

Ik denk ook niet dat we moeten toejuichen dat kinderen hun huiswerk gaan doen met AI, het eind resultaat van het werk kan goed wezen, maar daar gaat het toch niet om, het gaat er om dat ze ook daadwerkelijk er iets van leren, en dat doen ze niet als ze een AI al het werk laten doen.

[Ryunoru]

Misschien moeten we dat maar niet gewoon accepteren puur omdat bedrijven het populair gemaakt hebben. Het gaat overigens niet eens om de kwaliteit van de tekst zelf, maar waar het vandaan komt en het feit dat je dit niet zelf getypt hebt. Geautomatiseerd plagiaat kan je niet simpelweg afdoen als hulpmiddel zoals een rekenmachine.

[Tao]

Huidige generaties leren anders dan vroegah. Of dat beter is, is (maar) de vraag, afhankelijk van je standpunt.
Vroegah moest je alles uit je hoofd leren. Nu doen ze dat niet meer (nouja 99,99% doet dat niet).
Maar ze weten het wel snel op te zoeken met de foon.

Hoofdrekenen doen ze ook niet meer aan (oh toch; zie reactie J_van_Ekris), daar hebben ze zakchineesjes ehh -japannertjes voor.

Is dat erg? Soms wel. Als je niet eens je eigen kassabonnetje kunt narekenen, dan kan dat vervelend zijn als er fouten gemaakt zijn door de cassiere.
En als je niets kunt opzoeken op i-net (verzin maar een soort storing daarvoor), dan heb je wellicht - op dat specifieke moment - een probleem.

Het punt is dat er i.h.a. een omslag is gemaakt van interne capaciteiten (in je koppie) naar externe mogelijkheden (apparatuur). Vaardigheid opdoen in jezelf wordt daarmee ook anders. Je gaat van "wat" naar "hoe" en daarmee verandert je modus operandi.

Ik blijf kiezen voor het 'hoofdwerk' (wat). Anderen kiezen voor 'hoe'. Beide manieren leveren hun eigen voors en tegens op. Het wordt pas problematisch wanneer er alleen maar het ene zonder het andere wordt gepraktiseerd, want dan krijg je kennislacunes.
Als je voor het laatste gaat vertrouwen op machines (b.v. AI), dan verwijs ik je naar al die mooie dystopische films en kun je wachten op problemen.

[Reactie gewijzigd door Tao op 22 juli 2024 20:22]

[Tintel]

als er fouten gemaakt zijn door de cassiere.

Dat voorbeeld is al wat achterhaald...ook de cassiere gebruikt een 'rekenmachine'.

Wat wel moeilijk is als je niet kunt rekenen: je wisselgeld controleren maar ook dat raakt 'uit de mode' vanwege pin-betalingen.

Het punt is dat er i.h.a. een omslag is gemaakt van interne capaciteiten (in je koppie) naar externe mogelijkheden (apparatuur).

Ik denk dat dit per beroep/sector/persoon verschillend is en niet zozeer anders dan in het verleden. Natuurlijk hebben we nu beroepen die je toen niet had maar toen had je ook beroepen die je nu niet meer hebt. En we gebruiken al heel lang gereedschap en dat gereedschap evolueert.

[Artimunor]

Gebruikte de tool daar toevallig WorldCoin signatures voor?
Of hebben ze deze offline gehaald zodat je straks omgekeerde bewijslast moet aandragen in de vorm van WorldCoin

[Skit3000]

Sowieso is het gevaar van zo een tool dat iemand gewoon net zo vaak een door AI gegenereerd tekst voert tot de uitslag "door een mens geschreven" laat zien. Sterker nog, dat is exact hoe AI wordt getraind.

[the_stickie]

Meer nog; is het geen doelstelling van open AI zélf om een "zo goed mogelijke" AI te bouwen? Eentje die dus net héél moeilijk te onderscheiden is? In dat opzicht is de AI Classifier natuurlijk een prima trainer!

[Weicool]

Je kunt ook gewoon de prompt “increase burstiness and perplexity” bij GPT-4 gebruiken voor de uitslag "door een mens geschreven"

[Reactie gewijzigd door Weicool op 22 juli 2024 20:22]

[Artz]

Kijk vooral de recente Tegenlicht uitzending over AI. Het probleem blijft dat bestaande datasets waarop AI getraind wordt extreem slecht zijn en dat die door het gebruik van AI zeker niet beter worden. ChatGPT is een taalmodel, geen orakel van kennis. Het is dus gespecialiseerd in schrijven teksten, niet het verzamelen, verwerken en analyseren van informatie. Bovendien is de informatie die er in zit verre van volledig. De techniek ontwikkelt zich misschien verder en de hoeveelheid gebruikte data, maar nog steeds is die data bedenkelijk (we weten niet wat het gebruikt) en het is data voornamelijk vanuit een westers (meeste verzamelde digitale data) en populair (wat online aanwezig is) perspectief.
Ja het kan een mooi stukje schrijven, nee er is geen gedachte aan vooraf gegaan. Het lijkt magie maar het is gewoon een domme rekensom.
Van de rekenmachine weet je dat die niet iets ‘verzint’, dat is bij ChatGPT geheel het geval want het zet alleen woorden achter elkaar ‘zoals een mens ook ongeveer zou doen’. Maar het heeft nooit gesnapt of geredeneerd waarom.
Daarom werkt het mogelijk beter voor programmeren (taal), dan een diepgaand artikel (analyse).

[Anoniem: 718943]

Tja. Is leuk om te zien tijdens een survival workshop hoeveel mensen zelf geen vuur kunnen maken. Bepaalde basiskennis gaat nu eenmaal verloren als er hulpmiddelen zijn die het beter kunnen. Het hele AI gebeuren is nog zware work in progress, maar op termijn zal het niet meer nodig zijn je bezig te houden met triviale werkzaamheden zoals code schrijven of documenten schrijven adv. taalregels. Creativiteit wordt toegankelijker.
Waar we alleen voor moeten waken is dat de invulling niet door het gereedschap te laten doen.
Ik wil ook geen aansteker die zelf het moment kiest om vuur te maken.

[crazyboy01]

Dan zal er denk ik toch een ander 'leermodel' moeten komen. Iig ChatGPT heeft in de huidige versie zoveel shit opgenomen dat hij standaard onveilige code geeft, terwijl je specifiek de veiligheidsmaatregelen meeneemt in je vraag. Dat gezegd hebbende: er zijn nu ook al heel veel 'programmeurs' die gewoon 100 snippets van StackOverflow bij elkaar plakken en zeggen dat ze iets hebben gemaakt. Altijd grappig dat ze vooral leren waar ze iets moeten plakken en dat ze die dingen niet vanaf scratch kunnen maken.

Daar gaat we inderdaad waarschijnlijk alleen maar meer heen: zeker als de motivatie weg is om nog moeite te steken in het leren van dergelijke zaken, als het geautomatiseerd kan. Ook dat zien we nu al, grafisch ontwerpers kunnen nu bijvoorbeeld ook van alles met één druk op de knop naar een webpagina converteren, zonder dat zij daarvoor de HTML/CSS hoeven aan te passen. Krijg je er nog een mobiele layout bij ook, anders dan de WYSIWYG editors van vroeger. Natuurlijk is dat niet hetzelfde als grote echt geprogrammeerde zaken, maar wel vergelijkbaar.

[MennoE]

Kan ChatGPT niet gewoon alle door hem gegeven antwoorden in een database opslaan, en dan checken of een bepaalde tekst in die database voorkomt? Zal vermoedelijk wel een probleempje opleveren gelet op hoeveel data het genereert.

[Auryon]

Maar hoeveel mag/moet je veranderen aan een tekst voordat die niet meer als "door AI gegeneerd" moet worden gezien? Als ik een tekst laat genereren, pas ik toch steeds een paar zinnen aan, zodat die meer bij mij past.
Uiteindelijk is het een tool zoals een andere. Ik denk dat leerkrachten Nederlands vroeger ook niet opgezet waren toen de spellingscontrole opkwam.

[svenk91]

Dan gebruik je de API, of je draait lokaal Llama2, of je laat chatGPT het met een bepaalde encodering doen. Zodra docenten zulke tools gebruiken zijn studenten ze voor. Je kan ook gewoon je manier van toetsing aanpassen als chatGPT een probleem is.

[blorf]

Het klinkt een beetje tegenstrijdig. Hoezo gebruikt de AI-engine zelf de informatie waar die tool op wordt gebaseerd niet?

[Tivoler]

Het blijkt dus; kwaliteit kun je niet altijd automatiseren. Ambachten blijven gewoon bestaan; dus texten schrijven ook!

[uiltje]

Wat niet in het artikel staat is dat ChatGPT ook aan het kijken is of ze een digitale vingerafdruk in de tekst kunnen verwerken. Lijkt me erg lastig, maar mocht het lukken dan kan je waarschijnlijk wel de directe plagiaat eruit halen.

ChatGPT is verre van foutloos. Dus als je mensen wilt testen dan kan je altijd een paar vragen maken die de AI bot verkeerd beantwoord. De generatieve AI leert immers niet meer bij als het eenmaal draait. Dat gaat natuurlijk lastiger worden met next-gen AI's en/of meerdere AI systemen.

ChatGPT kan echt ongelooflijk domme antwoorden schrijven. Ik heb nog een paar interessante chats staan waar de AI (nou ja, LLM) echt volledig de bocht uit vliegt.

[FrostyPeet]

Ik vermoed dat hun Legal Dept wel iets heeft opgemerkt over potentiële schadeclaims door false positive. Die Amerikanen kennende gaat er vroeg of laat wel eentje een claim indienen met bijbehorende schadevergoeding voor een verwoeste carrière.