Computerprogramma geeft cijfers aan essays studenten

Aan de Universiteit van Missouri is een computerprogramma ontwikkeld dat de essays van studenten kan beoordelen en voorzien van commentaar. Het programma, genaamd Qualrus, kan zinspatronen herkennen en daarmee herkennen of studenten goede argumenten aandragen. Qualrus geeft uiteindelijk ook een cijfer voor het beoordeelde stuk. De beoordeling is gebaseerd op de input van alle vorige studenten en van de docent. De studenten volgen het vak Sociologie en hebben een essay verkozen boven multiple choice.

Het essay wat ze moeten maken wordt in digitale vorm ingeleverd en enkele seconden later krijgen ze direct de uitslag met feedback. De score wordt bepaald aan de hand van de zwaarte waarop de verschillende onderdelen meetellen. Qualrus is niet ontwikkeld om de beoordeling door de docent te vervangen, maar om de studenten op de goede weg te helpen. Een stuk kan tijdens het schrijven meerdere malen worden beoordeeld door Qualrus voordat het definitief eindproduct wordt ingeleverd. De docent wijkt, volgens eigen zeggen, zelden af van het oordeel van Qualrus.

Reacties (54)

[cheiron]

Gelukkig wordt dit (nog?) niet gebruikt om de stukken te beoordelen. Lijkt mij stug dat een dergelijk programma kan omgaan met cynisme e.d.

Mocht je dit wel gaan gebruiken voor de beoordeling zou originaliteit denk ik niet goed beoordeeld worden

[Blue2k]

Voor vakken als wiskunde, natuurkunde etc wat voornamelijk feiten zijn zou zoiets best goed kunnen werken. Al zou ik op dit moment nog niet graag een eindcijfer er aan toevertrouwen.

Meestal wordt mijn orginaliteit bij wiskunde beloond met een rode streep

[kidde]

Uit eigen ervaring kan ik zeggen dat computerprogramma's in wis-en natuurkunde vaak nogal rampzalig zijn.
Als ik de computer iets laat uitrekenen, komt er een totaal andere expressie uit dan wat ik zelf had uitgerekend, en ben ik een kwartier aan het controleren of beiden nou eigenlijk wel dezelfde zijn.
Dit komt door de vereenvoudigingsalgoritmen in die software, die altijd naar een bepaalde standaardvorm toewerkt, maar mensen doen dit niet.
En dat is denk ik ook het probleem hierbij. Als het geschrevene teveel afwijkt van een bepaalde standaardvorm, is het door een computerprogramma lastig te beoordelen, tenzij de fuzzy-factor enorm hoog is.

[Verwijderd]

Hangt er natuurlijk sterk vanaf wat dat programma moet doen. Een programma wat statistiek moet uitrekenen geeft gewoon kloppende resultaten, net zoals een programma wat de baan van een sateliet bepaald.

Bij vereenvoudigen denk ik meestal aan formules en die kun je op verschillende manieren opschrijven. Mapple vereenvoudigd die inderdaad maar een standaard vraag die ik eigenlijk tijdens mijn studie in vrijwel elk tentamen ben tegengekomen is "Bewijs dat (formule 1) gelijk is aan (formule 2)" Vereenvoudigen en zien dat twee formules gelijk zijn is namelijk nogal handig als je artikelen van anderen leest Die verschillende vereenvoudigingen mogen geen probleem zijn.

[Schapie]

Idd dit merk ik ook vaak op school waar we ook werken met een wiskunde programma. Bij sommigen vraag stukken wordt er tijdens het berekenen wel afgerond en bij andere niet. Hoogst irritant aangezien je normaal gesproken verder rekent met een niet afgerond getal.

[paazei]

Maar het programma kan juist argumenten beoordelen, die heb je volgens mij niet zoveel nodig bij wiskunde en natuurkunde.
Ook zal zon programma volgens mij niet echt iets sarcastisch kunnen onderschijden van een gemeende zin.

[Verwijderd]

Nou das een leuke ontwikkeling.

Maar nou vraag ik mij serieus af of Qualrus ook onderscheid kan maken tussen klets in een mooie vorm en serieuze dingen.

[TD-er]

Op zich is het natuurlijk ook niet verkeerd wanneer studenten een compleet kletsverhaal kunnen inkleden in een mooi essay.
Dan kun je het nog ver schoppen in de wereld.

[Verwijderd]

wat win je daar nu mee? ten eerste ben je dan je diploma niet waard en ten tweede is dit programma vooral bedoeld als hulpmiddel voor de studenten, zodat ze een beter opstel kunnen inleveren.

het werkt naar twee kanten toe. doordat ze hun opstel schrijven en verbeteren aan de hand van de terugkoppeling van Qualrus, raken ze vanzelf beter bekend met de stof. als je een spiekbrief zelf hebt geschreven, dan heb je 'm vaak niet eens meer nodig omdat je tijdens het samenstellen ervan de stof hebt opgenomen (lezen + ordenen + opschrijven = onthouden).

alleen maar handig zo'n programma. persoonlijk ervaar ik het als buitengewoon demotiverend als een cijfer veel lager is dan verwacht voor een verslag waar ik toch echt mijn best voor heb gedaan. zeker als het 'm in kleinigheden zit.

[Verwijderd]

Wij mochten op school (voor de 2e fase) nog spieken bij Tentamens in VWO-6 bij Natuurkunde en Scheikunde... je moest aan het eind wel je spiekbrief inleveren met naam erop.
In combinatie met de tentamens konden de leraren dan zien waar je zwakke punten zaten, of welke stof je niet snapt.

[perjan]

Zeker weten kunnen ze meteen na hun studie naar de tweede kamer. Of gewoon meteen naar het kabinet

[DoubleD79]

Dat is nou net de reden dat ik een hekel heb aan dat soort studentjes, 2e kamer en kabinet.. maargoed, eigen frustraties.

Ik denk dat het programma ook onderwerpen in de zinspatronen kan herkennen en het dus niet mogelijk is om een geweldig stuk over het schijten van de koe in te leveren als een stuk over de menselijke psyche.

[Grrrrrene]

Dat heeft natuurlijk weinig zin, want het is alleen als feedback naar de studenten bedoeld, later krijgen ze van de docent alsnog een cijfer. Dat programma geeft alleen wat commentaar en zoals in het artikel staat zal het de docent niet vervangen worden door het programma

Ik zie het nut er wel van in, als je een serieus essay inlevert krijg je waarschijnlijk ook wel serieuze feedback waar je wat mee kunt

[Verwijderd]

Zou je zo'n programma kunnen ombouwen dat het gekopieerde en daarna aangepast essays kan herkennen? (zelfde argumentatie struktuur bv. , maar andere woorden)
Dat zou een handig tooltje kunnen worden voor de huidige digibeten die voor de klas staan. Ze hebben vaak niet eens door dat essays gewoon van een website getrokken worden, desnoods een beetje aangepast en dan ingeleverd. Succes gegarandeerd.

[Soultaker]

Daar bestaat al software voor, die ook al gebruikt wordt in Nederland (ergens in Amsterdam dacht ik, VU of UvA). Het programma genereert 'waarschuwingen' voor inzendingen die inhoudelijk op elkaar lijken. Vervolgens kan de docent de betreffende documenten vergelijken en beoordelen of er echt sprake is van overschrijfwerk.

Bij vakken met veel studenten zijn er vaak meerdere docenten die werk nakijken, dus elke docent afzonderlijk ziet maar een deel van de ingeleverde documenten. In zo'n situatie kan het programma helpen om fraudegevallen te detecteren die docenten anders onmogelijk zouden kunnen spotten. Maar de eindbeslissing ligt wel bij de docent.

Verder denk ik dat dit soort systemen nooit waterdicht kunnen zijn. Zolang de eindbeoordeling bij een docent ligt is er dus niets aan de hand als hulpmiddel bij het studeren. Als je mooi ingeklede onzin probeert te verkopen, valt dat de docent als het goed is wel op.

[Verwijderd]

Aan onze universiteit hebben ze daar ook een mooi voorbeeld van. Bij de practica object geöriënteerd programmeren gaan alle practica door een programma dat controleert of de programeerstructuren hetzelfde zijn. Ook checken ze met practica van vorige jaren. Heel effectief moet ik zeggen.
Maar controleren op fraude is natuurlijk nog iets heel anders dan beoordelen. Ik denk dat dit programma zijn nut heeft zolang het enkel als evaluatie voor de student zelf gebruikt wordt. Maar ik vrees dat er proffen gaan komen die gewoon die quoteringen gaat overnemen.

[kidde]

Inmiddels wat oftopic:
Kan die kopienherkenner ook op internet speuren?
Dan wordt het pas echt interessant. Als je iets van een medestudent kopieert kan je er namelijk van uitgaan dat je tegen de lamp loopt, maar op internet is zoveel te vinden, dat op het moment een leraar heel hard op internet moet zoeken, wil hij een verslag dat van internet geplukt is, kunnen terugvinden op internet, zeker als de student de zinsopbouw hier en daar wat verandert heeft.

[koelkast]

Jazeker. Ik heb hier een scriptie over gemaakt, waarin dit soort programma's wordt bekeken. Er bestaan diensten waarbij je een hele rits (bijv. hele klas) documenten kunt uploaden, waarna je vervolgens na een tijdje een resultaat krijgt. Zo'n dienst werkt op 2 manieren:

- vergelijken van de documenten onderling
- vergelijken van de documenten met een internetdatabase

Erg interessant, en veel geavanceerder dan even knippen-plakken in google ter controle...

[Sachin]

Nu nog een programma schrijven dat aan de hand van ingegeven kenwoorden een essays schrijft waarin precies staat wat het programma Qualrus wil. Schitterende punten verzekerd!

[Sir_Eleet]

Gewoon bruteforcen tot je een perfecte beoordeling hebt

[Beelzebassie]

Als dit ertoe leidt dat docenten meer aandacht kunnen besteden aan de inhoud van hun colleges (de kwaliteit van onderwijs), dan ben ik voor dit programma...

[Verwijderd]

Ben benieuwd waarop de beoordeling echt gebaseerd wordt. Dergelijke systemen kunnen zeker geen nieuwe argumenten herkennen, alleen bepaalde ingevoerde elelementen, of woorden voorkomen in de zinnen en of het allemaal lang genoeg is.

[CmdrKeen]

Een belangrijke opmerking die hier al twee keer is gemaakt, is dat als je een programma essays kan laten beoordelen, je ook een programma kan gebruiken om (goeie) essays te schrijven.

Dat zou waar zijn als het niet alleen om het technische gedeelte van het essay zou gaan.

Vergelijk een programma om grammatica te controleren:

"Time flies like an arrow." is een grammaticaal correcte zin, en "Fruit flies like a banana." ook. Maar "Time flies like a banana." slaat nergens op. Toch is het grammaticaal correct.

Zo kan je een essay ook beoordelen: als het "frame" al niet correct is, dan is de argumentatie vrijwel zeker krom. Dit programma controleert of je überhaupt wel argumenten aanvoert, geen tegenstrijdige stellingen poneert in een argument, enzovoorts. Als je aan de technische regels voldoet, is er een goeie kans dat je essay steekhoudende argumenten heeft. Zo niet, dan niet, natuurlijk.

Een programma kan nog altijd niet *begrijpen* wat er staat, maar als je zegt: "Blauw is blauw omdat blauw blauw is." dan kan het wel herkennen dat het een kromme redenering is.

Sarcasme, cynisme, en andere -ismen zijn leuk voor in essays maar ze zijn totaal irrelevant voor de vorm ervan, en de vorm is belangrijker dan deze krenten in de pap. Bij het technisch oefenen van essays kan je sarcasme e.d. dus makkelijk weglaten.

Ook ik ben overigens van mening dat dit programma niet de docent mag vervangen, alleen mag dienen ter verbetering van de techniek van het schrijven van essays van de student.

[Mafkees]

Typo: "zinspatronenn" => zinspatronen

Maar als je zo'n essay aan het bouwen bent en elke keer controleert of het wel goed genoeg is, en het pas inlevert als het volgens Qualrus goed genoeg is dan is het toch niet eerlijk Of begrijp ik nou iets verkeerd

[Verwijderd]

Voor het geval je het niet weet: school is om iets te leren. Uiteindelijk doe je het allemaal voor jezelf. Als een programma je dus helpt het goed te doen, zal je er ook van leren. Doel bereikt.

[Mafkees]

Dat begrijp ik, maar jij weet ook wel dat er genoeg mensen zijn die het allemaan geen ruk uitmaakt en dus gewoon 'vals spelen'

[DannyXP1600]

Dus kan je net zo goed dat NIET op school doen. Stel voor dat je ooit voor je werk iets moet schrijven later als je groot bent, dan start je qualrus op en laat je het controleren...

[Verwijderd]

Ik heb hier zo mijn twijfels over. Natuurlijke taal is simpel weg een ramp, de ware essentie van een stuk in natuurlijke taal is vaak voor mensen niet goed te begrijpen. Waarom zou een programma dit wel goed kunnen begrijpen.
Het is lastig om iemands gedachte gang in een paper goed te begrijpen. Dit programma forceerd mensen eigenlijk om allemaal via eenzelfde methode te werken. Iets wat ik afkeur, soms heb je iemand nodig die anders denkt om de waarheid boven water te halen.

[YaPP]

Ik heb hier zo mijn twijfels over. Natuurlijke taal is simpel weg een ramp, de ware essentie van een stuk in natuurlijke taal is vaak voor mensen niet goed te begrijpen. Waarom zou een programma dit wel goed kunnen begrijpen.

Ik denk ook niet dat je de beoordeling te letterlijk moet nemen, dat wordt ook niet gesuggereerd in het artikel.

Zinsbouw zegt al veel over een verslag, en ik durf best aan te nemen dat een programma dit kan beoordelen. Soms is de zinsbouw ook de doorslaggevende factor om een verslag goed te keuren. Dat merk ik ook nu ik een afstudeerverslag aan het maken ben, zinnen moeten bijvoorbeeld heel helder en duidelijk overkomen voor iemand die geen vakkennis heeft.

Terwijl er bijvoorbeeld technisch hetzelfde kan staan, hoeft dit niet altijd uit de verf te komen. Dat is de factor waar het programma IMHO op controleerd. ..en daarna kan de docent het verslag inhoudelijk controleren, maar deze heeft al het voordeel dat het verslag al goed verzorgt aangeleverd wordt. best wel een briljante oplossing

[Verwijderd]

"De docent wijkt, volgens eigen zeggen, zelden af van het oordeel van Qualrus."
Oftewel hiermee blijkt maar weer: "Gemak dient de mens"
Wat een luie figuren zeg. Als iedereen nou eens zou doen waarvoor hij/zij voor betaald word, in plaats van allerlei manieren te zoeken om zo min mogelijk te doen.

[jbr]

Wordt er niet bedoeld dat een docent het essay ook beoordeelt en dat er meer overeenkomsten dan verschillen tussen de beoordeling van de docent en het computerprogramma zijn...?

[n4m3l355]

is het niet zo dat de docent beinvloed misschien wordt door qualrus en zodoende de cijfers maar betrekkelijk zijn? ik vind het maar een enge ontwikkeling dat qualrus het nakijkt daarna de leraar die misschien gemakshalve denkt dat qualrus toch al goed bezig is en dan daarna nog maar een punt in de zin van qualrus eraan hangt. imo absoluut geen goede ontwikkeling. ik blijf enkel ervoor dat qualrus bv detecteerd of er sprake is van fraude en zelfs dannog moeten professors heel aandachtig kijken of er ook daadwerkelijk sprake is van fraude.

[jbr]

Ja, maar je moet de bedoeling van het programma en later gebruik wel gescheiden zien. Het is voor iemand die een essay schrijft natuurlijk een geweldig middel om het schrijven onder de knie te krijgen. En hoe docenten een ingeleverd stuk nakijken ligt in de regelgeving van de instelling. (makkelijk controleerbaar natuurlijk).
Er zijn al zat programma's die controleren op plagiaat, dit programma let op opbouw, structuur en consistentie. Lijkt me iets geheel anders. En waarom eng? Ik heb liever een consistente beoordeling dan de onvoorspelbaarheid van een docent (die ook niet relevante zaken in zijn beoordeling mee kan nemen...)