Hoofdcategorieën
Device Settings

Computerprogramma geeft cijfers aan essays studenten

Door Gabi Gaasenbeek, zondag 10 april 2005 16:22
Bron: BBC, views: 23.756

Aan de Universiteit van Missouri is een computerprogramma ontwikkeld dat de essays van studenten kan beoordelen en voorzien van commentaar. Het programma, genaamd Qualrus, kan zinspatronen herkennen en daarmee herkennen of studenten goede argumenten aandragen. Qualrus geeft uiteindelijk ook een cijfer voor het beoordeelde stuk. De beoordeling is gebaseerd op de input van alle vorige studenten en van de docent. De studenten volgen het vak Sociologie en hebben een essay verkozen boven multiple choice.

Scholieren / studentenHet essay wat ze moeten maken wordt in digitale vorm ingeleverd en enkele seconden later krijgen ze direct de uitslag met feedback. De score wordt bepaald aan de hand van de zwaarte waarop de verschillende onderdelen meetellen. Qualrus is niet ontwikkeld om de beoordeling door de docent te vervangen, maar om de studenten op de goede weg te helpen. Een stuk kan tijdens het schrijven meerdere malen worden beoordeeld door Qualrus voordat het definitief eindproduct wordt ingeleverd. De docent wijkt, volgens eigen zeggen, zelden af van het oordeel van Qualrus.

Volgende 16:26 Duidelijke uitleg over Hitachi's perpendicular recording
Vorige 11:48 Grens van 30.000 punten doorbroken in 3DMark03
Advertentie

Reacties

«  1  2  »



Toch ...t, tegenwoordige tijd....

dat dat
?
je je paper inleverD
?

sufferT!!! :+

Nou das een leuke ontwikkeling.

Maar nou vraag ik mij serieus af of Qualrus ook onderscheid kan maken tussen klets in een mooie vorm en serieuze dingen.

Op zich is het natuurlijk ook niet verkeerd wanneer studenten een compleet kletsverhaal kunnen inkleden in een mooi essay.
Dan kun je het nog ver schoppen in de wereld.

Zeker weten kunnen ze meteen na hun studie naar de tweede kamer. Of gewoon meteen naar het kabinet

Dat is nou net de reden dat ik een hekel heb aan dat soort studentjes, 2e kamer en kabinet.. maargoed, eigen frustraties.

Ik denk dat het programma ook onderwerpen in de zinspatronen kan herkennen en het dus niet mogelijk is om een geweldig stuk over het schijten van de koe in te leveren als een stuk over de menselijke psyche.

wat win je daar nu mee? ten eerste ben je dan je diploma niet waard en ten tweede is dit programma vooral bedoeld als hulpmiddel voor de studenten, zodat ze een beter opstel kunnen inleveren.

het werkt naar twee kanten toe. doordat ze hun opstel schrijven en verbeteren aan de hand van de terugkoppeling van Qualrus, raken ze vanzelf beter bekend met de stof. als je een spiekbrief zelf hebt geschreven, dan heb je 'm vaak niet eens meer nodig omdat je tijdens het samenstellen ervan de stof hebt opgenomen (lezen + ordenen + opschrijven = onthouden).

alleen maar handig zo'n programma. persoonlijk ervaar ik het als buitengewoon demotiverend als een cijfer veel lager is dan verwacht voor een verslag waar ik toch echt mijn best voor heb gedaan. zeker als het 'm in kleinigheden zit.

Wij mochten op school (voor de 2e fase) nog spieken bij Tentamens in VWO-6 bij Natuurkunde en Scheikunde... je moest aan het eind wel je spiekbrief inleveren met naam erop.
In combinatie met de tentamens konden de leraren dan zien waar je zwakke punten zaten, of welke stof je niet snapt.

Dat heeft natuurlijk weinig zin, want het is alleen als feedback naar de studenten bedoeld, later krijgen ze van de docent alsnog een cijfer. Dat programma geeft alleen wat commentaar en zoals in het artikel staat zal het de docent niet vervangen worden door het programma :)

Ik zie het nut er wel van in, als je een serieus essay inlevert krijg je waarschijnlijk ook wel serieuze feedback waar je wat mee kunt :)

Gelukkig wordt dit (nog?) niet gebruikt om de stukken te beoordelen. Lijkt mij stug dat een dergelijk programma kan omgaan met cynisme e.d.

Mocht je dit wel gaan gebruiken voor de beoordeling zou originaliteit denk ik niet goed beoordeeld worden

Voor vakken als wiskunde, natuurkunde etc wat voornamelijk feiten zijn zou zoiets best goed kunnen werken. Al zou ik op dit moment nog niet graag een eindcijfer er aan toevertrouwen.

Meestal wordt mijn orginaliteit bij wiskunde beloond met een rode streep ;)

Maar het programma kan juist argumenten beoordelen, die heb je volgens mij niet zoveel nodig bij wiskunde en natuurkunde.
Ook zal zon programma volgens mij niet echt iets sarcastisch kunnen onderschijden van een gemeende zin.

Uit eigen ervaring kan ik zeggen dat computerprogramma's in wis-en natuurkunde vaak nogal rampzalig zijn.
Als ik de computer iets laat uitrekenen, komt er een totaal andere expressie uit dan wat ik zelf had uitgerekend, en ben ik een kwartier aan het controleren of beiden nou eigenlijk wel dezelfde zijn.
Dit komt door de vereenvoudigingsalgoritmen in die software, die altijd naar een bepaalde standaardvorm toewerkt, maar mensen doen dit niet.
En dat is denk ik ook het probleem hierbij. Als het geschrevene teveel afwijkt van een bepaalde standaardvorm, is het door een computerprogramma lastig te beoordelen, tenzij de fuzzy-factor enorm hoog is.

Idd dit merk ik ook vaak op school waar we ook werken met een wiskunde programma. Bij sommigen vraag stukken wordt er tijdens het berekenen wel afgerond en bij andere niet. Hoogst irritant aangezien je normaal gesproken verder rekent met een niet afgerond getal.

Hangt er natuurlijk sterk vanaf wat dat programma moet doen. Een programma wat statistiek moet uitrekenen geeft gewoon kloppende resultaten, net zoals een programma wat de baan van een sateliet bepaald.

Bij vereenvoudigen denk ik meestal aan formules en die kun je op verschillende manieren opschrijven. Mapple vereenvoudigd die inderdaad maar een standaard vraag die ik eigenlijk tijdens mijn studie in vrijwel elk tentamen ben tegengekomen is "Bewijs dat (formule 1) gelijk is aan (formule 2)" Vereenvoudigen en zien dat twee formules gelijk zijn is namelijk nogal handig als je artikelen van anderen leest ;) Die verschillende vereenvoudigingen mogen geen probleem zijn.

"De docent wijkt, volgens eigen zeggen, zelden af van het oordeel van Qualrus."
Oftewel hiermee blijkt maar weer: "Gemak dient de mens"
Wat een luie figuren zeg. Als iedereen nou eens zou doen waarvoor hij/zij voor betaald word, in plaats van allerlei manieren te zoeken om zo min mogelijk te doen.

Wordt er niet bedoeld dat een docent het essay ook beoordeelt en dat er meer overeenkomsten dan verschillen tussen de beoordeling van de docent en het computerprogramma zijn...?

is het niet zo dat de docent beinvloed misschien wordt door qualrus en zodoende de cijfers maar betrekkelijk zijn? ik vind het maar een enge ontwikkeling dat qualrus het nakijkt daarna de leraar die misschien gemakshalve denkt dat qualrus toch al goed bezig is en dan daarna nog maar een punt in de zin van qualrus eraan hangt. imo absoluut geen goede ontwikkeling. ik blijf enkel ervoor dat qualrus bv detecteerd of er sprake is van fraude en zelfs dannog moeten professors heel aandachtig kijken of er ook daadwerkelijk sprake is van fraude.

Ja, maar je moet de bedoeling van het programma en later gebruik wel gescheiden zien. Het is voor iemand die een essay schrijft natuurlijk een geweldig middel om het schrijven onder de knie te krijgen. En hoe docenten een ingeleverd stuk nakijken ligt in de regelgeving van de instelling. (makkelijk controleerbaar natuurlijk).
Er zijn al zat programma's die controleren op plagiaat, dit programma let op opbouw, structuur en consistentie. Lijkt me iets geheel anders. En waarom eng? Ik heb liever een consistente beoordeling dan de onvoorspelbaarheid van een docent (die ook niet relevante zaken in zijn beoordeling mee kan nemen...)

Nu nog een programma schrijven dat aan de hand van ingegeven kenwoorden een essays schrijft waarin precies staat wat het programma Qualrus wil. Schitterende punten verzekerd!

Gewoon bruteforcen tot je een perfecte beoordeling hebt :)

Ik heb hier zo mijn twijfels over. Natuurlijke taal is simpel weg een ramp, de ware essentie van een stuk in natuurlijke taal is vaak voor mensen niet goed te begrijpen. Waarom zou een programma dit wel goed kunnen begrijpen.
Het is lastig om iemands gedachte gang in een paper goed te begrijpen. Dit programma forceerd mensen eigenlijk om allemaal via eenzelfde methode te werken. Iets wat ik afkeur, soms heb je iemand nodig die anders denkt om de waarheid boven water te halen.

Ik heb hier zo mijn twijfels over. Natuurlijke taal is simpel weg een ramp, de ware essentie van een stuk in natuurlijke taal is vaak voor mensen niet goed te begrijpen. Waarom zou een programma dit wel goed kunnen begrijpen.
Ik denk ook niet dat je de beoordeling te letterlijk moet nemen, dat wordt ook niet gesuggereerd in het artikel.

Zinsbouw zegt al veel over een verslag, en ik durf best aan te nemen dat een programma dit kan beoordelen. Soms is de zinsbouw ook de doorslaggevende factor om een verslag goed te keuren. Dat merk ik ook nu ik een afstudeerverslag aan het maken ben, zinnen moeten bijvoorbeeld heel helder en duidelijk overkomen voor iemand die geen vakkennis heeft.

Terwijl er bijvoorbeeld technisch hetzelfde kan staan, hoeft dit niet altijd uit de verf te komen. Dat is de factor waar het programma IMHO op controleerd. ..en daarna kan de docent het verslag inhoudelijk controleren, maar deze heeft al het voordeel dat het verslag al goed verzorgt aangeleverd wordt. :) best wel een briljante oplossing :*)

Het kijkt dus naar overeenkomsten tussen vorige werkstukken en dit?

Dat is toch niet normaal, als daar je eindexamen vanaf hangt. Als je een btje creatief met taal bent (zoals zinnen van 10 regels, lerares nl vind het vreselijk) heb je dus maar een paar zinnen waarop hij vergelijking kan trekken?

mmh tegen dat soort apparaten zeg ik doei doei :Y)

Als je een btje creatief met taal bent (zoals zinnen van 10 regels, lerares nl vind het vreselijk)
Niet alleen de lerares NL vindt dat vreselijk, het is ook totaal onleesbaar. Qualrus zou dat dan ook per onmiddelijk met een onvoldoende moeten beoordelen omdat op die manier geen informatie overgebracht kan worden aan de lezer....

Self-defeating argument van je dus...

Als dit ertoe leidt dat docenten meer aandacht kunnen besteden aan de inhoud van hun colleges (de kwaliteit van onderwijs), dan ben ik voor dit programma...

Ben benieuwd waarop de beoordeling echt gebaseerd wordt. Dergelijke systemen kunnen zeker geen nieuwe argumenten herkennen, alleen bepaalde ingevoerde elelementen, of woorden voorkomen in de zinnen en of het allemaal lang genoeg is.

Zou je zo'n programma kunnen ombouwen dat het gekopieerde en daarna aangepast essays kan herkennen? (zelfde argumentatie struktuur bv. , maar andere woorden)
Dat zou een handig tooltje kunnen worden voor de huidige digibeten die voor de klas staan. Ze hebben vaak niet eens door dat essays gewoon van een website getrokken worden, desnoods een beetje aangepast en dan ingeleverd. Succes gegarandeerd.

Daar bestaat al software voor, die ook al gebruikt wordt in Nederland (ergens in Amsterdam dacht ik, VU of UvA). Het programma genereert 'waarschuwingen' voor inzendingen die inhoudelijk op elkaar lijken. Vervolgens kan de docent de betreffende documenten vergelijken en beoordelen of er echt sprake is van overschrijfwerk.

Bij vakken met veel studenten zijn er vaak meerdere docenten die werk nakijken, dus elke docent afzonderlijk ziet maar een deel van de ingeleverde documenten. In zo'n situatie kan het programma helpen om fraudegevallen te detecteren die docenten anders onmogelijk zouden kunnen spotten. Maar de eindbeslissing ligt wel bij de docent.

Verder denk ik dat dit soort systemen nooit waterdicht kunnen zijn. Zolang de eindbeoordeling bij een docent ligt is er dus niets aan de hand als hulpmiddel bij het studeren. Als je mooi ingeklede onzin probeert te verkopen, valt dat de docent als het goed is wel op.

Inmiddels wat oftopic:
Kan die kopienherkenner ook op internet speuren?
Dan wordt het pas echt interessant. Als je iets van een medestudent kopieert kan je er namelijk van uitgaan dat je tegen de lamp loopt, maar op internet is zoveel te vinden, dat op het moment een leraar heel hard op internet moet zoeken, wil hij een verslag dat van internet geplukt is, kunnen terugvinden op internet, zeker als de student de zinsopbouw hier en daar wat verandert heeft.

Jazeker. Ik heb hier een scriptie over gemaakt, waarin dit soort programma's wordt bekeken. Er bestaan diensten waarbij je een hele rits (bijv. hele klas) documenten kunt uploaden, waarna je vervolgens na een tijdje een resultaat krijgt. Zo'n dienst werkt op 2 manieren:

- vergelijken van de documenten onderling
- vergelijken van de documenten met een internetdatabase

Erg interessant, en veel geavanceerder dan even knippen-plakken in google ter controle...

Aan onze universiteit hebben ze daar ook een mooi voorbeeld van. Bij de practica object geöriënteerd programmeren gaan alle practica door een programma dat controleert of de programeerstructuren hetzelfde zijn. Ook checken ze met practica van vorige jaren. Heel effectief moet ik zeggen.
Maar controleren op fraude is natuurlijk nog iets heel anders dan beoordelen. Ik denk dat dit programma zijn nut heeft zolang het enkel als evaluatie voor de student zelf gebruikt wordt. Maar ik vrees dat er proffen gaan komen die gewoon die quoteringen gaat overnemen.
«  1  2  »

Op dit item kan niet meer gereageerd worden.

Volgende 16:26 Duidelijke uitleg over Hitachi's perpendicular recording
Vorige 11:48 Grens van 30.000 punten doorbroken in 3DMark03
VNU Media logo Hosted by True

© 1998 - 2012 Tweakers.net B.V. - Alle rechten voorbehouden - Contact - Jouw privacy - Algemene Voorwaarden

Uitgever van:

Website van het jaar 2011