Wetenschapsplatform ArXiv eist peerreview ict-papers na 'overspoeling' door AI

Wetenschapsplatform ArXiv voert de vereiste in dat ingediende teksten over ict eerst door mensen zijn gekeurd, bijvoorbeeld door publicatie in wetenschappelijke tijdschriften of presentatie op conferenties. Het publicatieplatform doet dit na overspoeling door AI-geschreven content.

Het open publicatieplatform, dat bekend staat als platform voor ongetoetste wetenschappelijke papers, voert hiermee in wezen de zogeheten peerreview in. Daarbij worden wetenschappelijke teksten van auteurs getoetst door andere wetenschappers of experts. Het gaat nu bij ArXiv om artikelen en papers in de categorie informatica. Dat wetenschapsveld is volgens het platform vooral getroffen door een stortvloed aan AI-geschreven documenten.

De nieuwe vereiste van eerst publicatie of presentatie moet menselijke controle invoeren voor materiaal dat ArXiv krijgt voorgelegd. De gedachte is dat redacties van wetenschappelijke tijdschriften en organisatoren van conferenties kritisch kijken naar de inhoud en auteurs van artikelen en papers. ArXiv verklaart zelf niet de middelen te hebben om kwalitatieve controle uit te voeren voor bepaalde soorten content: zogeheten reviewartikelen en positiepapers.

Volgens het platform zijn dat soort teksten nooit formeel benoemd als acceptabele types content. ArXiv stelt dan ook dat de expliciet uitgeschreven vereiste eigenlijk geen beleidsverandering vormt. Ondanks dat het gaat om teksten die ArXiv formeel niet accepteert, publiceert de site zulke content wel. Dit gebeurt naar inzicht van individuele moderators, legt het platform uit. Het zou hierbij gaan om een klein aantal artikelen en papers van hoge kwaliteit, die interessant zijn voor de ArXiv-lezers en de wetenschappelijke gemeenschap in het algemeen.

ArXiv is naar eigen zeggen de afgelopen jaren overspoeld met papers. De opkomst van generatieve AI heeft die stortvloed vergroot doordat het makkelijk en snel is om papers te schrijven met hulp van grote taalmodellen. Dit geldt volgens het platform vooral voor wetenschappelijke papers die geen nieuwe onderzoeksresultaten introduceren. De aantallen papers die mensen indienen voor publicatie op ArXiv zijn enorm toegenomen, vooral in de categorie informatica, stelt het platform.

Reacties (27)

[Jsteckel]

Important sidenote: dit is enkel voor review artikels of positie artikels, niet artikels met origineel werk, aldus de website van Arxiv zelf. Dit maakt het wel beduidend minder ingrijpend.

[FragFrog]

Om hier nog meer context aan te geven: de biomedische varianten hiervan, bioRxiv en medRxiv, accepteerden sowieso al nooit review artikelen. Op bluesky gaat Richard Sever (de oprichter van biorxiv) hier wat verder op in.

[Raindeer]

Ik heb er laatst al last van gehad. Reviewer was het niet eens met een analyse van me van een bepaalde ontwikkeling in telecom en citeerde een paper van Arxiv, waarin een ander (naar mijn mening verouderd) standpunt werd ingenomen. De auteur van de paper was oa een Franse intensive care verpleegster, van wie recent 5 papers over ICT waren verschenen en daarvoor jaren niets en iets van 10 jaar geleden co-auteur was van papers over intensive care zorg. Waarschijnlijk was haar account gehacked en werd het nu misbruikt voor het oppompen van het aantal citeringen van andere papers en auteurs.

Reviewer was toch enigszins verbaast toen ik uitlegde, waarom ik dacht dat het paper geen onderbouwing was van de kritiek.

[ErikT738]

Ik begrijp niet waarom een techniek met zo veel potentie op zo'n idiote manier wordt toegepast. Wat hopen die mensen hier mee te winnen? Valt er geld te verdienen met ArXiv?

[demianmonteverd]

Ik ken een recruiter die ook heeft gewerkt voor een partij die researchers nodig had voor AI. En ze zoeken dan op wie papers heeft geschreven. Het maakte niet uit of de paper klopte, referenties had, etc.. Ze gebruikten het gewoon om een lijst te maken met mensen die dan werden uitgenodigd om te solliciteren. Dus het maakt wel degelijk uit als je meer kans wilt maken op zo'n positie.

[ErikT738]

Het wordt dus gedaan om een systeem te bespelen wat uitermate zwak in elkaar zit. Duidelijk

[Niemand_Anders]

Normaal kost het geschrijven van een paper veel research en als uiteindelijk jouw paper wordt gepubliceerd dan wordt je al snel als expert gezien. Die positie kun je dan weer gebruiken om als consultant bij bedrijven binnen te komen.

Hoe kun je ervaring opdoen als iedereen in die positie minimaal 3 jaar relevante ervaring moet hebben. Je hebt dus een breekijzer nodig. Een developer zal bijvoorbeeld een aantal pull requests indienen bij een eental bekende open source projecten om ze compententies te kunnen aantonen.

Aan de andere kant, een persoon welke AI gebruikt om een paper te schrijven, kan vast wel een week besteden om te kijken naar low-code omgevingen zoals n8n of flowise en daarmee de output van AI te controleren en eventueel te verbeteren. Je moet alleen het werk opdelen in veel meer kleinere onderdelen.

Maar als je kijkt wat de huidige stand van AI slechts 2 jaar nadat ChatGPT 3 werd geintroduceerd, dan denk ik dat we over 3 jaar de AI content bijna niet meer zullen herkennen omdat de toolchain gewoon steeds beter wordt. Door AI zichzelf te laten controleren kun je hallicunaties tot een minimum beperken...

[Dekar]

Als jij een paper indient wat vaak wordt gequote, dan ben je helemaal de popiejopie in de academische wereld. Dus daar zal het mogelijk om gaan.

[AnonymousGerbil]

Niet alleen voor de "popiejopie".

Voor academische posities worden vaak eisen gesteld voor de bibliometrie nog voor dat er gekeken wordt naar zulke onbelangrijke (/s) zaken als de kwaliteit van de inhoud of de kundigheid van de persoon in kwestie.

Het heeft soms écht bizarre gevolgen, bijvoorbeeld dat voor sommige vacatures cijfertjes worden gevraagd waar veel vooraanstaande onderzoekers van het vakgebied niet eens aan voldoen, of dat een professor zijn naam op zó veel publicaties heeft staan dat men eraan kan twijfelen of hij de inhoud wel zelf goed heeft kunnen lezen.

[Reactie gewijzigd door AnonymousGerbil op 4 november 2025 16:16]

[DavidZnay]

Het hangt er wel een beetje vanaf wat je publiceert en in welk vakgebied. Een review-artikel krijgt vaak veel referenties, maar het is niet echt origineel onderzoek. Aan de andere kant heb papers die jaren niet gezien worden en dan opeens enorme impact blijken te hebben. Helaas kijken veel mensen wel gewoon naar de cijfertjes zoals de h-index zonder context.

[tw_gotcha]

niet als het niet peer-reviewed is. En het gaat er niet om of je een popiejopie bent. Onderzoek dat je niet publiceert en zich dan alleen in jouw kop bevindt heb je niet bijster veel aan. Dus het is een output waar je op afgerekend wordt.

[djwice]

De druk om te publiceren is hoog. KPI's op hoeveel je publiceert, minimaal n papers publiceren voor je promotie maakt, en pas een bepaalde functie krijgt of wordt aangenomen bij een onderzoeksinstituut bij minimaal x publicaties.

De druk zit vaak op de hoeveelheid en niet op de kwaliteit van de inhoud van de papers.

Dus als een paar papers maken met AI die geaccepteerd worden je een paar weken tijd kost en je zo wél een baan kunt krijgen ... Why not?

[Reactie gewijzigd door djwice op 4 november 2025 15:55]

[DavidZnay]

Het is een logisch eindstation voor een wereld waar kwantiteit en zelf-promotie boven kwaliteit gaat. Als promovendus en postdoc doe je eraan mee omdat je te maken hebt met een hoge werkdruk en onstabiele, relatief slecht betaalde contracten.

Ironisch genoeg toont onderzoek aan dat de impact, productiviteit en baanbrekendheid van onderzoek juist achteruit holt vanaf eind jaren 70. Dat was precies toen deze structuur langzaam maar zeker de standaard werd binnen de academische wereld.

[djwice]

Ja, gek eigenlijk. Iets met Parker denk ik. Zonde. Ik kom soms of een wetenschappelijk congres en kom dan onderzoekspresentaties tegen van dingen die 15 jaar eerder ook al gedaan zijn of dingen die ik zelf in een middag eerder dat jaar ook heb getest en onderzocht, zelfde conclusies. Dan denk ik soms waarom is dit het resultaat van een half jaar of soms langer?

[bwerg]

Ik heb verhalen gelezen over buitenlandse instellingen waar van bovenhand de opdracht kwam dat afdelingen X publicaties per jaar moeten hebben. Kwantiteit over kwaliteit. Dan krijg je dit soort onzin vanzelf.

Bij onderzoekssubsidies zijn er ook tig keer meer aanvragen dan dat er geld beschikbaar is. Daar zit wel een review-proces aan vast, maar niet geschoten is altijd mis: waarom maar niet gewoon heel veel rommel insturen als dat toch geen moeite kost?

Nou hoor je op een Nederlandse onderzoeksinstelling (een beetje afhankelijk van je positie) ook te publiceren, maar zo stom om gewoon harde kwantiteit te eisen zijn ze hier doorgaans niet, en je komt in ieder geval niet weg met wat AI-gegenereerde spam. Desondanks is meer publiceren natuurlijk altijd beter, en de werkdruk is hoog.

[denios]

Ja.

Er is heel veel fraude dmv AI geschreven artikelen, op basis waarvan bijvoorbeeld grants/wetenschappelijke subsidies worden verleend.
Soms worden echte wetenschappers onterecht vermeld om het echt te laten lijken, soms verkopen bestaande wetenschappers hun naam om zoveel mogelijk publicaties op hun naam te krijgen en op te vallen in hun veld.

Zie ook de videos van Sabine Hossenfelder op YouTube over deze problemen en hoeveel het wel niet op kan leveren.

[fruitbakje]

Ik ken ArXiv helemaal niet. Wat is de waarde van publicatie daar als er überhaupt nooit gereviewed werd? Ook mensen zelf kunnen (of konden) troep insturen toch? Ook als reactie op Dekar in 'Wetenschapsplatform ArXiv eist peerreview ict-papers na 'overspoeling' door AI', hecht men in de academische wereld waarde aan publicaties die nooit zijn gereviewed? Als in, een ingezonden brief in de Libelle wordt nog gereviewed, maar ik zou zelfs daar geen waarde aan hechten haha.

Vroegâh, in mijn tijd, keken we of een artikel gepubliceerd was in een Q1 of Q2 journal. Misschien Q3, maar Q4 was vaak al een beetje meh. Iets wat niet gereviewed werd, waarom zou je daar überhaupt naar kijken... Maar ik zat niet in de IT-kant.

[raptor695]

Even vanuit mijn kant als doctor in de AI, waarbij ik dus veel gebruik heb gemaakt van ArXiv.

Wat is de waarde van publicatie daar als er überhaupt nooit gereviewed werd?

Ik snap je sentiment; dat maakt ook dat ik hiermee publicaties met een bepaald scepticisme bekijk.
Langs de andere kant biedt het platform wel een snelheid aan die de andere platformen met peerreview (bijvoorbeeld IEEE Access/Transactions/..., MDPI, ScienceDirect, etc.) niet hebben, mede doordat deze peerreview + publicatie vaak aanzienlijke tijd vereist. Soms spreken we zelfs van een doorlooptijd van een jaar.

In de wereld rond ICT, en dan vooral op vlak van AI, gaat de ontwikkeling ontzettend snel; waar in week X een verbetering van een algoritme gelanceerd wordt, zal dit in week Y inmiddels overtroffen zijn. Als je daarin meewil, ga je met een aanzienlijke snelheid je publicatie online moeten zetten. Als je dan doorheen de molen van peerreview moet gaan, dan verlies je al snel tractie.

Toch is het zeker niet exclusief. Wat vaak gedaan wordt, is je eerste draft alvast op ArXiv plaatsen (voor visibiliteit en snelheid), en tegelijk insturen naar een platform met peerreview. Wanneer je als onderzoeker dan feedback terugkrijgt van de reviewers, kan je je manuscript aanpassen met deze feedback. Deze nieuwe versie kan je dan opnieuw uploaden op ArXiv - dit komt online ook zichtbaar als nieuwe versie dezelfde publicatie. Ook platformen zoals OpenReview (gebruikt door onder meer wereldconferenties zoals ICML) maken gebruik van ArXiv, zowel voor de manuscripts als de reviews. Voor de volledigheid kan zelfs de "camera-ready" (aka. de finale, klaar-voor-publicatie-versie) ook op ArXiv gezet worden, waardoor de hele reviewmolen zichtbaar is.

Als laatste lost dit dan ook bovengenoemd scepticisme deels op. Wanneer ik een publicatie op ArXiv tegenkom, en tegelijk zie dat deze al reeds (positief) gereviewd of geaccepteerd is, dan kan dit al een beter beeld vormen van de publicatie en zijn kwaliteit. Voor het citeren van werken prefereer ik inderdaad werken die op de andere platformen gepubliceerd zijn, vooral omdat deze je eigen werk ook ondersteunen in kwaliteit. Maar voor inspiratie of meten van snelheid in het domein is ArXiv bijna de standaard.

[jansenpam]

Studies zijn tegenwoordig een stuk uitgebreider dan vroeger. In mijn vakgebied kon je een prima paper scoren is Q1 van ons vakgebied door een willekeurig gen nader te onderzoeken. Functie erbij, bij voorkeur ook nog een ziektebeeld, en je was al een heel eind.

De voornaamste reden dat wij soms onderzoek al 'voor'-publiceren is om scoops vóór te zijn. Maar er zijn vast meer valide redenen om je data alvast publiekelijk te maken.

[Reactie gewijzigd door jansenpam op 4 november 2025 16:25]

[fruitbakje]

Ja zoiets dacht ik ook. Maar dan laat je je artikel ergens anders dus alsnog peerreviewen.
Ik zit even te bladeren en ik zie inderdaad een aantal artikelen die ergens anders gereviewd zijn.

[jansenpam]

Inderdaad. Ons doel is om ons werk altijd in een peer-reviewed blad te krijgen.

[MarkHart]

Ik ken ArXiv helemaal niet. Wat is de waarde van publicatie daar als er überhaupt nooit gereviewed werd?

Voor mijn vakgebied, machine learning: ArXiv is 90% slecht, maar top tier conferenties zijn 70% slecht. Uiteindelijk kan je toch niet goed doorbouwen op de methodiek zonder er zelf nog eens kritisch naar te kijken, dus daarmee is ArXiv de belangrijkste bron van papers geworden. Groot voordeel van ArXiv is dat de papers daar maanden eerder gepubliceerd worden.

Een goed idee komt vanzelf naar boven en een stuk eerder als de drempel om het te delen weg is.

Overigens is machine learning zo'n chaos dat ik weleens tweets als referentie tegenkom in oprecht goede papers, bijvoorbeeld: https://arxiv.org/abs/2502.16982

[Reactie gewijzigd door MarkHart op 5 november 2025 17:51]

[blackSP]

Ik denk dat je je even moet verdiepen in een van de belangrijkste publicaties platforms, zo niet het belangrijkste, voordat je commentaar geeft. Ik snap dan ook je +2 niet.


De eerste DuckDuckGo response geeft je voldoende inzicht (denk ik).

https://mindthegraph.com/blog/nl/wat-is-arxiv/

[trick2011]

in mijn veld is het vooral IACR eprint maar sommige dingen komen ook op ArXiv terecht

het zijn veelal versies die ergens anders gepubliceerd zijn maar op archive als een preliminary work of uitgebreider gepresenteerd worden. Zo komt het eerder of breder online en is het vrijer verkrijgbaar dan de dure distributeurs met de rechten op de gereviewde versies.

[Dekar]

En maar goed ook. AI zal werk van zichzelf gaan quoten, en door ingeslopen foutjes alleen maar slechter en slechter worden.

AI heeft een bias naar bepaalde vraagstellingen, omdat de AI eender de gebruiker wil paaien, dan een echt correct antwoord geven.

[JSDJ]

Het is ook nog van toegevoegde waarde te weten dat er al een beetje quality control op arxiv.org zit.

Namelijk: niet iedereen kan zomaar een paper (vaak 'preprint' genoemd) op arxiv.org zetten: ten minste één van de auteurs van de paper moet al een paper op arxiv.org hebben staan*. In de praktijk is dat vaak de professor/een postdoc van je vakgroep, of een meer senior onderzoeker binnenin je werkomgeving.

Het is daarnaast over het algemeen altijd het doel om een paper geplaatst op arxiv.org ook te sturen naar een conferentie/journal voor peer review - vaak 'telt' de paper dan pas (na eventuele verbeteringen e/o aanpassingen).

*Niet iedereen is het overigens eens met die regel: de website vixra.org is een alternatief op arxiv.org waar deze regel niet van toepassing is. Dit alternatief wordt overigens nagenoeg niet gebruikt in 'officiele' universiteiten, onderzoeksgroepen e.d.; ik ben ook van mening dat de kwaliteit van artikelen op vixra.org significant lager is dan de gangbare arxiv.org.

[Piemol]

Dit artikel en de reacties deed mij direct denken aan de Alan MacMasters hoax.
Toen nog als grap bedoelt door studenten met 10 jaar aan verspreiding van nepnieuws tot gevolg.
Er staat ons nog een hoop ellende te wachten als er niet opgelet wordt.