Curl overweegt bugbountyprogramma aan te passen vanwege overdaad aan 'AI-slop'

De makers van curl overwegen te stoppen met het bugbountyprogramma vanwege het grote aantal rapportages dat 'AI-slop' bevat. De makers zeggen dat het aantal slechte bugmeldingen sinds dit jaar explosief is gestegen en dat dat veel werk kost en weinig oplevert.

Daniel Stenberg, de hoofdontwikkelaar van curl, beklaagt zich in een blogpost over het aantal meldingen dat in het bugbountyprogramma binnenkomt dat door AI lijkt te zijn gegenereerd. "De algemene trend in 2025 is dat er veel meer AI-slop binnenkomt dan ooit eerder", schrijft hij. Zo'n twintig procent van alle meldingen die dit jaar binnenkwamen, lijkt door AI te zijn gegenereerd, zegt Stenberg. Daarbij komt ook een hele reeks meldingen van 'echte mensen' die kwalitatief eveneens minder goed zijn. Dat zijn meldingen waarvan niet direct duidelijk is dat de rapportage door AI is gemaakt, maar waarover de makers wel een vermoeden hebben.

Het aantal meldingen dat door AI wordt geschreven, betekent ook dat het aandeel valide beveiligingsrapportages sterk daalt. In de eerste twee weken van juli ging het volgens Stenberg voor die laatste groep om slechts vijf procent van alle meldingen.

Stenberg en het team heroverwegen daarom wat ze willen doen met het bugbountyprogramma. Dat bestaat sinds 2019. Sindsdien zijn er 81 beveiligingsproblemen opgelost naar aanleiding van meldingen, waarvoor curl 90.000 dollar uitkeerde aan beloningen.

"Hoewel we geen overhaaste beslissingen nemen of in paniek zijn, zijn er wel genoeg redenen om onze aanpak te heroverwegen", schrijft Stenberg. Dat zou bijvoorbeeld kunnen zijn dat er geen beloning meer wordt uitgekeerd. Stenberg zegt dat 'in de rest van het jaar te willen evalueren'. Hij spreekt dan specifiek HackerOne ook aan, het platform dat curl gebruikt voor bugbounty's.

Curl is een veelgebruikte tool om dataoverdracht tussen verschillende protocollen mogelijk te maken en bijvoorbeeld informatie op te halen van websites via de commandline.

Reacties (33)

[bantoo]

Er moet een soort van strafmaatregel zijn voor mensen die je ongevraagd AI gegenereerde rotzooi opsturen. Waarschijnlijk hebben deze mensen zelf vaak niet door hoe veel tijd ze van een ander verspillen door zichzelf wat tijd te besparen maar het is wel erg irritant. Op z'n minst labelen dat iets AI genereerd is zou een begin zijn.

Sociale afwijzing is op dit moment het enige wat we hebben om AI spam proberen te vermijden maar dat werkt niet bij dit soort programma's waar er wat te verdienen valt aan het opsturen van AI output.

[The Zep Man]

Er moet een soort van strafmaatregel zijn voor mensen die je ongevraagd AI gegenereerde rotzooi opsturen. Waarschijnlijk hebben deze mensen zelf vaak niet door hoe veel tijd ze van een ander verspillen door zichzelf wat tijd te besparen maar het is wel erg irritant.

Anderen straffen omdat ze mijn tijd verspillen? Oh, wat zou dat een geweldige wereld zijn. Ik zou zo multinationals failliet kunnen laten gaan...

[bantoo]

Eindelijk een reden om blij te worden van marketing emails ;)

[IlIlIllII]

Ik denk dat het probleem in rotzooi opsturen an sich zit. AI is slechts een middel om dat doel snel en makkelijk te bereiken. Op YouTube zie je soortgelijke problemen met valse DMCA claims en personen die onterecht een video offline laten halen of de AdSense inkomsten naar zichzelf proberen te trekken. Dat systeem op YouTube is veelal geautomatiseerd en geeft in eerste instantie vaak toe aan de persoon/instantie die de DMCA claim maakt, ook al is deze wellicht vals.

Bij curl is dat uiteraard niet veel anders. Meerdere domme/valse bug reports maken met AI en hopen dat je misschien één keer beet hebt. Het voordeel van curl is dat alles met de hand wordt nagekeken en dat AI slop herkend en afgekeurd wordt. Bij giganten zoals YouTube is dat uiteraard lang niet altijd zo, met alle gevolgen van dien.

[SPee]

Het is lastig. Aan de ene kant wil je wel input hebben van anderen om fouten op te sporen. Maar je wilt ook niet onnodig werk doen. En doordat het een bountyprogramma is dat geld oplevert, krijg je input van mensen die gewoon op zoek zijn naar geld.

Je kan zeggen; dan maar geen geld. Maar dan krijg je gelijk ook een stuk minder meldingen binnen.

Of wat je kan doen is dat men moet betalen (een borg of lage fee) zodat je die mensen op zoek naar geld niet meer krijgt. Maar ook daarmee haken ook andere melders af en krijg je minder input.

De vraag is: welke optie is levert de meeste input op en de minste kosten?
Als je dat antwoord hebt. Ik denk dat er veel bedrijven of open source programma's dit graag zouden willen overnemen.

[faxityy]

Om dan even de advocaat van de duivel te spelen, vanaf wanneer ga je bepalen of iets een AI label zou moeten krijgen?

In een wereld waar AI voor ofwel 100% ofwel 0% gebruikt wordt lijkt me zoiets doenbaar, maar wat met alles in het midden. Ik heb vaak genoeg dat ik AI in de code gebruik om snel wat apenwerk voor me te doen, AI geeft daar dan soms wel een touch aan die ik zelf niet zo gedaan zou hebben maar wel OK voor me is. Als dan 10% van de code daardoor AI beïnvloed is, of misschien 40% of 80% van de code. Op welk punt wordt het dat AI label waardig?

[bantoo]

Als je mij die code zou sturen en er AI gegenereerde delen in zitten waar je niet 100% vertrouwen in hebt of waar het voor de lezer lijkt als of het AI output is. Dat is in ieder geval wat ik persoonlijk graag zie van iemand die mij iets opstuurt. Dit hangt er allemaal ook sterk van af wat voor vertrouwensband je hebt met iemand die je iets toestuurt. Het is nogal persoonlijk.

[bzzzt]

Of je laat het beoordelen van inkomende beveiligingsmeldingen over aan een AI bot...

[jj71]

Ik denk niet dat het een kwestie is van niet door hebben hoeveel tijd ze van een ander verspillen, maar dat het eerder gewoon uitproberen is of ze hiermee op een makkelijke manier van de makers van software geld kunnen krijgen.

Moedwillig misbruiken dus, alleen maar om te kijken of ze daarmee makkelijk geld kunnen verdienen.

[sh4d0wman]

Zonder AI kwam dat ook wel voor, met name uit een bepaalde regio.... Nu kunnen ze alleen veel sneller nog meer troep "vinden" in de hoop een paar centen binnen te krijgen. Het is lastig te bestrijden. Reputatie is ook niet zo nuttig, soms doe ik maanden niks op H1 en dan daalt het gelijk. Maar in de tussentijd werk ik dan aan andere bounties.

Zelf lever ik altijd een PoC aan zodat men snel kan verifieren dat de vulnerability inderdaad exploitable is. Meestal scripted dus ze hoeven alleen de software te installeren en het script af te trappen om het resultaat te zien. In de H1 melding staan dan details + mitigation vermeld. Dit werkt bij de meeste vendors redelijk soepel.

[danmark_ori]

Imho allemaal (gevolg van) de kinderziektes van Ai. Hoe kijken we hier straks, zeg 10, 20 jaar later op terug ...

[Klauwhamer]

Dit heeft m.i. niets met kinderziektes van AI/LLM te maken, maar met mensen die tooling gebruiken zonder dat ze daar voldoende onderlegd voor zijn en een 'quick buck' willen maken, zonder interesse te hebben in wat ze daarmee aanrichten. En dat is zo oud als de weg naar Rome en dat zal ook over 10 of 20 jaar zo zijn, dit 'soort'. Mogelijk met andere middelen en methodes.

[bwerg]

Dit inderdaad. Al voor de hele LLM-gekte bestond er al tooling om je software op security vulnerabilities te monitoren. Hoe vaak iemand daar wel niet iemand voorbij kwam die even 200 onzin-vulnerabilities aanmaakte die diegene had gevonden met een geautomatiseerde scanning-tool...

Driekwart van de tijd iets als "Als ik deze functie aanroep met een parameter die een referentie naar zichzelf heeft dan blijft die functie hangen, dus dat is een denial-of-service!". Euh, ja, roep die functie dan niet aan met zo'n parameter... Dat is pas een vulnerability als je redelijkerwijs kan verwachten dat een eindgebruiker dat effect kan veroorzaken, maar dat ziet die scanning-tools natuurlijk niet, want daarvoor moet je nadenken en misschien de documentatie lezen.

[danmark_ori]

Nou . . . je neemt Ai (LLM is toch echt even wat anders) wel meteen in bescherming. De gebruiker is de schuld, toch? Is het dan dom om bij gemeend eigenbelang (sec, ego) whatever middel in te zetten in een kans op succes? Gezien er geen sancties zijn voor zover ik weet. Who cares: iedereen gaat toch voor het eigen belang, of het nu kleine spelers (individuen) of grote spelers (bedrijven, overheden) zijn.

En dan nog iets: hoe intelligent is Ai als het veronderstelt dat de gebruiker óók intelligent is?

Daarom kom ik terug op waar ik mee begon. Dit is nog prille techniek. Zal straks, zal later blijken. Geloof me.

[Klauwhamer]

LLM is een toepassing van generatieve AI. Daar is de kous wel mee af.

Ook neem ik helemaal niets in bescherming, ik geef aan dat dit een specifieke demografie is die er altijd zal zijn en dat dit niet zoveel te maken heeft met de methode en middelen die men aangrijpt. Je bent een beetje lastig te volgen maar een gebrek aan sancties maakt het nog niet zonder gevolgen. En die gevolgen hebben weldegelijk nadelig effect voor de ontwikkelaars van curl in dit geval. Dus ja, iedereen die iets met ontwikkelwerk te maken heeft en ziet wat het effect is, caret.

Dat de technologie nieuw is en gigantische sprongen gaat maken -- wellicht in orde van grootte als waar Prometheus voor gestraft werd -- is evident.

[uiltje]

Dat je rekening moet houden met dit soort problemen is evident. Maar het is wel degelijk zo dat LLM's beter worden, bijvoorbeeld door zichzelf te staven. Dat zie je voor je ogen gebeuren als je een trager model neemt bij ChatGPT die meer op onderzoek berust is. Door hoe een LLM in elkaar zit zal hallucinatie volgens veel mensen nooit helemaal verdwijnen, maar het is wel degelijk mogelijk om ze een stuk beter te maken.

Dat bijvoorbeeld een LLM zelfs een citatie kan hallucineren is natuurlijk op te lossen door bijvoorbeeld alleen citaties te maken door middel van copy paste met een gelieerde tool die de LLM kan inzetten. Dat dat nu nog niet altijd gebeurd noem ik wel degelijk een "kinderziekte".

Ik zie een initiele post van @danmark_ori waarin gesteld wordt dat dit allemaal een gevolg is van kinderziektes. Dat doet bij mij te veel af aan de inherente problemen van LLM's. Ik zie nu van jou een post waarin je zegt dat het niets met kinderziektes te maken heeft, wat ik hierboven heb ontkracht naar mijn mening. Jullie hebben allebei een beetje gelijk: er zijn kinderziektes en ja, je moet rekening houden met wat een tool kan procuceren.

Iets minder "alles of niets" denken graag.

[danmark_ori]

imho wijze woorden

[Klauwhamer]

In het geval van curl -waar dit allemaal om gaat- wordt in de blogpost een berg voorbeelden gegeven waaruit blijkt dat de output van AI/LLM niet wordt begrepen door schobbejakken die niets van (curl-)code of de output van AI/LLM begrijpen. Maar het ziet er "serieus" uit voor de leek en die copypastet het als CVE en daarmee curl-ontwikkelaars opzadelt met onnodig werk. De ontwikkelaars van curl doen voor hoe het hoort door te toetsen en tot de conclusie te komen dat het n00bs zijn die een quick buick willen maken en zich daarmee schuldig maken aan CVE-poisoning in het kader van "niet geschoten is altijd mis".

Je hebt dus helemaal niets ontkracht en het heeft helemaal niets te maken met "alles of niets"-denken. Stop maar met jezelf op de schouder kloppen, maat.

[Reactie gewijzigd door Klauwhamer op 17 juli 2025 19:43]

[do_sch]

een beetje zoals op de veel andere technologieën; goh wat brengt het ons een hoop gemak en wat fijn dat de nadelen/externaliteiten (uitbuiting, copyright schendingen, CO2 uitstoot, waterverbruik, verspilde tijd van developers etc. etc.) ergens anders terecht komen.

[watercoolertje]

Imho allemaal (gevolg van) de kinderziektes van Ai.

Imo vooral de hebberigheid van mensen gezien die het insturen, die denken makkelijk geld te verdienen door een (nog gebrekkige) AI te laten grazen in de code.

[Reactie gewijzigd door watercoolertje op 16 juli 2025 13:34]

[DdeM]

En niet vergeten dat ze ook aardig aangespoord worden door menig (big tech) CEO

[kdekker]

Een leeftijdscheck en een intelligentietest om AI te mogen gebruiken. Dat is natuurlijk gekkigheid, maar de smartphone is al verboden in het voortgezet onderwijs, Voor gebruik AI in het WO al oproepen zijn gedaan om het niet, of slim te gebruiken.

Ergens lijkt dit op script-kiddies die met tooling DDOS aanvallen of ransomware de deur uitkrijgen. Al wordt de grens met criminaliteit dan vager (als het bewust om schade aanrichten, geld en chantage gaat), maar de gemeenschappelijke noemer is dat krachtige(r) tools met meer risico en impact van misbruik is. Als je dat combineer met luiheid en hebzucht dan is dat een vervelende combinatie die wellicht onweerstaanbaar is (en het is net wat anders dan youtube influencer te zijn, net iets minder BS).

Vroeger stond bij sudo: great power comes with great responsibilities (als ik me goed herinner).

[locke960]

Een leeftijdscheck en een intelligentietest om AI te mogen gebruiken. Dat is natuurlijk gekkigheid, ....

Volledig off-topic: Zo gek vind ik dat niet. De belangrijkste vaardigheid die kinderen moeten leren is "je hersenen gebruiken" (leren te leren, logisch nadenken, redeneren, etc).

Vraag het aan leraren. Er is geen leerling die AI gebruikt voor 'onderzoek'. Het is allemaal copy/paste van de opdracht en klaar. Zo leer je je hersenen niet gebruiken en van het onderwerp zelf blijft natuurlijk helemaal niets hangen.

Ook onderzoeken komen met resultaten die op wijzen op negatieve gevolgen van AI gebruik, niet alleen cognitief maar ook sociaal. Dat bewijs is allemaal nog niet waterdicht, want dat kost veel meer tijd, maar het lijkt me genoeg om het idee van een leeftijdsgrens serieus te nemen.

[The Zep Man]

Meer meldingen onderzoeken kost meer middelen. Dat zou niet erg zijn als de meldingen terecht zijn. Vooralsnog lijkt het erop dat alleen het aantal onzinmeldingen (van AI en van mens) sterk groeit en niet de meldingen met daadwerkelijke kwetsbaarheden. Naast het verspillen van middelen bestaat ook de kans dat kwetsbaarheden ondergesneeuwd raken omdat er minder ruimte is voor diepgaand onderzoek per melding. De kans op false negatives (juiste meldingen die als onterecht worden geoormerkt) wordt daarmee groter.

[Reactie gewijzigd door The Zep Man op 16 juli 2025 13:35]

[Blizz]

Het kan quick and dirty worden opgelost door voor indieners die niet op een allowlist staan (bv. bekende namen, mensen die geaffilieerd zijn bij een allowlisted instelling, mensen die dit werk al langer doen etc.) een geldbedrag of iets anders als onderpand te vragen bij het indienen dat na onderzoek wordt teruggekeerd, tenzij het dus 'AI-slop' betreft. Zowel serieuze meldingen blijven dan binnenkomen als meldingen van betrouwbare bron.

Het probleem lijkt te liggen bij bugbountyplatform HackerOne dat volledig verrast lijkt te zijn door dit probleem, terwijl iedereen kan begrijpen dat als elk schoolkind 'AI-slop' kan indienen, een bugbountyprogramma daar ook door overspoeld kan worden. Blijkbaar kun je daar niet vereisen dat een account x jaar bestaat en x hoeveelheid aan score/reputatie heeft, wat ik ook begrijp vanuit het platform omdat je dan het CV-probleem van x jaar ervaring nabootst, en ik vraag me ook wel af waarom ze door LLMs verrast kunnen worden.

Ik heb ergens het vage vermoeden dat ze blauwe verified vinkjes zullen introduceren en al dan niet tegen betaling daarop toestaan te filtreren, dat lijkt wel de populairste uitvinding van Twitter te zijn die online overal te vinden is.

[The Zep Man]

Het kan quick and dirty worden opgelost door voor indieners die niet op een allowlist staan (bv. bekende namen, mensen die geaffilieerd zijn bij een allowlisted instelling, mensen die dit werk al langer doen etc.) een geldbedrag of iets anders als onderpand te vragen bij het indienen dat na onderzoek wordt teruggekeerd, tenzij het dus 'AI-slop' betreft.

Wordt genoemd door de ontwikkelaars. Een probleem daarbij is dat je een betaalinfratructuur daarvoor moet opzetten en geldstromen moet beheren, met alle kopzorgen die daarbij komen. Daar hebben de ontwikkelaars van cURL zelf (terecht) geen zin in. Voor H1 is het ook niet iets dat ze zo even opzetten.

Wat zoiets voor H1 lastig maakt zijn de meldingen die onterecht als AI-slop worden geoormerkt. Hacker is zijn geld kwijt, H1 krijgt een slechte naam, bedrijf met open bug bounty programma voelt geen (directe) nadelen maar heeft er wel voordeel bij.

[Merik]

Dat ga je wel krijgen uiteindelijk en is ook precies waarom ze er niet blij mee zijn.

Ik heb vanochtend de bug reports eens doorgelezen, maar bij bijna alle bugs is geen proof-of-concept er wordt alleen gezegd 'bij bepaalde omstandigheden is er een bug' maar wat voor omstandigheden Jan mag het weten. Terwijl een deel van de bug-reporters vragen daarover negeren, maar wel gewoon om geld gaan zitten roepen.

[hcQd]

Mensen laten betalen voor het doen van een melding, krijgen ze wel weer terug als het daadwerkelijk om een probleem gaat.

[SPee]

Maar wat als iemand een fout heeft gemaakt in zijn onderzoek, maar wel oprecht was. Is die dan ook zijn geld kwijt? Wordt die dan net zo gestraft als iemand die met een LLM een melding maakt? Dan haken mensen toch af, omdat ze dat risico niet willen lopen.

[Blorgg]

Dan haken mensen toch af, omdat ze dat risico niet willen lopen.

Dat zou dan alleen maar goed zijn. Dit gaat om het bug bounty programma waar mensen betaald kunnen krijgen voor het vinden van echte bugs maar wat nu voor iedereen wordt verpest met AI slob. Dat is toch echts iets anders dan de issue tracker op de Github pagina van curl.

Iedereen kan gewoon issues openen op github. En als men denk echt een vette bug te pakken te hebben dan kunnen ze die inleveren voor de bug bounty. Als daar dan een bescheiden pay-wall op zit dan zou dat voor serieuze contributies weinig problemen opleveren denk ik. Dit zou ik een beetje zien als een euro stoppen in een winkelwagentje. Ineens is de meerderheid van de mensen bereid om hun karretje netjes terug te brengen. Maar zonder die bescheiden pay-wall laat iedereen z'n karretje overal maar slingeren en worden ze massaal gestolen.

[downtime]

Dan krijg je gewoon geen meldingen meer. Veel meldingen zijn gevolg van een vermeend probleem waar de developer het niet mee eens hoeft te zijn. Dat kan gewoon een verschil van mening zijn. Maar dan kun je je geld dus ook gewoon kwijt zijn.

[Cbr]

Vijftig cent zal de ergste rotzooi wel filteren (de zonder menselijke tussenkomst opgestuurde rapporten). Wat toch 20% is van wat er nu binnenkomt.

[DeTeraarist]

Dit komt bij heel veel projecten voor. Bug rapports die nergens over gaan, over code die niet in het project voorkomt of dan komen ze met een stukje code wat de AI heeft uitgespuugd, maar in het project zelf er heel anders uitziet.

Ik kan het ze niet kwalijk nemen.