Google fikste in twee Chrome-versies meer bugs dan in 23 eerdere versies samen

De opkomst van llm's leidt ook bij Google tot een gigantische stijging in het aantal bugrapportages. Google repareert volgens eigen zeggen ook meer bugs dan ooit tevoren. In de recentste twee Chrome-updates verhielp Google meer bugs dan in 23 eerdere Chrome-versies.

Google schrijft in een blogpost dat het sinds begin dit jaar een stijging ziet in het aantal meldingen van securityonderzoekers. In maart van dit jaar ontving Google al meer bugbountyaanmeldingen voor Chrome dan in heel 2025. Die stijging houdt ook niet op, zegt het bedrijf.

Die stijging is toe te schrijven aan llm's, zegt Google. Maar die llm's helpen het bedrijf ook bij het verhelpen van bugs.

Dat is te zien in het aantal bugfixes voor Chrome. In Chrome 149 en Chrome 150, de recentste twee updates voor de browser, repareerde Google 1072 bugs. Dat zijn er meer dan in de 23 Chrome-versies sinds Chrome 126 bij elkaar.

Triage

Google zegt dat AI vooral helpt met het triageren van securitymeldingen. Het kostte vroeger nog vijf tot dertig minuten om één bug op waarde te schatten. Dat proces gebeurde nog grotendeels handmatig. Google zegt dat het AI inmiddels inzet voor het grootste deel van het triageproces. Een AI-model filtert eerst spammeldingen en duplicaten uit het systeem. Daarna reproduceert het model bugs op basis van een proof-of-concept, voegt metadata toe en stuurt de melding dan door naar de verantwoordelijke programmeur. Dat proces 'scheelt honderden uren ontwikkelaarstijd per maand', zegt het bedrijf.

AI is vloek en zegen

AI is voor de meeste softwarepakketten zowel een vloek als een zegen. llm's zorgen bij veel opensourceprojecten voor een stijging in het aantal bugmeldingen. Het zijn er zelfs zoveel dat veel kleine projecten de stroom niet meer aankunnen. Tegelijkertijd tonen bedrijven als Google ook aan dat AI hen juist kan helpen bugs snel op waarde te schatten of ze op te lossen.

Reacties (6)

[brainsalad]

Misschien domme vraag, maar is met de huidige ontwikkelingen in KI mogelijk om bijvoorbeeld een browser te downloaden waar geen bugs meer inzitten?

[CyberThug]

Goede vraag. Nee, ik denk niet dat de huidige modellen en tooling als in staat is om bugvrije software te maken. Bugs detecteren en veel sneller oplossen is wel.mogelijk. Is dit een antwoord op je vraag?

[virtualpimp]

Juist een goede vraag, maar het antwoord is nee, en dat ligt niet aan AI. Bugvrij bestaat wel, maar alleen bij hele kleine, bevroren stukken software waar iemand jaren aan bewijsvoering heeft besteed. De seL4-kernel is zo'n geval, een paar tienduizend regels code en een berg wiskunde eromheen. Chrome is tientallen miljoenen regels, praat met elk willekeurig apparaat op internet en verandert elke week. Zodra je iets toevoegt vervalt het bewijs en begin je opnieuw.

Daar komt bij dat je alleen kunt bewijzen dat code doet wat de specificatie zegt. Staat er iets doms in die specificatie, dan is de code aantoonbaar correct en het gedrag alsnog fout. Dat vangt geen enkel model voor je af.

Turing bewees dat je geen programma kunt schrijven dat van willekeurige code bepaalt of die ooit stopt. Rice heeft dat later veralgemeend.

Wat je in dit nieuwsbericht ziet is dan ook niet minder fouten, maar sneller vinden. Die 1072 bugs zaten er vorig jaar ook al in, alleen keek er niemand.

[brainsalad]

Dank voor de antwoorden. Als bug vrij dan niet mogelijk is, kan het door het versnelt vinden van bugs zo zijn dat je bijvoorbeeld een browser software kan schrijven bugs vindt en bug vrij benaderd (niet helemaal, maar nadert). Of is het zo dat je altijd zelfde aantal bugs per periode vindt?

[markoverklift]

@brainsalad Software zoals deze "leeft". Het is niet een statisch stukje code dat in de eeuwigheid bevroren is. En met elke standaard, optie, uitbreiding en wens die geïmplementeerd wordt is er een mogelijke stortvloed aan bugs die komen. Want alles communiceert met, kruist en combineert met elkaar. Complexere materie zorgt voor complexere code en complexere code is veel moeilijker te testen. Want je test als gebruiker. Maar elke gebruiker heeft z'n eigen manieren. Zolang die testers langer op het programma zitten zullen ze de bedoelde paden steeds meer volgen en zullen ze dus onbedoelde bijkomstigheden steeds moeilijker detecteren. En dan krijg je dus bugs die dus nooit zijn ontdekt, die mogelijk wel verstrekkende gevolgen hebben.

[Roel1966]

Er zitten 2 kanten aan dit verhaal namelijk of dat Google dan goed bezig is door dan in de laatste 2 versies meer bugs te fixen dan in 23 eerdere versies. De andere kant kan zijn dat Google met de pet er naar gegooid heeft bij die andere 23 versies.

Dus ja of dit nu zoveel zeggend is vraag ik mij wel af.