Meta's AI-tool heeft nauwkeurigheid van 42 procent bij probleemdetectie

Meta heeft een nieuwe AI-tool geïntroduceerd die bij onderzoeken naar systeemstoringen helpt met oorzaakanalyses. Uit tests blijkt dat de tool een nauwkeurigheid van 42 procent heeft bij het identificeren van oorzaken van problemen.

Meta gebruikt bij onderzoeken naar systeemstoringen een combinatie van heuristiek en rangschikking op basis van grote taalmodellen om oorzaakanalyses te maken. Heuristiek houdt in dat wordt geleerd om langs methodische weg naar oplossingen te komen. Dit blijkt vaak effectief, maar biedt niet gegarandeerd altijd de beste oplossing. De op heuristiek gebaseerde retriever wordt gebruikt om de zoekruimte te verkleinen van duizenden naar honderden wijzigingen van code. Nadat de zoekruimte is verkleind, wordt een groot taalmodel gebruikt om de hoofdoorzaak te achterhalen.

Volgens Meta is het systeem in 42 procent van de gevallen accuraat bij het opsporen van de hoofdoorzaken van problemen met de 'web-monorepo', een grote, geïntegreerde codeopslag. De tool is volgens Meta nuttig omdat elk systeemonderzoek uniek is. Door gebruik te maken van AI, wordt het onderzoeksproces versneld en kunnen technische teams sneller beslissingen nemen.

Reacties (34)

[Boxman]

Is dit hoog? Is dit laag? Wat is de succesrate van een storingsmedewerker? Hoeveel tijdsbesparing levert dit op, if any, met inbegrip van het achternazitten van die andere 56%?

Zo'n metric zegt zo weinig als er niet bij wordt vermeld wat de baseline is.

[Reactie gewijzigd door Boxman op 22 juli 2024 18:37]

[Marctraider]

Dit percentage is nog lager dan een stuiver gooien met kop of munt. Totaal nutteloos dus.

[DigitalExorcist]

Maar bij een stuiver met kop of munt heb je maar 2 opties. Als je 42% van álle mogelijke systeemstoringen kan tackelen zijn het er misschien nog steeds heel veel.

[Honytawk]

De rand is ook een optie.

[Rexus]

Stel het zijn zeer complexe systemen.
Dan heb je nu dus in 42% van de storingen snel een oplossing, ipv wat eerder mogelijk veel tijd vroeg.

[Annihlator]

Sneller dan zoeken van het begin; je moet nml wel nog checken dat de bot t bij het rechte eind heeft.

Er is hierdoor zat ruimte om te suggereren dat in 58% van de gevallen er geen tijdsbesparing is en zelfs in de 42% zal dat nieg-zondermeer zijn (kan best zijn dat de bot een suggestie geeft die logischerwijs lijkt te kloppen, maar dat achteraf botweg niet blijkt.)

[spaceboy]

Hij zei "botweg"...

[Annihlator]

deze keer was ie onbewust haha

[roelboel]

Als je de score zo uitlegt (en ik denk dat dat verkeerd is maar dat terzijde) dan kun je zeggen dat als je het tegenoverstelde doet van wat het model zegt je 8% beter bent dan een stuiver gooien.

[ronaldmathies]

Je stelt het iets te simpel, een stuiver gooien heeft maar twee uitkomsten. Dit systeem analyseerd een veelvoud aan oorzaken en mogelijke oplossingen. In 42% van de gevallen de oorzaak en de oplossing vinden is eigenlijk behoorlijk goed. En in die overige 58% daar is het interessant om te weten of het systeem wel in de goede richting zat, want dat kan als ondersteuning zijn voor fysieke medewerkers.

[a fly]

Je probeert een complexe handeling uit te leggen als binair systeem. Dit is als zeggen dat je een auto ongeluk kan oplossen door de andere kant op te sturen. Dat zal vast weleens helpen, maar vaker voor een ander ongeluk zorgen.

[leuk_he]

Inderdaad.

Waarom doet de lamp van mijn auto het niet.

Als de AI dan zegt:
1. Auto niet in contact
2. Lamp is doorgebrand

Zal dat in 66% van de gevallen juist zijn, maar je hebt er niks aan, omdat je die simpele voor de hand liggende dingen zelf al snel kunt diagnostizeren.

Als hij echter zegt:
1. De recente reparatie aan de remlichten heeft een kortsluiting in zekering A8 veroorzaakt.
of
2. De accu is na 18 uur stilstaan met de sleutel in het contact leeggelopen.
Dan heb je er wel iets aan.

[Black Phoenix]

58%

[Deodorex]

Dus een foutscore van 58% (als je een meer kritische titel van het artikel wil).

[Spotmatic]

Ik zie liever dat Meta wat doet aan AI afbeeldingen op Facebook die als zijnde echt worden gepresenteerd. Ik word er inmiddels zo schijtziek van dat de kans groot is dat ik Facebook aan de wilgen hang. Dat is jammer omdat ik een paar serieuze groepen heb opgezet, maar de ervaring wordt helemaal vernaggeld door zogenaamd echte foto's. En om de een of andere reden blijft Facebook mij spammen met groepen en personen die AI posten, Het is vechten tegen de bierkaai. Jammer!

[Dooxed]

Terwijl er gewoon hele mooie en goede watermarking technieken zijn die kunnen helpen bij dit probleem.

[ImperatorTiber]

Ik vind het bizar dat ik mensen zag reageren onder overduidelijke CGI plaatjes van "modellen" (niet eens in uncanny valley, ik ken betere games) alsof ze reageren op een werkelijk persoon..... ik denk dat als de lat zo dermate laag ligt qua cognitief vermogen van de volwassen medemens, dat ook bv labelen (dit waren accounts met labels: "dit is gegenereerd door ai" inclusief link naar de website en tools) geen enkel resultaat geeft.

Ik heb geen probleem met ai plaatjes in algemene zin, trouwens. Wel met het voorstellen als iets echts, niet als het gewoon een plaatje is. Maak zelf ook wel es wat, heel erg leuk. Kan ze ook best een keer delen.....

[Stphn75]

Irrelevant

[Kerfuffle]

"In 42% procent van de gevallen accuuraat" leest voor mij als een eufemisme voor "het zit er de helft van de tijd naast". Je moet dus altijd de resultaten zelf nog duiden. Ik blijf sterk de indruk hebben dat dit soort tools de noodzakelijk menselijke interpretatie niet wegneemt, maar wel bemoeilijkt door de suggestie te wekken dat het dat wel doet.

[BrBuggyB]

Ik denk dat je het moet zien als: heeft in 42% van de gevallen heel snel de juiste analyse gedaan. Dat kan zeker bijdragen in de oplossnelheid. Je moet echter als professional de AI-analyse verifiëren. In 58% van de gevallen kom je dan dus tot een andere conclusie dan AI. Ik zie het daarmee vooral als een ondersteuning van de analyse. Het kan versnellend werken.

[Deguchi]

Maar het omgekeerde kan net ook. Dat de mens er mogelijks sneller geraakt als die van nul begint, dan wel als die moet vertrekken van een totaal foutieve conclusie van de AI.
Ik ben niet overtuigd met dit percentage. Vanaf 65-70% denk ik dat het de moeite kan worden, voorlopig zie ik het als gimmick, maar de moeite en resources niet waard.

[freaq]

Als het meestal 4 uur duurt on de oorzak te vinden en dit grofweg de helft van de tijd de oorzaak vindt in 5 minuten

Dan is dat flinke winst hoor.

[djmuggs]

Met 42% heeft de AI tool altijd het juiste antwoord op alles.

[Will_M]

Met de kans dat zowel jouw, als ook mijn reactie op jouw opmerking als irrelevant bestempelt gaan worden:

KEN UW KLASSIEKERS!!!

Wikipedia: 42 (number)

[MEasterEgg]

Wat we ook mogen vinden van Meta, hun AI-onderzoeksafdeling staat onder leiding van Yann LeCun. Hij is een voorstander van open source en deelt de algemene hype nonsense over AGI niet. De afdeling van Meta heeft bovendien een aanzienlijke hoeveelheid papers gepubliceerd die een waardevolle bijdrage leveren aan het echte onderzoek in Deep Learning, zoals JEPA.

[computerjunky]

Ofwel een zware onvoldoende.

[ultimasnake]

Dat ligt eraan, heeft het 42% van de tijd een oplossing en zegt het 58% van de tijd "Sorry ik heb geen oplossing gevonden".. Of zet het je 58% van de tijd op een dwaalspoor....

[Boxman]

Hoe dan ook, als ik een tentamen maak en 42% van de tijd een oplossing heb en bij de rest zeg "sorry, geen oplossing gevonden", dan word ik op dat onderwerp ook gewoon incapabel geacht.

[ultimasnake]

Maar dan doe je dus alsof het een toets is... Als een collega mij 42% van de tijd wel kan helpen is 't een topper vs dat ik alles zelf moet doen toch?

[svane]

Hoe dan ook, als ik 42% van de gevallen de juiste lotto-nummers kan voorspellen wordt ik wel als capabel geacht. (en zou ik stinkend rijk zijn).

Het hangt nét af van de context.

Als jij in een paar sec, tussen duizenden code-wijzigingen de juiste oorzaak kan vinden, ben je ook wel aardig capabel. Zelfs met 42%

[Boxman]

Dat is uberhautp mijn hele punt, dat dat contextloze percentage volstrekt waardeloos is / niks zegt.

[Menesis]

Dit artikel heeft geen waarde zonder context

De koe is 42%. Dus.

[multipasser]

Het wordt tijd dat meta hun eigen AI inzet voor alle fake/scam posts op FB!
Ik meld elke dag nieuwe posts en alle meldingen worden genegeerd!
Nooit is er een 'probleem' terwijl ik weet dat die personen non stop phishen!

[Sylvia]

Mmmmhhhh 🤔 Doe ik het toch beter met een 50/50 gok😂