'Machine learning gaat de beveiligingsprofessionals niet vervangen'

Tweakers sprak op de Infosecurity-beurs in Utrecht met Mark Loman en met de 'Cyber Gandalf' van F-Secure, Andy Patel, over zogenaamde 'next gen antivirusproducten'. Volgens Patel gaat machine learning de beveiligingsprofessional niet vervangen.

Al enige tijd claimen verschillende bedrijven die zichzelf als 'next gen' antivirusbedrijven omschrijven, dat traditionele antivirusproducten ‘dood’ zijn. Daarmee doelen zij erop dat bijvoorbeeld het detecteren van malware op basis van signatures is achterhaald en dat er een nieuwe aanpak nodig is. Zowel Loman als Patel deelt deze zienswijze niet. Loman stelt: "Ik hoorde laatst iemand deze claims als 'lipstick on a pig' omschrijven, dat vond ik wel goed passen." Patel zegt: "Zij bieden in feite niets nieuws aan, maar doen het klinken alsof het nieuw is."

Zo beloven verschillende next gen-bedrijven malware te detecteren met behavioral analysis en machine learning. Daarover zegt Loman: "In feite gebruikt iedereen dezelfde termen voor verschillende technieken. Het fundamentele probleem is dat klanten de verschillen niet kennen en afhankelijk zijn van testorganisaties." Maar ook die zijn volgens Loman niet onfeilbaar, omdat deze maar op een beperkte manier testen. Bovendien zouden de nieuwe spelers op de antivirusmarkt vaak niet of maar eenmalig meedoen aan tests.

Patel stelt dat de next gen-bedrijven van alles kunnen claimen, maar dat zij 'veel aan de verbeelding overlaten'. Zo beschrijft zowel Loman als Patel dat het niet eenvoudig is om aan een product van deze bedrijven te komen, die zich bovendien niet op consumenten maar op grote bedrijven richten. "Het is niet mogelijk om naar de site te gaan en een proefversie te krijgen van hun software om te kijken hoe die werkt, daarvoor moet je je aanmelden bij de salesafdeling", legt Loman uit.

Een van de termen die vaak terugkomen, is machine learning. Patel en Loman leggen uit dat het een nuttige ondersteuning voor beveiligingsprofessionals kan zijn en zien de mogelijkheden van de techniek. Patel ziet het niet snel gebeuren dat deze techniek mensen gaat vervangen, omdat deze niet over dezelfde creativiteit en aanpak beschikt. Loman zegt dat lerende systemen op dit moment ‘binnen een uurtje’ te omzeilen zijn en dat zij vaak backdoors in legitieme bestanden over het hoofd zien.

“Machine learning is zo goed als de malwaresamples waar de systemen over beschikken”, zegt Loman. Die samples komen dan weer van de traditionele beveiligingsbedrijven vandaan. “De next gen-bedrijven leunen daarbij zwaar op de mensen die deze databases hebben opgebouwd”, licht Patel toe. “Wijzelf hebben bijvoorbeeld samples tot ongeveer 28 jaar terug.” Aan de hand van de voorbeelden kunnen de systemen leren om nieuwe vormen van malware te detecteren.

Op dit moment levert dat nog veel false positives op, waarbij een bestand als schadelijk wordt aangemerkt terwijl dat niet zo is. Dat komt bijvoorbeeld daardoor, dat pup’s als bedreiging worden gezien. Volgens Loman is het voor bedrijven inmiddels acceptabel geworden dat beveiligingssoftware veel false positives oplevert. Dit heeft te maken met de groei van polymorfe ransomware, die telkens een klein beetje afwijkt van een voorgaande versie en op die manier aan detectie ontsnapt. “Blijkbaar is de markt zo kritiek geworden, dat er fouten gemaakt mogen worden.”

Loman verkocht in december 2015 zijn in Hengelo gevestigde beveiligingsbedrijf SurfRight, vooral bekend van de HitmanPro-software, aan het Britse Sophos. Andy Patel is officieel de 'Cyber Gandalf' van het Finse beveiligingsbedrijf F-Secure en hield zich veel bezig met de ontwikkeling van eigen producten. Tegenwoordig publiceert hij regelmatig whitepapers en blogartikelen.

Reacties (17)

Tsja. Alles met machine learning draait natuurlijk op de recall van je trainings set. Zero day malware die kompleet anders is dan bekende varianten wordt hiermee absoluut nooit gevonden. Het kan zeker handig zijn voor software die maar net een beetje af wijkt om aan de dans te ontsnappen, maar helemaal vervangen zit er voorlopig niet in. Je hebt nog steeds actief mensen nodig die nieuwe virussen aanmelden om daarmee je trainingsset te vergroten en je model opnieuw te trainen.

edit:

Op dit moment levert dat nog veel false positives op, waarbij een bestand als schadelijk wordt aangemerkt terwijl dat niet zo is.

Nou als ze 99.999% Precision en Recall weten te bereiken mogen ze me bellen. Dan ben ik heel erg geïnteresseerd in de gebruikte methodologie en tests. Vooral near 100% precisie ben ik in geïnteresseerd.

[Reactie gewijzigd door supersnathan94 op 3 november 2016 20:28]

Tsja. Alles met machine learning draait natuurlijk op de recall van je trainings set. Zero day malware die kompleet anders is dan bekende varianten wordt hiermee absoluut nooit gevonden. Het kan zeker handig zijn voor software die maar net een beetje af wijkt om aan de dans te ontsnappen, maar helemaal vervangen zit er voorlopig niet in. Je hebt nog steeds actief mensen nodig die nieuwe virussen aanmelden om daarmee je trainingsset te vergroten en je model opnieuw te trainen.

Ik lees dit soort redenaties wel vaker hier op T.net en steeds weer vraag ik me af waar de pessimistische blik (voor mijn gevoel dan) vandaan komt. Als ML ervoor zorgt dat 95% van de zero day malware herkend wordt omdat het lijkt op andere vormen van malware en 5% (de sterk afwijkende malware) slipt erdoor, dan is dat nog steeds een verbetering toch? Met definities zul je zero days sowieso nauwelijks herkennen nml. Goed, het is niet 100%, maar het blijft wel goed dat er technieken worden ontwikkeld die (al dan niet aanvullend op definities) malware herkennen die nog niet bekend is.

Ik ben helemaal niet pessimistisch mbt machine learning. Ik geef alleen aan dat je nooit de menselijke factor eruit kan halen.

Vroeger konden we het prima zonder ML doen, dat is iets van de laatste, pak en beet, 4 jaar. Daarvoor hadden we ook gewoon dezelfde resultaten. Machine learning is interessant om in een markt van snel veranderende code hetzelfde pakketje eruit te pikken die je met definities niet kan pakken. Het is meer een gevolg van het feit dat code tegenwoordig snel evolueerd door een aantal compilertruuks zodat er net wat andere machine code aangeleverd wordt.

Zero days heb je sneller te pakken met mensen. Ook al doen ze er drie weken over. Een kompleet nieuwe malware wordt niet zomaar herkent door ML technieken. De software heeft daar geen geschikt corpus voor en kan derhalve ook geen training doen op iets wat nog niet bekend is.

ML is een oplossing voor het probleem wat we gecreeerd hebben door hele goede technieken te ontwerpen om bepaalde patronen snel uit te kunnen rollen zodat een uitbraak snel in de kiem gesmoord wordt. Het probleem is echter dat snel evoluerende versies met conventionele detectie methoden langer hebben om zich te verspreiden. Door nu de virus definities wat ruimer te maken pak je die sneller mee.

Stiekem zijn die varianten namelijk false positives op het origineel met de conventionele methode en door te spelen met de grens wanneer iets wel en wanneer iets niet goed genoeg is om een PUP te zijn, kun je varianten sneller of minder snel vinden.

Wat ze nu echter hebben gedaan is dat die varianten gebruikt worden om de definities licht aan te passen en tada !!! Machine learning bitches!! Terwijl ze nu eigenlijk gewoon iteratieve definitie verbetering hanteren op veel grotere schaal.

Het wordt pas echt interessant als ze neural networks en deep reinforced leraning gaan toepassen.

Zero days heb je sneller te pakken met mensen. Ook al doen ze er drie weken over. Een kompleet nieuwe malware wordt niet zomaar herkent door ML technieken. De software heeft daar geen geschikt corpus voor en kan derhalve ook geen training doen op iets wat nog niet bekend is.

Je gaat er hiervan uit dat malware geen enkel definieerbare karakteristiek heeft. Dit lijkt mij een onjuiste aanname. Malware gedraagt zich uiteindelijk anders ten opzichte van bijvoorbeeld notepad.exe, dus daar is weldegelijk iets mee te doen.

De vraag die men in het artikel probeert te beantwoorden is, denk ik, ook onjuist. De vraag was: kan de antivirusindustrie in deze veranderende markt op dezelfde voet doorgaan? En het antwoord wat is gegeven is dat machine learning de beveiligingsonderzoeker niet gaat vervangen. Dat lijkt mij een drogredenering.

ML kan als een waardevolle toevoeging dienen in het arsenaal van een beveiligingsonderzoeker. Waar de onderzoeker voorheen afhankelijk was van meldingen van anderen en heuristics die men zelf moest opstellen, kan men nu middels ML veel complexere regels opstellen om malware te vangen.

ML en de security-industrie zijn immers ook geen vreemden van elkaar: denk aan anomaly detection in IDS-systemen en Bayesian networks in spamfilters. Misschien geen perfecte oplossingen, maar een stuk beter dan de handmatig geconstrueerde filters van voorheen. Het antwoord op de vraag had dus eigenlijk moeten zijn: "Nee, maar machine learning gaat waarschijnlijk een belangrijke rol spelen in de volgende generatie virusscanners." Maar zo'n antwoord is natuurlijk geen nieuws

Het wordt pas echt interessant als ze neural networks en deep reinforced leraning gaan toepassen.

Wat is de reden dat je dit stelt? Waarom gaan deze technieken belangrijke verbeteringen opleveren?

Omdat het systeem dan ook echt op zijn flikker krijgt als hij een foute classificatie doet. Nu wordt dot niet direct meegenomen in de classificatie en wordt er alleen een model getraind wat uiteindelijk false positives genereerd, maar daar wordt verder niets mee gedaan. Jij haalt het bestand weer uit quarantaine en de volgende keer gaat ie weer net zo hard over z'n nek op die ene trainer van BF2. Met DRL wordt het netwerk ook gestraft (als een hond die hondeneieren achterlaat op je tapijt) en zal het steeds minder false positives genereren op jouw systeem omdat het zich daar actief op aanpast. Huidige av systemen kunnen uitzonderingen bewaren maar dat gebeurt dan op basis van eerst detectie en vervolgens kijken jn een lijstje of het er wel uit gevist moet worden. Door dat te integreren in het model kun je ook de andere kant op met je patroon door te stellen dat alles wat de gebruiker doet goed is (gedragsherkenning) en alles daar omheen eigenlijk niet.

Zero day-malware zou denk ik kunnen worden gevonden met outlier detection, mits daar bewust voor wordt gekozen. Dit kan wel gevolgen hebben voor de classificatie van malware, maar helemaal onmogelijk is het dus niet.

Kent iemand het product Webroot? Dit is één van de eerste AV oplossingen welke volledig afstapte van signatures en overstapte op machine learning, overigens ook vrij makkelijk een trial van te krijgen. En draaien ook een eigen database met maliicous ips, apps etc (BrightCloud) wat o.a. gevoed word door o.a. Palo Alto, Cisco en tig anderen.

Ik snap dan ook niet helemaal waar de beste man het over heeft.. Het feit is gewoon dat traditionele AV kansloos zijn. Wat ik tot nu toe gezien heb van Webroot is dat er een stuk sneller geclassificeerd word en de engine draait niet lokaal en gebruikt daarom nauwelijks resources..

Ik hoor graag ook jullie opinie!

Is dit een gevalletje: de schaakcomputer zal het nooit winnen van de creatieve menselijke geest?

Meestal als er gesproken wordt van onmogelijkheden met de woorden niet en nooit lijkt het wel of dit een enorme drive (nee geen harde schijf) losmaakt bij bepaalde mensen.

Dit soort mensen shapen onze toekomst. We zullen zien..

Even iets meer inhoudelijk op dit artikel

Als er een KI ontwikkeld wordt die na een succesvolle aanval kan terug rekenen en deduceren waar de aanval vandaan kwam en hoe die werd uitgevoerd zoals we bij een kogelinslag de baan vd kogel kunnen berekenen tot de locatie van het afgevuurde wapen kan machine learning dat wellicht straks ook. Miss niet op korte termijn maar in de long run denk ik toch wel..

[Reactie gewijzigd door Liberteque op 3 november 2016 22:33]

Het menselijk brein is voorlopig nog steeds creatiever dan een kunstmatige intelligentie. En uiteindelijk komt kunstmatige intelligentie nog steeds voort uit een menselijk brein.

Virussen/trojanen/malware komen ook nog steeds voort uit een menselijk brein. In die zin zal een kunstmatige intelligentie (en daarmee machine learning) altijd een stap achter lopen

[Reactie gewijzigd door BuggedState op 3 november 2016 20:49]

Maar je haalt het zelf al aan.Voorlopig is machine learning...

Wat als op een gegeven moment de rollen omgedraaid worden? Zeggen dat beveiliging onderzoekers nooit vervangen gaan worden door AI is een beetje kortzichtig. Niet? Ik zie zeer veel vervangen worden door AI tegen het einde van deze eeuw.

Ik gok op binnen 20 jaar. Als je al kijkt wat de laatste 5 jaar in vooruitgang is geboekt.
Vergeet niet, AI progressie verloopt exponentieel.

Jep. Die exponentiële ontwikkeling is iets waar een mens zijn hoofd niet rond kan. Zelfs als je het weet. Dat is ook waar ik op doel met kortzichtig zijn. De meest pessimistische AI experts zeggen tegen eind deze eeuw een ASI (godlike AI) te verwachten. Maar de meeste verwachten het tegen 2060.

Echt een geweldige post: waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html

[Reactie gewijzigd door BlaDeKke op 4 november 2016 10:44]

AI zal inderdaad veel taken gaan overnemen. De vraag is dan uiteindelijk hoever we dat laten gaan. Maar daar is al genoeg media over

Ik zie nergens een obstakel om beide 'methodes' te combineren?

Het probleem waar anti malware software ook mee te maken heeft is dat het beslist geen resources van de computer mag gebruiken, anders zal de gewone man alleen maar klagen dat die beveiligingssoftware alleen maar vertragend werkt.

En de zelf lerende software en dergelijke verbruikt de nodige resources. Bedenk de computer die kan schaken, als die op ongewenste software moet scannen...

Amen. Meer heb ik er niet op te zeggen

[Reactie gewijzigd door mrdemc op 3 november 2016 20:50]

Ik denk dat jorkro hier de spijker wel op zijn kop slaat:
Nee, maar machine learning gaat waarschijnlijk een belangrijke rol spelen in de volgende generatie virusscanners
Met als voornaamste nuancering, dat dat niet het geval is voor de VOLGENDE generatie, maar de HUIDIGE generatie.
Kijk maar wat de fabrikanten doen in dat landschap.
Trend Micro heeft haar OfficeScan XG gereleased met een 2-laags machine learning model (op file en proces), met daar overheen een stuk noise cancellation om de false positives eruit te halen waar de zogenoemde Next Gen spelers zo mee worstelen.
Symantec heeft de nieuwe versie anti malware met Machine learning ook aangekondigd (details heb ik daar nog niet van gezien).
McAfee heeft net aangekondigd groot te gaan investeren in Machine Learning.

Kortom, voor diverse fabrikanten is het NU al werkelijkheid en anderen lopen nog wat achter de parade aan.
Het lijkt mij in ieder geval een uitstekende ontwikkeling dat nieuwe technologie zoals machine learning niet als separate oplossing gezien wordt, maar door dit soort partijen als additionele laag of lagen in de bestaande bescherming wordt toegevoegd, waardoor de kracht van al gecombineerde lagen een daadwerkelijk betere beveiliging biedt.
Met alle beveiliging die je tegenwoordig namelijk nodig hebt (zeker als enterprise) is het totaaloverzicht en de beheerlast namelijk best wel dramatisch, hoe meer er samenkomt, hoe beter.