Onderzoek leidt tot manier om spamfilters te omzeilen

Anti-spamonderzoeker John Graham-Cumming heeft onderzoek gedaan naar Bayesiaanse e-mailfilters en heeft een manier gevonden om deze te omzeilen, zo meldt BBC News. Bayesiaanse filters analyseren een e-mailbericht aan de hand van eerder binnengekomen mailberichten die door de gebruiker zijn gemarkeerd als spam of geen spam. Het filter maakt dus geen gebruik van standaard regels die door de spammer misbruikt kunnen worden. Na verloop van tijd wordt een persoonlijk filter opgebouwd dat voor iedere gebruiker weer anders is. Dit werkte zo goed dat spamverstuurders andere technieken zijn gaan gebruiken. Door in de spamberichten willekeurig ingewikkelde woorden te gebruiken proberen spammers deze filters te omzeilen. Gelukkig heeft dit weinig effect op een Bayesiaans filter.

Toch komen er af en toe spamberichten door een Bayesiaans filter heen. Graham-Cumming heeft deze berichten gebruikt voor zijn onderzoek. Hij heeft zichzelf 10.000 keer hetzelfde bericht gestuurd met daarin een verzameling willekeurige woorden. Als één van deze berichten door het spamfilter kwam, ging het een speciaal filter in dat bepaalde welke woorden het best gebruikt konden worden om door het spamfilter te komen. Tussen de gevonden woorden zaten onder andere Berkshire, Marriott, wireless, touch en comment. Als één van deze woorden voorkwam in een willekeurig e-mailbericht, gericht aan Graham-Cumming, werd het altijd doorgelaten door zijn persoonlijke Bayesiaanse spamfilter.

Het is erg moeilijk om berichten met één van deze woorden toch als spam te bestempelen omdat deze woorden gebonden zijn aan iemands werk en levensstijl. Het is voor de verstuurders van spam echter erg moeilijk om achter deze woorden te komen. Graham-Cumming heeft duizenden berichten naar zichzelf moeten sturen, die doormiddel van een stukje HTML-code lieten weten dat ze door het filter waren gekomen. Een spammer zou dit dus moeten doen voor iedereen die hij wil bereiken. Een erg tijdrovende bezigheid die ook nog makkelijk ontweken kan worden door het HTML-deel niet te bekijken. Het proces kan versneld worden door een aantal mailtjes naar bijvoorbeeld alle medewerkers van een bedrijf te sturen. Er is dan een grote kans dat er een aantal woorden gevonden wordt dat ervoor zorgt dat een bericht altijd doorgelaten wordt.

Reacties (42)

[ferdinand]

oftewel onderzoek leid NIET tot manier om spamfilters te omzeilen maar laat juist zien dat het niet te doen is om het te gaan omzeilen omdat het teveel werk is waardoor het rendement niet genoeg is.

[JeroenB]

Het is niet alleen teveel werk, het is ook niet-uitvoerbaar werk voor een spammer, aangezien hij al zijn doelwitten dan apart moet bekijken qua wat er bij die persoon door kan komen. En het punt van spam is juist dat het met miljoenen tegelijk kan worden verstuurd. Zonder dat aspect is het nutteloos.

Nog even los van het feit dat als de spammer het zou willen, de doelwitten niet zouden meewerken qua vertellen wat er bij hun doorkomt

[Anoniem: 96321]

Wat een spammer wel kan doen is meer mail sturen met verschillende woorden erin. Deze woorden kunnen door middel van een klein onderzoek wel geraden worden, aangezien deze volgens het artikel allemaal in de persoonlijke sfeer zitten.

Hetgeen dus betekend dat erg veel spam nog steeds gefilterd wordt, maar dat er ook mail is die er wel doorheen komt.

[Grrrrrene]

Ja, maar die woorden waar bij jou mail doorkomt zijn totaal anders dan de woorden waar bij mij mail door het spamfilter komt. Sowieso zitten wij als Nederlanders al vrij veilig omdat 99% van de spam Engelstalig is en ons persoonlijke spamfilter waarschijnlijk veel Nederlandse woorden bevat die sowieso doorgelaten worden.

Ik vind de titel van dit nieuwsbericht nogal stom gekozen eerlijk gezegd, het hele artikel toont juist aan dat het ondoenlijk is om een Bayesiaans filter te omzeilen vanwege die persoonlijke filtercriteria, dus het onderzoek toonde juist aan dat zo'n filter niet of nauwelijks te omzeilen is. De titel suggereert dat dit hele spamfilter weggegooid kan worden, want het is te omzeilen...

[pietje63]

En daarvoor moet je dus altijd je interesses aangeven als je, je ergens registreert. Maar daarvoor gebruikt niemand zijn standaard mailadres, toch??

Verder denk ik dat je aan de hand van de domeinnaam van een emailaders wel gedeeltelijk kan herhalen in welke brance het zit (dit geld niet voor hotmail, maar wel voor bijvoorbeeld @[b]uni[b]maas.nl; @philips.nl, @tweakers.com etc.

[Swinnio]

Je zou m.i. d.m.v. interesses of domeinnaam hooguit kunnen gokken in welk bereik die doorgelaten woorden zich zouden kunnen bevinden. De werkelijke woorden die door je persoonlijk opgebouwde spamfilter komen zijn waarschijnlijk net even anders, waardoor jouw redenering niet opgaat.
Ik bedoel, ook al zou ik als interesse "draadloze netwerken" aangeven, dat betekent dit niet automatisch dat dit woord door mijn filter komt. Bij de een zal dat misschien "WLAN" zijn en bij de ander "Bluetooth".

[Xiqum]

Ik weet niet waar jij dit post maar ik post het gewoon op tweakers.net hoor

[pietje63]

Ik was even in de wat, ik dacht aan de email forwarders van de abonnementen:

Email forwarders

Als abonnee kun je maximaal drie forwarders opgeven. Het adres van de forwarder is [e-mail] / tweakers.org / tweakotine.net. Je kunt deze domeinnamen door elkaar gebruiken. Alle forwarders verwijzen naar dezelfde mailbox.

dacht dat tweakers.com daar ook tussen stond...

[Boushh]

Waarom een Spam FILTER ?

Waarom niet een Spam FIREWALL ?

Dat is wat ik inmiddels nodig heb op mijn mailbox

Waarom houdt iedereen zich bezig met technologien om uit te vinden welke mail mensen NIET willen hebben ? Je kan toch veel beter de geaddresserde laten bepalen welke mail die WEL wil hebben ?

Een paar rules, en hopla, alleen mail van wie je het wel wil ontvangen en de rest gaat direct de prullen mand in. Lijkt mij een prima oplossing voor het probleem omdat het voor een Spammer nagenoeg onmogelijk is om te bepalen welke mail mensen wel willen hebben.

En het zou nog mooier zijn dat als er dan wel een mailtje doorkomt dat je niet wilde hebben, het programma aangeeft waarom dat mailtje is doorgelaten ipv dat je dat moet gaan zitten uitzoeken...

Maar goed, zal wel weer een raar idee zijn...

[Anoniem: 28310]

Omdat dit in het zakelijke verkeer onmogelijk is. Stel jij wilt een vraag stellen aan sales@
dan gaat dat dus niet, omdat je niet in hun whitelist staat.

[Anoniem: 92540]

Dus het komt erop neer dat een 'getraind filter' nooit 100% is, en dat er een theoretische manier is om de gaten in het filter te ontdekken - en wel via 'gewoon veel werk' ipv. via slim redeneren. Maar dat werkt alleen als de specifieke gebruiker toestaat dat berichten die door het filter komen die info ook aan de spammer terugsturen.

Als je slim genoeg bent om zo'n filter in te stellen, ben je toch hopelijk ook slim genoeg om dit terugsturen niet toe te staan ... ?

[FireFly]

Zwijg maar stil ;.. Straks krijg je naast de gebruikelijke pilletjes berichten ook een heuse encyclopedie in de mail opdat die toch door de filters heen kan komen ...... dat zou pas spammen zijn !

[stappel_]

Dat soort mailtjes zijn er dus al. Ze doen dan een soort pseudo html:
<html><body>
de aanbieding
</body>
groot stuk tekst uit een verslag
</html>

het filter ziet dus de stukken extra tekst als goed.

[Jasper Janssen]

Ik heb nu zo'n 2000 bounce berichten in m'n inbox omdat een spammer zo vriendelijk is geweest een spamrun te doen met mijn email in de From:, en die zijn inderdaad per mail weer verschillend, met de een nog l33tere manieren dan de andere van het coderen van viagra en phentermine in voornamelijk leestekens.

[Anoniem: 66797]

als de massa nou een spamfilter zou gebruiken en ook daadwerkelijk alles (of bijna alles) ongelezen terugketst naar de afzender zouden spammers er mischien mee ophouden...

dit wel in combinatie met maatregelen van ISPs die maar al te graag spam tegenhouden om 2 redenen:

1. de klant tevredenstellen met anti spam maatregelen waardoor ze hun mail normaal kunnen gebruiken zonder weet ik veel hoeveel spam berichten te wissen

2. het verkeer wat niet doorkomt scheelt de ISP veel geld

en dan nog eens de anti spam maatregelen van diverse overheden, ik denk niet dat het probleem op korte termijn van de wereld is maar we zijn op de goeie weg

[emgaron]

als de massa nou een spamfilter zou gebruiken en ook daadwerkelijk alles (of bijna alles) ongelezen terugketst naar de afzender zouden spammers er mischien mee ophouden...

AAARGH! Niet doen, niet doen! De allermeeste afzenders zijn toch gewoon verfalst - je ketst dus de hele rotzooi gewoon naar iemand terug, die daar helemaal niets mee te maken heeft. Heb ik in het verleden al genoeg last van gehad, als weer eens zo'n kl****** van spammer mijn adres heeft misbruikt als afzender - honderden van bounce mails naar mij toe...

[Jasper Janssen]

Honderden? Kleine spamruns dan. Ik had vandaag 2000 bounces en out-of-office en vacation replies en hier en daar een ticket number van een support email adres, allemaal van 1 spamrun. Er zat er 1 tussen die een "bounce wegens spam" was, en die heb ik een mailtje teruggestuurd over hoe ze het in hoofd haalden.

[Whuzz]

Het is een never-ending story he...
De anti-spammers verzinnen wat nieuws, waarop de spammers wéér een nieuwe methode ontwikkelen, en zo gaat het door.

Ik vraag me toch af in hoeverre dit nu echt een oplossing voor de spammers is... stel je pakt een bedrijf met 10000 werknemers en je gaat daar die test op loslaten, dan komt ie misschien met uiteindelijk 3 woorden die een email de spamfilters doet omzeilen. Maar of dat dan representatief is voor de rest van de wereld die allemaal niet bij dat bedrijf werken (en die dus juist die 3 woorden of 2 ervan niet gebruiken) is nog maar de vraag.

[pietje63]

Nee, maar als je weet dat die 3 woorden er bij alle 10.000 werknemers doorheen komen dan kun je al makkelijk 10.000 mensen spammen.. 10.000 mail adressen van standaard (bedrijfs) mail adressen + omzeilen spamfilter is wel wat waard hoor.

[Whuzz]

Wat ik probeerde duidelijk te maken is dat die 3 woorden je er uit haalt waarschijnlijk bedrijfs-specifieke woorden zijn, die bij een ander bedrijf of bij een particulier dus niet werken. Om dus 'goede' woorden te vinden zou je 10000 random mensen moeten testen en dat is een stuk lastiger dan een test in 1 bedrijf organiseren.

[THC]

mmmmh Graham Cumming. Ik wil niet vervelend doen, maar die achternaam, is inderdaad wel van toepassing op groot percentage van de spam berichten die ik krijg.

[paul123]

waarom denk je dat hij dit onderzoek is gaan doen ... hij wil natuurlijk woorden vinden om zijn eigen emails door de spamfilters heen te krijgen

[Ralph Smeets]

Ik ben bang dat verschillende spammers zich hiervan al bedienen:

Het http-verkeer van Outlook (ja ik gebruik Outlook) wordt door mijn firewall geblockt. Hiermee voorkom ik dat de mail automatisch kan laten weten dat hij wordt gelezen. Het komt namelijk af en toe voor dat plaatjes via html worden opgehaald. Door een plaatje in de vorm <img src=www.spammer.spam/user_id=1234></img> op te nemen en elke mail een andere user_id mee te geven, kun je dus makkelijk achterhalen of een mail is gelezen of niet.

Sommige spam die ik ontvang bestaat ondertussen alleen nog maar uit een plaatje. Mail met alleen een plaatje lees ik dus niet meer

[FaalHaas]

Juist, en daar zouden anti-spam organisaties op moeten reageren. De server die dat plaatje serveert hangt ergens in een rack. Dat ding moet direct offline, de eigenaar aan een boom geknoopt Al zijn andere servers verbrand. Verder een levenslang verbod op internet verbindingen, rackspace etc.

[Anoniem: 39303]

Het gebruiken van allemaal vreemde woorden en combinaties lijdt er alleen maar toe dat SpamAssassin die mails er nog makkelijker uithaalt, want er staan geen woorden in die ik normaal gebruik.

Daarnaast halen de rules van SpamAssassin ook een hoop ellende eruit.

En als je SpamAssassin sitewide laat filteren waarbij niet iedere gebruiker een eigen profiel heeft is het probleem snel opgelost.

[Jasper Janssen]

Nee, dan is het probleem veel simpeler te omzeilen. Je hoeft dan namelijk maar een set regels te idenitifceren voor een hele site ipv voor iedere gebruiker apart.