Sociale netwerken om spamsortering te verbeteren

Een tweetal onderzoekers van de University of California hebben een simpel spamfiltersysteem ontwikkeld waardoor het ongewenste e-mailprobleem voor de helft opgelost kan worden, zo lezen we op Nature. P. Oscar Boykin en Vwani Roychowdhury baseren hun systeem op het principe van een sociaal netwerk. Gewone e-mails hebben met elkaar gemeen dat ze vaak van een vaste groep mensen komen die elkaar kunnen kennen, bij spammails is dit helemaal niet het geval.

Op basis van de combinatie afzender, geadresseerde en co-geadresseerden van de mail wordt door het systeem besloten of de e-mail wel of niet matcht met het sociale netwerk van de ontvanger. E-mails die voldoende overeenkomen met dit netwerk worden bestempeld als veilig, e-mails die te weinig overeenkomen met het netwerk worden gezien als spam. Vijftig procent van de elektronische post kan niet volgens dit systeem worden gemerkt, deze zou dan via een wat meer geavanceerd systeem gefilterd moeten worden.

Reacties (24)

[engessa]

Hmm.. en hoe zit het dan met mailtjes van mensen die je helemaal niet kent? Als je bijvoorbeeld iets te koop zet krijg je mailtjes van onbekenden, worden die dan ook geblokt?

[feej]

Die zouden dan tot de vijftig procent behoren die niet gemerkt kunnen worden denk ik, omdat het overduidelijk maar aan 1 persoon gericht is en niet zoals spammails naar honderden tegelijk.

[Verwijderd]

spam wordt meestal verstuurd als BCC (blind copy) of gewoon 1 per adres tegelijk...het gaat toch met een bot.

irritante mailtjes van br3eZah gevallen weer niet ...

[TD-er]

een hoop spam die ik krijg heeft vaak 2 of 3 anderen in het cc-veld met adressen in hetzelfde domein. (en dus ook mensen die ik ken)
Dan zou dit systeem dus al niet meer werken.
Nee dan vind ik DCC en Razor toch beter.
Die berekenen een soort fuzzy checksum en vergelijken die met de gegevens in een paar grote databases online.
Een eigenschap van spam is namelijk dat veel spam naar een hoop mensen gestuurd zal worden.
Een paar uitzonderingen zijn mailinglists, maar dat is ook wel weer redelijk goed te herkennen en/of mensen zetten die wel op de whitelists.
Een ander voordeel van die DCC is dat hoe meer mensen het gaan gebruiken, des te beter zal het werken.

Dat is met A.S.K. en mogelijk dit systeem een stuk minder het geval.

[tex5]

Idd! DCC/Pyzor/Razor werken veel netter vind ik. Ze hebben niet een blacklist gebaseerd op email addressen maar op gelijkenissen van emails. Gebruik het nu ook een tijdje en het werkt zeer goed om alvast een groot deel van de spam emails weg te filteren (hier ong. 50% van de emails gebaseerd op ~1000 emails per dag, waarvan ong 50 geen spam emails zijn. En de rest dus wel ). Deze "netwerken" vangen nog niet alle spam op helaas maar het scheelt al heel veel en het belangrijkste vind ik nog dat der (bij mij iig) nog geen 1 goeie email als spam werd beoordeeld! Zou ook niet mogen gezien de werking van deze netwerken maar toch, bij veel andere anti-spam methodes zag ik dit wel gebeuren.

Als dit systeem door alle ISPs zou worden gebruikt zou in principe spam tot verleden tijd moeten behoren, jammer dat nog niet elke ISP dit gebruikt...

[Verwijderd]

Zoals het hier staat uitgelegd, zou het idd geblokt worden.

Opzich een leuke opzet, maar het heeft in mijn ogen weinig nut...

[CmdrKeen]

Nee:

It is simple and fast, and seems to never reject legitimate messages under the false impression that they are spam.
(...)
If Alice knows and e-mails Bob and Chris, for example, then Bob and Chris are far more likely to know and e-mail each other than if they didn't share a friend in common.

Zal denk wel een databeesje achter zitten, dus niet 1-op-1.

[VisionMaster]

Die vallen bij dit systeem dus in een grijs gedeelte, kan worden toegelaten door anderen die dat persoon kent of het kan niet bestempeld worden ... Hier zal je dus zoiets als SpamAssassin moeten inzetten of iets dat op een slimme manier je mail filtered.
Wat ook wel grappig is ... is de methode hoe spammers door de Bayeniaanse (hoe spel je dat?) heen weten te prikken. In andere woorden ... Naast dit zou je dus ook nog een standaard blacklist op basis van DSN oorsprong/evil-blacklisted ip-adressen moeten uitfilteren EN dan nog effe controleren of al je mail niet toch nog geinfecteerd blijkt te zijn Netsky.B of iets anders dat lekker crappy is...
Een mailserver wordt al snel een mail-centre... wat een feest

ps: ik heb toch nog een vraag ... ik neem aan dat dit systeem ook opneemt dat als ik een Spammer tegenkom of het heeft het ontdekt ... dat voor de gehele community geldt dat dat persoon/mail-adres een spammer is?

[PrisonerOfPain]

Is dit niet gewoon een manier van whilelisten zoals we dat al jaren kennen? kortom wat is er nieuwe aan deze manier?

[CmdrKeen]

Het nieuwe is dat je niet ALLEEN je eigen whitelist hebt, maar dat je ook kijkt naar de whitelists van de mensen op je whitelist. Denk ik.

[spaceboy]

Dit is inderdaad gewoon whitelists dus. Aan de hand van een mail-adres kun je technisch namelijk echt niet zien of de personen elkaar kennen of kunnen kennen.

Trouwens, probeer voor de gein K9 eens. Ik heb MailWasher Pro voor een half jaar gebruikt, maar K9 nu twee weken geinstalleerd. Geen enkele false identified! (en dat op 43 mailtjes per dag in 5 mailboxen)

[HDoc]

Ben ook héél erg tevreden met K9 - heb het nu een week of 3 lopen en heb een succespercentage van 96% en dan met name veroorzaakt door fout-negatief beoordeelde emails. Af en toe check ik nog eens even of er toevallig geen gewone emails weggevangen zijn, maar dit gebeurt nu eigenlijk bijna niet meer.

Website: http://keir.net/k9.html

[Verwijderd]

wat bedoel je met fout-negatief? dat het wel een echte mail was maar gemerkt werd als spam?

dat vind ik zelf nl het meest annoying aan die filters, dat je alsnog een lijst met spam moet doorzoeken naar mail die je wel wilt lezen...

echte mail is nl belangrijk (meestal wel tenminste).. tis me in het verleden wel eens gebeurd dat iets fout liep simpelweg omdat ik het mailtje niet gezien had..

dus, vooralsnog neem ik die 10-20 spammetjes per dag maar voor lief zonder een spam filter te gebruiken

om on-topic te blijven, bovengenoemd systeem gaat volgens mij echt niet werken... een groot deel van de mail komt nou eenmaal ook van vreemden, en kan net zo goed belangrijk zijn...

[HDoc]

Met fout-negatief bedoel ik spam-mailtjes die niet als zodanig herkend worden. De hoeveelheid spam in mijn email-box loopt overigens als op tot zo'n 15-20 per dag en voor mij is K9 echt een uitkomst. Het enige wat ik hoef te doen is even snel langs de lijst als spam beoordeelde mailtjes te kijken of er misschien iets "normaals" tussen zit en zoals gezegd kan ik al bijna vertrouwen op het filtertje

[NBK]

Met een dergelijk systeem kun je 3 mailboxen bouwen met verschillende gradaties van mail.
1e: vrijwel zeker geen spam
2e: waarschijnljk geen spam
3e: waarschijnlijk wel spam

[kodak]

Ben ik erg benieuwd hoe het systeem dan al die bcc verzonden berichten gaat opvatten. Al veel spammers maken hier gebruik van, maar op deze wijze worden ook veel normale berichten naar meerdere personen rondgezonden. Ik ben dus bang dat ze hier nog geen 25% van alle spam goed mee kunnen opsporen zonder dat er mail verkeerd wordt aangemerkt als gevaarlijk. Hoe meer spammers bcc gebruiken hoe zwakker deze oplossing.

[Karina5000]

Al ZOU het werken, binnen no-time hebben de spammers wel weer wat nieuws verzonnen om je met spam te bombarderen, die zitten natuurlijk ook niet stil.

[Justice]

Leuk idee, maar het spam probleem is aal lang opgelost door bayesian filtering. Het ergste probleem is nu weer virussen in de mailbox

[Verwijderd]

inderdaad. ik snap niet waarom men weer dit soort klassieke 'eigenschap-gebaseerde' spamfilters gaat proberen uit te vinden. zeker in de academische wereld waren de experts het er toch al redelijk over eens dat bayesian filtertering als principe VELE malen de andere variant overtreft. Doe dan onderzoek naar tweaken van bayesian filtering zou ik zeggen. Het principe dat bayesian filters na wat lessen net zo goed spam kunnen leren herkennen als dat je iemand anders zou vragen e-mail in jou inbox te markeren lijkt me redelijk duidelijk.

[CmdrKeen]

Het loont nog altijd de moeite om nieuwe methoden te zoeken: op hoe meer verschillende manieren een mailtje tegen het licht gehouden wordt, des te beter is vast te stellen of het om spam gaat of niet.

Bayesian werkt prima, maar whitelist ook, en dit waarschijnlijk ook, en keywords ook. Waarom zou je stoppen met verbeteren?

[Verwijderd]

Wat heeft spam voor zin als er geen telefoonnummer of www-adres in staat?
Reageren naar afzender lukt ook niet?

En wat heb ik eraaan om met allerlei producten (homeloans, tv-filters en viagra) geconfornteerd te worden die alleen als inwoner van Amerika verkrijgbaar zijn???

Ik vindt dat geen spam, maar gewoon LOOS!

[Verwijderd]

Idee is goed, alleen is het ondoenelijk om van iedereen in de wereld een sociaal netwerk vast te leggen. Zelf ben ik lid van Friedster en Ryze, en als ik zoek op Nederland kom ik maar op een paar honderd buddies uit. In plaats van 16 miljoen.

Het is veel waarschijnlijker dat Microsoft zoiets gaan aanbieden omdat het koppelen van alle MSN Lijsten een vrij aardig sociaal netwerk kan worden.

[Verwijderd]

Het is aannemelijk gemaakt dat je via sociale netwerken in contact staat met de hele wereldbevolking: er staan maar zes stappen tussen jou en ieder ander individu. Dat zal dan toch zeker ook gelden voor e-mailcontacten.