Hoofdcategorieën

Silicon Valley-veteraan claimt oplossing voor spam

Door Dimitri Reijerman, dinsdag 4 december 2007 11:41, views: 20.455

De Amerikaanse onderneming Abaca claimt met een nieuw soort antispamfilter 99 procent van alle ongewenste berichten uit de inbox te houden. Het filter zou daarmee beter scoren dan concurrerende systemen.

Abaca logoHet filter heeft een geheel andere benadering dan de traditionele spamfilter; de software kijkt niet naar de inhoud of afzender van een e-mail, zoals bayesiaanse filters doen, maar naar de ontvangers. Als basis dient het idee dat de verhouding tussen spam en legitieme berichten voor ieder individu uniek is. Een e-mail die naar een groep mensen wordt verstuurd die veel spam ontvangen, is naar alle waarschijnlijkheid spam. Door het berekenen van de 'reputaties' van de ontvangers binnen een grote groep e-mailgebruikers zou Abaca's Email Protection Gateway nauwkeurig kunnen voorspellen of een bericht als spam aangemerkt moet worden.

Een voordeel van Abaca's oplossing zou zijn dat spammers geen vat kunnen krijgen op de berekende reputaties van het systeem, zodat het manipuleren van de afzender of de inhoud van een bericht geen zin heeft. Een nadeel is dat de software alleen goed werkt als het mailverkeer van een grote groep gebruikers geanalyseerd wordt. Het bedrijf belooft kopers dat zij hun geld terugkrijgen als niet minimaal 99 procent van alle spam wordt tegengehouden.

Een hogere kans op het onderscheppen van spam lijkt hard nodig. In februari testte it-adviesbureau Opus One zes antispamfilters door hen in tien dagen tijd tienduizend e-mails te laten verwerken. Het succesvolste filter wist 97,4 procent tegen te houden, het slechtst presterende bleef op 74,1 procent steken. Het filter van Abaca werd niet getest, maar verschillende deskundigen reageren voorzichtig positief op de insteek van Abaca: elk nieuw idee om de spamgolf in te dammen is welkom.

Abaca is in augustus opgericht door Steven T. Kirsch. Deze Silicon Valley-veteraan is onder andere bekend als de uitvinder van de optische muis. Hoewel bij de multimiljonair een ongeneeslijke vorm van bloedkanker is vastgesteld, blijft hij aan zijn spamfilter werken. Kirsch heeft vijf miljoen dollar in het bedrijf gestoken en hij verwacht dat de onderneming binnen een jaar met winst zal draaien, zo heeft hij aan The New York Times laten weten.

Volgende 12:16
Vorige 11:01

Reacties

«  1  2  3  »

Maar hoe weten ze dat een willekeurige mail naar een hele groep mensen en niet alleen naar jou gestuurd is.
lijkt me toch niet de ze elke email gaan uploaden naar een dbase om te kijken of hij vaker verstuurd/ontvangen is?

Blijkbaar wel, want:
Een nadeel is dat de software alleen goed werkt als het mailverkeer van een grote groep gebruikers geanalyseerd wordt.

Een ongeveer zelfde principe wordt gebruikt in het (OS) [url=http://en.wikipedia.org/wiki/Vipul's_Razor]Razor-netwerk[/url]. Voor windows beschikbaar als Cloudmark Desktop. Kost ook een eurotje of wat per maand, maar het principe van zero-false-positives is erg fijn (spam? --> delete!).

Ik ben benieuwd hoe dit gaat werken. Maar uiteindelijk weten we allemaal dat het hele principe van e-mail op de schop moet. Het huidige systeem van SMTP is zo ontzettend lek (vatbaar voor spammers) dat het hoog tijd wordt voor een opvolger....

Edit: ik zie zojuist dat er een gratis Razor-plugin voor Outlook, Thunderbird en Mozilla Mail is: http://www.spamato.net/
Ik draai al Cloudmark, maar als dit net zo goed werkt kan ik het echt maar dan ook echt iedereen aanraden! (stuur de bedanktjes later maar ;)). Het vereist (helaas) wel Java 1.5 RTE en .Net 1.1.

[Reactie gewijzigd door BramT]


En dus brengt dat databankje heel fijn de relaties tussen personen in kaart. Een dergelijke databank is heel leuk te gebruiken voor uiteenlopende commerciele toepassingen. :Y)

Je bedoelt de relatie dat meerdere mensen op dezelfde onveilig wijze met hun e-mailadres zijn omgesprongen? :) (of uit databases zijn geharvest en toevallig op dezelfde lijst terecht zijn gekomen)

Maar dit betekent volgens mij dus ook dat je niet zo maar groepmaisl kunt sturen zoals nieuwsbrieven en dergelijke. Of worden die gemakkelijk herkent door dit systeem.

Dat zijn toch ook gewoon spamberichten eigenlijk :).

Ik heb een gruwelijke hekel aan kettingbrieven en emails van kennissen die beginnen met:

"Ik doe dit normaal eigenlijk nooit, maar dit is zo belangrijk dat ik jullie dit allemaal moet laten zien"... gevolgd door een stop stukje van PETA of één of andere milieuorganisatie.

Stuur dit bericht door naar iedereen in je lijst :P

[Reactie gewijzigd door BasNation]


Ik ben anders voorzitter van een jongeren vereniging waar nog eens wat leden bijkomen en weg gaan. Wij gebruiken ook groepsmail om ieder lid van informatie te voorzien omdat het niet te doen is om telkens alles bij te werken in outlook. Ik zou het nog wel kunnen doen maar dan moet het hele bestuur telkens alle wijzigingen bijhouden.

Bovendien is het soms voor leden ook wel handig als ze iedereen kunnen benaderen.

Nu hoeven we de mail maar naar één e-mail adres te sturen wat ik heb aangemaakt en wat ik beheer en zo kan iedereen de hele vereniging bereiken met up to date adressen.

Zijn het betalende leden? Blijkbaar is het ook te veel moeite om rekeningnummers, incasso's, wel/niet betalende leden bij te houden. Dus je hebt ook geen inkomsten?

Gaap. Mailinglijsten zijn gewoon valide toepassingen van e-mail en worden ook veel gebruikt. Of hij de administratie van zijn vereniging op orde heeft of niet doet daar niets aan af.

een mailinglijst geeft niet alle adressen weer van de deelnemende mensen. Juist het harvesten van mailadressen gaat via het doorzenden op cc besis heel gemakkelijk. Als iemand van die lijst een virus heeft is iedere geadresseerde de LLL.
Dus doorznedne via cc is heel erg fout bezig zijn!

Gebruik dan tenminste BCC als je te luit bent om een listserver of dergelijke software te gebruiken.

Een opt-in nieuwsbrief lijkt me geen spam. De truc is natuurlijk hoe zo'n filter dat kan zien.

Daar heb ik een leuke reply op. Aanvullingen zijn welkom...


Hallo Allemaal!


Ik wil hierbij iedereen bedanken die me ooit ketting mails gestuurd heeft

Gedurende al die jaren, want dankzij jullie:


1.Ben ik nog steeds aan het wachten op het geld wat Bill Gates aan het

Verdelen is.


2.Heb ik al mijn spaarcenten gestort op de rekening van die Amy Bruce,

Arm kind die zwaar ziek was zo'n 7000 keer. (raar, dat kind is sinds

1995 nog steeds 8 jaar oud...)


3.Mijn gratis NOKIA GSM is nooit toegekomen en ik heb mijn gratis

Overnachtingen bij Disneyland ook niet gekregen


4.Heb ik mijn naam zo'n 3000 keer in een lijst toegevoegd en zo een of ander bedreigde soort eekhoorn gered


5.Wist ik zo'n 187 keer dat MSN Hotmail mijn account zou wissen


6.Heb ik het recept om nooit vrijgezel te zijn en gelukkig te zijn voor de rest van mijn leven (het volstaat om de naam van een persoon op een papiertje te schrijven

Terwijl je heel hard aan hem/haar denkt en ondertussen 3 keer aan je

Reet krabben terwijl je achterstevoren Keltische volksliederen zingt)


7.Heb ik zo'n 300 jaar ongeluk gespaard en ben ik zo'n 67 keer gestorven omdat ik die verdomde kettingmails niet heb doorgestuurd


Jullie zijn allemaal super, bedankt!!


Als je deze mail binnen de 10 seconden niet doorstuurt aan minstens

15.000 mensen zal er morgen om 17.30 uur een dinosaurus je hele

Familie komen verslinden.


Let op, het is waar!! 't Is niet om te lachen ik heb het zelf meegemaakt!!


ALS JIJ DIE KETTINGMAILS OOK ZO BEU BENT, STUUR DAN DIT BERICHT DOOR EN

HOPELIJK IS DIT DAN OOK DE LAATSTE KETTINGMAIL DIE JE ZAL ONTVANGEN!!

Goed verzonnen, echter dramatisch offtopic en belemmerend voor de mensen die serieuze reacties willen lezen.

Off=topic:

Laat we het zo zeggen, Humor is Hell on tweakers en wordt niet gewaardeerd.

Dus laten we met z'n allen lekker veel tekst toevoegen en de humor achterwege laten.

Het wordt hier een saaie bedoeling !

Wat ik er zo snel uit begrijp is dat het ook naar de ontvangers kijkt:
stel er zitten een paar ontvangers tussen, die vrijwel nooit spam krijgen, dan is de kans zeer groot dat het geen spam is.

Een mailserver heeft natuurlijk toegang tot alle mailboxen van al zijn gebruikers.
Maar dan nog... spam wordt al tijden volgepompt met allerlei random woorden zodat elk bericht anders is.
Ik krijg het idee dat deze filter alleen spam tegenhoudt die aan meerdere geadresseerden tegelijk wordt gestuurd.

Elke keer dat een bericht wordt verstuurd is het anders met andere random woorden, maar hetzelfde bericht wordt naar meerdere personen gestuurd.
Met dit systeem moeten de spammers elke keer, voor elke persoon een uniek bericht maken. Dat betekend dat het botnet wat harder moet rekenen. Het is gewoon een kwestie van tijd voordat hier een oplossing voor is gevonden. |:(

@ BasNation: Op berichten met "Ik doe dit normaal eigenlijk nooit..." antwoord ik altijd: "Doe dat dan nu ook niet!" :)

Ik kreeg ooit een mail waarin samengevat dit stond:
"Stuur nooit e-mails door die waarschuwen voor virussen of voor gratis telefoons, dit zijn zogenaamde HOAX mails die alle servers enorm belasten ! ... Stuur dit nu naar iedereen in je lijst door zodat ze dit weten ..."

Ongelooflijk is dat ...

[...]
Ongelooflijk is dat ...
En dan te bedenken dat er nog lampenkappen zat rondlopen die dat dan vervolgens nog doen ook. (dat jij 'm binnen kreeg zegt al genoeg over de verzender 8)7 )

Elke keer dat een bericht wordt verstuurd is het anders met andere random woorden, maar hetzelfde bericht wordt naar meerdere personen gestuurd.
Zolang bij die meerdere mensen geen 2 zitten die een emailadres in hetzelfde domein zitten
Gewoon een kwestie van de adresjes wat anders sorteren, dat zal niet veel extra werk zijn.

je mocht maar degene zijn die (doorgaans) veel spam krijgt. Betekent het namelijk dat je totaal geen email meer krijgt met deze filter

Een e-mail die naar een groep mensen wordt verstuurd die veel spam ontvangen, is naar alle waarschijnlijkheid spam.
Mails die maar met een afzender verstuurd worden krijg je nog wel ... het zal niet lang duren of er worden illegale-bot-netwerken opgezet die "slechts" een paar mailtjes gaan versturen met 1 afzender vanaf zombie PC's.

Maar goed, voordat dat ontwikkeld is zijn we even van een grote hoeveelheid spam af. De rechtelijke macht kan weer achterover leunen en hoeft geen duur betaalde (maar zeker deskundige) mensen in te huren. Daarna wordt de oorzaak bij de zorgeloze burger gelegd met zijn zombie PC's en komt er een plicht om meerder virus scanners te hebben draaien anders sluit de provider je af ...

De enige echte oplossing is SPAM keihard aanpakken en niet het resultaat bestrijden. Internationale paarse krokodillen en kastje-naar-de-muur zorgen ervoor dat niemand beweegt en er een politieke onwil is om dit op de wereld handels agenda te zetten (waar het gezien de enorme kosten toch echt thuis hoort). Het overgrote deel van de spam komt maar van een hele kleine groep mensen af ...

[Reactie gewijzigd door hamsteg]


Het gaat er volgens mij meer over dat een geadresseerde als john12sdkj234@hotmail.com een totale spamscore van tegen de 100% zal hebben. De logica is dat een mailtje aan jou, dat ook aan john12sdkj234@hotmail.com is gestuurd, ook vrijwel 100% zeker spam zal zijn en dus eruit gefilterd kan worden.

maar stel jij hebt email adres john12sdkj234@hotmail.com, tja dan ben je de pineut

k3v1ntj3333uuuuhh@hotmail.com heeft imho geen recht om mails te sturen :+

Maar hoe weet men dat het mailtje naar john12sdkj234@hotmail.com hetzelfde mailtje is als die naar mij is verstuurd? Ik bedoel alle spammers versturen inmiddels toch elk spammetje afzonderlijk met een nieuwe unieke tekenreeks ergens, of andere varianten op "p3nis enlargement" etc?

99% SPAM tegenhouden is mooi.
100% van de niet-SPAM mailtjes doorlaten is nog mooier. Daar zit um vaak de crux: 99% tegenhouden is geen probleem, maar je houdt ook sommige niet-spam berichten tegen.
Daar wordt in het bericht niets over vermeld.

Je hebt het over false-positives.

Die 99% is leuk, maar ik lees nergens op hun site wat voor percentages false positives (dus legitieme mailtjes die onterecht als spam geclassificeerd worden) deze oplossing haalt. Dit percentage moet heel, heel laag zijn wil een filter bruikbaar zijn IMHO.

Het is sowieso een oplossing die je niet eventjes voor jezelf installeert; hij werkt alleen als er grote volumes mail door je gateway komen.

edit: typo

[Reactie gewijzigd door ATS]


Precies, ik gebruik daarom helemaal geen SPAM-filter, ik krijg liever wat spam binnen die ik met 1 muisklik wis dan dat ik legitieme mailtjes mis.

Dat klinkt erg mooi, totdat je bij een bedrijf werkt waar je 3 uur per dag besteed aan het filteren van je mail, dan wil je wel iets van een spam-filter gaan gebruken

Blacklists zijn niet de oplossing, whitelists wel. Anderen moeten een aanvraag kunnen doen om mail te mogen versturen die je als gebruiker kan accepteren of weigeren. In het begin zul je veel aanvragen krijgen, maar dat zal heel snel afnemen omdat je whitelist steeds completer wordt.

en dan komt er een spammer die ontdekt hoe je automatisch aanvragen voor whitelists moet doen. Zit je inplaats van urenlang spam te wissen, urenlang aanvragen af te keuren... |:(

Ik ga daar een beetje mensen vragen of ik ze mag mailen zeg. 8)7 Als je geen mail van mij wilt, prima, maar publiceer dan geen e-mailadres.

@Sisko: dat is natuurlijk prima, waar ik dacht dat maniak op doelde zijn die systemen dat de afzender een automatische mail terugkrijgt met "Hoi, je mag mij alleen mailen als je eerst een antwoord op deze mail stuurt zodat ik weet dat ik met een mens te maken heb." Daar word ik nogal moe van.

En het is engelfrieT :)

[Reactie gewijzigd door Arnoud Engelfriet]


Je vraagt het ook niet zelf, je stuurt gewoon je mailtje als altijd, de ontvanger heeft jou niet in zijn whitelist, en krijgt de melding, arnoud.engelfried@tweakers.net heeft u een bericht gestuurd. Wilt u dit a) eenmalig ontvangen, b)altijd ontvangen , c)altijd blokkeren

o.i.d.

Whitelists zijn ook geen oplossing. Zoals hierboven genoemd krijg je dan de spam in het acceptatiebericht, zoals je bijvoorbeeld ook bij ICQ zag.

De enige echte oplossing is identificeerbare afzenders. Als jij je mail ondertekent met een een of andere verifieerbare digitale handtekening die bovendien alleen op aanvraag bij een instantie te verkrijgen is (en dan wellicht slechts 1 per persoon), dan weet je wie de spam verstuurt en kun je zo'n persoon bovendien makkelijk (globaal) blacklisten. Omdat je niet in een handomdraai duizenden verschillende identities kunt creëren kunnen spammers niet blijven spammen.

En hoe kan een mailinglist nog werken? en een mailtje van de meuktracker? en hoe mail je vanuit een internetcafé als je op vakantie bent?

Met 'jouw' oplossing wordt e-mail ontzettend foutgevoelig en omslachtig, privacy wordt overboord gegooid, etc.. En aangezien het nu al niet moeilijk is om creditcardsnummers te bemachtigen, is dit ook geen oplossing. Deze oplossing gaat alleen de legitieme gebruikers treffen.

En hoe kan een mailinglist nog werken? en een mailtje van de meuktracker?
Door de identity te gebruiken van de persoon / het bedrijf dat de mails verstuurt.
en hoe mail je vanuit een internetcafé als je op vakantie bent?
Waarom zou je in een internetcafé niet je eigen handtekening kunnen zetten :?
Met 'jouw' oplossing wordt e-mail ontzettend foutgevoelig en omslachtig, privacy wordt overboord gegooid
Argumentatie aub. Over dat laatste punt, ik zie niet in hoe privacy overboord wordt gegooid. Het enige wat gedaan hoeft te worden is te controleren of een identity valide is. Het wil niet zeggen dat ineens al je gegevens opvraagbaar zijn.
En aangezien het nu al niet moeilijk is om creditcardsnummers te bemachtigen, is dit ook geen oplossing
Als dat je argument is dan is niets meer een oplossing. Zodra je gegevens op straat liggen heb je sowieso al een groter probleem dan wat spam mailtjes.
Deze oplossing gaat alleen de legitieme gebruikers treffen
Hoe treft dat dan iemand? Je bedoelt, het treft de personen van wie hun identity gestolen wordt? Ja goh, je bent meestal slachtoffer van diefstal, no shit.

Google even en je zult er achter komen dat whitelists geen oplossing zijn.
Het slechte aan whitelisting is dat het erg veel extra messages oplevert.

Het is voor de ontvanger een snelle manier om spam te weren (en een hoop andere mails, want je kunt jezelf ook niet meer inschrijven op mailinglists, je mailadres doorgeven aan bedrijven, etc.) Maar als iedereen het zou gebruiken wordt mailen een hel. Elke mail die je stuurt moet je even later bevestigen. Je denkt de volgende dag een reply te hebben gekregen, is het alleen maar de melding dat je nog even moet bevestigen. Het is bijzonder irritant als mensen een whitelist hebben.

Bovendien, als iedereen het gaat gebruiken, gaan de spammers het automatiseren en ook hier hebben we weer de situatie dat er een extra laag complexiteit aan e-mail is toegevoegd, waar alleen de legitieme gebruikers last van hebben.

Blacklists zijn niet de oplossing
hmmm... als ik hier naar de statistieken kijk over de maand November: 164.500 mails weggegooid na controle tegen 4 verschillende blacklists (2 van spamhaus.org, 1 van dsbl en 1 van njabl). Ontvangen: 58.000 mails (die dus wel doorgelaten zijn). Daarvan zijn er 400 door SpamAssassin gemarkeerd als spam. Aantal meldingen over "false positives" (mail gemarkeerd als spam maar geen spam): 0. Aantal meldingen over niet aangekomen e-mail: 0. Aantal meldingen over "false negatives" (mail wel aangekomen maar niet gemarkeerd als spam): 2.
Hoezo zijn blacklists geen oplossing? :?

Wat overigens ook een aanrader is: Greylisting. Veel PC's die onderdeel zijn van botnets of anderszins besmet zijn met een virus kloppen maar 1x aan bij de mailserver, daarna nooit meer. Dankzij greylisting heeft de virusscanner op onze server nagenoeg niks meer te doen... :)

Leuk hoor Geylisting maar het "blijf ff hangen ik mail het meteen even door" is er niet meer bij. Een mailtje kan door greylisting een uur tot zelfs uren vertragen.

Ik heb het er bij diverse klanten af moeten halen omdat email vooral ook snel moet zijn. Greylisting kan een enorme vertraging opleveren. Voor partikulieren vaak helemaal geen probleem maar in het bedrijfsleven dus duidelijk wel.

Zelf ondervonden dat iemand mij een mailtje stuurde en daarna in de auto stapte naar mij toe. Hij was er 2 uur eerder dan het mailtje :'(

Leuk hoor Geylisting maar het "blijf ff hangen ik mail het meteen even door" is er niet meer bij.
Ieder voordeel heeft zijn nadeel :)
Maar je hebt gelijk, er kan inderdaad wat vertraging opleveren. Tegelijkertijd: als je de filters een beetje goed afregelt zie je dat mensen die regelmatig mailen (bijvoorbeeld vaker dan 1x per 3 weken) daar geen last van hebben: de greylist filters herkennen de afzender en laten de mail meteen door.

Een e-mail die naar een groep mensen wordt verstuurd die veel spam ontvangen, is naar alle waarschijnlijkheid spam
Het probleem is die 'groep mensen'. Stel, een spammer verstuurt zijn mails als BCC's en kiest adressen met verschillende domeinen. Dan is nooit te achterhalen welke 'groep mensen' nog meer die mail heeft gehad? Vergelijken/hashen van alle mails heeft ook geen zin door het toevoegen van random data.

Gmail heeft ook een goed spam filter. Vrijwel alles word er bij mij uitgefilterd, en nog geen false positives gezien in de spam folder... Zit misschien ook wel zulke statistiek in.

[Reactie gewijzigd door JanDM]


dat is pas een mooie legacy om na te laten na je dood: "Verloste zijn volk van SPAM" _/-\o_

En dan een lintje postuum uitgereikt krijgen. En een begrafenis met the Spam Song van Monty Python. :P

Dit valt bij mij in de categorie promotionele prietpraat. Men gebruikt voor promotie dezelfde formule als gewoonlijk bij promotionele praatjes. Veel bla bla over de voordelen en het doen van claims maar geen vuil woord over nadelen. U moet het product maar voor lief nemen met een niet-goed-geld-terug garantie met haken en ogen. Het lijkt hiermee vooral een nieuwe insteek in de bestreiding van spam, maar niet als standalone oplossing, laat staan de ultieme oplossing.

De spamfilter van gmail werkt super... ik krijg echt heel zelden een spambericht te zien en het aantal false positives tot hiertoe is nul.

Uiteraard zullen altijd wel een aantal mensen het spambericht te zien krijgen en het moeten aangeven als spam, maar met zoveel gebruikers als gmail heeft werkt dat perfect.

Het is wel een mooi idee, maar het is natuurlijk makkelijk te omzeilen door spammers die elk bericht maar naar één recipient tegelijk sturen. Uiteindelijk zijn alle methoden die filteren op de inhoud van berichten afzonderlijk wel op de een of andere manier te omzeilen, dus het zal nooit werken om één specifieke methode te nemen en die als definitieve oplossing voor te stellen. (Je zag bijvoorbeeld ook hoe spammers willekeurige woorden gingen toevoegen, toen Bayesiaans filteren populair werd.)

Het klinkt saai, maar het beste blijft toch het combineren van verschillende analyses, op basis van mail headers en inhoud, en een gecombineerde score vast te stellen. Dat levert geen waterdichte analyse op, maar wel één die niet eenvoudig omzeild worden, omdat niet aan één voorwaarde maar aan een heleboel tegelijk voldaan moet worden.

Er zijn al vele "oplossingen" voor spam voorgesteld, maar hoewel spamfilters redelijk effectief zijn tegenwoordig, is er nooit één de definitieve oplossing voor het probleem gebleken. Enige scepsis lijkt me bij dit bericht dus terecht.

[Reactie gewijzigd door Soultaker]

«  1  2  3  »

Op dit item kan niet meer gereageerd worden.

Volgende 12:16
Vorige 11:01
VNU Media logo Powered by True

© 1998 - 2008 Tweakers.net - Alle rechten voorbehouden

Uitgever van: