CloudFlare: zo goed als al het verkeer naar klanten via Tor is kwaadaardig

CloudFlare, een bedrijf dat onder andere websites beveiligt, stelt dat 94 procent van al het Tor-verkeer dat het bij zijn klanten waarneemt, kwaadaardig is. Het anonieme netwerk zou onder andere gebruikt worden om e-mailadressen voor spamcampagnes te verzamelen.

In een blogpost verklaart CloudFlare-ceo Matthew Prince dat de benaming 'kwaadaardig' niets met de inhoud te maken heeft die wordt bezocht, maar dat deze slaat op de activiteit die wordt uitgevoerd. Zo zou het Tor-netwerk naast het verzamelen van e-mailadressen gebruikt worden om comment spam te bedrijven, net als het zoeken naar kwetsbaarheden, fraude met advertenties en content scraping.

Als gevolg daarvan wijst CloudFlare een hoge threat score toe aan de ip-adressen van Tor-exit-nodes, wat een aanduiding is voor het risico dat een verbinding vanaf dat ip-adres met zich meebrengt. Daardoor worden echter ook legitieme gebruikers van het Tor-netwerk getroffen. Zij worden vaak geconfronteerd met captcha's, die moeten verifiëren dat inderdaad een menselijke gebruiker een verzoek doet.

Zoals Ars Technica meldt, heeft CloudFlare onlangs een beleid ingevoerd, waardoor klanten kunnen kiezen wat zij met inkomende Tor-verzoeken willen doen. Zij kunnen het toelaten of blokkeren en kunnen er ook voor kiezen om een test uit te voeren met een captcha of een javascript-challenge. Het kan dus ook voorkomen dat een Tor-gebruiker helemaal geen toegang krijgt tot een bepaalde pagina. Ook zijn Tor-gebruikers bijvoorbeeld niet in staat om Wikipedia-pagina's aan te passen en wordt zestig tot zeventig procent van al het Tor-verkeer geblokkeerd door Akamai en Amazon Web Services, weet Ars Technica.

Volgens CloudFlare is het moeilijk om onderscheid te maken tussen kwaadwillende en legitieme gebruikers van het anonieme netwerk. Normaal gesproken wordt de threat score namelijk genegeerd als de reputatie van de browser van de gebruiker goed is. Door het ontwerp van de Tor-browser zou het identificeren van individuele gebruikers echter bemoeilijkt worden. Het identificeren aan de hand van een browser is bijvoorbeeld mogelijk met device fingerprinting. Ook is er maar een beperkt aantal exitnodes van het Tor-netwerk, waardoor een relatief kleine groep kwaadwillende gebruikers tot een hoge risico-schatting kan leiden.

Het aantal Tor exit nodes dat als comment spammer wordt aangemerkt Bron:CloudFlare

Reacties (58)

Vergeet niet dat CloudFlare baat bij heeft bij het bestrijden van Tor.

CloudFlare heeft een machtige positie, want het kan exact zien wie met welk ip-adres en allerlei andere Supercookie-technieken (Canvas, window/tab-dimensions, etc) in haar "een ogenblik geduld"-laadscherm naar welke site gaat en wanneer. Eigenlijk houdt het puur alle gebruikers in de gaten van een bepaalde site die de service van CloudFlare gebruikt.

Een ware diamantenmijn voor adverteerders (en voor de overheid). Nu is CloudFlare nog cool omdat het gratis en gemakkelijk is.

CloudFlare wil met deze blogpost haar hegemonie veilig stellen door Tor in kwaad daglicht te stellen..

Of jouw beschuldigingen waar zijn of niet, dat veranderd er niks aan dat dit de werkelijkheid is en daar gaat het nieuwsbericht dus over. Of denk je ook dat Cloudfare hierover liegt?

Persoonlijk verbaasd het me eigenlijk dat het niet nog hoger ligt, ik ken echt niemand die voor random surfen (waarbij je dus bij door Cloudfare beveiligde sites komt) Tor gaat gebruiken.

https://www.security.nl/p...26+everyone+we+know%27%21

Hier staat een uitgebreide reactie van iemand t.a.v. de blogpost van Cloudflare. Het leest iet wat lastig er door heen, maar de schrijver er van stelt wel enkele issues goed aan de kaak t.a.v. het onderzoek van Cloudflare.

Het tor verkeer was voor een grote klant van ons vervelend en heb er firewall blokkeer script voor gemaakt.
Ik heb een blogpost geschreven met een script om al het verkeer via tor te blokkeren in de cloudflare firewall.
https://aapjeisbaas.nl/bl...-cloudflare-firewall.html

En voor lokaal iptables:
https://aapjeisbaas.nl/bl...affic-to-your-server.html

[Reactie gewijzigd door aapjeisbaas op 31 maart 2016 10:26]

Je kunt ook Tor verkeer blokkeren, accepteren of een CAPTCHA vereisen (standaard) vanuit de admin console. Zie https://support.cloudflare.com/hc/en-us/articles/203306930-Does-CloudFlare-block-Tor-

Dat kan alleen als je een Business Plan subscription bij deze club afneemt. Voor de gratis variant kan T1 (Cloudflare behandeld Tor nodes als een land, genaamd T1) niet aan de firewall worden toegevoegd (zojuist geprobeerd).

Ah, thanks voor de info!

Toch vraag ik me ook af hoe up to date de lijst is die ze gebruiken.
Ik gok dat ze dezelfde source gebruiken en de endpoints in een group zetten zoals de ipset versie van mijn script.
Cloudflare kennende bedenken ze er wel iets slims op.

Maar als je geen cloudflare gebruikt en tor verkeer buiten wil houden:
https://aapjeisbaas.nl/bl...affic-to-your-server.html

Later deze week zal ik eens een uitgebreide modulaire iptables setup posten waar dat script een onderdeel van is.

(comments en vragen zijn altijd welkom)

[Reactie gewijzigd door aapjeisbaas op 31 maart 2016 13:28]

Ik zou wel fgrep gebruiken voor het matchen van ips. Anders word de dot tussen octets gezien als een metacharacter in de regexp.

Daar was ik niet van op de hoogte of was er nog niet toen ik het nodig had.
Eind februari heb ik het scriptje in elkaar gezet en later op m'n blog gezet.


Edit:
Na even goed kijken naar de info, deze instellingen pas ik aan via de api met het script per tor endpoint en kies voor block maar je zou ook een andere actie kunnen gebruiken.

[Reactie gewijzigd door aapjeisbaas op 31 maart 2016 10:38]

Top script!

Event een stukje gegolfd, want alles kan met curl en awk:

TORLIST=$(curl -s https://check.torproject.org/exit-addresses | awk '$1=="ExitAddress"&&!a[$2]++{print $2}')

De lijst is nu niet sorted, maar dat doet er voor de FW niet toe.


References:

http://unix.stackexchange...3324/sort-and-uniq-in-awk

Bedant!!!

Super cool die bewerking met awk.
Heb net een beetje getest maar het maakt voor de verwerk tijd bijna geen verschil.

mijn pipe misbruik versie:
1.6 sec

awk:
1.3 sec

Dat verschil zal wel groter worden met de input. Dit zou ook wel eens een kat en muis spel kunnen worden tussen exit node operators en Cloudfare, alhoewel de werking van tor voor mij nog niet helemaal duidelijk is. Het aantal exit-nodes kan toch groeien ?

Als ze hun coëfficiënt berekenen op het aantal gebruikers wat door de captcha heen komt dan snap ik wel waar het hoge percentage vandaan komt. Als je browset met Tor (en misschien NoScript) dan is het praktisch onmogelijk om als legitieme gebruiker door hun captcha heen te komen Ik heb verschillende websites daardoor niet kunnen bezoeken

Dat mag je wel zeggen hoe vaak ik zo een captcha krijg met noscript is zeer irritant.
Maar liever dat dan "2miljoen" popups en redirects + meer reclame dan site

Inderdaad. En daarnaast: hoe kom je erachter dat iemand e-mailadressen aan het verzamelen is? Ik neem aan dat daarvoor webpagina's gescraped worden, en het is niet bepaald mogelijk om na te gaan wat er met (de content van) een pagina gebeurt. Men kan alleen observeren dat er (veel) pagina's worden opgevraagd, tenzij elk vermeld emailadres pas met een aparte Ajax/XHR call wordt vrijgegeven.

Alternatief is dat er mailadressen gegenereerd worden, en via tor gemaild om te zien of er iets aankomt. Maar dat lijkt me juist weer geen e-mailadressen 'verzamelen'.

Cloudflare mag dan wel goede oplossingen aandragen maar gebruiksvriendelijk is het allemaal niet.

1. Vervelende captcha die je weer enkele seconden kosten om op te lossen. (Soms twee van die legpuzzels)
2. Wil je naar een bepaalde site is er een DDOS bescherming ingebouwd. Zit je 5 seconden naar een grijs scherm te staren.

Dit soort maatregelen komt het internetgebruik nou niet echt ten goede.
Erg jammer, maar helaas is het kennelijk noodzakelijk.

[Reactie gewijzigd door Patrick89 op 31 maart 2016 11:49]

Die captcha en DDOS bescherming krijg je enkel wanneer de beheerder van de website in het Cloudflare Control Panel aangeeft dat zijn website "under attack" is. Er zijn een stuk of 5 verschillende dreigingsniveau's en afhankelijk daarvan krijg eventueel die maatregelen die je aangeeft. Een normale gebruiker die surft naar een website die niet aangevallen wordt, merkt niet eens dat de website achter Cloudflare zit.

Maar is dat de schuld van CloudFlare of de personen die misbruik maken van een dienst of een aanval uitvoeren

Ik heb liever dat ik een site kan bezoeken na 5 seconden wachten dan de site niet te kunnen bezoeken omdat ze zijn bezweken onder de aanval dus in mijn ogen is CloudFlare juist enorm goed bezig met dergelijke oplossingen.

Het captcha probleem heb ik ook bij gebruik van cyberghost vpn.
Wanneer ik ingelogd ben kan mijn huisgenoot, die niet met vpn bladert, ook op velerlei sites het captcha spelletje doen.

FYI

Ik heb dat ook met mijn VPN. Geen van de SMTP servers die ik gebruik accepteert mijn email over een VPN en hier op Tweakers kan ik bijvoorbeeld wel lezen en inloggen maar niet reageren op artikelen.

Vervelend maar begrijpelijk gezien het misbruik dat VPN en TOR met zich mee kunnen brengen.

Een aantal kwaadwillende gebruikers verpest het hiermee voor andere gebruikers. Toch kwalijk dat personen uit (bijvoorbeeld) China die met TOR moeten browsen geen pagina's op wikipedia meer aan kan passen.

Ik vind het wel zorgelijk dat je niet anoniem via tor aanpassingen kunt maken op wikipedia. Ik zou stellen dat zulke beveiliging belangrijk is wanneer je een pagina aanpast waarbij je lokale overheid het niet mee eens is.

De realiteit is echter eerder dat veelal de feyenoord supporters via tor de ajax-wikipedia pagina's gaan veranderen en vice versa.

Dit is zo'n gevalletje dat 0,0001% met goede bedoelingen moet leiden onder de rest met kwade bedoelingen.

Echter kan zo iemand uiteraard wel een ander vragen om de wikipedia pagina aan te passen.

Wat een misleidende titel, cloudfare zegt niet dat het grootste deel van het Tor verkeer kwaadaardig is. Ze zeggen dat 94% van het verkeer richting hun klanten 'kwaadaardig' is. Dit kan uiteraard ook iets over hun klanten zeggen

Het zegt natuurlijk vooral dat het overgrote deel van het verkeer dat zij zien, kwaadaardig is.
Als we zo'n analyze op het tor-verkeer naar Tweakers zouden doen, ben ik bang dat we net zo'n soort resultaat zien. Content scraping, security issue scanning en dergelijke zien wij ook vaak vanaf Tor's exit nodes komen.
Overigens heb ik geen cijfers verzameld, dus wellicht is het relatief tov het normale verkeer vanaf Tor nog beperkt.

Het is ook niet heel 'eerlijk' om er een percentage aan te hangen. Een gewone gebruiker doet 10 pageviews en is daarna klaar met lezen. Een scraper doet er 1000. En voila; 99% van het verkeer is kwaadaardig.

In welke zin is dat oneerlijk? Je server heeft nog steeds die 1010 pageviews om te verwerken. Als je dan, theoretisch gezien, een server heb staan die er maar 1000 aankan, dan zit je dus met een 'DOS-aanval' en is het terecht dat 99% van het verkeer wordt aangemerkt als 'kwaadaardig': het betreft geen 'normale gebruiker' welke gebruik maakt van je website of dienst onder 'normale omstandigheden' of volgens een eventuele EULA/TOS.

Dat het kwaadaardige verkeer in jouw voorbeeld een veelvoud is van het 'normale' verkeer, doet er in die zin ook niet toe. Er van uitgaande dat het beiden via TOR loopt, is er geen tot zeer weinig onderscheid te maken; net als wanneer iemand vanuit jouw huis bezig zou zijn. Dan is op het moment zelf en vanuit externe bron ook moeilijk te achterhalen of jij het zelf was of dat het een familielid was.

In die zin is het bij TOR net zo moeilijk te achterhalen welke gebruiker er achter de browser zit, als dat het is om de bestuurder van een auto te bepalen als je geflitst wordt. Het kan, maar dan heb je meer info nodig dan alleen wat verkeer of een kenteken (vergelijkbaar met een exit-node).
Let wel; de vergelijkingen hierboven zijn zeer beperkt toepasbaar en zullen vol gaten zitten, maar schetsen een beetje een beeld.

Oneerlijk is mischien een verkeerd woord, maar ik bedoel daarmee vooral om op te passen dat je het percentage verkeer niet gelijkstelt met de torgebruikers en dan dus de conclusie trekt dat 94% van de tor gebruikers ook kwaad in de zin heeft.

Het is een beetje zoals met email; 95% van de email was spam een tijd terug (tegenwoordig maar 30-50%), maar veruit het grootste gedeelte van de mensen die mail gebruiken versturen geen spam.

Snap ik ook wel, dat ga je niet graag vanaf je eigen IP doen, dan is het voor sites een simpele block en klaar. Met Tor hebben ze nog wat spreiding in IPs.
Als straks iedereen Tor blokkeert, stappen ze over naar een lief botnetje, en gaat iedereen die proberen op te sporen en te blokkeren.

Ik blokkeer zelf ook Tor exit nodes met Blockscript: https://www.blocked.com/

Teveel gezeik gehad met spammers die van Tor kwamen, of gebande spelers die via Tor gingen lopen kutten.

Nou geloof ik ook gelijk dat er enorm veel troep vanaf Tor exit modes komt. Surf zelf ook nog wel eens via Tor en kan me herinneren dat ik bij Tweakers ook tegen wat dingen aanliep (zou even moeten opzoeken wat precies) waarvan ik dacht "nou moe" dan maar weer een gewone browser. Als dat vaker is dan weer je op een gegeven moment steeds meer de gewone gebruiker en houd je alleen de "kwaadaardige" dingen over.
Beetje een kip-ei verhaal natuurlijk ondertussen.

Hey sapphire, terecht opgemerkt! Dat kan inderdaad duidelijker. Heb het aangepast.

https://sourceforge.net/projects/torshammer/

IP-adressen waar spam-aanvallen, hackaanvallen ed van komen.

Dat klinkt plausibel maar ook daar geld weer dat mensen de dupe kunnen zijn van iets wat ze niet hebben gedaan (spam versturen).
Daarom is de uitspraak 94% op basis van IP adressen die vermoedlijk blacklisted zijn een beetje gek want dit is een deel van de waarheid.

[Reactie gewijzigd door pancake82 op 31 maart 2016 14:03]

sorry maar i smell bull crap..

als jij als pcgebruiker, spam verstuurt dan ben jij verantwoordelijk, bijv door geen firewall te hebben, door je anti-virus defs niet bij te werken (of er helemaal geen te hebben' door windows niet up to date te houden, of gewoon door algemene onkunde...

al deze dingen zijn verwijtbaar, kunen worden opgelost door betere inzet, andere prioriteiten, of het vergaren van meer kennis en kunde...

net zoals je niet gewoon in een auto mag stappeen, (rijbewijs) of in mensen mag snijden (docters beschermd beroep )... zo ook hoor je enige computer vaardigheden en verantwoordelijkheden aan te leren.

Wat een onzin.
Een PC/laptop/tablet/smartphone is een gebruiksvoorwerp geworden voor de grote massa, net als een TV dat is. En net zoals je bij een tv-kijker niet moet/mag/kunt verwachten dat hij gespecialiseerde kennis heeft over zijn toestel en hoe programma's verzonden worden kun je ook niet verwachten -laat staan eisen- dat hij dat heeft bij bv zijn/haar smartphone.
Als je dat wel zou doen en de persoon daar bovendien verantwoordelijk voor stellen dan kun je het overgrote deel van de gebruikers beter meteen de toegang tot het internet verbieden. En dan zet je best ook tegelijk een minimum leeftijd op de gebruikers.
Bredere maatschappelijke problemen los je niet op door iedereen individueel verantwoordelijk te stellen. Dat is de gemakkelijkheidsoplossing van wie zich deel waant van een kleine elite.

Tor = het perfecte, wereldwijde proxy-netwerk.

CloudFlare beveiligt zeker geen websites, het is enkel een laag er voor maar dat maakt een website of de gebruikte software niet veilig.

CloudFlare kan als Web Application Firewall werken en/of als DDoS beveiliging.