Thaise telco laat 3,3 miljard dns-queries via ElasticSearch-database uitlekken

Een beveiligingsonderzoeker heeft een open ElasticSearch-database gevonden met daarin browsegegevens van miljoenen Thaise telecomklanten. De database bevatte 3,3 miljard dns-queries en 5 miljard rijen aan NetFlow-data.

Beveiligingsonderzoeker Justin Paine, die het lek ontdekte, zegt dat de database gegevens bevat van Advanced Info Service, de grootste telecomprovider van Thailand. De onderzoeker ontdekte via zoekmachines Shodan en BinaryEdge een ElasticSearch-database waar geen wachtwoord op zat. De database was verdeeld over drie verschillende ElasticSearch-servers.

In totaal vond Paine 8,3 miljard records in de database. Die bestond uit 3,3 miljard dns-queries, en 5 miljard rijen aan NetFlow-data. NetFlow is een netwerkprotocol van Cisco waarmee ip-data kan worden verzameld. Een week nadat de database online werd gezet, stopten de beheerders met het loggen van de dns-queries. De ontdekker zegt dat niet duidelijk is waarom. De NetFlow-data bleef wel constant loggen.

Paine kon niet alleen zien welke websites iemand bezocht, maar ook welke apparaten zij op hun netwerk gebruikten en in sommige gevallen zaken zoals welke software iemand op zijn apparaat had staan. Dat laatste was mogelijk doordat van gebruikers bijvoorbeeld queries werden gedaan naar templateservice.office.com of naar play.googleapis.com.

Volgens de onderzoeker verscheen de ElasticSearch-server op 1 mei van dit jaar op internet. Hij trof die daar op 6 mei aan. Nadat Paine de database ontdekte, lichtte hij op 13 mei de provider in, maar die reageerde daar niet op. Daarop deed Paine een melding bij Thailands Cyber Security Centrum ThaiCERT. Dat nam contact op met de provider, waarna de database offline is gehaald.

Reacties (99)

[0xygen500]

Als totale leek, waarom wordt dit gelogd? Is dit ook zo in Nederland? Zo ja hoe lang blijft dit bewaard bij een ziggo of KPN?

[Centurius]

Er is geen goede reden voor, in theorie zou het interessant kunnen zijn om preventief bepaalde resultaten te cachen zodat je gebruikers sneller de dns hit krijgen. Echter heeft iedere gangbare DNS server software al goede caching ingebouwd. Dus apart loggen is alleen maar een onnodig risico in je systemen introduceren bij een lek zoals dit.

Of onze providers dit ook doen? Waarschijnlijk niet maar dat zullen alleen de back offices van de providers je kunnen vertellen. Zelfs als dit zo zou zijn kun je het alleen al makkelijk omzeilen door een andere DNS dan je provider te gebruiken. Iets wat sowieso al wel aan te raden is.

[Gomez12]

Of onze providers dit ook doen? Waarschijnlijk niet maar dat zullen alleen de back offices van de providers je kunnen vertellen. Zelfs als dit zo zou zijn kun je het alleen al makkelijk omzeilen door een andere DNS dan je provider te gebruiken. Iets wat sowieso al wel aan te raden is.

Ik vind dit altijd wel een grappige argumentatie, ipv een lokale provider die gewoon een stukje abbo-geld voor deze dienst kan reserveren en die vanwege de lokaliteit / beperkte gegevens al heel slecht kan loggen moet je maar overstappen naar services die simpelweg wel geld kosten, maar waarvan de inkomsten-stroom onbekend is en het vanwege de grootte juist super-interessant is om alles te loggen en die data te verkopen.

[Keypunchie]

Ik vind dit altijd wel een grappige argumentatie, ipv een lokale provider die gewoon een stukje abbo-geld voor deze dienst kan reserveren en die vanwege de lokaliteit / beperkte gegevens al heel slecht kan loggen moet je maar overstappen naar services die simpelweg wel geld kosten, maar waarvan de inkomsten-stroom onbekend is en het vanwege de grootte juist super-interessant is om alles te loggen en die data te verkopen.

Zoveel for-profit DNS partijen zijn er ook weer niet. En degene die ik ken bieden de dienst gratis aan.

CloudFlare (1.1.1.1) zegt 24 uur logs te bewaren. Quad9 (9.9.9.9) anonimiseert de logs op basis van 'generieke lokatie' van het IP, ipv. IP zelf.* Google bewaart voor 48 uur en daarna anonimiseren ze op basis van 'ISP&Lokatie'.

Goed, je moet ze tot op zekere hoogte op de blauwe ogen geloven (en dat doe ik in deze wel), maar ze hebben tenminste een duidelijke policy en zij weten niet welke persoon/adres bij welk IP hoort. Terwijl je provider dat echt wel weet.

Overigens gebruik ik ze vooral vanwege stabiliteit. Mijn ervaring met ISP-DNS is dat die wel eens onbeschikbaar wil zijn.

*Dus je log-entry wordt dezelfde stad als die van al die hete singles die op zoek zijn naar jou ;-)

[Reactie gewijzigd door Keypunchie op 29 juli 2024 13:08]

[twiFight]

Zoveel for-profit DNS partijen zijn er ook weer niet. En degene die ik ken bieden de dienst gratis aan.

Dat is zijn hele punt. Het runnen van een DNS kost veel geld, maar ze zijn gratis te gebruiken. Dan halen ze dus hun inkomsten ergens anders vandaan. En Gomez is terecht sceptisch en kritisch over waar ze dat geld dan precies mee verdienen.

[aileron]

Neem een provider die je vertrouwt.
Ik ga naar Freedom wanneer deze provider beschikbaar is.

[tweaknico]

de eerste 128 klanten hebben in kunnen schrijven (in 2 minuten vol)
de tweede tranche van 256 was in 8 minuten vol. ...

Als je een freedom.nl mail adres hebt (is zo wie zo een voorwaarde voor inschijving) krijg je een dag van te voren een uitnodiging / nieuws brief waarin staat hoe laat het loket opengaat en de URL die gebruikt moet worden.

Op dat tijdstip gat het loket pas open, (niet eerder ;-) en het sluit als het aantal inschrijvingen klaar is.

[Mellow Jack]

Het hoeft volgens mij niet enorm veel geld te kosten.

Opslag is dan weer een heel ander verhaal want dat kost je wel het e.e.a.

[dasiro]

allemaal net lang genoeg om ondertussen al lang naar elders te zijn weggesluisd (lees overheidsdiensten) zonder dat ze er iets over mogen zeggen

[YangWenli]

Cloudflare is een Amerikaans beursgenoteerd bedrijf.

[Centurius]

Mja er zijn meerdere redenen om over te stappen op de DNS van een andere partij. Ten eerste zijn deze DNS servers over het algemeen stabieler, als insider kan ik je zeggen dat voor de meeste (Nederlandse) providers de DNS servers echt geen prioriteit zijn, daarnaast heb je ook dat als je de internetverbinding, DNS, etc. allemaal bij je ISP houdt deze partij wel ineens een heel volledig profiel van je kan opstellen. Als je daarentegen de combi neemt van een ISP, aparte DNS provider en een VPN dan zijn er wel 3 partijen met je data, maar geen van de drie heeft alle data.

Persoonlijk heb ik er dan weer voor gekozen om van me eigen server infrastructuur gebruik te maken om een VPN en dns server op te zetten. Zo weet ik 100% wat er wel of niet gelogd wordt en heeft niemand behalve ik toegang tot die data. Dat is iets dat je zelfs al voor een paar euro per maand met een VPS bij TransIP ofzo kunt. Het hoeft echt geen kapitaal te kosten om stabiele en volledig veilige/anonieme internet toegang te krijgen.

[Gomez12]

Als je daarentegen de combi neemt van een ISP, aparte DNS provider en een VPN dan zijn er wel 3 partijen met je data, maar geen van de drie heeft alle data.

Met een standaard instelling heeft je VPN-partij alle data, aangezien standaard VPN's alles routeren via VPN, dus of je moet zelf DNS verkeer uit gaan sluiten of ze hebben dat ook gewoon.

Persoonlijk heb ik er dan weer voor gekozen om van me eigen server infrastructuur gebruik te maken om een VPN en dns server op te zetten. Zo weet ik 100% wat er wel of niet gelogd wordt en heeft niemand behalve ik toegang tot die data. Dat is iets dat je zelfs al voor een paar euro per maand met een VPS bij TransIP ofzo kunt. Het hoeft echt geen kapitaal te kosten om stabiele en volledig veilige/anonieme internet toegang te krijgen.

Leuk bedacht, maar behalve als je het publiekelijk beschikbaar maakt dan is het nog steeds jouw VPS account die dns-records opvraagt en die dus aan jou te linken zijn.

[Centurius]

Met een standaard instelling heeft je VPN-partij alle data, aangezien standaard VPN's alles routeren via VPN, dus of je moet zelf DNS verkeer uit gaan sluiten of ze hebben dat ook gewoon.

Daar zit een stuk eigen verantwoordelijkheid, als je de goedkoopste VPN zoekt welke je vinden kunt ja inderdaad. Maar de iets duurdere partijen zoals Private Internet Access zijn onafhankelijk geverifiëerd op hun no logging beleid, dus verkeer naar DNS servers wordt al niet gelogd. Omdat ze zelf de DNS servers niet beheren kunnen ze ook de queries niet loggen of cachen. En ja, als je het goed instelt kun je ook de DNS requests uitsluiten.

Leuk bedacht, maar behalve als je het publiekelijk beschikbaar maakt dan is het nog steeds jouw VPS account die dns-records opvraagt en die dus aan jou te linken zijn.

Hoe precies wil je dat doen? Je provider kan het naar jou traceren omdat ze hun eigen klantenbestand hebben waarbij de ip's van DNS requests direct terug te traceren zijn, tenzij jij dus de DNS server van je VPS provider als upstream pakt is daar al een scheiding in gegevens. Daarnaast kun je wanneer je je eigen DNS server beheert ook instellen welke partijen gequeried moeten worden en dus een set aan servers van verschillende bedrijven opzetten. Zo krijgt geen enkele het volledige DNS beeld van je.

[Byron010]

Wist niet dat de google DNS/Cloudfare DNS geld kosten.. dat is nieuw voor mij

[Argantonis]

Bij Google betaal je niet in euro's maar met je gegevens natuurlijk.

[watercoolertje]

Nee dat doe je niet, misschien door sneller te browsen waardoor je uiteindelijk meer ads krijgt te zien en er potentieel op met klikt. Maar niet met die (dns)data zelf!

https://developers.google.com/speed/public-dns/privacy

We don't correlate or combine information from our temporary or permanent logs with any personal information that you have provided Google for other services.

Op de pagina kan je lezen wat die 2 type logs dan inhouden en waar het WEL voor gebruikt wordt...

[Reactie gewijzigd door watercoolertje op 29 juli 2024 13:08]

[tweaknico]

Je levert een hele lijst aan hostnamen die je omgezet wil hebben naar IP adressen... dat is ook data die inzicht verschaft.... met IP afzender-adres als verzamel etiket.
Je gebruikt office365.com ... dus weet goodle dat je zoeiets gebruikt... mogelijk krijg je vaker google docs etc. onder de aandacht. ze zouden zelfse die queries een of twee seconden kunnen vertragen met een wat kortere TTL, waardoor jij de indruk hebt dat office traag zou kunnen zijn. vs. andere diensten.

[watercoolertje]

Er staat expliciet dat ze dat dus niet doen

De vraag, maar wat als ze dan toch doen wat ze zeggen niet te doen, kan je letterlijk bij elk bedrijf en persoon gebruiken en kan alles dus onderuit halen. Maar niet op een basis dat het enige waarde heeft zonder dat je dat daadwerkelijk aan kan tonen. En dat maakt het ook niet waar ofso...

[Reactie gewijzigd door watercoolertje op 29 juli 2024 13:08]

[Byron010]

Hij heeft het over geld, dus daar ging ik op in

[3dmaster]

Ik werk voor een zakelijke provider en wij loggen geen queries op onze dns servers. Of andere dat wel doen, geen idee. We loggen wel dns fouten om evt aanvallen te kunnen detecteren.

[Centurius]

Uhu, ik heb zelf inmiddels bij meerdere consumentenproviders gewerkt waar ik ook vrijwel 100% zeker weet dat we er niet hebben gelogd. Maar ik wil me niet wagen aan een uitspraak dat geen enkele provider het doet omdat ik dat niet 100% zeker weet. Al ga ik er persoonlijk wel van uit.

[arjankoole]

Uhu, ik heb zelf inmiddels bij meerdere consumentenproviders gewerkt waar ik ook vrijwel 100% zeker weet dat we er niet hebben gelogd. Maar ik wil me niet wagen aan een uitspraak dat geen enkele provider het doet omdat ik dat niet 100% zeker weet. Al ga ik er persoonlijk wel van uit.

Idem, bij de ISP’s waar ik heb gewerkt. DNS queries werden zelfs in 1999 al beschouwd als een privacy ding, en niet gelogd. (En op diezelfde nameservers draaiden we ook wat extreem populaire DSBL’s, dus loggen was zelfs een idioot slecht idee voor ons)

[Centurius]

Ja sowieso is bij Nederlandse ISP's de klimaat van comercialiseren nooit echt zo doorgedrongen waardoor het in het algemeen juist eerder een kostenpost is om te loggen (HDD's zijn goedkoop maar niet gratis) dan dat het iets oplevert.

[vosManz]

Zelfs als dit zo zou zijn kun je het alleen al makkelijk omzeilen door een andere DNS dan je provider te gebruiken. Iets wat sowieso al wel aan te raden is.

Serieuze vraag: waarom is dat sowieso al aan te raden?

Ik gebruik de DNS van mijn ISP en heb daar nog nooit problemen mee gehad. Als ik zou weten dat ze bewust DNS gegevens loggen om commerciële redenen zou dat een goede reden zijn om een andere DNS provider in te stellen, maar je geeft zelf al aan dat dat waarschijnlijk niet zo is. Als je een andere DNS provider gaat gebruiken, moet je die ook maar vertrouwen dat ze goed met je gegevens omgaan. Ik lees hier vaak bij vergelijkbare artikelen 'tips' dat je de DNS van Google moet gebruiken, maar als er een partij logt om commerciële redenen is het denk ik Google wel (al hebben ze de beveiliging daarvan doorgaans wel op orde natuurlijk). Maar hoe dan ook moet je een partij vertrouwen met je DNS queries. Naar mijn mening zijn providers in Nederland aardig betrouwbaar (en gebonden aan vrij strenge regelgeving), zowel qua privacy als stabiliteit/snelheid. Ik zie dus geen enkele reden om een andere DNS dan die van je provider te gebruiken, tenzij die van je provider echt onstabiel/traag is. Maar misschien zie ik natuurlijk een belangrijk argument over het hoofd

[Centurius]

Ik ben er op een andere reactie al meer op in gegaan maar kort samengevat. DNS is voor de meeste providers een nagedachte en iets waar ze niet echt optimaliseren. Partijen als Google, OpenDNS, Cloudflare DNS maar ook een non-profit partij zoals OpenNIC heeft een veel stabieler en geoptimaliseerd product. In de praktijk merk je dat je internet hierdoor net iets soepeler loopt en er zijn minder storingen. Daarnaast hebben deze diensten soms ook leuke bonus features, OpenNIC geeft je bijvoiorbeeld toegang tot eigen tld's (zoals .libre) die je niet op het gewone internet krijgt, OpenDNS heeft dan bijvoorbeeld bepaalde anti-malware dingen en filtering opties. De betaalde diensten als Getflix geven je toegang tot streaming diensten in andere landen, etc.

Persoonlijk heb ik zelf m'n eigen DNS servers en VPN draaien zodat ik zelf alle instellingen en logging beheer, niet volledig gratis maar op een basis VPS ook voor 5 euro per maand op te zetten.

Er zijn dus honderden verschillende opties maar de gemeenschappelijke factor is dat alternatieve DNS meer biedt.

[vosManz]

De vraag is dan wat het verschil in de praktijk zal zijn, en vooral hoe merkbaar dat voor de gemiddelde gebruiker echt is.
- DNS is slechts een klein stukje van een http request, daar is vast wat in te optimaliseren door een snelle DNS provider te gebruiken, maar daar wordt de rest van de request niet sneller van. Gezien een random website momenteel al binnen een flits op mijn scherm staat, is het de vraag in hoeverre je een 'kortere flits' echt gaat merken.
- DNS gebruikt caching, de te behalen winst is dus enkel van toepassing op de eerste request t/m de cache verlopen is. Als je een website tweemaal opent in korte tijd zal er de tweede keer normaal dus geen DNS request meer gedaan worden, dan is er dus geen tijdwinst meer.
- Storingen kunnen uiteraard voorkomen, al zijn die naar mijn ervaring vrij beperkt bij Nederlandse providers. En natuurlijk kan dat bij een externe provider net zo goed voorkomen.

Extra diensten zijn leuk, als je er iets aan hebt.
- Toegang tot TLD's is zo te zien aan bepaalde voorwaarden gebonden, en dus niet zomaar voor iedereen bruikbaar. Naast dat het een beperkte set TLD's is natuurlijk. Tevens kan ik de website waar meer informatie op zou staan (be.libre) niet eens openen. Als het enkel toegankelijk is voor mensen die ook OpenNIC hebben (zoals .onion/TOR) is de meerwaarde natuurlijk zeer beperkt.
- Anti malware/filtering opties kunnen nuttig zijn, al zijn daar ook veel andere (en ook veel gratis) oplossingen voor.
- Toegang tot streaming diensten in andere landen kan leuk zijn, maar ik vermoed niet helemaal volgens de voorwaarden van die streaming diensten en dus niet iets waarmee geadverteerd zou moeten worden.

Ik zou dus niet willen stellen dat het sowieso aan te raden is om een andere DNS provider te gebruiken. Het lijkt me eerder iets voor de gevorderde/veeleisende gebruiker, of de gebruiker die op zoek is naar specifiek een van de extra's die zo'n dienst te bieden heeft.

Zelf draai ik ook (lokaal) mijn eigen DNS server die wat interne domeinen resolved en (ad-)filtering doet. Maar voor de bulk van de lookups wordt vervolgens gewoon de DNS van mijn internetprovider gebruikt. Nog nooit problemen mee ondervonden.

[Centurius]

Tja, hoe minimaal de verbetering ook is voor de gemiddelde gebruiker, er is wel verbetering en dat voor iets wat je slechts één keer in je router hoeft in te stellen en daarna nooit meer naar om hoeft te kijken. Dus alleen vanuit daar is het al aan te raden.

[curkey]

Loggen heeft een ander doel dan cachen, en ze bestaan naast elkaar.
Er kunnen zowel juridische als commerciële redenen zijn om de queries van klanten te bewaren. In dit geval vermoed ik het laatste, een mooie big-data analyse op een bulk data van je eigen klanten.

[K-aroq]

Er zijn zelfs technische redenen te bedenken om te loggen. Trouble shooten wordt een stuk makkelijker als je accurate logs hebt. Of als input voor een dashboard. In dat laatste geval kan je het al vrij snel anonimiseren.

[Standeman]

Je vergeet iets. Politieke en justitiële redenen om ze te loggen. En dat is zeer waarschijnlijk in Thailand het geval.

[curkey]

Voor het gemak had ik die onder juridisch geschaard, want doorgaans zit er een wet achter

[Standeman]

Oei, scheef gelezen..

[curkey]

no problem, zo is mijn opmerking ook wel duidelijker voor een ander

[PizZa_CalZone]

Tenzij je deze logging specifiek uit zet, zal het ophopen in je logging directories. Elasticsearch wordt veel ingezet als onderdeel van een SIEM oplossing. Dus het is te verwachten dat DNS logging ook hierin terecht komt. Ik heb het sterke vermoeden dat elke grote partij dit doet. Je wilt immers trends kunnen ontdekken in je log files middels een centraal event registratie systeem. Zeker als provider.

Volgens mij hebben providers zelfs een verplichting deze info te bewaren voor een paar jaar. Please correct me if i'm wrong.

[Reactie gewijzigd door PizZa_CalZone op 29 juli 2024 13:08]

[Mastofun]

Volgens mij moeten ze enkel de IP adressen die iedere modem heeft gekregen op welke datum bijhouden maar niet welke website ze bezoeken. Als de overheidsdiensten een ip adres heeft moeten ze kunnen voorleggen van wie dit was. Met de nodige papieren natuurlijk

[sympa]

Er wordt ongetwijfeld geanalyseerd voor monitoring en abuse (botnet detectie bijvoorbeeld) maar zomaar op klantniveau loggen mag beslist niet.
Ik denk dat de volgorde wordt: hey, piek in verkeer. Wat is de top in queries? Even de usual suspects eruit, google, microsoft... ohh we hebben nu botnet.com erbij gekregen.
En op dat moment ga je kijken wie botnet.com raadpleegt, om die klanten te contacteren danwel af te sluiten.
Dus je analyseert trends, en monitort alleen voor het netwerkbeheer.

[arjankoole]

Botnets gebruiken doorgaans een resolver als 8.8.8.8, als het kan.

[sympa]

Kan je zien hoe lang ik uit de abuse-wereld weg ben... straks nog encrypted ook. Enfin, de anti-abuse technieken zullen ook wel doorontwikkeld worden.

[arjankoole]

Kan je zien hoe lang ik uit de abuse-wereld weg ben... straks nog encrypted ook. Enfin, de anti-abuse technieken zullen ook wel doorontwikkeld worden.

Ik zag zelfs Wordpress / Joomla hacks de alternatieve resolvers gebruiken. De meeste van die mormels waren eenvoudige eval(base64_decode(... injecties, maar er zaten er een aantal tussen waar ik werkelijk enkele dagen bezig was om te ontdekken hoe en waar ze nou precies wat hadden gedaan. Zelfs voor iets eenvoudigs als een SEO spam pagina verstopt in een Wordpress site, was de payload opmerkelijk gerafineerd.

[Centurius]

De plicht verkeer van klanten te loggen is volgens mij door het Europees hof enkele jaren terug verworpen.

[Centurius]

Klopt, maar in de context van de vraag die ik beantwoorde ging het overduidelijk over Nederland.

[TheekAzzaBreek]

Als totale leek, waarom wordt dit gelogd? Is dit ook zo in Nederland? Zo ja hoe lang blijft dit bewaard bij een ziggo of KPN?

Geen idee waarom ze dat loggen, maar Thailand is in de praktijk een militaire dictatuur met een sterk gepolariseerde bevolking en actieve jihadistische groeperingen in het zuiden. Reden genoeg om er bezorgd over te zijn.

[Yalopa]

Omdat Thailand -in tegenstelling tot het beeld wat wij er misschien van hebben- geen democratie is...

[Mieske666]

Wij (Telco B2B) loggen dat als onderdeel van SIEM. We gebruiken het echter alleen voor intrusion forensics. Andere providers/Telco's zullen dat zeker ook doen.

[dcm360]

Dan vraag ik me wel af wat er precies opgeslagen wordt. IP-adressen worden beschouwd als persoonsgegevens, wat er voor zorgt dat er aan de AVG voldaan moet worden voordat je deze mag verwerken. Dat is dan vooral van belang voor B2C-providers, voor B2B kan je beargumenteren dat IP-adressen er niet onder vallen. Ik vermoed dus dat B2C-providers zeer terughoudend zijn met loggen van DNS, aangezien het een juridisch mijnenveld kan opleveren.

[Mieske666]

Dat zou best wel eens kunnen. Ik kan wel zeggen dat wat we opslaan zeker niet gekoppeld is aan klant gegevens. Wij slaan alle toegang naar onze systemen/servers op en wat onze systemen aan communicatie naar buiten doen. Met enige moeite valt uiteindelijk wel te herleiden om welke klant het gaat maar daar is ook forensisch onderzoek voor nodig. Dus klantgegevens en SIEM Databases zijn niet aan elkaar gekoppeld. Klanten CPE's worden niet gelogged.

[jordynegen11]

En daarom dus eigen dns servers gebruiken.

1.1.1.1 is ook een goede optie.

[WeiserMaster]

want een andere DNS provider doet dit gegarandeerd niet.

[Trestry]

Als je je eigen dns server opzet niet nee

[RefriedNoodle]

Als je je eigen dns server opzet niet nee

En wat doet jouw eigen dns server, als hij het antwoord niet heeft op een query?

[arjankoole]

[...]

En wat doet jouw eigen dns server, als hij het antwoord niet heeft op een query?

Vragen aan de Root nameservers. En daar heeft loggen geen zin. (Plus dät het volume dat ook bijna onmogelijk maakt) Met je eigen namesrver fragmenteer je de queries over veel namesevers, iplv dat 1 plek/provider een volledige afspeellijst van opgevraagde hostnames + tijd patronen kan aanleggen.

[jordynegen11]

Zie reactie van Tresty

[k995]

Geen idee in nederland maar in belgie is dat verplicht zodat de politie die gegevens kan opvragen.

Heb nog aan zo'n database gewerkt toen een idioot acceptatie en productie omgeving door elkaar haalde en de hele DB gedelete had.

[bloq]

Ik werk voor een zakelijke online dienstverlener, netflow logs worden bij ons bijvoorbeeld gebruikt om de klant dataverbuik te meten voor de factuur. Ook kan de klant opvragen waar veel data naar of vanaf komt.

[kevlar01]

Zo'n database is natuurlijk goud waard voor advertentiebedrijven, om op die manier mensen nog beter te kunnen targeten.
Daarnaast natuurlijk redelijk dubieus waarom DNS-queries van klanten bewaard moeten worden...

[enzozus]

Vooral het feit dat het in ElasticSearch geladen was is vrij dubieus. Dat lijkt me niet een logische oplossing als het om legitieme dingen als debugging of het voldoen aan rechterlijke bevelen gaat.

Dit is een dure setup die gebouwd is voor willekeurig rondstruinen door de data om te zoeken naar interessante gegevens voor commerciële doelen, zonder enig respect voor privacy.

[lukjah]

ElasticSearch wordt vaak gebruikt voor opslaan van logging. Dit kon dus ook gewoon logging zijn van de DNS server.

[davince72]

Ja maar het staat in elasticsearch omdat je er zo makkelijk in kan zoeken / rapporten uit kan generen. Als het puur als opslag bedoelt was had het ook anders gekund

[lukjah]

Tuurlijk wil je zoeken/filteren in logs. Als je er niets mee wilt doen hoef je het ook niet op te slaan.

[Michael_OsGroot]

Dat is dus het hele punt. Als het echt een log is voor het geval dat justitie er iets mee moet, dan doe je lekker de goedkoopste opslag die je kan bedenken omdat je er toch niets mee doet. En die ene keer dat justitie er toevallig wel iets mee moet, niet jouw probleem. Als je het juist opslaat in een duurdere en meer toegankelijke vorm dan ligt het er dik bovenop dat je zélf er iets mee doet.

[Centurius]

Mwa er zijn ook wel andere niet-commerciële redenen om je logging makkelijk te doorzoeken of filteren te maken. Zo heb je DDoS technieken die gebruik maken van DNS servers die je makkelijker uit je logging kunt halen en is het ook fijn dat als je eindgebruikers een vage DNS issue ervaren je iets hebt waar je makkelijker in kunt zoeken om het probleem te achterhalen. Dan kost zo'n setup wel iets meer (Elasticsearch kost ook de wereld niet om een beetje fatsoenlijk op te zetten), maar de fte's die je bespaart doordat je engineers minder tijd aan een issue kwijt zijn levert ook geld op.

[Iblies]

Je gaat er van uit dat gebruikers kennis hebben van de software.

Praktijk leert mij dat in warehousemanagement heel vaak machtigingen liggen bij mensen die daar te weinig ervaring mee hebben en dat dat heel veel problemen en bijbehorend dubbel werk oplevert.

In bijna alle gevallen een kwestie van een vinkje dat aan of uit moet worden gezet.

[supersnathan94]

Als ISP wil je wel graag weten hoe de verhoudingen liggen qua intern/extern verkeer. Ook gezien je vaak gewoon CDN bakken in je netwerk hebt staan van bijvoorbeeld Netflix om Roaming te voorkomen. Voor dat doeleinde moet je dus een behoorlijke berg data opslaan en aggregeren om daar iets zinnigs uit te halen.

[davince72]

Nee hoor...dan kun je beter direct metrieken bijhouden ipv van enorme logfiles doorsluizen en doorploegen. Maar gros kiest vaak om alles maar te bewaren omdat ze nog niet weten wat ze er mee willen..en data is tegenwoordig veel geld waard.

[bloq]

De hoeveelheid data is gigantisch en daar kun je beter met cronjobs aggregates uit trekken en met retentie data laten verlopen dan dat je blocking alle netflow pakketten in metrics gaat omzetten. Direct in metrics omzetten is niet te doen omdat je ook traffic spikes kan verwachten en de netflow data soms delayed binnen komt.

[davince72]

Wauw je gebruikt wel stel mooie termen.
Dan heb ik er ook een: Apache Kafka en die kan dat gewoon. https://kafka.apache.org/uses

[bloq]

Bij mij op werk wordt ook Kafka gebruikt voor Netflow data, alleen daar trek je niet je aggregates uit. Die halen we uit Elasticsearch omdat we de data per customer moeten queryen & aggregaten om hun verbuik inzichtelijk te maken en te kunnen factureren.

Maar welkom bij de club van mooie termen haha, was niet echt de bedoeling sorry.

[davince72]

Maar welkom bij de club van mooie termen haha, was niet echt de bedoeling sorry.

hahah geen punt! Ze zeiden me allemaal wel iets ;-)

Van Kafka begreep ik juist dat je daar aggegates mee kunt maken zonder dat je alle details hoeft door te sturen. Over Log Aggregation schrijft kafka:

Many people use Kafka as a replacement for a log aggregation solution. Log aggregation typically collects physical log files off servers and puts them in a central place (a file server or HDFS perhaps) for processing. Kafka abstracts away the details of files and gives a cleaner abstraction of log or event data as a stream of messages. This allows for lower-latency processing and easier support for multiple data sources and distributed data consumption. In comparison to log-centric systems like Scribe or Flume, Kafka offers equally good performance, stronger durability guarantees due to replication, and much lower end-to-end latency.

[Reactie gewijzigd door davince72 op 29 juli 2024 13:08]

[bloq]

Ik denk dat we het over ander soort aggregates hebben (brede term): Kafka benoemd hier log aggregation, het verzamelen van logs van meerdere bronnen. Wat ik bedoel is een aggregate maken van verbruik per uur, dag, week maand per klant uit alle Netflow logs. (die bijvoorbeeld door Kafka in een ElasticSearch gepropt worden)

[--WaaZaa--]

Dat is gedacht vanuit een Europese denkwijze. Vergis je niet dat allerlei praktijken om gebruikers te loggen in Azie zonder pardon mogelijk zijn.

Duur is relatief, paar ES servers voor deze data kost je misschien een ton per jaar. Ik verwacht dat ze er veel kostbare data uit kunnen halen en dus dit zo terugverdiend hebben.

[Daniel.]

Het kan ook een ES zijn met op de achtergrond de echte logging in een Database. Door het eens in de zoveel tijd in ES te zetten is het wel snel te doorzoeken.

[supersnathan94]

Waarom zou het zonder enig respect voor privacy zijn? Ik kan mij voorstellen dat het er juist voor zorgen kan dat de dienstverlening goedkoper kan worden zonder dat er per se dingen aan commerciële partijen verkocht moeten worden.

Het feit dat het in een ES cluster zit betekent juist dat er actief gerapporteerd wordt naar bijvoorbeeld business kant van het bedrijf die gaat kijken naar betere roaming afspraken of CDN afspraken met bepaalde grootverbruikers (Netflix, Youtube).

[Argantonis]

In Thailand (ik heb er even gewoond) mag je ook geen kritiek hebben op de koning bijvoorbeeld, en dat kan online worden gemonitord. Kan best dat het daarom gaat.
In dat soort landen gaat het er sowieso wat anders aan toe dan we gewend zijn hoor. Heb ook bijna 5 jaar in Indonesië gewoond en als ik in de buurt van bepaalde shops of restaurants was kreeg ik vaak via m'n telco een smsje met een promotie.

[leuk_he]

In thailand wordt het internet gefilterd. Alle thais kennen de "groene"pagina waar gemeld wordt dat de site geblokkeerd wordt. SItes die kritisch zijn op het koningshuis, of de regering of niet etisch (lees.. porno, maar niet alles)

En nu zijn we dus ook tegen een database aangelopen waar alles gelogd wordt.

[Sunthon]

Nee, dat geloof ik niet. AIS legt hiervoor geen database aan. En dat je het koningshuis in Thailand niet mag beledigen, dat klopt. Maar zo dom zijn Thais dan doorgaans ook niet. Kritiek zal altijd binnenhuis of in verdekte termen worden gedaan. Kritiek op de regering komt in Thailand gewoon voor en porno kun je in Thailand ook wel bekijken (hoorde ik van een vriend )

De voor mij plausibele reden waarom deze database bestaat, is marketing. AIS doet een mini-Google en verzamelt de data van gebruikers om je nog meer SMS'jes te kunnen sturen met de nieuwste promoties van de 7-11, PTT, KFC etc.

Overigens zou het allemaal alleen maar een test zijn: https://www.bangkokpost.c...ys-down-8-3bn-record-leak

[Q]

Als je niet wilt dat je DNS queries door een 3e partij gelogged worden dan kun je het beste een eigen DNS server opzetten die *GEEN* forwarders gebruikt.

Een 'stand-alone' DNS server zal eerst contact zoeken met de ROOT servers om een TLD te vinden, om dan bij de TLD nameservers aan te kloppen om de juiste nameservers te vinden voor het domein in kwestie. Tegen die server zal de DNS server dan een domein naam resolven.

Veel mensen gebruiken DNS forwarding services zoals 1.1.1.1 en 8.8.4.4, of de service van hun Internet provider en weten niet eens dat DNS in feite zo werkt. Maar je hebt dus helemaal geen forwarder nodig.

[Reactie gewijzigd door Q op 29 juli 2024 13:08]

[Kobboi]

En als je provider gewoon UDP poort 53 traffic analyseert?

[CH4OS]

Daar heb je DoH en DoT voor; DNS over HTTPS en DNS over TLS.

[Snow_King]

In Nederland is DPI in ieder geval strikt verboden.

[wifikabelhuren]

Dus eigenlijk is het de beveiligingsonderzoeker die info lekte.

-1 ongewenst? Moet niet gekker worden

[Reactie gewijzigd door wifikabelhuren op 29 juli 2024 13:08]

[rbr320]

Als ik zomaar jouw huis binnen kan lopen en ik geef jou naderhand een gedetailleerde lijst van alle spullen die jij hebt, ga je mij dan verantwoordelijk houden voor het feit dat jij was vergeten je voordeur op slot te doen?

[Mastofun]

Dat mag niet zonder toesteming. Ook al staat de deur gewoon open.

[rbr320]

Dat klopt maar dat was niet de discussie. Een whitehat hacker die met de beste bedoelingen een gat in de beveiliging aan toont en rapporteert kan hardstikke strafbaar zijn volgende de wet. Dat maakt hem echter nog steeds niet de verantwoordelijke voor het lek, alleen strafbaar aan een cybercrime. Zo ben ik in mijn voorbeeld strafbaar aan huisvredebreuk, maar niet aan diefstal.

[Gomez12]

Dat klopt maar dat was niet de discussie. Een whitehat hacker die met de beste bedoelingen een gat in de beveiliging aan toont en rapporteert kan hardstikke strafbaar zijn volgende de wet. Dat maakt hem echter nog steeds niet de verantwoordelijke voor het lek, alleen strafbaar aan een cybercrime. Zo ben ik in mijn voorbeeld strafbaar aan huisvredebreuk, maar niet aan diefstal.

Hangt ervanaf aan wie de white hat hacker het rapporteert, als die white hat hacker met die leuke termijnen werkt van als niet bijna 90 dagen gefixed dan openbare publicatie, dan is hij wel verantwoordelijk voor de publicatie en alle vervolg-hackpogingen naar aanleiding daarvan.

[Mastofun]

ok huisvredebreuk en schending van privacy dan

[curkey]

Ironisch genoeg kun jij gepakt worden voor huisvredebreuk of insluiping ja.

[wifikabelhuren]

Ehm jij bent strafbaar, ik niet.

[rbr320]

Aan huisvredebreuk, ja. Maar niet aan de diefstal als iemand anders jouw huis leeg rooft.

Anyway, mijn vergelijking is niet waterdicht, maar daar ging het ook helemaal niet om.

edit: je hebt van mij ook gewoon een 0 gekregen, misschien dat sommige mensen niet houden van een beetje discussie en daarom naar -1 modden

[Reactie gewijzigd door rbr320 op 29 juli 2024 13:08]

[Gomez12]

Als ik de deur dicht heb gedaan en jij hebt hem opengeduwd, ja dan zeker wel...

Ik zou zeggen probeer hetzelfde maar eens met een bank...
Want die lijst van jou, dat is gewoon een copie van alle data... En niet simpelweg een lijst.
Computervredebreuk pleeg je al heel erg snel hoor...

[rbr320]

Ik geef toe dat mijn vergelijking niet waterdicht is, maar dat is ook helemaal het punt niet. @wifikabelhuren stelt dat de beveiligingsonderzoeker hier schuldig is aan het lekken van data en dat is gewoon niet zo. Of hij schuldig is aan computervredebreuk ondanks dat hij (als het goed is) gehandeld heeft volgens "responsible disclosure" procedures hangt af van de wet in Thailand, maar daar gaat deze discussie niet over.

[Djordjo]

Nee, Advanced Info Service is de verwerkingsverantwoordelijke.

[bliksemsss]

Plus dat er requests in staan naar private URL's, bijvoorbeeld gedeelde documenten op Dropbox, Google Drive, Youtube, etc. Op die manier kan iemand bij gedeelde documenten, die alleen met een beperkte groep personen gedeeld zijn.
Was van mening dat de hele URL meegestuurd werd in de requests, maar dat is dus alleen de domeinnaam.

[Reactie gewijzigd door bliksemsss op 29 juli 2024 13:08]

[Luc45]

De DNS verzoeken bevatten alleen de domeinnamen, de gehele URL wordt alleen naar de webserver verstuurd.

[Kobboi]

Verwar je hier DNS niet met HTTP?

[deathmonkey]

Kan iemand mij vertellen of ik mij zorgen moet maken als ik een prepaid kaartje van hun heb gehad? Kunnen wachtwoorden zo worden uitgelezen?

[bloq]

Nee, dns is het resolven van een hostnaam naar een ip adres.
Dus als jij een artikel op tweakers leest dan resolved jouw pc de hostname tweakers.net naar een ip adres, alles wat daar achter komt of in het http request zit gaat niet eens naar een DNS server.

edit: tenzij je wachtwoord tweakers.net is

[Reactie gewijzigd door bloq op 29 juli 2024 13:08]

[deathmonkey]

Thnx voor de info