Hostingprovider Hostnet slecht bereikbaar door DNS-storing na ddos-aanval

Hostingprovider Hostnet heeft maandagochtend last van een storing binnen de DNS-infrastructuur, waardoor diensten niet of slecht beschikbaar zijn. Websites van klanten zijn hierdoor niet te bereiken. Volgens Hostnet is de oorzaak een ddos-aanval.

Verschillende Tweakers-gebruikers melden dat zij problemen ervaren met het gebruik van diensten van webhoster Hostnet. Hierdoor zijn websites van klanten niet of slecht bereikbaar. Ook de site van Hostnet is een tijd offline geweest. Hostnet zegt dat het gaat om een storing op de DNS-infrastructuur, die volgens de hostingprovider veroorzaakt is door een ddos-aanval. Het bedrijf heeft al actie ondernomen om de schade door de ddos-aanval te beperken.

De problemen werden maandagochtend rond 10 uur opgemerkt. Er zijn problemen met DNS, e-mail, hostnet.nl en met webhosting. Andere diensten van Hostnet, zoals de webmail, klantenservice en VPS, lijken niet getroffen door de storing. Op Allestoringen kwamen de eerste meldingen van de storing binnen rond half 10. Het instellen van een andere nameserver voor het getroffen domein, bijvoorbeeld Cloudflare, lijkt een tussenoplossing tot de storing is verholpen.

Reacties (49)

[sebasmac]

Laat ik voorop stellen dat ik best wel geloof dat er zo nu en dan DDOS aanvallen plaats vinden, maar het begint er langzamerhand wel op te lijken dat bij elke storing in de richting word gewezen van DDOS.

Controleert iemand überhaupt wel eens of dit echt DDOS gerelateerd is, het is een makkelijk excuus om te zeggen, DDOS kunnen we niks aan doen terwijl een DNS storing ook veroorzaakt zou kunnen zijn door een interne fout.

Begrijp me niet verkeerd, maar laatste tijd lijken alle storingen te komen door een DDOS...

[Marve79]

Snap ook niet dat dit hedendaags nog een issue is, er zijn genoeg oplossingen voor inmiddels. Nawas is er eentje. Je zou denken dat een provider van het formaat als Hostnet wel iets heeft om dit tegen te gaan.

[3dmaster]

NaWas is niet echt geschikt voor het blokkeren van DDOS aanvallen op je DNS, aangezien het niet veel traffic ( qua bandbreedte) is maar vooral gewoon te veel (op het oog) legitieme query's van over de hele wereld. Een van de manieren om dit af te weren is het goed inzetten van dnsdist (icm met genoeg capaciteit), maar dat vereist ook best veel tuning en proberen. Ik heb er zelf ook een beste kluif aan gehad om aanvallen op onze authoritative DNS servers onder controle te krijgen maar heb het inmiddels redelijk voor elkaar *knock on wood*.

[Reactie gewijzigd door 3dmaster op 23 juli 2024 01:03]

[Hardwareseller]

Dit inderdaad, de aanvallen die wij zien zijn vooral heel erg veel herhalende aanvragen op subdomeinen die vaak non existent zijn. Dat is in PowerDNS NXLOOKUPS, of SERVFAIL's. Wat je in PowerDNS dan vooral ziet zijn honderdduizenden aanvragen per seconde vaak op subdomain records als:

aoihtji31.domein.nl
aiojascino.domein.nl
toeaijt2112.domein.nl
toeaijt2113.domein.nl

(etc...)

PowerDNS moet iets van een response terugsturen en dat is eigenlijk inderdaad waar de aanval over gaat. DNSDist is inderdaad een oplossing, daarin kan je ratelimiten of scale om aanvallen af te slaan. Andere opties zijn met een geavanceerd stukje firewalling op HEX te filteren of het domein uit je zones te gooien, dan moet je alsnog genoeg capaciteit hebben echter zoals @3dmaster ook al benoemde. Er zijn nog meer creatieve oplossingen uiteraard , maar dat het nou echt ' eenvoudig' is om zo'n aanval af te slaan is niet echt waar en zo simpel als mensen denken.

[Reactie gewijzigd door Hardwareseller op 23 juli 2024 01:03]

[3dmaster]

"Dit inderdaad, de aanvallen die wij zien zijn vooral heel erg veel herhalende aanvragen op subdomeinen die vaak non existent zijn."

Dat is inderdaad precies wat wij ook bijna dagelijks zien.
Als ik dat zie op een zone dan gaat-ie na een minuut naar een apart clustertje waar ik alle zones in heb zitten die misbruikt worden, zo hebben in elk geval de andere klanten geen last.

[Reactie gewijzigd door 3dmaster op 23 juli 2024 01:03]

[johnny2000]

PowerDNS vind dat inderdaad niet heel erg leuk met name met DB (MySQL bijv) backend. Ook erg lastig te cachen(not).

Wij hebben wel testen gedaan met een LMDB backend en dan heeft PowerDNS het een stuk minder zwaar.

Maar conclusie is wel dat DNS de achilleshiel is van heel veel infra en dat we dit alleen maar meer gaan zien... Helaas

[Pimorez]

Er is geen magische oplossing voor DDoS aanvallen.
NaWas werkt tot op zekere hoogte, maar betekent zeker niet dat je ineens geen impact meer kan hebben bij aanvallen.

De wereld van DDoS is in werkelijkheid een kat en muis spel. Bovendien, als de aanval maar groot genoeg is dan is er geen beginnen aan om dat tegen te houden, er zal altijd wel een link naar een internet exchange, ISP of wat dan ook volstromen met packetloss tot gevolg.

[servicedb]

Een anti ddos oplossing is goed, maar je moet strategieën hebben. Anycast helpt ook al behoorlijk in combo met servers verspreid over meerdere locaties. Doe dit voor verschillende nameservers met verschillende groter cloud providers en je hebt ineens veel meer capaciteit tegen aanvallen. Maar dan moet je alsnog per locatie kijken hoe je de normale beveiliging tegen ddos uitvoert en hoe je dit op verschillende osi layers kan doen.

Punt blijft dat DNS een kritisch onderdeel van de infra is. Los hiervan, Hostnet heeft met regelmaat storingen helaas.

Aangepast nav reactie hieronder. Mijn initiële reactie was erg beknopt en onduidelijk.

[Reactie gewijzigd door servicedb op 23 juli 2024 01:03]

[batjes]

Dan nog blijft de capaciteit een probleem. Anycast an sich maakt weinig uit. Druk de downstream van die IP adressen vol en dan houd het ook al snel op.

[servicedb]

Daar heb je gelijk in. Ik doel eigenlijk op het gebruik van het Anycast protocol met servers verspreid over meerdere locaties in de wereld. Hoewel aanvallen nog steeds mogelijk is, kan je effectiever aanvallen afslaan omdat deze aanvallen over verschillende servers in de wereld verdeeld worden. En daarmee vergroot je dus je capaciteit.

[Pimorez]

Dan hoor ik graag van jou wat 'anti ddos' is.

Het komt namelijk neer op één van de volgende oplossingen;
1. ACL: een regel op de routers waarmee verkeer wordt geblokkeerd denk aan welbekende amplification en reflection aanvallen. Niet alle poorten zijn dicht te gooien. Als je weet dat jouw applicatie alleen TCP verkeer doet kun je UDP wel blokkeren, dat scheelt al veel. Als je ook UDP verkeer afhandelt dan voegt een ACL al direct minder toe.
2. Soaken van aanvallen: meer capaciteit zodat een aanval minder snel een link volgooit, capaciteit inkopen puur op een theoretische piek van een DDoS aanval is alleen een gigantisch dure oplossing. Zelfs een Google doet dat niet zomaar. Vergeet ook niet dat een DDoS aanval makkelijker in grootte toeneemt dan de capaciteit van een provider.
3. Scrubben: afhankelijk van je applicatie kan dit een oplossing zijn, maar zodra je ook maar iets van realtime traffic afhandelt valt ook dit af, bovendien zijn ze in de basis al niet feilloos dus er zal altijd verkeer doorheen komen wat tegengehouden moet worden. Hier zul je ook rekening moeten houden met het feit dat scrubbing hardware GIGANTISCH duur is. Gelukkig hebben wij hier de NaWas voor, maar ook de NaWas heeft beperkte capaciteit. Gezien DDoS aanvallen steeds groter worden en vaker voor lijken te komen zal de NaWas mee moeten groeien met de huidige trend om een degelijke oplossing te zijn voor (kleinere) partijen. Voor de grote partijen vermoed ik dat de NaWas namelijk al te weinig capaciteit heeft om daar ook maar iets van verlichting te bieden.

Anycasten wat je noemt zal de aanval kunnen verspreiden over meerdere locaties inderdaad, maar ook daar kom je nog steeds tegen dezelfde problemen aan.

[servicedb]

Ik heb het idee dat je graag wil showen hoe jullie het doen en dat het niet zo zeer om mijn reactie gaat. Natuurlijk ga ik niet volledig documenteren hoe je het kan doen, maar je hebt een leuke start gegeven voor anderen. Het wegfilteren van aanvallen gaat veel verder dan enkel je eigen server. Dat wil je veel verder upstream hebben. En daarbij vergeet je de aanvallen op andere layers. Jij beschrijft nu alleen aanvallen met burst in verkeer, maar er zijn veel meer methodes.

Enig punt wat ik wilde vermelden is dat er meer mogelijkheden zijn om aanvallen tegen te houden. Overigens heeft Hostnet bijzonder veel dns storingen over het algemeen.

[Pimorez]

Mijn beschrijving zou je ook op server niveau kunnen toepassen, maar is niet waar ik het over heb. Op server niveau kun je uiteindelijk DDoS aanvallen toch niet (echt) stoppen.

Afhankelijk van de grootte van je netwerk kun je een ACL natuurlijk bij je transit provider hebben maar dat is niet zo schaalbaar. Als je zelf routers op meerdere locaties hebt kun je daar ook mee spelen. Uiteindelijk blijft het een spel dat onmogelijk is om te winnen.

Dat er meer manieren zijn om aanvallen te stoppen klopt natuurlijk, ik denk niet dat iemand dat gaat ontkennen. Ik probeerde alleen duidelijk te maken dat er geen holy grail is. Je zal het nooit helemaal kunnen stoppen.

Of Hostnet nou echt zo vaak wordt aangevallen of ze aan het prutsen zijn blijft gissen.

[Tozz]

Die DDoS wasstraten zijn meestal minder intelligent dan je vaak zou willen. Wat zo'n wasstraat kan doen is bijvoorbeeld UDP filteren zodat je HTTP (wat TCP is) verkeer nog doorgang kan vinden. Of je kunt specifiek verkeer, bijvoorbeeld een NTP amplification attack filteren op basis van de NTP poort.

HTTP aanvallen kun je eventueel nog filteren met wat intelligente reverse proxies of WAF systemen.

Wat echter een stuk lastiger is is wanneer je DNS server een DNS DDoS aanval op z'n dak krijgt. Dus stel dat er in geval van hostnet gewoon miljoenen en miljoenen queries voor A www.hostnet.nl binnenkomen. Hoe moet een NaWaS dan weten wat legitiem en wat niet legitiem is?

NaWaS is leuk voor sommige aanvallen, maar het is zeker niet een oplossing die altijd werkt.

[mduijm]

Ik werk bij een fabrikant van een ddos oplossing waarbij er op dit moment veel wordt gekeken hoe we dit probleem kunnen oplossen. Een oplossing die we hebben is een lijst met legitieme records uploaden in de unit. Alle verkeerde aanvragen worden dan geblokkeerd.

Het upload process kan geautomatiseerd worden.

Mocht iemand interesse hebben stuur even een PM.

Ik wil hier geen reclame maken trouwens! Dus vandaar ook geen naam.

We zouden ook graag willen samenwerken om te kijken wat we meer kunnen doen.

We gaan ijg verder dan UDP 53 rate limiten aangezien je daar ook valide verkeer mee blokkeerd.

[orvintax]

Een oplossing die we hebben is een lijst met legitieme records uploaden in de unit. Alle verkeerde aanvragen worden dan geblokkeerd.

Daar heb je dus in de situatie van @Tozz dus helemaal niks aan.

stel dat er in geval van hostnet gewoon miljoenen en miljoenen queries voor A www.hostnet.nl binnenkomen. Hoe moet een NaWaS dan weten wat legitiem en wat niet legitiem is?

Dat domein bestaat dus wel.

[mduijm]

jawel, de aanvraag wordt door de anti ddos unit afgehandeld.. die doet dat vanuit HW en gaat stukken sneller dan een dns server.

[orvintax]

Maar je zegt dat je een lijst met legitieme records upload en vervolgens de niet legitieme queries blokkeerd. Als iemand een DDOS aanval doet op een legitiem record heeft jouw oplossing dus geen nut.

Maar er is toch software nodig om te checken wat legitieme records zijn en wat niet.

[Luchtbakker]

Snap ook niet dat dit hedendaags nog een issue is, er zijn genoeg oplossingen voor inmiddels. Nawas is er eentje. Je zou denken dat een provider van het formaat als Hostnet wel iets heeft om dit tegen te gaan.

Een ddos aanval is zo makkelijk en moeilijk tegen te houden als je eigen infra. Je kan wel 150Gbit/s aan traffic handelen, maar als een aanvaller 200Gbit/s op je afvuurt is er geen beginnen aan.

Je moet simpelweg de grootste zijn wil je dat tegen houden. Denk aan een partij als cloudflare. Die hebben zoveel bandbreedte beschikbaar dat ze onmogelijk offline te halen zijn. Maar dat zijn hele hele hele dure grappen wat maar heel weinig bedrijven zich kunnen permitteren.

[Marve79]

Dat is allang niet meer hoor. Er zijn genoeg oplossingen, Arbor, Colt, Voxility. Maarja die kosten geld. Zelfs Serverius in NL kan 1.5 tbps filteren en dat soort aanvallen komt zelden tot nooit voor.

Die maken gebruik van scrubbing centers wereldwijd die de aanval al filteren voor het uberhaupt richting jou wordt gestuurd.

Als je als ISP tegenwoordig geen simpele layer 4 DNS amplification aanval kan overleven ben je toch slecht bezig, zeker in deze tijd.

[Tozz]

Leuk dat ze het kunnen, maar wat je zelf al zegt.. 't kost geld. Waarbij je maandbedrag veelal afhankelijk is van de maximale hoeveelheid verkeer dat je wil kunnen poetsen.

In andere woorden.. Je kunt een dienst afnemen die maximaal 1 Gbps aan DDoS verkeer kan 'wassen', of een dienst die 1 Tbps aan DDoS verkeer kan wassen. Maar daar tussen zit wel een gigantisch verschil in de maandelijkse kosten. Je betaald namelijk niet per aanval, maar voor de mogelijkheid om een eventuele aanval af te kunnen weren.

Als je als ISP DDoSjes krijgt van zeg een keer 5 Gbps, dan neem je wellicht zo'n dienst af met een cap op 10 Gbps. Daar heb je dan helaas niets aan als je een keer 20 Gbps op je mik krijgt.

En daarom is het altijd een afweging tussen kosten en baten. Leuk dat alles te koop is, maar je klanten moeten er wel voor willen betalen.

[Marve79]

Dat is relatief goedkoop hoor. Waar ik colocatie afneem krijg je het er zelfs gratis bij. Bij providers als OVH is het ook gratis.

En er zijn veel 3rd party oplossingen zoals cloudflare spectrum, Voxility, etc.

Voor een bedrijf zo groot als Hostnet zou dit gewoon standaard moeten zijn.

[Christoxz]

Controleert iemand überhaupt wel eens of dit echt DDOS gerelateerd is, het is een makkelijk excuus om te zeggen, DDOS kunnen we niks aan doen terwijl een DNS storing ook veroorzaakt zou kunnen zijn door een interne fout.

Geen idee exact, maar om 10 uur melde ze een 'storing op onze DNS infrastructuur' en pas een uur later gaven ze aan doelwit te zijn van een DDoS aanval.

Gebasseerd op de tijdlijn en communicatie, lijkt het wel dat het een echte conclusie is, of iets wat ze hebben bedacht in dat uurtje.

Je weet het uiteindelijk nooit, en ook het (D)DoS is een groot begrip. Als ik op de zaak de server er uit trekt, is dat ook een 'DoS' aanval, aka denial of service.
Dus ja als een medewerker een bewuste storing creëert, is dat ook een DoS.

Maar goed, ze hebben het hier over een DDoS wat zou betekenen dat het een externe aanval is vanuit meerdere computers.

[Aelyss]

Ik heb meer dan 6 jaar bij hostnet gewerkt tot een aantal jaar terug. DDoS gebeurde toen al vrij regelmatig en de meeste aanvallen merkte niemand wat van. Dus ja, ik geloof dat dit idd DDoS gerelateerd is.

[Anoniem: 58485]

Met een bericht als DDOS wordt de gehele aansprakelijkheid confirm hun algemene voorwaarden gemeld. Ken genoeg hosting bedrijven die intern een gigantische clusterfuck hadden veroorzaakt en het onder DDOS gooide om zo de verantwoordelijkheid af te schuiven.

[sebasmac]

Exact, dat dacht ik ook.

[slijkie]

Idem dito bij veel bedrijven in de EU die nog steeds alles op covid gooien, gewoon standaard in hun telefoonbandje hebben, al 2 jaar. Is gewoon een standaard smoes geworden als iets niet lukt. Zal vast in enkele gevallen zo zijn, maar het wordt hemelsbreed toegepast.

[pBook]

Ik heb uptime monitoring draaien voor m’n domeinen bij Hostnet en dit is de vierde keer deze maand (DNS, hosting draait elders). Wij hebben een hoop domeinnamen bij verschillende aanbieders, en er is absoluut niemand met zoveel problemen als Hostnet. Het DDOS-excuus is ook niet echt geloofwaardig meer.

Meestal is het met 10-30 minuten opgelost, maar het duurt nu al meer dan twee uur. Wij gaan in ieder geval zeer binnenkort alles wegverhuizen.

[jaapzb]

Waar ga je heen? Wij hebben domeinnamen ook bij hostnet staan en zou er graag weg gaan, maar wil wel naar een provider die zijn zaakjes beter op orde heeft.

[HKLM_]

Overweeg Azure DNS zit je DNS direct in de 54 Azure regio’s dan moet heel Azure plat liggen wil je daar een storing mee hebben. I.c.m Azure CDN kan je een flinke boost maken voor het geen wat je host

[Reactie gewijzigd door HKLM_ op 23 juli 2024 01:03]

[casberrypi]

Wat betreft DNS: Je kunt redelijk eenvoudig zorgen dat je niet afhankelijk bent van 1 DNS provider door er meerdere te kiezen. Je moet dan wel nameserver providers kiezen die 'slave' kunnen zijn.

Je richt dan zelf een primaire nameserver in, die alleen bereikbaar is voor de IP addressen van je slaves. Deze server is verder onzichtbaar. Na een wijziging stuurt je een notify commando naar je slaves die dan met AXFR de records ophalen.

Het EXPIRE veld in het SOA record zet je extreem hoog, zodat zelfs als je master dagen offline is de slave servers gewoon de records kunnen blijven serveren.

Dit is hoe verschillende providers dit uitleggen en noemen:
https://www.cloudns.net/wiki/article/196/
https://blog.cloudflare.c...o-serve-your-dns-records/

Bovenstaande dns providers kunnen dat dus, maar beschouw dit niet als een aanbeveling van deze partijen. Ik heb gewoon bij deze providers goede uitleg gevonden ter ondersteuning van mijn verhaal. Advies om naar de ene of de andere provider te gaan gebaseerd op ervaringen uit het verleden zijn alleen dat: Ervaringen uit het verleden, en geen garantie voor de toekomst.

[Reactie gewijzigd door casberrypi op 23 juli 2024 01:03]

[Meulugar]

trans-ix / transip ook easyhosting hebben wij zelden problemen mee

[Rataplan_]

*kuch*
Dat heeft ons een hele hoop gedoe opgeleverd destijds... Geen enkele dienst kan met droge ogen verkopen dat ze 100% uptime hebben. Ook Azure niet. Denk dan ook nog maar eens terug aan de Facebook Meta storing van een paar weken terug.
Dat gezegd hebbende was dat bij TransIP ook de eerste storing waar wij last van hadden.

[Reactie gewijzigd door Rataplan_ op 23 juli 2024 01:03]

[Alm4riC]

Hier ook domeinnamen bij Hostnet, maar na het afgelopen jaar aantal keer te zijn geconfronteerd met uitval aan de kant van Hostnet, alle nameservers gewijzigd naar Digital Ocean en daar de DNS beheerd.

Voor de registratie is Hostnet prima, maar aan netwerk zijde schort er nogal eens wat aan.

[pBook]

Waarschijnlijk TransIP en dan DNS via Cloudflare.

[mduijm]

doe ik precies zo, reg bij TransIP en gehost bij CloudFlare.. .

[moonlander]

Zit al jaren bij vimexx.nl met domeinen. Nooit problemen mee.
Ook bij transip gezeten met een paar domeinen, echter daar ook veel issues mee met DNS + ddos aanvallen. Die vorige maand ook verhuist naar vimexx.

En transip heeft geen telefoon nummer en werken alleen maar met tickets. Heb daar ook een vps gehad bij transip, die heeft er 4 dagen uit gelegen. En communicatie was alleen per mail/tickets, dus dat was echt de doorslag om daar weg te gaan. Soms kun je het beter uitleggen via telefoon wat er aan de hand is, ipv eerst cookies verwijderen, andere browser proberen, ben je verbonden met wifi? en dat soort ongein. Issue lag uiteindelijk bij een bug op hun routers wat na 4 dagen eindelijk gevonden wordt

[Reactie gewijzigd door moonlander op 23 juli 2024 01:03]

[Anoniem: 58485]

Versio: hold my beer.

[HKLM_]

Een andere nameserver voor je domein instellen is leuk maar dan moet je er wel bij kunnen en je zit met een verwerkingstijd. Mijn ervaring bij hostnet is al dat hun NS changes lang duren.. dus dat schiet nu zeker niet op.

Zelf gelukkig alle NS op mijn hostnet domeinen richting Azure DNS staan sinds kort dan is dit risico veel kleiner.

[Reactie gewijzigd door HKLM_ op 23 juli 2024 01:03]

[Anoniem: 58485]

Dat ligt aan de time to live van de nameserver die je insteld.

[Somoghi]

Is dit niet dezelfde partij die ook de coronakit site offline heeft gegooid? Kan ook goed een oorzaak zijn om wat boosheid uit te lokken.

Maar als je ttl op 300 zet gaan wijzigingen vaak snel.

[HKLM_]

Alleen kan je bij hostnet geen TTL opgeven bij het wijzigen van je NS

[Kaaj]

De storing lijkt inmiddels opgelost.

[MrMidas]

Bij mij werkt het ook weer

[Anoniem: 1578568]

Zo, ben ik blij dat ik nog geen week geleden de domeinen die ik bij Hostnet af neem op Cloudflare's nameservers heb gezet. Wat is het toch met die DDOS aanvallen? Het lijkt dat het steeds erger word. En afhankelijkheid van reuzen als Cloudflare Akamai Amazon etc is tegen de principes van het internet (en mijzelf).

[nextnext]

huh, je zet de nameservers op Cloudfare maar dat is tegen je principes? Of snap ik je nu niet

[Anoniem: 1578568]

Ik vind het helemaal prima dat cloudflare bestaat, ze bieden goeie producten aan daarom gebruik ik ze ook. Maar het moet niet zo zijn dat als je niet bij de grote 5 zit (akamai, cloudflare, google, amazon, microsoft) je gegarandeerd een paar keer per jaar naar de klote word geholpen door een DDOS. Het lijkt een beetje op digitale schietpartijen waardoor elke keer de hele winkelstraat overhoop ligt in plaats van alleen het doelwit. Bah.

[1ehans]

Vorig jaar precies dezelfde dag bij Hostnet ook een DDos aanval, dus kijken of ze het in 2022 eindelijk overeind kunnen houden.

[Zantiath]

Zit er aan te denken om te gaan switchen naar een andere hosting partij. Is al maanden bijna dagelijks raak met storingen bij hostnet.