Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 62 reacties
Submitter: walkstyle

Achthonderd servers die bij het Franse hostingbedrijf OVH waren ondergebracht zijn gehackt met behulp van de Shellshock-kwetsbaarheid in Bash. Vervolgens begonnen de servers een interne ddos-aanval, die zorgde voor een overbelast netwerk.

De achthonderd gehackte servers waren ondergebracht in het datacenter van OVH in Roubaix. Het is onduidelijk of het gaat om achthonderd fysieke of virtuele servers, en wie verantwoordelijk was voor de beveiliging ervan, OVH zelf of een van zijn klanten. Duidelijk is wel dat de aanvallers zijn binnengekomen via Shellshock, een kwetsbaarheid in Bash die aanvallers eigen code op een systeem laat uitvoeren. In het geval van de OVH-hack kon dat als root.

De gehackte servers begonnen vervolgens een interne ddos-aanval op een OVH-datacenter in het Canadese Beauharnois. Die aanval genereerde 100 gigabit per seconde aan verkeer, terwijl de verbinding van OVH tussen zijn Franse en Canadese datacenters maximaal 60 gigabit per seconde aankan. Daardoor raakte het interne netwerk van de hoster verstopt, laat OVH zelf weten op zijn statuspagina.

Het datacenter moest zelfs van de rest van het netwerk worden afgesloten. Het is onbekend hoe lang de problemen in totaal hebben geduurd en hoeveel websites als gevolg daarvan down waren. Ook is het niet duidelijk hoe de achthonderd gehackte servers er nu aan toe zijn.

Het is niet de eerste keer dat de Shellshock-bug in de praktijk wordt misbruikt door aanvallers: begin oktober zouden criminelen al op die manier hebben weten in te breken op servers van Yahoo, Lycos en Winzip. De kwetsbaarheid is vooral gevaarlijk in servers die aan het internet hangen en de shell aanroepen.

Moderatie-faq Wijzig weergave

Reacties (62)

De "aanval" heeft plaatsgevonden het in RBX-datacenter en daar draaien voornamelijk fysieke servers in allerlei vormen en maten. Voor zover bekend zijn er tussen de 800 en 1000 fysieke servers gehackt middels Shellshock en hebben deze machines een gecombineerde transmissie van 120Gbps peak veroorzaakt; dat is het dubbele van 1 van de huidige verbindingen die OVH zelf ter beschikking had naar buiten.

Het verbaast met geheel niks; bij OVH kan je een server leasen, deze voorzien van een 0-Euro OS zoals Ubuntu, Debian of anderszins met een Linux-kernel en that's it. Geen van alle installs wordt door OVH ge-update of gepatcht; dit is volledig voor de rekening van klant. Ook oude repositories van non-LTS distro's worden door OVH bijna direct opgeheven.
Tjah, als jij unmanaged servers afneemt, dan sta jij ook in voor het beheren van de software, maar ben jij ook verantwoordelijk voor eventuele schade die voortkomt uit het niet onderhouden van het systeem.

Het huren van unmanaged servers is trouwens iets dat je bij 101 bedrijven kan doen, niet enkel bij OVH. OVH is gewoon 1 van de grootste bedrijven waarbij je het kan doen. Daar tegenover staat wel dat zij een heel performante infrastructuur hebben en dit soort dingen meestal verdomd snel detecteren en oplossen.
De clausules zijn hier vrij duidelijk over; op het moment dat jouw server zaken uitvoert op de omgeving die niet mogen, wordt jouw server afgesloten. Punt. Natuurlijk sturen ze in sommige gevallen eerst een mailtje met wat jouw server precies doet maar in het geval van 1000 servers die tegelijkertijd worden gehackt/misbruikt, is dat ondoenlijk.

Neemt niet weg, terugverwijzend naar jouw argument inderdaad, dat het om unmanaged servers gaat maar het zou (nadruk) OVH sieren als ze zelf ook monitoring hebben om servers in de gaten te houden die out-of-date zijn. Dat kunnen ze, aangezien elke distro van hunzelf is voorzien van hun eigen SSH-keys, maar dat weigeren ze.

Of het bedrijfsmodel (kosten vs. security) optimaal is, laat ik in het midden.
Tja, als ik als gebruiker merk dat er een ssh key op mijn systeem staat die er niet thuishoort gaat die er toch echt onmiddelijk uit hoor. Zij hebben geen toezicht te houden op wat ik op mijn server uitspook.

Bijkomend kan ik redenen hebben om met verouderde software te werken. Zij kunnen een gebruiker aansprakelijk stellen voor eventuele schade die daar uit voorkomt, maar zij kunnen een niet zomaar gaan dwingen om updates te installeren.

En hoe ga je dat met Windows servers doen? Of ontsnappen die gebruikers er dan aan misschien?
De SSH-key van OVH is duidelijk beschreven in verschillende artikelen; het is inderdaad jouw volledige vrije keuze om deze eruit te halen alsmede de bijbehorende cron-jobs die OVH in hun distro's verwerkt heeft.

Voor Windows geldt natuurlijk hetzelfde (maar erg duur bij OVH); met voldoende Windows-machines onder je beheer kan je ook een DDOS uitvoeren. Helaas is een licentie voor Windows Server 2008 Standard bij OVH ongeveer 10x zo duur als de goedkoopste unmanaged server. De kans dat je 1000 ongepatchte Windows-servers tegenkomt en kan overnemen, is relatief klein; niet in de laatste plaats omdat Shellshock juist de garantie geeft dat je zaken kan doen zonder "direct toegang" te hebben tot de console.

Verder helemaal met je eens: het unmanaged-verhaal mag geen risico zijn voor de overige klanten of het bedrijf zelf. Helaas wijst de praktijk anders uit nu maar een goede/handige oplossing op deze schaal heb ik ook even niet.

[Reactie gewijzigd door MAX3400 op 11 november 2014 17:54]

Maar de sysadmins die weten dat OVH mee kan kijken door die keys, zouden die niet ook slim genoeg zijn om hun systeem gepatcht te houden. Oftewel grote kans dat de probleem gevallen nog altijd benaderbaar waren door OVH. Zeker in verband met dit soort grote bugs/beveiligingsproblemen zou het OVH sieren zelf checks te doen of systemen gepatcht worden.
Nee. Complete onzin. OVH is niet je moeder. Unmanaged server = je lost het zelf op tenzij het een hardwareprobleem is.
Ik vind het vrij amateuristisch van de beheerders van die unmanaged servers. Deze bug heeft wekenlang het nieuws gedomineerd. Vaak als je servers host ben je wel geinteresseerd in ICT en lees je ook het nieuws. Overigens was het ook te lezen in de mainstream media.

Echt hoor als je nog linux bakken unmanaged host zonder SSH sleutels, met onveilige wachtwoorden en ongepatchte systemen dan vind ik dat ze jou mogen verplichten managed af te nemen en anders ga je maar naar een andere ISP.
Wat een onzin, jij doet alsof dit onredelijk zou zijn van OVH. Maar ten eerste zal elke degelijke sysadmin die ssh keys verwijderen. Ten tweede als je een unmanaged server huurt, dan mag je ook verwachten dat een bedrijf als OVH daar NIET aan gaat fiedelen. Wat als je niet de laatste versie van software WIL hebben? Noem mij 1 andere hosting provider die unmanaged servers aanbiedt die WEL servers update want volgens mij is dat echt ongehoord. Ik heb daar in ieder geval nog nooit van gehoord sinds ik servers huur sinds 2009. Verder zijn de clausules daar inderdaad heel duidelijk over maar dat is bij ELK bedrijf zo en lijkt me ook volkomen vanzelfsprekend. Ook bij Leaseweb en i3d bijvoorbeeld. Er zijn een hoop malafide huurders die bijvoorbeeld gaan ddosen of spam gaan versturen en daar moet je als hosting provider snel tegen kunnen optreden. Ook om die servers te parkeren is standaard procedure bij elk bedrijf. Nogmaals, jij doet alsof OVH een buitenbeentje is en rare dingen doet. Dat is beslist niet het geval. Ook in je eerdere bericht wek je de indruk dat het vreemd is dat OVH linux distributies voor 0 euro aanbied? Ja hallo, dit doet letterlijk elke serverboer?
Tsja. Budget hoster. You get what you pay for.
Ik heb mijn spul bij DigitalOcean draaien, die hebben ook eigen repo's draaien, SSD disks, en ze hebben veel tutorials op hun website. Een aanrader :)
Sorry maar Digital Ocean is "nog minder" dan OVH. Afgezien van het feit dat alles gevirtualiseerd is, zijn de grote/dure configuraties aanzienlijk minder flexibel dan de grote/dure configuraties bij OVH. En daarnaast, ook Digital Ocean is unmanaged services; ook hier zal je toch echt zelf de correcte patches moeten installeren om Shellshock te voorkomen.

Uiteindelijk (maar dat is altijd zo) is niet elke update/patch de beste voor jouw type inrichting/installatie. Doet Digital Ocean een patch uitrollen, jouw applicatie/server functioneert niet meer optimaal, wie is dan de verantwoordelijke?

[Reactie gewijzigd door MAX3400 op 11 november 2014 19:30]

wie is dan de verantwoordelijke?
Dat staat in je contracten. En als het er niet in staat ben je genaaid en had je je contract moeten lezen. Degene met de langste juridische adem wint dan.
Ja en bij DO krijg je dus geen Xeon met een paar dikke schijven en RAM voor een paar tientjes per maand. OVH biedt dit wel. Ook is dataverkeer bij DO zeer prijzig, wat logisch is. Een cloud "server" en een dedicated server zijn beide totaal verschillende producten met een verschillende doelgroep die ook verschillend geprijsd zijn.

https://www.digitalocean.com/help/policy/
Do you offer managed hosting?

No. DigitalOcean is completely unmanaged — if you experience issues with your server, you can reach out to our support team via a ticket. However, for server setup questions and specific details on debugging server software, we recommend reaching out on our community forum.


Zelfde pot nat dus.
maar 800 servers gehacked door een exploit die al weken gedicht is, dat is nogal wat. dat het er enkele tientallen waren prima maar 800 dan mag je als hosting provider toch wel overwegen om in het vervolg op dit soort exploits te scannen en mensen te waarschuwen hun server te patchen of anders afgesloten te worden -
Het probleem daarmee is dat ik als professionele klant toch op z'n zachts gezegd een tikkeltje zou ontploffen als een hoster zich dusdanige toegang tot mijn servers, en daarmee mijn (commercieel gevoelige!) informatie, toe zou eigenen.

Dat probleem kun je eigenlijk niet omheen. Afsluiten van misdragende servers is ook het verst wat je kunt gaan, wil je nog enig klantenbestand overhouden.
In dit geval hadden ze de servers kunnen scannen en via de exploit kunnen updaten :-) Het is misschien onethisch, maar het kŠn wel.

Maar je hebt gelijk, scannen, waarschuwen, nogmaals scannen, nogmaals waarschuwen, en dan gewoon afsluiten.
Valt wel mee. Volgens deze mooie infographic heeft OVH namelijk meer dan 160.000 servers.

http://www.ovh.com/us/ima...data/info-data-big-en.jpg
Precies de reden voor mij om mijn servers te laten managen. Voor hetzelfde geld zorgt je infected unmanaged server voor problemen bij grote bedrijven, waardoor jij evt met een flinke claim komt te zitten
Ik vindt het een beetje jammer dat in de titel gedaan wordt alsof OVH hier nu de schuldige is en 'gehacked' is, terwijl OVH niet gehacked is. Maar een aantal klanten hun unmanged dedicated servers gehosts door OVH zijn gehacked. OVH is hier dus duidelijk niet verandwoordelijk voor. Goed dat ze het zo snel oplossen. Het enige wat ze zouden kunnen doen is klanten forceren om te update. Maar of dat nu zo slim is...

Betere titel: Unmanaged servers OVH(Franse Hoster) gebruikt voor DDOS aanval op de hoster zelf.

[Reactie gewijzigd door TVH7 op 11 november 2014 21:47]

Inderdaad, ik had direct een negatief beeld, maar na het doorspitten van de comments hier is het duidelijk dat OVH hier weinig aan kan doen.

Behalve dan zelfs scans uitvoeren en klanten verplichten te patchen wanneer een systeem niet up-to-date is. Het lijkt me overigens dat de meeste systemen geen identieke systemen zijn, zouden de hackers via softeware als cpanel binnen gekomen zijn, wat mogelijk op een groot deel van de systemen stond? Lijkt me nog best een klus, inbreken op 800 systemen ;) Of gaat zoiets automatisch?
We zitten hier in de automatisering... dus zodra je over grote getallen spreekt, gaat 't doorgaans automatisch :).
Trouwens, het kan misschien ook ťťn inbreking zijn: dan een global user/ww maken, die op elk van die systemen kan inloggen. Als ze dus in een zelfde domein zitten.

[Reactie gewijzigd door kimborntobewild op 12 november 2014 12:46]

Lijkt me niet mogelijk, aangezien ieder systeem zijn eigen OS en bijbehorend admin-account heeft.

In het geval dat mensen cpanel draaien: http://cpanel.net/cpanel-...4-6217-and-cve-2014-7169/
Als al die klanten het cPanel geÔnstalleerd hadden, en er zit een (remote) lek in het cPanel, zitten ze dus in dat opzicht in hetzelfde domein (het cPanel-domein).
Het enige wat ze zouden kunnen doen is klanten forceren om te update. Maar of dat nu zo slim is...
Waarom zou dat niet slim zijn?
Omdat niet alle klanten hun software willen updaten.
Soms, i.g.v. security, moet je dwingend optreden.
Ik weet dat je een leek bent, maar dat slaat echt compleet nergens op. Je eigen computer kan net zo goed een risico zijn. Jouw voorstel is net als lease auto's maar maximaal 120 te laten rijden.
Ik ben een leek op welk gebied?

Je mag 130 in NL. Dus waarom limiteren op 120? U bent zeker leek op het gebied van verkeersregels? :P En in DLD mag je zo hard als je auto kan, op voorwaarde dat je dat zodanig doet dat je een ander niet in gevaar brengt.
En auto's die gelimiteerd zijn qua snelheid zijn er al vele jaren. Kijk even naar onze oosterburen: vele BMW's, Mercedesen en Audi's zijn gelimiteerd op 250 km/h. Een BMW 315 uit 1979 had trouwens al een toerenbegrenzer, die al rond de 135 km/h ingreep. (Kan me nauwelijks voorstellen dat de motor kapot zou gaan als je zou proberen sneller dan 135 te rijden met zo'n BMW.)
Omdat niet alle klanten hun software willen updaten.
Mensen worden massaal gedwongen te updaten.
Zoals bijv. Windows XP. Moet je gewoon updaten naar Windows 7 / 8, Linux, of OSX. Simpelweg omdat er geen security updates meer voor Windows XP uitkomen. Of 't nu Windows is of een (ander) softwarepakket: je hebt geen keuze en moet regelmatig updaten, wil je niet total geowned worden.
Je eigen computer kan net zo goed een risico zijn.
Ja, en? Wat is je punt?

Waarom jezelf beschermen tegen kinkhoest? Immers, er is ook nog mazelen. Jouw conclusie: je inenten tegen kinkhoest heeft geen zin! Er bestaat immers ook nog mazelen!

[Reactie gewijzigd door kimborntobewild op 14 november 2014 07:34]

Comment by OVH - Monday, 10 November 2014, 10:43AM

All servers who participated in the attack are
in rescue and customers contacted. The servers
were haced in root with shellshock hack (bash).
In all, 800 servers were involved in the attack
this morning generating over 120Gbps peak in the
internal network. We have 60Gbps between EU and BHS
and is what caused the congestion.Obviously it is
time to go to 2x100G on the private network between
Europe and Canada.


Ik heb zelf 4x VPS draaien bij OVH en update altijd zsm mijn systemen met security-patches maar toch voor de zekerheid nog even getest of ik ook kwetsbaar was. Je kan zelf via SSH testen of je machine kwetsbaar is door volgende commando uit te voeren:
curl https://shellshocker.net/shellshock_test.sh | bash

[Reactie gewijzigd door ViperXL op 11 november 2014 18:35]

Ik host ook bij OVH en ik had er ook last van (In Roubaix en Beauharnois). Wel vreemd want OVH claimt dat hun Anti-DDoS systeem (VAC) ook interne aanvallen detecteert en wegfiltert.
Die aanval genegereerde 100 gigabit per seconde aan verkeer, terwijl de verbinding van OVH tussen zijn Franse en Canadese datacenters maximaal zestig megabit per seconde aankan.
Ik neem aan of hoop dat dit gigabit moet zijn?
De VAC staat eigenlijk aan de buitenkant van elk datacenter; of je het DMZ wil noemen of iets anders: http://www.ovh.com/us/anti-ddos/mitigation.xml

Anders zou het ook reageren op verkeer wat door meerdere servers binnen een datacenter naar elkaar wordt verstuurd; niet in de laatste plaats om je ook virtuele racks kan afnemen en daar fysieke servers in kan onderbrengen middels een nog snellere switch. Je zou maar zelf 20Gbps dataverkeer genereren in jouw "omgeving" en het hele datacenter springt in de paniek door de VAC.
Holy Christ Superstar. Wat een blunder.
OVH is een grote ISP met veel resellers die tezamen veel servers en klanten hebben. Dit gaat extra pijn doen omdat OVH een soort imago had van veel kennis en expertise van zaken, services voor "tweakers" had.
LeaseWeb en EDIS zullen zich wel in hun handen wrijven met dit nieuws.
Waarom is dit een blunder? Het zijn klanten die hun zaakjes niet op orde hebben. Bijkomend zal shellshock altijd een probleem blijven omdat de shell werkt zoals hij ontworpen is en het probleem zit in andere software die onvoldoende de input naar de schell nakijkt.

Het kan ook een LeaseWeb overkomen. Ik vraag me gewoon af wat het nut was van een interne DDOS op te zetten.
Het kan ook een LeaseWeb overkomen. Ik vraag me gewoon af wat het nut was van een interne DDOS op te zetten.
Niet elke (un)managed server wordt voor even frisse doeleinden gebruikt. Het kan dus (hele grote aanname) een wraak-aktie zijn geweest van partij A die de servers van partij B voor onbepaalde tijd uit de running wil hebben.

Of natuurlijk bedrijfs-concurrentie. Een bedrijf als Leaseweb kan natuurlijk ook eigen gewin hebben als een bedrijf als OVH tijdelijk zeer slecht in het nieuws komt.

De waarheid zal waarschijnlijk nooit officieel naar buiten komen; ik vermoed dat bepaalde IRC-kanalen hiervoor een veel beter medium gaan zijn mits je daar toegang toe hebt/krijgt.
Het is niet in het artikel concreet terug te vinden, maar ik nam aan dat de server(s) waar de OpenVZ VM's bovenop draaien gecompromitteerd waren, wat automatisch betekent dat de VM's van klanten dat ook zijn.
Hahaha lol. Grappig dat je dan probeert snugger te doen, terwijl je helemaal geen verstand van zaken hebt. Dit is net zoals UPC de schuld geven van een virus op de PC van UPC klanten. Of een leaseautobedrijf de schuld geven als een klant onder invloed tegen de boom rijdt.
Voor jou dezelfde reactie als die op Blokker_1999 hierboven :)
OpenVZ? Waar heb je het over? OVH biedt voornamelijk dedicated servers aan. Het zijn eventuele resellers die OpenVZ zullen aanbieden en dat is dan ook hun blunder dat ze hun zaakjes niet op orde hebben. Even voor de duidelijkheid, het gaat hier om fysieke servers, niet virtuele.
OpenVZ? Waar heb je het over? OVH biedt voornamelijk dedicated servers aan.
https://www.ovh.nl/vps/vps-classic.xml
Oeps?
Voor zover ik weet zijn geen enkele van die gehackt. Het gaat hier om dedicated servers.
Dit is absoluut geen blunder van OVH. De servers en services die in Roubaix draaien, zijn (bijna) allemaal unmanaged, oftewel, de klant is zelf verantwoordelijk voor de veiligheid van de systemen.

Juist door redelijk snel te reageren en de interne DDoS te rerouten naar /dev/null hebben ze het goed aangepakt.

Dit kan elke VP/DS-provider die unmanaged servers levert (oftewel, allemaal). Dat klanten de zaken niet op orde hebben is niet hun verantwoordelijkheid. Dat is alleen maar de infrastructuur leveren, en dat doen ze prima.
Ik herhaal: Het is niet in het artikel concreet terug te vinden, maar ik nam aan dat de server(s) waar de OpenVZ VM's bovenop draaien gecompromitteerd waren, wat automatisch betekent dat de VM's van klanten dat ook zijn.
Ik heb hem net een maand geleden opgezegd/niet verlengd.
Maar het verbaast me weinig, toch maar automatische security-updates aanzetten voortaan.
En niet vergeten dat proces te monitoren of met regelmaat even controleren.
"Die aanval genegereerde 100 gigabit per seconde aan verkeer, terwijl de verbinding van OVH tussen zijn Franse en Canadese datacenters maximaal zestig megabit per seconde aankan."

Het lijkt me hier om zestig gigabit te gaan of bestaan er echt nog zulke laffe verbindingen tussen datacenters?
Er zijn intercontinentale bedrijven die inderdaad groter zijn dan OVH maar lagere verbindingen dan de 60Gbit (inderdaad) hebben liggen. Dit is exact de reden geweest waarom OVH eerst uitbreidde naar Canada aangezien de peering en de beschikbare bandbreedte voor hun veel interessanter/beter was dan naar de oostkust van de Verenigde Staten direct.
Die aanval genegereerde 100 gigabit per seconde aan verkeer
Ik vraag me af wie hier de Zwarte Piet toegespeeld gaat krijgen :+
Je zou ook kunnen stellen dat de de snelheid juist geŽerd wordt door zwarte piet als je het leest als ge-neger-eerde :+
Nog niks over te lezen in het OVH tweakers topic. Stilte voor de storm? :'(
Heb ook een paar systemen draaien daar voor backup purposes. Die prijzen zijn zo achterlijk laag dat je er weinig van moet verwachten, maar om te misbruiken voor backups is 't prima.

Totaal geen last gehad van deze situatie, terwijl de servers wel in het affected datacenter staan... Raar. :)

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True