Kaseya-servers blijven offline door fout in uitrol

Kaseya heeft de servers voor zijn VSA-software nog niet online gebracht. Dat zou aanvankelijk gisteravond al gebeuren, maar het proces loopt vertraging op tot zeker woensdagmiddag. Volgens het bedrijf heeft zich een onbekend probleem voorgedaan.

Het gaat om de servers voor Kaseya VSA, Virtual Systems Administrator. Die software kon on-premises worden gebruikt door beheerders zelf, maar ook als een software-as-a-servicepakket waarbij beheerders de cloudomgeving bij Kaseya zelf lieten hosten en beheren. Kaseya haalde die servers vorige week offline nadat enkele tientallen klanten werden getroffen door ransomware, die zich vervolgens verspreidde naar kleinere klanten van de managed service providers.

Kaseya haalde de servers uit voorzorg offline. Dat deed het al op vrijdag toen de eerste klanten meldingen maakten van de aanvallen, al houdt Kaseya vol dat die klanten nooit in gevaar zijn geweest. Aanvankelijk hadden de servers dinsdagnacht Nederlandse tijd weer terug online moeten komen, maar Kaseya laat in een update weten dat dat niet ging lukken. Het bedrijf haalde de deadline van 04.00 niet, omdat er 'een probleem werd ontdekt', waardoor de serverstart niet kon worden doorgevoerd.

Het bedrijf zegt niet om wat voor probleem het gaat. Kaseya zegt dat het een 'extra laag beveiliging' aan de SaaS-servers heeft toegevoegd, maar ook daarvan is niet bekend waar het precies om gaat. Het bedrijf verwacht om 14.00 uur Nederlandse tijd een statusupdate te geven. Een tijd waarop de servers nu online moeten gaan is er vooralsnog niet. Tot die tijd raadt het bedrijf aan om on-premises-systemen offline te houden.

Reacties (27)

[vliegendehommel]

Wellicht toch iets meer gevonden dat niet helemaal veilig was?

[BytePhantomX]

Als er SQL injection mogelijk was, en gezien eerdere grote kwetsbaarheden, zal het vrij lastig worden om het product op een hele korte termijn echt veilig te krijgen.

Om dat voor elkaar te krijgen zal er nog een flinke voorraad technical debt weggewerkt dienen te worden. Meer als pleisters kan het niet zijn.

[zalazar]

Het probleem was al veel langer bekend en men werkte al geruime tijd aan een fix. Volgens DIVD waren ze dichtbij de uitrol hiervan.

[Cergorach]

Er worden nu dingen gedaan die normaal gesproken worden gedaan over een veel langere periode door medewerkers die niet aan slaap te kort lijden. Ik vermoed eerder dat iemand in een helder ogenblik toch nog een showstopper heeft gevonden voor uitrol. Dat gebeurt nu eenmaal in adhoc situaties waarbij snelheid erg belangrijk is...

Natuurlijk kan je je standaard procedures op een normaal tempo uitvoeren, maar iedereen die nu offline is zal dan enorm schade lijden in die weken/maanden. De modus waar Kaseya nu in zit is natuurlijk: "Get it online as quickly and safely as possible!" en dan gaat 'netjes' de deur een beetje uit...

[JJ Le Funk]

ze komen waarschijnlijk handen tekort omdat ze ook fysieke servers laten ophalen voor patching.

[CasterTroy]

Het bedrijf zegt niet om wat voor probleem het gaat. Kaseya zegt dat het een 'extra laag beveiliging' aan de SaaS-servers heeft toegevoegd, maar ook daarvan is niet bekend waar het precies om gaat.

En helaas zullen we nooit weten of dit PR-praat is of dat er daadwerkelijk iets toegevoegd is. Blijft toch altijd een blackbox de IT.

[Drs_Ben]

Jawel hoor.
Ze gaan nu standaard een WAF meeleveren en optioneel een CDN.

[themadone]

Ja top, en die laat dan alleen code door die bij kaseya vandaan komt?

Misschien toch eens kappen met je hele hut via SaaS beheren. De solarwinds zaak en nu kaseya maken hopelijk toch dat mensen zich eens achter de oren gaan krabben of het gemak het risico waard is hoop ik.

[Opvolger]

Ja en Nee.

Het probleem is dat je als IT bedrijf steeds meer moet doen (infra word ingewikkelder). Dus wil je als (klein) bedrijf je bezig houden met je core business, dus besteed je uit wat je kan uitbesteden. Zij hebben er immers verstand van (hoop je). Als je alles zelf moet doen als (klein) bedrijf dan worden er ook fouten gemaakt en kom je niet toe aan je core business. Ja nu gaan een heleboel tweakers reageren dat het allemaal niet zo veel voorstelt, maar zelf weet ik wel beter bij een middelgroot bedrijf. docker, kubernetes, mailserver, git-server, ticket-systeem, CRM, WAF / Firewall / load balancer / VPN / oauth2-koppelingen / saml-koppelingen / mutual-ssl / interne certificaten uitgeven/intrekken (server) / LDAP / windows domain-controllers, WSUS, IIS, Linux/windows servers, mail (relay) servers. Dan besteed je graag soms dingen uit.

De impact is alleen groter als een bedrijf welke voor heel bedrijven zaken doen eens "omvalt". Dat hebben we nu inderdaad 2x gezien.

IT landschappen zijn groot en omslachtig aan het worden de laatste paar jaren, het is als (klein) bedrijf bijna niet meer te doen om alles zelf te onderhouden en overal verstand van te hebben en agile en te blijven.....

[Iblies]

Er wordt geconcurreerd op prijs wat onzinnig is.

Met name essentiële onderdelen van de samenleving moeten offline kunnen werken in een bepaalde modus.

En natuurlijk kost het allemaal wat meer,
maar je moet je afvragen of die manager die een bonus krijgt omdat die ergens weer een laagje heeft weggeschraapd überhaupt wel ooit geschikt was geweest.

Als een onderdeel uitvalt mag het geen domino effect veroorzaken en het moet relatief snel opnieuw kunnen worden opgestart.

[firest0rm]

Niks mis met Saas... was juist de On premis servers die gehacked zijn. en laat een ding duidelijk zijn niet iedereen heeft de know how om dit soort software te ontwikkelen en onderhouden op een veilige manier. dan kan je dit juist beter centraal bij een grotere insantie houden met meer resources.

[xbeam]

Gij zult u zelf voortaan beter inlezen voordat u reageert.

[firest0rm]

Gij wat?
Mijn bericht was gericht op themadone die aangeeft dat Saas een "probleem" is. Dat is een onzinnige reactie. Zeker voor mensen/bedrijven die hier geen know how en resources voor hebben om alles lokaal in eigen beheer te hosten. Is gewoon ontopic bericht. En de Saas servers in beheer bij Kaseya zelf zijn niet geraakt door de hack dat zegt Kaseya zelf duidelijk in hun bericht geving, alleen de onpremis servers zijn gehackt (ja juist die servers die lokaal in eigen beheer zijn door bedrijven)

[Reactie gewijzigd door firest0rm op 23 juli 2024 13:21]

[xbeam]

Juist ja. Via de saas omgeving van ….

[firest0rm]

Oh god jij snapt het verschil niet tussen Onpremis en Saas.

Onpremis is niet het zelfde als de Saas omgeving van Kaseya!
Die draaien dus lokaal bij klanten en maken GEEN gebruik van de Saas servers van Kaseya.
En die lokale kaseya servers zijn wel gehackt vanwege beveiligingslekken.

Er is een reden waarom kaseya 2 verschillende procedures heeft voordat ze weer live gaan.
Onpremis: https://helpdesk.kaseya.c...MPRVF6PE4I-7a7GWm7JuinGvw

en Saas: https://helpdesk.kaseya.c...W8TL9YtxC2OfpdiwJe64MN4jw

Je opmerking doet overigens ook voorkomen alsof het lijkt dat je niet weet wat betekenis Saas voor staat.

[Reactie gewijzigd door firest0rm op 23 juli 2024 13:21]

[xbeam]

Damn ga je inlezen hoe die prem bakken zijn geïnfecteerd en gehackte.
Dat is niet local gebeurt maar vanuit het kaseya netwerk. Waarom denk je het een supply chain hack heet ? Niet omdat al die on-prem servers lokaal gehackte / geïnfecteerd zijn.

Ik weet als saas provider prima waar saas voorstaat en dat totaal niet relevant of een bak in de cloud of onprem of hybride draait. Het maar net waar je als mssp het ownership over wil hebben.

Voor jou info kaseya is gehackte en de mssp waar de prem servers draaien en vanuit het kaseya netwerk zijn de on-premisse server overgenomen en de eindklant geinfecteert.

En dat er 2 verschillende procedures zijn is normaal omdat het systeem anders in elkaar zit.
De discussie wel degelijk of dit soort saas ( voor eindklant bestaat er is geen verschil en neemt gewoon het zelfde saas product af. Het zij Direct bij kaseya of bij een mssp via een on-premises omgeving van de mssp. Bij eind klant draait niet behalve een agent onprem.

[Reactie gewijzigd door xbeam op 23 juli 2024 13:21]

[firest0rm]

Denk dat je zelf even moet inlezen.
Saas = Software as a service
Op deze servers worden geen updates en connectiviteit gepushed naar Kaseya servers die Onpremis zijn.
Dat word gedaan middels een update server.
is ook een reden waarom onpremis servers die lokaal staan juist problemen hadden en de Saas servers in beheer van kaseya zelf NIET <-- wat kaseya zelf notabene aangeeft.

Dat is het verschil tussen Saas en Onpremis.
Denk echt dat jij je zelf even moet inlezen wat het verschil is tussen Saas en onpremis en wat Saas überhaupt inhoud.

En dat er 2 verschillende procedures zijn is normaal omdat het systeem anders in elkaar zit.
De discussie wel degelijk of dit soort saas ( voor eindklant bestaat er is geen verschil en neemt gewoon het zelfde saas product af. Het zij Direct bij kaseya of bij een mssp via een on-premises omgeving van de mssp. Bij eind klant draait niet behalve een agent onprem.

Er zit een daadwerkelijk verschil tussen Saas software die kaseya host en het Onpremis product wat zij leveren dit zijn 2 verschillende dingen.

[Reactie gewijzigd door firest0rm op 23 juli 2024 13:21]

[xbeam]

Echt ongelofelijk. zo vermoeiend die paas figuren hier als ze enige zijn die weten waar saas,waas en paas* voor staat. Maar mooi dat nu zelf begrijpt dat Kaseya gehackt is niet de locale draaiende server de MSP’s.

* prutsers as a service

[Reactie gewijzigd door xbeam op 23 juli 2024 13:21]

[firest0rm]

Kijk voor de gein even naar je eigen text. jij bent de enige die hier beweert dat de Saas servers van kaseya zijn gehackt. Dat is dus niet zo. Er is een daadwerkelijk verschil tussen een update server en een Saas server. Iets met "Hij heeft de klok horen luiden, maar hij weet niet waar de klepel hangt"

[Reactie gewijzigd door firest0rm op 23 juli 2024 13:21]

[Lampiz]

Vind ik een leuke, want gaan ze die laten detecten of ook laten handhaven en wie er naar die meldingen gaat kijken .

[YangWenli]

Als de koe verdronken is dempt men de put.

[draadloos]

kalf

[xbeam]

Als het hek op de dam weg is volgen er meer koeien naar de put.

[WhiteDog]

Een WAF (of eender welke Firewall) heeft pas zin als iemand met kennis van zaken er regels voor schrijft. Ze kunnen er wat generieke rules in droppen om SQL injecties eruit te halen maar verder gaat het om regels die bekende exploits detecteren... bekende exploits = iemand heeft het probleem al ontdekt / iemand heeft het al meegemaakt.

[Luppie]

Web Application Firewall

[xbeam]

NGWAF of WUTM?