Microsoft: geen verband tussen Azure- en CrowdStrike-storingen

Microsoft zegt dat er geen verband is tussen de storing van zijn cloudplatform Azure op donderdagavond en de wereldwijde CrowdStrike-storing op vrijdag. De problemen met Azure zijn inmiddels weer opgelost.

Het softwarebedrijf heeft vrijdag aan BleepingComputer gemeld dat de problemen bij Azure werden veroorzaakt door een configuratiestoring. De storing bij CrowdStrike is veroorzaakt door een recente kerneldriverupdate, zegt Microsoft tegen Wired. Hoewel de storing bij Azure voor een groot deel is verholpen, kunnen klanten nog steeds problemen hebben met verschillende diensten en apps, waaronder OneDrive en Teams.

De storing van CrowdStrike zorgde wereldwijd voor problemen in onder meer de luchtvaart en bij ziekenhuizen. Het probleem lag bij de Falcon Sensor-software. Na het installeren van de update, kregen Windows-gebruikers te maken met een bsod. Doordat Falcon alleen cloud based werkt als een SaaS-pakket en updates automatisch binnenkomen bij klanten, kunnen individuele apparaten de update niet tegenhouden. CrowdStrike heeft een oplossing voor het probleem, zei ceo George Kurtz. Het is niet bekend hoe lang het duurt voordat de storing bij alle klanten is verholpen.

Reacties (114)

[Skit3000]

De oplossing voor het probleem is natuurlijk niet dat er een workaround bestaat zoals de ceo van CrowdStrike laat weten, maar een manier om alle getroffen systemen met minimale inspanning weer online te krijgen. Ze hadden in mijn ogen bijvoorbeeld minstens handleidingen moeten publiceren hoe of dat je daadwerkelijk in Safe Mode op kunt starten, zodat elke leek de instructies kan volgen en zijn of haar systeem weer aan de praat kan krijgen.

[beerse]

Er wordt 1 bestand genoemd en dat moet je van het systeem halen voordat het voor productie boot. De betere systeeembeheerder kan daarmee haar/zijn eigen systemen weer up and running krijgen.

Als je echt een filmpje nodig hebt om anders te booten dan normaal, dan ben je de titlel syssteembeheerder niet waard.

Het is in dit geval dat dit bij alle systemen moet worden uitgevoerd. Voor virtuele systemen is het betrekkelijk eenvoudig de disk te benaderen en het bestand te wissen voordat het van zichzelf boot. Met een beetje creative geest (en genoeg gebrek aan beveiliging) is dat wel te automatiseren.
Voor fysieke systemen is het iets meer een uitdgaging omdat je op de fysieke console moet werken, al is die in de regel best wel op afstand te benaderen.

[dasiro]

Er wordt 1 bestand genoemd en dat moet je van het systeem halen voordat het voor productie boot. De betere systeeembeheerder kan daarmee haar/zijn eigen systemen weer up and running krijgen.
...
Voor fysieke systemen is het iets meer een uitdgaging omdat je op de fysieke console moet werken, al is die in de regel best wel op afstand te benaderen.

en hoeveel enduser-systemen ga je zo kunnen benaderen? Die hebben meestal enkel het OS om te booten en zijn bitlocker-encrypted. In het beste geval ga je nog een unencrypted device kunnen network-booten om van daaruit de OS-partition te benaderen, maar zulke situaties zijn niet op een half dagje te automatiseren en op honderden of duizenden systemen te testen + deployen.

Thuiswerktoestellen die encrypted zijn mag je al helemaal vergeten en zo zijn er tegenwoordig héél veel sinds corona en zeker in combinatie met de vakantieperiode voor scholen.

[HollowGamer]

Heel simpel, geen (belangrijke) data laten op devices van clients. Een bedrijf zou ten alle tijden een image moeten kunnen pushen, waarbij data verlies tot het min. kan zijn (Office 365, Drive, etc.).

Ik ben altijd een voorstander geweest van simpele storage oplossingen (clients maar 64GB geven) en ook encryptie, dat kan ook al op afstand.

Persoonlijk vind ik het erg vervelend voor systeembeheers, maar misschien moeten die toch eens gaan nadenken over andere oplossingen? Ik noem maar een Chromebook voor simpele users, het plaatsen van storage bij de user zelf, of BYOD in geval van nood (ja, die kan je ook beveiligen).

[Gimmeabrake]

How about developers? Ik weet niet hoe jouw laptop is ingericht, maar mijn laptop is managed, maar ik heb door mijn developer role wel local admin rechten. Bitlocker staat aan, en CrowdStrike draait op de achtergrond.

Ik was gelukkig vrij gisteren, maar ik heb op Slack meegekregen dat minstens één collega een BSOD had. Als ik het image opnieuw ingespoeld krijg, ben ik niets kwijt (lang leve git), maar ben ik een halve tot een hele dag bezig met alles weer inrichten. Als elke developer dat moet doen is dat een duur grapje.

[HollowGamer]

Ik ben het helemaal met je eens, al zou je in die image al een basic setup kunnnen meenemen. Settings kun je tegenwoordig ook al syncen, zoals die van je IDE. Een home folder kun je ook syncen (o.a. voor ssh keys).

Als je het goed inricht, moet je binnen één dag zeker up en running weer zijn.

[dasiro]

Nee het is niet simpel. Er zijn tal van mogelijke setups, maar ze zijn NU allemaal geïmpacteerd. Elk bedrijf heeft zo wel zijn eigen keuzes gemaakt, gebaseerd op een al dan niet historisch gegroeide manier van werken, dus het heeft geen zin om daarover te filosoferen in een crisissituatie.

[jmvdkolk]

Ik wens jou veel succes met deze aanpak in mijn werkomgeving. Ja, Office 365 en Drive zijn zo weer up and running. Niet standaard software (want sommige pakketten zijn maar voor minder dan 5 mensen nodig) bovenop het image installeren kost al weer meer tijd. En alles dat er nodig is voor offline demo's is niet standaard, want veranderd iedere week door continuous delivery. In een omgeving waar alles standaard is, werkt jouw aanpak grotendeels. Maar ook in een omgeving waar alles standaard is, blijken uitzonderingen te zijn.

Een Chromebook in een zakelijke omgeving? Storage bij de user zelf? Ik zit in een heel andere zakelijke omgeving.

[fvdberg]

Chromebook kan prima in een zakelijke omgeving. Deze kan prima als cliënt dienen. Data hoort op de bedrijfsservers niet op clients.
Niet standaard software kan via app-v aangeboden worden

[Reactie gewijzigd door fvdberg op 22 juli 2024 13:17]

[jmvdkolk]

In mijn ogen is de overhead van opzetten van beheer van Chromebooks het niet waard gegeven het kleine percentage medewerkers die er voldoende aan hebben. En dat nog los van training.

Helemaal mee eens dat data op bedrijfsserver hoort. Behalve voor dat kleine percentage mensen die bedrijfsdata (soms) in een offline situatie nodig hebben. Die worden meestal vergeten in het bedenken van de bedrijfsprocessen, en zijn in sommige organisaties best wel belangrijk.

App-v schijnt te werken, officieel zelfs voor Autocad. Maar de praktijkresultaten die ik lees zeggen dat de performance van dit soort applicaties nogal tegenvalt.

[Reactie gewijzigd door jmvdkolk op 22 juli 2024 13:17]

[fvdberg]

Dat het in de praktijk tegen valt is omdat men vergeet om de benodigde bandbreedte te reserveren en zijn de servers die gebruikt wordt te maker omdat men niet de investering in de correcte GPUs doet,Men maakt niet voldoende budget vrij maakt.

Een andere optie kan zijn om de applicaties te packagen en via copilot of een ander pakket (choco vanuit een eigen GIT repository bijvoorbeeld) te distribueren, maar dat kost geld, en beheer via app-v is eenvoudiger.

[Reactie gewijzigd door fvdberg op 22 juli 2024 13:17]

[jmvdkolk]

Klopt van dat budget. Vaak wordt een consolidatie op centrale servers verkocht aan management als een besparing, en dan is er geen geld voor fatsoenlijke hardware.

Ik snap niet helemaal hoe je via choco een laptop regelmatig opnieuw kan uitrollen, zoals HollowGamer suggereerde. Of is dat niet jouw idee met choco? Uitrollen van software via choco kost natuurlijk tijd, vandaar mijn vraag.

Beheer via app-v is eenvoudiger en werkt perfect voor de 95% van de medewerkers die binnen de standaard vallen. Die 5% resterende medewerkers hebben een minder prettige ervaring, omdat IT die 5% medewerkers maar lastig vindt.

Ik werk zelf in een technische organisatie waar die 5% overigens eerder 15 a 20% is. Ik heb zelf in de IT afdeling gezeten en ben manager van de IT afdeling geweest. Sinds ik in een ander deel van de organisatie zit is het werken met de laptops voor die 5% (of bij ons 15 a 20%) minder prettig geworden. Als ik b.v. in de VS ben, dan staat het schedule voor updates nog steeds op NL. Heb al een aantal keer gehad dat mijn demo onderbroken werd door een update die software onbruikbaar maakte tot de volgende reboot. Microsoft SQL Server is b.v. zo'n pakket die die nijging heeft. Vroeger kon ik tijdelijk settings krijgen zodat ik geen updates kreeg in de US business hours. Die optie is weggenomen, want er waren zo weinig mensen die dit nodig hebben.

[fvdberg]

Simpel, je installeert je os met Intune/copilot en daarna installeer en roep je chocolatey aan die vervolgens op de achtergrond keurig je packages uit je git repo haalt

[jmvdkolk]

Dat snap ik. En dat kan uren kosten als het b.v. om mijn zakelijke laptop gaat. Kortom, dat doe je niet regelmatig, toch?

[fvdberg]

Uren... Dat valt in de praktijk wel mee. En nee... dit doe je uiteraard niet regelmatig, alleen wanneer er een nieuw werkstation moet worden opgeleverd, of er problemen met een werkstation zijn.

Ook kan jij vast werken terwijl op de achtergrond je apps worden geïnstalleerd.

Hetzelfde geld als iemand een extra app nodig heeft. Die ken je gewoon toe aan het profiel de machine.

Je hebt alleen een otap omgeving nodig en een persoon/team die de apps packaged en test en daar zit het knelpunt. Dat kost geld.

Met een dergelijke opzet had een getroffen bedrijf binnen 2 uur de belangrijkste zaken up kunnen hebben en dus ook weer verder kunnen werken.

[Reactie gewijzigd door fvdberg op 22 juli 2024 13:17]

[jmvdkolk]

Mijn laptop is toevallig drie weken geleden opnieuw geimaged. Ja, ik kon al snel weer mail lezen. Maar Teams calls was b.v. al lastig door de reboots die gedurende de dag plaats moesten vinden. Alles is geautomatiseerd, en na 6 uur was ik volledig up and running. Zoals ik eerder aangaf, ik ben onderdeel van een groep mensen die relatief veel niet-standaard dingen nodig heeft, en die relatief veel pakketten gebruikt die tijd kosten om te installeren. Ik heb b.v. 6 talen geïnstalleerd voor Office. De installatie per taal kost zo'n 5 a 10 minuten. Keer 6 gaat dat rap. Maar mijn ervaring is dat er meer mensen zijn die in mijn schuitje zitten, zeker in een tech company.

Kortom, ik heb het vooral over die 5-20% mensen die anders zijn. En mensen die roepen dat het makkelijk is hebben het altijd over die 80-95% van de mensen. Maar die laatste 5-20% van de mensen zijn meestal essentieel voor het succes van de organisatie, en zijn degenen waarvan de organisatie het meeste last heeft als ze tijdelijk niet (efficient) kunnen werken.

[fvdberg]

Ik snap je, maar in dit geval krijg je de keuze: 1. Helemaal niet kunnen werken 2. Met een uur of 2 weer online zijn en gedurende de werkdag je software zonder inmenging van mensen geïnstalleerd krijgen.

Ondanks dat je bij die 5-20% afwijkingen zit geloof ik niet dat je niet een beetje kan schuiven met je werkzaamheden.

[jmvdkolk]

Dat schuiven met de werkzaamheden hangt van de dag af. Afgelopen vrijdag heb ik echt heel veel geluk gehad dat mijn laptop niet affected was, en dat ik toevallig geen afhankelijkheden had van het serverpark dat er wel uit lag. Ik zat 1-op-1 opgesloten in een kamertje met iemand die speciaal uit de VS was overgekomen voor onze 1-op-1 werkzaamheden. Het was erg jammer geweest als we ons geplande werk niet hadden kunnen doen :-). Maar natuurlijk hadden we met een beetje creativiteit ook op een andere manier veel gedaan kunnen krijgen.

[Maasluip]

Bij mij op het werk dachten ze ook eens dat zoiets mogelijk was. Maar toen bleek dat de mensen toch wat complexere dingen deden dan wat je op een chromebook kan doen. En toen bleek dat een one-size-fits-all virtuele PC ook niet de oplossing was. En dan heb je alles in de cloud zitten en heeft Microsoft een probleem en kun je je cloud niet benaderen.

Ik vraag me echt af of dit allemaal het risico en het gemak waard is. Misschien dat je als bedrijf niet meer outages krijgt als je alles in de cloud gooit, maar één outage is dan wel opeens een wereldwijde outage. De impact wordt veel groter.
En de kansen om gericht te targetten ook. De cloud is blijkbaar nog niet zo sterk dat er geen single point of failure in zit.

Zelf kan ik nu net (twee volle werkdagen na het incident) aan mijn Cloud PC. Zo'n lange outage heb ik nog nooit gehad.

[HollowGamer]

Bij mij op het werk dachten ze ook eens dat zoiets mogelijk was. Maar toen bleek dat de mensen toch wat complexere dingen deden dan wat je op een chromebook kan doen. En toen bleek dat een one-size-fits-all virtuele PC ook niet de oplossing was. En dan heb je alles in de cloud zitten en heeft Microsoft een probleem en kun je je cloud niet benaderen.

Je kunt dit dacht ik wel instellen met policies?
Want je wilt hier inderdaad wel iets van controle op.

Wij hebben dat helaas hier niet. Het is vrij open, het liefst zou ik ook wat dichtgetimmerd zitten. Dat klinkt gek voor een developer, maar met fake-data heb ik geen moeite, wel met persoonsdata (die gelukkig wel veilig benadert worden, maar toch).

[fvdberg]

Nee de betere systeembeheerder boot de systemen op via wake on lan en initieert met een pakket als copilot dat het systeem een werkende schone image krijgt. Data hoort niet op clients. Op deze manier ben je binnen 1 a 2 uur weer volledig in de lucht.

[alphariss]

Nou de uitleg had Crowdstrike al gegeven om het op te lossen. Het probleem zat voornamelijk bij de capaciteit van een support afdeling van IT, als je met 10 man op de helpdesk 400+ getroffen clients handmatig moet gaan oplossen (omdat er geen ander fix is) ja dan ben je uren bezig voordat de storing voorbij is. Want kijk een server kun je zo fixen door een snapshot van een paar uur geleden terug te zetten als het niet anders kon.

Het is gewoon k** dat deze storing op een kernel level is veroorzaakt. Maarja niets aan te doen, iedereen maakt fouten en zo dus ook een Crowdstrike Engineer.

[Reactie gewijzigd door alphariss op 22 juli 2024 13:17]

[Bongoan]

Ik denk ook niet dat iemand een Crowdstrike engineer iets kwalijks neemt. Hier moet namelijk een heel bedrijf proces misgegaan zijn. Ik ben heel benieuwd hoe (en of) dit intern getest is op Windows systemen.

Het zou mij niets verbazen dat Crowdstrike hiermee ten onder gaat. Iedereen gaat zijn schade bij hen proberen te verhalen.

[Skit3000]

Helaas; het is wel een van de betere bedrijven op dit gebied dus als dat product weg valt is dat een stap terug.

Bedrijven als Microsoft maar ook bijvoorbeeld Kaspersky hebben eerder ook soortgelijke incidenten gehad, maar daarbij het geluk dat niet alle clients tegelijkertijd updaten.

[Accretion]

Bedrijven als Microsoft maar ook bijvoorbeeld Kaspersky hebben eerder ook soortgelijke incidenten gehad, maar daarbij het geluk dat niet alle clients tegelijkertijd updaten.

Is dat geluk of een beter update beleid?

[SkyStreaker]

Nou, je kunt je gaan afvragen hoe iets als een beetje QA dit heeft kunnen missen toch?

[Cid Highwind]

QA is ook aan grenzen gebonden. In de regel vooral qua tijd en budget.

Je vindt dus wat er te vinden is binnen de door het management gestelde kaders en een restrisico zul je altijd houden.

Hoe groot dat risico is hangt van het management af die de budgetten en tijdskaders bepaalt, hoeveel deze werkelijk van de materie, risico’s en impact begrijpen en in hoeverre men bereid is een gok te nemen om kosten te sparen.

[MrWillow]

Dat is een beetje een dooddoener.

SkyStreaker stelt een belangrijk probleem aan de kaak.
Blijkbaar hebben ze bij CrowdStrike te weinig QA, en de halve wereld lijkt op hen te vertrouwen.
Iets gaat hier overduidelijk niet goed.

[Reactie gewijzigd door MrWillow op 22 juli 2024 13:17]

[Cid Highwind]

De dooddoener komt van SkyStreaker. Dat er iets fout is gegaan is natuurlijk overduidelijk, maar een simpele "QA heeft liggen slapen" is wel erg kort door de bocht en is zelden een correcte of volledige weergave van de realiteit.

Uiteindelijk ben je als onderneming verantwoordelijk voor het resultaat en is een fuckup van een dergelijk caliber zelden aan één afdeling toe te wijzen. Dat er bij QA iets doorglipt heeft vaak ook z'n oorzaken, iets waar men bij CrowdStrike vast wel een interne evaluatie aan wijdt.

[Harm_H]

Huh? Het is inherent aan de beveiligingssoftware van CrowdStrike. Deze fout zat er ooit aan te komen. Beveiligingssoftware plaatsen voor de processen van de operating system, je zegt daarmee dat de operating system zwakker is dan hun software. En dat terwijl er geen fallback in blijkt te zitten.

[alphariss]

Ik zei juist dat het vervelend is dat dit op een kernel niveau veroorzaakt door CS. Ik denk niet dat ik iets heb geschreven dat je argument zou betwisten.

[Harm_H]

Je stelt menselijke fout, maar het is een ontwerpfout. Zowel in automatische updates en mogelijk ook vanwege het plaatsen voor de operating system.

[ibmpc]

Er zou net als de DARES of de vrijwillige brandweer een organisatie met IT vrijwilligers moeten bestaan om dit soort taken uit te voeren. Dat was op een dag als deze natuurlijk enorm handig zijn geweest. Je kunt de vrijwilligers vantevoren screenen en aan ISO laten voldoen.

[coolkil]

Hoewel het een gaaf initiatief zou zijn vraag ik me af of het werkt…

Vrijwillige brandweer heeft over het algemeen vrij kleine schaal en het concept is simpeler. In it wereld heb je extreem complexe infrastructuur die ook nog eens per bedrijf kan verschillen. een nieuwe medewerker heeft soms al meer dan een maand nodig om dingen te snappen.

Bij de brandweer pak je de brandblusser en je gaat los ( oversimplificatie maar bij wijze van spreken

[ibmpc]

Ik heb begrepen dat het voornamelijk om desktops en laptops gaat. Die servers zijn wel remote te bereiken vanuit een luie stoel. Je hebt poppetjes nodig die langs gaan met de Media Creation Tool, zoals de DARES radios gaat uitrollen bij een calamiteit.

Als je als organisatie vandaag de dag nog een custom image gebruikt, dan moet je je afvragen of je IT organisatie nog wel goed bezig is. Meteen een mooie kans om al die machines op Windows 11 te krijgen trouwens.

Desnoods kunnen er calamiteitententen worden gebouwd met airconditioning waar je als een soort drivethrough doorheen rijdt om een nieuw image op je laptop te krijgen. Een soort AutoPilot hal met groot open WiFi netwerk. De traffic tussen Windows 11 en Microsoft AutoPilot is toch encrypted. De tenten kun je bouwen op plekken waar goed glasvezel ligt en je zet er een Dutch Bros neer om mensen wat te drinken te geven.

Ik zou het wel leuk vinden, een keertje in plaats van Intune ontwerpen een dagje brandjes blussen met een USB stick. Je ziet ineens veel mensen. De poppetjes hoeven niet eens Entra credentials te hebben, het is de TPM die met al die duizenden verschillende organisaties authenticeert.

[Reactie gewijzigd door ibmpc op 22 juli 2024 13:17]

[Transportman]

Maar er is/was geen calamiteit, alleen veel hinder, laten we het alsjeblieft niet groter maken dan het is.

Ook ben ik tegen de inzet van vrijwilligers voor het oplossen van problemen bij commerciële partijen.

[Bor]

Voor ziekenhuizen die operaties moesten afzeggen, vluchtmaatschappijen die vliegtuigen aan de grond moesten houden etc was er wel degelijk sprake van een calamiteit. Je onderschat de problemen die sommige organisaties hebben ervaren.

[Transportman]

Voor de organisaties zelf zal de impact van dit probleem uiteraard enorm zijn geweest en voelen als een calamiteit, en als je als klant van zo een organisatie er last van hebt doordat je operatie wordt uitgesteld/vlucht wordt afgelast is dat enorm balen, maar het blijft grotendeels hinder en geen (levensbedreigende) calamiteit in vergelijking met iets waarvoor een (vrijwillige) brandweer of DARES ingeschakeld wordt.

[Bor]

Een calamiteit hoeft niet levensbedreigend te zijn. Voor de bedrijven in kwestie is dit gewoon een calamiteit waarbij bijbehorende response plannen geactiveerd dienen te worden. Je hebt een veel te strenge definite van een calamiteit zo te zien.

[Transportman]

Ik denk niet dat ik een te strenge definitie heb binnen de context waar ik op reageerde, namelijk het plan van @ibmpc, die een of andere landelijke calamiteitenorganisatie wil optuigen met vrijwilligers om de zooi van een commerciële partij op te ruimen, terwijl er in mijn ogen op landelijk/maatschappelijk niveau niet/nauwelijks sprake is van een calamiteit in dit geval. Voor organisaties zelf is het uiteraard wel een calamiteit omdat het probleem er voor zorgt dat ze hun primaire dienst niet aan kunnen bieden, maar niet iets dat door een landelijke organisatie opgelost zou moeten worden op kosten van de belastingbetaler.

[ibmpc]

Volgens mij is de DARES juist bedoeld voor als commerciele partijen falen. Als alle ISPs uitvallen. En de vrijwillige brandweer blust ook brandjes bij commerciele partijen. Zelfs bij grote organisaties die een private brandweer hebben, daar komt de belastingbrandweer ook assisteren indien nodig. Bij ons lagen ook de supermarkten eruit. Ik vind dat een redelijk grote calamiteit waarbij een belastingorganisatie best mag worden ingezet voor een commerciele organisatie.

[Transportman]

En dan hebben we het bij de brandweer en DARES echt over kritische, (potentieel levens)gevaarlijke situaties, niet vluchten die geannuleerd worden door een storing, of dat boodschappen een dag later gedaan moeten worden door een storing. Voor het eerste is prima om met belastinggeld betaalde organisaties voor in te zetten, maar in het geval van deze storing was het vooral ongevaarlijke hinder en daar hoort geen door belastinggeld betaalde calamiteitenorganisatie bij om de zooi van een commerciële partij gratis en voor niets op te ruimen.

[Reactie gewijzigd door Transportman op 22 juli 2024 13:17]

[ibmpc]

Er zijn gezinnen die het niet redden als de supermarkten meerdere dagen offline zouden zijn. Zelfs een simpele terroristische aanval zou alle supermarktketens dagenlang plat kunnen leggen. Dan is een leger van vrijwilligers met de Media Creation Tool wel echt een uitkomst. En we weten allemaal dat de volgende terroristische aanslag niet een explosie zal zijn, maar een gerichte aanval op een volledige infrastructuur zoals internet, water en airco. Ja, iedereen zou voor 7 dagen moeten preppen, maar dat gebeurt nu eenmaal niet.

[Reactie gewijzigd door ibmpc op 22 juli 2024 13:17]

[Transportman]

Als door een aanval alle supermarktketens en slagers, groenteboeren e.d. er langdurig uit zouden liggen, een aanval die helemaal niet zo simpel is als je doet voorkomen, of gericht is op de kritische infrastructuur, waar het ook niet zo simpel is, is de oplossing misschien wel een leger, maar niet met een leger vrijwilligers met USB stickjes met de Media Creation Tool, maar het echte leger dat dan noodrantsoenen uit gaat delen. Dat werkt ook nog eens voor veel meer problemen dan alleen dit zeer specifieke probleem.

Daarnaast werkt jouw oplossing ook alleen maar met een zeer specifieke set aannames, zoals dat men met Intune werkt, beschikbaarheid van internet, dat Microsoft voldoende capaciteit heeft voor alle Intune-zaken en Windows downloads e.d., dat organisaties niet de USB poorten van systemen hebben dichtgezet voor dingen als data-overdracht of booten.

Verder denk ik dat de meeste organisaties er helemaal niet happig op gaan zijn dat vreemden/buitenstaanders aan bedrijfssystemen gaan zitten en daar dingen mee gaan doen. Dan zullen organisaties liever het zelf oplossen, zelfs als het dan langer duurt.

[Bor]

Aan welke ISO kwalificatie wil je de vrijwilligers laten voldoen? Heb je enig idee wat het screenen van een grote hoeveelheid mensen (want die had je in dit geval nodig) kost? Zou jij vrijwilligers bij systemen met (gevoelige) company data laten? Ik weet bij zeer veel bedrijven het antwoord wel.

[Reactie gewijzigd door Bor op 22 juli 2024 13:17]

[ibmpc]

In principe geen enkele De vrijwilligers hebben geen toegang nodig tot de tenant, omdat de TPM of de Entra credentials van de gebruiker de authenticatie verzorgen met de tenant. De vrijwilliger hoeft alleen maar met een USB stick rond te lopen. Uit de documentatie van Microsoft blijkt ook dat bij een Self Deploying profile de authenticatie middels de TPM plaats vindt. Er hoeft dus geen bedrijfsdata met de vrijwilligersorganisatie te worden gedeeld en binnen de ISO kun je dit "risico" gewoon documenteren.

[Reactie gewijzigd door ibmpc op 22 juli 2024 13:17]

[Bor]

Dat risico kan je documenteren maar dat is wel heel kort door de bocht. ISO 27001 (er vanuit gaande dat je daar op doel) is gebaseerd op risico management, niet slechts documentatie. Wannneer je bestanden op de Windows disk kan aanpassen, nodig voor de work around, kan je mogelijk ook bij lokaal opgesagen data.

[ibmpc]

Ik denk niet dat er in een calamiteitentent met drivethrough tijd is om een Windows systeem te ontleden. Er zullen gewoon poppetjes zijn die een Media Creation Tool uitrollen. De TPM verzorgt de authenticatie met de tenant, niet het poppetje. Eventueel kan de gebruiker zelf authenticeren. Binnen ISO27001 is dat geen risico omdat in dit geval de vrijwilliger geen toegang kan krijgen tot bedrijfsdata en ook niet nodig heeft.

[Bor]

Je hebt in dit geval schrijf toegang nodig tot de systeem partitie (met admin rechten) . Dat is direct een risico.

[Reactie gewijzigd door Bor op 22 juli 2024 13:17]

[ibmpc]

Dat is altijd een risico, ongeacht of je vrijwilligers in een calamiteitentent hebt of niet. Ook buiten een calamiteit om. Dus dat verandert niets. Een willekeurige boef kan ook gewoon een laptop herinstalleren en de TPM zal de laptop opnieuw aan de tenant koppelen.

[Bor]

Dat verandert heel erg veel. Natuurlijk is schrijf toegang altijd een risico maar er zit een groot verschil tussen een interne gescreende medewerker die hiervoor is opgeleid en een vrijwilliger.

[ibmpc]

De vrijwilliger kan toch ook zijn opgeleid? Bovendien: USB stick plaatsen, herinstalleren, TPM authenticeert, Intune voert Bitlocker uit al voordat de gebruiker is ingelogd, vrijwilliger heeft nooit toegang gehad tot de data. Ik moet eerlijk zeggen dat ik het risico niet zie.

Ja, je kunt een koudestartaanval uitvoeren op Bitlocker, maar dat kan ieder ander willekeurig persoon ook. De bezitter dan de bedrijfslaptop heeft ook een bepaalde verantwoordelijkheid om bedrijfsdata te beschermen en als er enorme industriele ijsmachines staan in de drivethrough, dan snapt de eindgebruiker ook wel dat er iets mis is.

[Reactie gewijzigd door ibmpc op 22 juli 2024 13:17]

[WhiteDog]

Gaat weinig helpen, je moet langs bitlocker en daarna heb je een werkende admin account nodig. Ik vermoed dat voor sommige bedrijven een full reset via bv. Autopilot sneller kan zijn (of makkelijker uit te leggen).

Het verbaast me overigens niks dat dit gebeurd is. Heb ooit een migratie gedaan van 50.000+ endpoints naar CrowdStrike en achterliggend is het gewoon een zooitje. De arrogantie en incompetentie op dat niveau is niet te beschrijven.

Men had er rekening moeten mee houden in de driver dat dit ooit kon gebeuren en voldoende mitigations en self-healing voorzien. Dan heb je mss 1 of 2 keer een BSOD en zodra je als driver doorhebt dat je niet correct gestart of afgesloten bent ga je in failsafe mode. Zo zaten mijn services en drivers alleszins in elkaar 😇

[Skit3000]

Dat laatste wat je noemt lijkt mij de verantwoordelijkheid van het operating system. Microsoft zal het beleid vast aanpassen en na één of hooguit twee BSODs tijdens de bootprocedure, alle systeembestanden terugdraaien naar de laatste bekende werkende versie.

Overigens lijkt uit berichten dat ze dat nu ook al doen na ~15 keer opnieuw opstarten. Dat is dus een prima fix die CrowdStrike zou kunnen delen.

[Rinzwind]

Dat doen ze niet. Gewoon kwestie van hopen op een update voordat het systeem crashed.

"Microsoft's Azure status page outlines several fixes. The first and easiest is simply to try to reboot affected machines over and over, which gives affected machines multiple chances to try to grab CrowdStrike's non-broken update before the bad driver can cause the BSOD. Microsoft says that some of its customers have had to reboot their systems as many as 15 times to pull down the update."

[m_snel]

Inderdaad, als je een recovery scherm krijgt dan kan de gebruiker weinig meer.
Misschien kun je nog iets met een policy proberen, als die tenminste eerder wordt uitgevoerd dan dat deze agent actief is.
Zo heb ik nog wel eens het probleem met de sasser patch en keyboard software die aan winlogon gelinkt was opgelost.
Gebruiker moest wel een paar keer handmatig herstarten.

[HollowGamer]

Kan en mag je iets meer vertellen over CrowdStrike? Ben vooral benieuwd naar de achterliggende logica, maar ook de arrogantie daarin schijnt?

Ik ben sowieso geen fan van dit soort software, of veel antivirus stuff in het algemeen. Deze zitten zo diep in de kernel, dat ze bij een willekeurige Windows Update, het systeem dus unbootable kunnen maken. Niet in dit geval, maar het kan van beide kanten.

[Marve79]

Naja elke leek. Prive personen gebruiken geen crowdstrike. Die hebben hier geen last van gehad. Bedrijfs PC's zijn vaak BitLocker encrypted en dan heeft die workaround ook geen zin dus die moeten allemaal binnen komen,stuk voor stuk. Helaas. Gaat veel schade opleveren en veel geld kosten. Ik denk dat crowdstrike wel een paar rechtszaakjes aan zijn broek krijgt.

[Ayporos]

Uit hun Terms and Conditions:

8.2 Product Warranty. If Customer has purchased a Product, CrowdStrike warrants to Customer during the applicable Subscription/Order Term that: (i) the Product will operate without Error;
...
our sole and exclusive remedy and the entire liability of CrowdStrike for its breach of this warranty will be for CrowdStrike, at its own expense to do at least one of the following: (a) use commercially reasonable efforts to provide a work-around or correct such Error; or (b) terminate your license to access and use the applicable non-conforming Product and refund the prepaid fee prorated for the unused period of the Subscription/Order Term.

'Commercially reasonable efforts' is best vaag, dus de workaround die ze postte kan prima door een rechter beoordeeld worden als vallend binnen deze richtlijnen.
Buiten deze T&C heb ik geen documentatie betreffend daadwerkelijke SLA's kunnen vinden, maar dat betekend uiteraard niet dat er geen klanten zijn waarmee ze die hebben afgesloten.
Als ze dát hebben, dán kan dat nogal eens prijzig worden (mits ze zichzelf niet verzekerd hebben tegen kosten die daaruit voortvloeien).. maar het hangt er dus ook erg van af hoeveel klanten zoiets überhaupt zouden afsluiten.

Een SLA voor je stroom of internet aansluiting dat kan ik nog wel geloven dat daar een directeur z'n handtekening onder zet... een SLA voor een Security Suite? hmm geen idee.

[flaskk]

Ik heb tijdje it geleverd bij grote festivals, ook verzekerd.

Maar je moest wel een heel plan opstellen om te kunnen aantonen dat je er alles aan hebt gedaan om de outage te verkomen. Volledig redundantie, tot in de kleine puntjes.

Ik denk dat een verzekeraar wel voorwaarden stelt, dus niet testen en update doordrukken valt vast onder een voorwaarde.

Daarnaast is dit een grote clusterfuck dus wss gaan klanten ook weg bij hen.

[Marve79]

Er zullen zeker wel klanten weggaan maar ze hadden voor dit incident wel een ontzettend goede naam. Zoek maar eens een alternatief, niet zo eenvoudig. Moet je weer een research, aankoop en implementatietraject starten. Dus als alles eenmaal weer draait zie ik ook nog wel veel klanten gewoon blijven. Kans dat dit nogmaals gebeurt zal ook niet zo groot meer zijn nu (hoop ik).

[Cid Highwind]

Een incident als deze is vooral handig aan de onderhandelingstafel met dezelfde partij.

Je mag er sowieso van uit gaan dat dezelfde fout niet nog een keer wordt gemaakt. Bij de concurrent is het nog maar afwachten hoe zij op dit vlak staan en welke vooralsnog onbekende risico’s je daar loopt.

Een enkel incident zou geen reden moeten zijn om het kind met het badwater weg te gooien. Maar de reactie van de leverancier is wel een cruciale factor natuurlijk.

[dasiro]

We spreken hier niet over een KMO/MKB-suite, maar over gigantische enterprise-contracten. Daar zitten echt wel mensen over samen die niet enkel technisch weten waar het over gaat, maar ook juridisch. Uiteraard is dit soort bedrijven daar ook tegen verzekerd, want met grote omgevingen komen ook grote risico's en die willen ze zelf niet in de boeken zetten.

[moonlander]

Wat ik erg vind is als je hun site bezoekt je geen enkele melding ziet over de problemen. Alsof er niks aan de hand is.

[Justin0017]

Op dit moment staat helemaal bovenaan een update met een workaround voor de fix. Maar inderdaad, dit had wel binnen een uur gemogen qua communicatie.

[darknessblade]

Waarom krijgen bedrijven niet gewoon 5th ring updates. hierdoor heb je dit soort onzin niet.

Ikzelf neem namelijk de 4th ring updates voor [NON-security] updates.

1st ring= internal beta/alpha
2nd ring= public beta
3rd ring= 1st public release
4th ring= {2nd} public release [public release but installed 2 weeks later, with minor bugs patched]
5th ring= public release {installed 1 month after initial release} but with minor patches for simple bugs that came out after public release

[henk1994]

Je wilt qua beveiliging juist zo snel mogelijk veilig zijn. Als er een exploit bekend is wil je die meteen mitigeren en niet nog een maand wachten. Iets meer getrapt wil je inderdaad wel maar er zit veel tijdsdruk op.

[Whazor]

De virusdefinities worden op dagelijkse basis geüpdatet. Dus je kunt wel degelijk automatisch terugrollen als je ziet dat % van de computers niet terug online komen na een update.

[fastedje]

Het lijkt me dat een .sys driver update niet direct nodig is om de laatste bedreigingen te detecteren en te blokkeren. Een update van virus definitions zal niet zomaar voor een crash zorgen. Ze hadden deze update echt beter moeten testen en meer gefaseerd uit moeten rollen.

[kodak]

Het bedrijf noemt de oorzaak een sensor configuration update. Of een configuratie heel nodig is hangt er vanaf wat deze precies wijzigt. Tot nu toe toont het bedrijf niet aan dat dit een heel noodzakelijke wijziging was. Daarbij verschilt een risico gewoonlijk ook nog per organisatie, land en andere omstandigheden. Ook daar lees ik in hun uitleg niets over terug. Waar ze wel op in gaan is dat ze heel vaak updates doen en het geen nieuwe feature is die door de update deze crash veroorzaakte. Alleen zegt dat niets of men inhoudelijk voldoende test of daar genoeg tijd voor nemen juist om te voorkomen dat ze zelf een enorm probleem in de vorm van het massaal onbeschikbaar maken andermans systemen veroorzaken. Beschikbaarheid is niet voor niets een van de basisdoelen in beveiliging.

[m_snel]

Ik las ergens dat iemand al eerder een support ticket had aangemaakt omdat enkele systemen uitvielen.
Mogelijk hebben ze dus wel eerst een deel gedaan, maar de gevolgen niet juist afgehandeld.

Dat komt me bekend voor bij een ander bedrijf , gewoon een ticket afsluiten omdat ze geen antwoord kregen op vragen die al beantwoord waren.

[Blue Knight]

Dit is toch beveiligings software?
Ik denk niet iemand in ring 5 wil zitten.... Dan is de kans op uitval door misbruik van een kwetsbaarheid groter, dan dat je een foute driver krijgt.
Bij applicaties wil je dat natuurlijk wel.

[Bor]

Dit is inderdaad beveilgiingssoftware. In ring 5 (en ook in ring 4) loopt je verhoogd en mogelijk onnodig risico.

[crazyboy01]

Ik ben daar zelf ook geen fan van en raak Windows sowieso amper aan, maar dit is natuurlijk geen oplossing en niet eens altijd 'fatsoenlijk' mogelijk. Je moet je helemaal met geen enkel OS veilig wanen.

Daar komt nog bij dat we twee maanden geleden op allerlei distro's ook het xz-debacle hadden. Veroorzaakte geen crash van dit formaat, maar was verder wel vergelijkbaar in hoe dat beveiligingsprobleem het systeem binnenkwam: via updates. Daar was zelfs sprake van opzet. Er kan dus de volgende keer net zo goed iets tussenzitten dat de boel wél laat klappen, want het is niet waterdicht gebleken. Helemaal omdat dit nu per toeval is ontdekt, grotendeels voor het de productie distro's trof, maar dit had makkelijk verder kunnen doordringen als de effecten pas later werden geactiveerd.

Er zijn tal van redenen om Windows niet te gebruiken op productie, maar dit zeldzame geval zit daar voor mij niet bij want ik zie dit niet als Windows-specifiek.

[kimborntobewild]

Er zijn tal van redenen om Windows niet te gebruiken op productie, maar dit zeldzame geval zit daar voor mij niet bij want ik zie dit niet als Windows-specifiek.

Ik zeg niet dat een ander OS beter geweest zou zijn (in het algemeen), maar in dit geval waren het toch echt alleen Windows-specifieke systemen die getroffen werden. Ondanks dat er ook voor Linux en Mac Crowdstrike-services zijn.

[Reactie gewijzigd door kimborntobewild op 23 juli 2024 02:40]

[crazyboy01]

En eerder dit jaar maakte dezelfde partij precies deze fout op Linux.

Ook het geval van afgelopen week is enkel omdat Crowdstrike daar nu toevallig de fout heeft gemaakt. De volgende keer sloopt een andere app je andere server OS of gooit die de boel in de war op MacOS en blijft Windows gespaard.

Daarmee raak je dus ook precies mijn punt aan. Je hebt wel gelijk hoor, daar niet van. Maar het is vooral een zeldzaam voorval met deze specifieke applicatie op Windows, niet met het OS zelf. Ik probeerde het met de rest van mijn reactie ook juist los te zien van de situatie en die keuze algemener te bekijken. Ja, Windows had in dit geval misschien in theorie de fout/herstel afhandeling beter kunnen, maar daar zitten op ieder systeem gaten in. Is ook altijd een afweging van dichttimmeren op plekken, veiligheid of juist openstelling om geen beperkingen te veroorzaken.

Perongeluk of met kwade opzet; ik kan nu ook een app/update uitbrengen voor Linux of Mac die daar minstens net zulke impact zal hebben als de Crowdstrike-update. Overstappen op een ander OS zou naast kosten ook alleen schijnveiligheid bieden, tot je daarop weer aan de beurt bent met iets waar je op een ander OS geen last van had gehad.

Losstaande gevallen moeten nooit een maatstaf zijn bij dit soort zaken, dat is het pas wanneer iets zich structureel voordoet. En dat is zeker niet zo. Alles heeft te maken met vertrouwen en ik zou je ogen nu vooral gericht houden op Crowdstrike. Want dáár zit de factor die blijkbaar niet goed genoeg is getest. Het is dus ook daar waar de vragen horen te liggen, niet bij het OS in deze situatie.

[Reactie gewijzigd door crazyboy01 op 24 juli 2024 12:38]

[PredCaliber2]

Een van de meest uitdagende dagen die ik tot nu toe gehad heb op mijn werk.. en ik maar denken dat er in de “grote mensenwereld” niet op productie systemen als test systemen werden gebruikt

[WK100]

Productie is de beste acceptatieomgeving :-) mits je kunt doseren en terugdraaien
...duidelijk hier niet het geval, lol

[m_snel]

Ook met een pilot groep gaat het ooit wel eens mis. Gebruikers op vakantie, geen zin om te bellen.
En als er dan maar een paar honderd om vallen zijn de rapen gaar.

[Immutable]

Dan valt het nog mee dan, dat je hier nu een bericht zit te typen. Heb wel eens langere dagen gemaakt uit nood.

[Chevy454]

Don't worry, we'll test it in production is meer gemeengoed dan je denkt (helaas).

[MadDogMcCree]

Ik vind het toch bijzonder dat zo'n update binnen 24 uur naar alles systemen wordt uitgerold, zeker als het kernel drivers zijn. Aan de andere kant ook bijzonder dat veel ziekenhuizen, banken, supermarkten en luchthavens geen back-up systeem lokaal klaar hebben staan. Het vertrouwen in Azure, AWS, GCP e.a. is wel erg groot. Ik mag van harte hopen dat hier van geleerd wordt en dat er in de nabije toekomst meer lokale back-ups aanwezig zijn.

Overigens zou ik er niet van staan te kijken dat dit binnenkort ook gebeurt bij heel veel gamers, gezien heel wat grote ontwikkelaars tegenwoordig anti-cheat software op kernel niveau installeren. Dat gaat een keer fout. Maar goed, daar worden enkel consumenten mee geraakt.

[Toonen1988]

"Overigens zou ik er niet van staan te kijken dat dit binnenkort ook gebeurt bij heel veel gamers"

Dit is al meerdere keren gebeurt, de Azure servers hebben meerdere keren eruit gelegen waardoor Xbox services en bepaalde games voor een aantal uur niet bereikbaar waren. Drie weken geleden hebben games tot wel 10 uur eruit gelegen waaronder The First Descendant dat net één dag uit was.

Niet alleen first party games lagen eruit, waaronder Sea of Thieves en Flight Simulator maar ook third party games waaronder Fifa en The First Descendant tot wel 10 uur. Nu kan Microsoft aan deze CrowdStrike niks aan doen, waardoor veel bedrijven problemen ondervinden, maar het verbaasd me wel hoeveel problemen Microsoft de laatste tijd heeft. Zowel regulier, bedrijf en de gaming wereld.

En nu hoor ik dat de Azure servers eergisteren alweer problemen hebben. Dit is al de vierde keer in een maand tijd. En dan komt CrowdStrike storing er ook nog eens boven op.

[Reactie gewijzigd door Toonen1988 op 22 juli 2024 13:17]

[svenk91]

Ik denk dat hij meer doelde op dat anti-cheat software je BSOD’s oplevert lokaal bij de consument.

[Toonen1988]

Was dit ook al niet eens gebeurt? Kan me zoiets nog lichtelijk herinneren.

[Reactie gewijzigd door Toonen1988 op 22 juli 2024 13:17]

[HollowGamer]

Je kunt niet meer terug naar vroeger. Met Azure, AWS, Google, .. zit je veel beter, dan dat je zelf weer van alles gaat hosten. Iets stoms als een airco die uitvalt in het server hok, kan ook een ziekenhuis een hele dag verstoren.

Daarnaast heb je nog kennis, die toch veelal ontbreekt bij veel systeembeheers (ja, genoeg gezien waarbij ik als developer meer kennis had, dan iemand die ervoor geleerd heeft - dat hoort niet zo te zijn). Gisteren zag je dat ook weer. Een modern bedrijf pusht een nieuw image en heeft geen lokale data op een device staan.

Wat je zou kunnen doen is zowel bij AWS als Azure gaan zitten, en die dan syncen met elkaar. Alleen is dat ook niet zo eenvoudig. Een portaal sync je niet zomaar, en ook die kosten zullen erg hoog zijn. Daarnaast locken ze je wel in met bepaalde services.

Gisteren was een slechte dag, maar ik kies dat nog altijd boven de situatie vroeger. Je zult systemen moeten beveiligen, en dit zorgt er ook weer voor dat veel bedrijven hun strategie hopelijk aanpassen.

[Reactie gewijzigd door HollowGamer op 22 juli 2024 13:17]

[oscarkortekaas]

Daarnaast heb je nog kennis, die toch veelal ontbreekt bij veel systeembeheers (ja, genoeg gezien waarbij ik als developer meer kennis had, dan iemand die ervoor geleerd heeft - dat hoort niet zo te zijn). Gisteren zag je dat ook weer. Een modern bedrijf pusht een nieuw image en heeft geen lokale data op een device staan.

Apart, meeste developers die ik als systeembeheerder ken willen local admin zijn op hun machine of global admin in entra. En rollen dan bijvoorbeeld een site-2-site VPN connectie naar Azure uit dus ga me niet spreken over kennis vriend.

[Reactie gewijzigd door oscarkortekaas op 22 juli 2024 13:17]

[HollowGamer]

Sysadmins is de moeilijkste groep om mee samen te werken. Dat zie je in deze reactie ook wel weer terug. Kritiek of vragen voor een oplossing, is vaak onmogelijk.

[oscarkortekaas]

Nee hoor, je scheert alles over een kam. De beheerders waar je mogelijk mee te maken hebt gehad hebben wellicht nog junior ervaring maar ga niet suggereren dat bij systeembeheerder veelal kennis ontbreekt. Developers willen vaak cart blanche maar hebben totaal geen besef van veiligheid of impact op een organisatie. Maar we zijn wel degelijk voor reden vatbaar. Developers vinden ons alleen lastig omdat ze niet zomaar alles kunnen doen op hun systeem en dan bij beheer moeten aankloppen of ze rechten kunnen krijgen.

[bouwfraude]

Serverhok in een ongeventileerde kelder zetten is ook niet handig, In Nederland kan je op de twee weken zomer na een heleboel doen met buitenlucht.

[field33P]

Overigens zou ik er niet van staan te kijken dat dit binnenkort ook gebeurt bij heel veel gamers, gezien heel wat grote ontwikkelaars tegenwoordig anti-cheat software op kernel niveau installeren. Dat gaat een keer fout. Maar goed, daar worden enkel consumenten mee geraakt.

Dat is mogelijk al gebeurd.
En een BSOD is bij zoiets de minst erge van je zorgen. Als je via de anticheat van een game van formaatje Fortnite een rootkit naar tientallen miljoenen thuiscomputers kan uitrollen heb je toch een aardig botnet/bitcoin mining farm te pakken.

[Vaevictis_]

Testen in productie doet het altijd goed.

Ik snap dat cybersecurity updates (near) realtime moeten zijn maar lijkt me beter om netwerk beter te isoleren of gewoon niet aan het internet te hangen. Ik geloof meer in goede segmentatie en content inspectie voordat het endpoint bereikt. Op laptops ontkom je daar niet aan omdat je ook onderweg of op locatie bent aangewezen op lokale bescherming.

[Room42]

Ik vind het toch bijzonder dat zo'n update binnen 24 uur naar alles systemen wordt uitgerold, zeker als het kernel drivers zijn.

Het was niet een update aan de driver maar aan de "virusdefinities". Die wil je wel altijd zo snel mogelijk verspreid hebben. Er zat alleen een fout in.

[CyberDonky]

Het was in ieder geval wel heel toevallig, dat is wel wat door me heen ging
Al goed, het was me een dag vandaag

[Blokker_1999]

Toeval bestaat.

Daarnaast is MS met zijn security platformen een concurent van Crowdstrike op zowat alle vlakken en hebben ook de producten van MS een zeer goede reputatie opgebouwd de laatste jaren. In dat opzicht zou het mij dan weer verbazen dat MS zelf afhankelijk zou zijn van Crowdstrike voor de eigen diensten te beveiligen.

[Bor]

en hebben ook de producten van MS een zeer goede reputatie opgebouwd de laatste jaren.

Dan moet ik je deels toch teleurstellen. Microsoft, en met name de beveiligingskant ligt al enige tijd ernstig onder vuur n.a.v. grote incidenten.

Zie o.a:
Microsoft’s Failure to Prioritize Security Puts Everyone at Risk
Cyber Safety Review Board slams Microsoft security failures
At Microsoft, years of security debt come crashing down
Government board pins China hack on Microsoft’s 'inadequate' cybersecurity strategies
Scathing federal report rips Microsoft for shoddy security, insincerity in response to Chinese hack

In a scathing indictment of Microsoft corporate security and transparency, a Biden administration-appointed review board issued a report Tuesday saying “a cascade of errors” by the tech giant let state-backed Chinese cyber operators break into email accounts of senior U.S. officials including Commerce Secretary Gina Raimondo.

It concluded that “Microsoft’s security culture was inadequate and requires an overhaul” given the company’s ubiquity and critical role in the global technology ecosystem. Microsoft products “underpin essential services that support national security, the foundations of our economy, and public health and safety.”

The Department of Homeland Security's Cyber Safety Review Board said a 'cascade' of errors at Microsoft allowed nation-state hackers to access U.S. government emails last year.

[Reactie gewijzigd door Bor op 22 juli 2024 13:17]

[_Dune_]

Dit gaat, zover ik weet, niet zo om de producten van Microsoft. Dit gaat meer om de prcuderen en het gebruik van security binnen Microsoft. De Defender producten zijn prima, mits juist geconfigureerd en ingezet. Een product kan nog zo goed zijn, als je de processen niet op orde hebt, dan faalt het geheel als nog.

[Reactie gewijzigd door _Dune_ op 22 juli 2024 13:17]

[Verwijderd]

Hier slaat @Bor inderdaad de plank mis. Defender for Endpoint, cloud, identity, Sentinel etc zijn echt prima producten anno 2024.

En denk ook aan bijv. DaRT.

[Bor]

Producten die binnen Microsoft ook gewoon worden gebruikt en toch sla ik dermate de plan mis dat zelfs de president van de USA zich er inmiddels mee bemoeid

Op zich zijn het prima producten maar de "zeer goede reputatie" waar naar werd verwezen heeft wel een behoorlijke deuk opgelopen.

Heb je de bronnen ook gelezen?

[Reactie gewijzigd door Bor op 22 juli 2024 13:17]

[BeefHazard]

De comment waar je op reageert zegt dat de securityproducten van Microsoft een goede naam hebben, en dat klopt. De links die je post gaan allemaal over dezelfde incidenten: Storm-0558 en Midnight Blizzard. De eerste is van een concurrent van Microsoft die er belang bij heeft om het product en het karakter van de concurrent aan te vallen. De rest heeft het allemaal over hetzelfde incident met de gestolen signing key. Dat heeft weinig te maken met (en zegt niets direct over) de security producten zoals Defender for Endpoint en Azure Sentinel. Microsoft is te groot om alles op één hoop te gooien.

[Reactie gewijzigd door BeefHazard op 22 juli 2024 13:17]

[tweaker2010]

Het ene sluit het andere niet per definitie uit. Hoeveel berichten ik vandaag gelezen heb met Microsoft en Crowdstrike in deze zin?

[kodak]

Dus als er een storing bij microsoft is en kort daarna één ander bedrijf ook massaal voor problemen zorgt maar miljoenen andere bedrijven niet dan ga je zomaar een verband leggen tussen alleen die bedrijven die iets fout doen? Dat lijkt op selectief toeval willen zoeken.

[CyberDonky]

Dat is niet wat ik zeg. Lees m’n zin nog eens.

[kodak]

Dan lees ik graag wat je wel bedoeld, want wat je schrijft is op meerdere manieren op te vatten als geen realistische verwachtingen hebben.

[CyberDonky]

"dat is wel wat door me heen ging". En dat dus van korte duur en dus, in a split second. ;-)

Niet zo gek toch? Precies zoals @Blokker_1999 beschrijft, bedrijven maken gebruik van andermans producten terwijl zij deze zelf (ook) maken. Mij verbaast niets meer tot de dag van vandaag.

[Harm_H]

De conclusie van systeembeheerders wereldwijd zal zijn: Updates are dangerous
Windows heeft ten minste allerlei mitigerende maatregelen ingebouwd in hun eigen (OS) updates. Om een externe leverancier automatisch updates te laten uitvoeren op jouw machines zal een no-go worden?

[SpamLame]

Hoezo zal zijn, updates draaien (in de breedste zin) is het altijd dangerous geweest.

Zoals ik het zie althans, ga je van een werkende bekende situatie (met fouten) naar een hopelijk werkende situatie (met fouten opgelost in de vorige situatie met andere fouten die daar voor terug kunnen komen).

Voorbeelden genoeg waar updates van vendoren "dingen" stuk maken, bv recentelijk KB5039302 of heel wat ouder een HPE NIC driver die de kaart kan bricken (ofwel rma call uitsturen) https://support.hpe.com/h...play?docId=a00027033en_us

Autoupdate als in zodra een vendor iets uitbrengt staat het op al "onze" machines ben ik eigenlijk nog niet tegengekomen, er lijkt altijd een tool/proces tussen te zitten waarbij in fases updates uitgerolt wordt

[wigwam]

dus CrowdStrike is er alleen voor microsoft 365 gebruikers? Onpremiss hadden er dus geen last van?

[Reactie gewijzigd door wigwam op 22 juli 2024 13:17]

[Soeski]

Zeker wel hoor, we hebben ook servers moeten herstellen (2016/2019/2022) hierdoor, on-premises. Niet AAD gekoppeld.

[Bor]

Dit heeft in feite (het crowdstrike issue) niets met Microsoft 365 te maken. Sterker nog, in dergelijke omgevingen worden doorgaans de Microsoft (concurrerende) oplossingen gebruikt.

[sanderkoop]

Nee, Crowdstrike draait op endpoints. Het is een "antivirus" software. Heeft niets met MS365 te maken.

En het is momenteel mijn grootste hoofdpijn. Duizenden endpoints repareren...

[theduke1989]

Grappig hoe Microsoft op hun eigen pagina toch crowdstrike als probleem heeft geplaatst.