Minister van Justitie: we moeten plannen maken voor als IT-systemen uitvallen

De Nederlandse minister van Justitie en Veiligheid David van Weel vindt het belangrijk om plannen te maken voor wanneer IT-systemen uitvallen. De minister verwijst naar de CrowdStrike-storing en vindt dat organisaties voorbereid moeten zijn en veel moeten oefenen op soortgelijke situaties.

Minister van Weel gaf in een brief aan de Tweede Kamer duiding over de impact van de CrowdStrike-storing in Nederland. De minister stelt dat Nederland 'een sterk gedigitaliseerd land' is. "Dat biedt veel kansen, maar brengt ook risico’s met zich mee", klinkt het. De minister verwijst naar de verwevenheid van digitale processen in het digitale ecosysteem in Nederland en vindt dat er door deze verwevenheid gevolgen voor iedereen kunnen zijn. "Deze kwetsbaarheid laat dat goed zien", stelt Van Weel. De minister noemt in de brief geen concrete maatregelen, maar verwijst wel naar het Actieplan Nederlandse Cybersecuritystrategie 2022-2028. Via dit actieplan wil het kabinet onder andere investeren in cybersecurity.

Op vrijdag 19 juli ontstonden er wereldwijde IT-problemen door een storing in de beveiligingssoftware van CrowdStrike. Deze storing heeft geleid tot bsod’s op Windows-computers en -servers waardoor hele systemen plat kwamen te liggen. In Nederland ontstonden er problemen op Schiphol en ook enkele ziekenhuizen bleken kwetsbaar te zijn. CrowdStrike heeft wereldwijd zo'n 29.000 klanten. Het is niet bekend hoeveel er daarvan in Nederland zitten, maar een grote distributeur zegt tegen Tweakers dat het er naar schatting 'duizend, zo niet duizenden' zijn. Tweakers schreef ook een achtergrondartikel over de storing.

CrowdStrike-bsod

Reacties (346)

[Hero of Time]

Bijzonder statement van de minister. Alsof het opeens nu pas moet gebeuren. Dat werd destijds met de SolarWinds hack ook gezegd. En het uitvallen van Maersk containerschepen bedrijf was ook al een voorbode.
Oftewel, zie alle grote problemen en impacts van het verleden en direct erna werd geroepen "er moeten plannen komen om dit te voorkomen". Zie het resultaat: het gebeurt nog steeds.

[RobbieB]

Als iemand die veel risico sessie en crisis trainingen doet bij grote organisaties kan ik je in ieder geval vertellen dat veel bedrijven er ook echt wel mee bezig zijn. En het uitvallen van alle systemen voor een dag (of twee/drie) is bij veel organisaties best wel een geaccepteerd risico, zolang de processen en middelen er zijn om zsm weer up and running te komen en het een event is wat hooguit iedere 5-10 jaar voorkomt.

Dit soort incidenten zoals Solarwinds & CrowdStrike zijn gelukkig nog rariteiten en het is onzin om je hele organisatie daar op in te richten. De kosten wegen niet op tegen de baten. Zorgen dat je weet hoe je moet handelen, een communicatieplan klaar hebt liggen en zo snel mogelijk je primaire processen weer op orde hebt is waar het echt om gaat. En gelukkig zie ik dat veel organisaties daar best wel goed toe in staat zijn.

Want laten we eerlijk wezen, hoe kut het ook was voor de mensen op Schiphol, ze hadden hun zaken daar echt razendsnel weer op orde, ondanks dat het echt een incident was waar veel menselijke handelingen voor nodig waren om het goed te herstellen.

[Bas Boss]

Ik maak me meer zorgen om de omvang van dit incident. Voor bedrijven zijn er verschillende argumenten om een grote leverancier in te schakelen. Maar voor de economie als geheel zou je het liefst meerdere en kleinere leveranciers hebben.

[RobbieB]

Er zijn meerdere leveranciers, in het gartner quadrant staan er een stuk of 20:
https://images.app.goo.gl/G68tiKKdd9FJHosn8

Maar feit is dat de beste partijen waarschijnlijk ook de grootste userbase hebben. En als er dan iets mis gaat, tja, dan is het meteen grootschalig. Maar feit blijft dat deze markt best wel competitief is.

Ik maak me veel meer zorgen om OS (Microsoft, Apple, Linux), mobile OS (Google, Apple) of Cloud (Microsoft, Amazon, Google) diensten, waarbij we écht afhankelijk zijn van een paar partijen.

Het meest ironische van dit Crowdstrike incident is dat Microsoft Azure diezelfde dag ook een gigantisch incident had waarbij er 4 (!!) regio’s onbereikbaar waren. Maar daar hoor je niemand over, omdat het herstel daarvan door MS zelf werd gedaan, binnen een kortere tijd, terwijl de omvang daarvan bijna net zo groot was.

[kimborntobewild]

De 'Completeness of vision' van Crowdstrike zal nu wel een stukje gedaald zijn in dat plaatje. Want bij completeness hoort zondermeer óók dat je updates goed zijn.

[kimborntobewild]

Het meest ironische van dit Crowdstrike incident is dat Microsoft Azure diezelfde dag ook een gigantisch incident had waarbij er 4 (!!) regio’s onbereikbaar waren. Maar daar hoor je niemand over, omdat het herstel daarvan door MS zelf werd gedaan, binnen een kortere tijd, terwijl de omvang daarvan bijna net zo groot was.

Hoeveel 'regio's' zijn er in deze context? Hoeveel miljoenen gebruikers vallen daaronder?
Verder: hoe kan je mij daarover horen, als ik daar op dit moment geen artikel over kan vinden op Tweakers *, terwijl er 5 artikelen zijn waarin de Crowdstrike-problemen worden besproken?
*: Behalve artikel nieuws: Microsoft: geen verband tussen Azure- en CrowdStrike-storingen, maar geen artikel met inhoud over het probleem op Tweakers zelf. Althans niet op de 40 zichtbare artikelen (ik zie trouwens geen link naar oudere artikelen dan 19 juli. Een groot gemis op de site).

[Keypunchie]

Ze hebben hun IT best aardig geregeld, maar we leven in een maatschappij die moeite heeft om tegen een stootje te kunnen.

Zodra iets versneld of verbeterd is, zeggen we niet: wat fijn, maar als maatschappij nemen we dit als baseline.

24-uurs bezorging, instant payments, video-on-demand.

We zijn een nu-nu-nu samenleving geworden.

[RobbieB]

Ja helemaal mee eens, en misschien moeten we eens van die gehaaste mindset af, haha, dat zou een hoop stress en burnouts schelen.

[Kastermaster]

Dit. Als je je telefoon een dag uitzet, zijn je collega's/klanten bij wijze van spreken boos, ook al heb je vakantie. Wat is er erg aan af en toe een keertje weinig te doen te hebben? Zo is het leven (ooit geweest).

[Edgarz]

Precies.
Even een uur geen internet bankieren, een uur vertraging in de storting van uitkeringen en de wereld vergaat. Nog geen 15 jaar geleden duurde een overboeking 1- 2 dagen, nu barst om 16.01 uur de klaaghel los.

De stress veroorzaken we zelf maar we geven liever anderen gewoon de schuld. De bank, de pakketbezorger, de Thuisbezorgd koerier.... Op het werk idem dito... Het moet nu gedaan worden, een email moet snel beantwoord worden (bellen kunnen we niet meer) en o wee als 's avonds ook niet antwoord.

[Verwijderd]

Als iemand die veel risico sessie en crisis trainingen doet bij grote organisaties kan ik je in ieder geval vertellen dat veel bedrijven er ook echt wel mee bezig zijn. En het uitvallen van alle systemen voor een dag (of twee/drie) is bij veel organisaties best wel een geaccepteerd risico, zolang de processen en middelen er zijn om zsm weer up and running te komen en het een event is wat hooguit iedere 5-10 jaar voorkomt.

Dit soort incidenten zoals Solarwinds & CrowdStrike zijn gelukkig nog rariteiten en het is onzin om je hele organisatie daar op in te richten. De kosten wegen niet op tegen de baten. Zorgen dat je weet hoe je moet handelen, een communicatieplan klaar hebt liggen en zo snel mogelijk je primaire processen weer op orde hebt is waar het echt om gaat. En gelukkig zie ik dat veel organisaties daar best wel goed toe in staat zijn.

Want laten we eerlijk wezen, hoe kut het ook was voor de mensen op Schiphol, ze hadden hun zaken daar echt razendsnel weer op orde, ondanks dat het echt een incident was waar veel menselijke handelingen voor nodig waren om het goed te herstellen.

Ga dat maar uitleggen aan die mensen die daar hun vaknatie in water zien vallen.
Wie gaat reizigers schadeloos stellen, zij kunnen er niets aan doen dat vliegvelden hun ict blijkbaar niet in orde hebben.

[RobbieB]

Tja, shit happens.. net zoals dat er een storm voorbij kan komen en alle vliegtuigen aan de grond houdt.

Dit heeft echt helemaal niets te maken met ‘vliegvelden die hun ICT blijkbaar niet in orde hebben.’

Het feit dat ze na zo’n faal van Crowdstrike, met nog een slechtere mitigerende oplossing, in minder dan een dag weer up and running hebben is niets dan noemenswaardig te noemen en juist een teken dat ze hun ICT wél op orde hebben.

[Cerberus_tm]

Belangrijker: ga het maar uitleggen aan patiënten wier operaties afgezegd worden, na drie maanden wachten. Nu nog drie maanden extra pijn en niet kunnen lopen/werken/leven.

[RobbieB]

Ook hier geldt, dit soort dingen gebeuren vaker dan je denkt, maar door andere oorzaken (een zieke chirurg, een uitgelopen operatie, materialen die niet beschikbaar zijn, etc). Nu is het een computerstoring. Erg vervelend, zeker voor het voorbeeld dat je noemt, maar we moeten het ook niet groter maken dan het is.

Sterker, waarschijnlijk valt deze outage nog binnen de SLA ook, immers 8 uur valt binnen een uptime van 99,9%, ervan uitgaande dat er geen andere outage is. En er is geen dienstverlener die een uptime van 100% garandeert. Sterker, 99,5% is meer de norm, ook voor ziekenhuizen.

[Reactie gewijzigd door RobbieB op 22 juli 2024 13:18]

[Cerberus_tm]

Ik bedoelde meer: die arme mensen op Schiphol? Dat is veeeel minder erg dan de arme mensen die nu langer pijn hebben.

[Edgarz]

Het is sneu maar shit happens. En dat blijft zo. De perfecte wereld bestaat niet, er kan altijd iets misgaan ergens.

Hoe vaak is dit nu gebeurd? Iedere dag? Iedere week? Iedere maand?
Je kunt hele trieste voorbeelden verzinnen, dat noemen ze spijkers zoeken op laag water.

[Cerberus_tm]

Ik vond het vreemd dat de vacantiemensen zielig gevonden werden maar niet de mensen met heftige pijn en invaliditeit.

[Edgarz]

Ik zeg dat nergens.

Voor de duidelijkheid, uitgestelde zorg tijdens Corona was ook voor ernstig zieken een ontzettend trieste situatie. Het vervelende was echter dat ook covid patiënten, veelal voorheen kerngezonde mensen, ernstig ziek waren en de ziekenhuizen overstroomden.

De meeste Corona doden en zieken waren niet gevaccineerd. Die 'principieel niet-gevaccineerden' vonden vooral zichzelf zielig omdat ze ter bescherming van anderen en om de zorgt ontlasten eventjes beperkt werden.

[Cerberus_tm]

Mijn commentaar was dan ook niet op jouw reactie.

Het probleem van de uitgestelde zorg was inderdaad groot tijdens en kort na de epidemie.

[Soldaatje]

Blijkbaar moet het kalf een paar keer verdrinken voordat met doorheeft dat er water in de put staat.

[Blokker_1999]

Dit is voor mij gewoon een minister die zich nu even probeert te profileren bij een probleem dat zoveel mensen getroffen heeft om aan te tonen dat hij ook iets kan bijdragen zonder ook maar enige kennis van zaken te hebben.

Vele van de grote bedrijven die getroffen zijn hebben ook gewoon disaster recovery plannen klaarliggen, maar het hangt altijd af van het probleem hoe snel je weer kan doorwerken. Wanneer als bedrijf letterlijk al je systemen getroffen zijn dan mag je zo goed voorbereid zijn als je wenst, dat kan niet zonder hinder opgevangen worden.

[Verwijderd]

Dit is voor mij gewoon een minister die zich nu even probeert te profileren bij een probleem dat zoveel mensen getroffen heeft om aan te tonen dat hij ook iets kan bijdragen zonder ook maar enige kennis van zaken te hebben.

Vele van de grote bedrijven die getroffen zijn hebben ook gewoon disaster recovery plannen klaarliggen, maar het hangt altijd af van het probleem hoe snel je weer kan doorwerken. Wanneer als bedrijf letterlijk al je systemen getroffen zijn dan mag je zo goed voorbereid zijn als je wenst, dat kan niet zonder hinder opgevangen worden.

Als ik zijn wiki lees, was zijn cyberverdediging en terrorisme zijn beleidsterrein tijdens zijn werk bij de Navo.
Denk dat deze minister wel weet waarover hij het heeft.
Dat hij wat in gang gezet krijgt is wat anders.

[dasiro]

Als dit effectief zo is, dan vraag ik me af waarom die plannen er al niet lang zijn of waarom hij daar dan niet van op de hoogte zou zijn.

[Verwijderd]

Als dit effectief zo is, dan vraag ik me af waarom die plannen er al niet lang zijn of waarom hij daar dan niet van op de hoogte zou zijn.

Hij is als minister beëdigd op 2 juli jl, met andere woorden, hij is 17 dagen in dienst.
Niet gek dat hij niet van alles op de hoogte is, waarmee zijn ministerie allemaal bezig is.

Erg goedkoop van je.

[dasiro]

Ik ben geen Nederlander en volg de Nederlandse politiek dus niet, maar het was geen cheap shot. Waarom zou hij met zo'n statements komen als hij nog niet van alles op de hoogte is? Als groot bedrijf heb je normaalgezien wel crisisplannen en zeker overheden zijn daar gevoelig voor in hun opdrachten die ze uitschrijven, zelfs op het laagste niveau.

[Blokker_1999]

Het probleem met politici is dat ze niet eens expertise moeten hebben in hun beleidsdomein. We hopen dat ze de nodige expertise inwinnen uit hun kabinet en van experts uit het veld, maar dat is niet altijd wat er gebeurd. Er zijn ministers die op het einde van hun mandaat jarenlang bezig geweest zijn in een domein waarvan ze uiteindelijk nog altijd heel veel basiskennis ontberen.

En zo snel met dit soort van reactie komen toont ook vooral aan dat je je niet eens laat informeren over hoe het algemeen genomen bestaat met zulke plannen voor wanneer het misgaat. Die informatie kan je niet op 1 dag verzamelen, zeker niet op een dag waarin vele bedrijven net de puin aan het ruimen zijn. Dit is dus effectief gewoon een boodschap voor de buhne, om aan het volk te laten zien dat je als minister je verantwoordelijkheid wenst te nemen. Want wat kent het volk er nu van?

En zoals anderen in de comments ook al aangeven, grotere bedrijven hebben al jaren verlplichtingen rondom disaster recovery en business continuity, wat dus net de indruk versterkt dat de minister nog wat huiswerk heeft.

[Lawine93]

Inderdaad, even scoren en daarna weer verder op de orde van de dag.

Dit was natuurlijk wel een lastige storing omdat het in de beveiliging van systemen zat. Je zou dan misschien backup systemen willen met een andere vorm van beveiliging. Maar de vraag is dan is je systeem dan minder veilig?

[Cerberus_tm]

Ik zou zeggen: structureel nooit vertrouwen op een systeem dat alleen in de 'wolk' staat, zoals bij Crowd Strike. Je moet altijd zelf controle houden over je eigen belangrijke systemen, ook al is dat duurder, en ook al is dat minder efficiënt.

[Ludewig]

Dit heeft niks te maken met de cloud, maar met updates die naar systemen gepushed worden. Ze pushen die updates ook zo snel mogelijk, omdat de security updates informatie geven over zwakke plekken.

[netappie]

Het probleem met deze SaaS/Cloud oplossingen is dat je geen controle meer hebt over wanneer het gebeurt. Persoonlijk hou ik meer van iets dat je eerst zelf goed kan testen voordat het naar productie mag.

Je zou zeggen dat ze bij Crowd Strike ook een ontwikkel, test en acceptatie omgeving hebben en misschien een beta subscription voor de klanten die graag zelf dingen aan zien komen en terug willen koppelen dat hun applicatie onterecht niet meer werkt voordat het wereldwijd beschikbaar is.

[ThaStealth]

Onzin, het is gewoon een keuze om geen vertragingsoptie voor updates aan te bieden. In dit geval weeg je het risico van een mislukte update wat zowat alle systemen down brengt af met het risico het risico op een zero day omdat je een week of zo wacht met updaten van je beveilingssoftware. Ik denk dat het risico op de laatste groter is dan de eerste

[netappie]

Wie heeft het over een week en wie heeft het over vertraging?
Gewoon iets eerder dingen releasen kan helemaal geen kwaad. Met een uur ben je er echt wel achter of jouw specifieke applicatie (of heel windows) om zeep geholpen wordt en dan kan je dat terug melden zodat er een fix overheen gaat.
Een zero day exploit is er al sinds day zero, dus gemiddeld genomen heel lang. Wat maakt een uur (of zelfs een dag) vooraf testen dan uit?

[Piemol]

Of je richt een test/acceptatie omgeving in om de updates te testen

[Edgarz]

Die hebben ze.
Je begrijpt zo te lezen niets van testen en ook niets van dit soort kritische producten.

[netappie]

Die hebben ze.
Je begrijpt zo te lezen niets van testen en ook niets van dit soort kritische producten.

Goed getest dan in dit geval

[RobbieB]

Helaas is er geen enkele serieuze enterprise grade EDR/MDR/XDR oplossing te vinden die niet afhankelijk is van een cloud backend of volledige kernel toegang…

Dit soort oplossingen zijn helaas noodzakelijk tegenwoordig, maar hebben ook vergaande toegang/rechten nodig waarmee ze ook een inherent risico vormen. Crowdstrike heeft dit nu laten zien, maar dat geldt net zo erg voor MS Defender, ESET of anderen.

En gezien de absurd beperkte skills en resources die nodig zijn voor dit soort tools is er geen enkele organisatie wereldwijd die dit zelf kan doen. Ja ok, Microsoft.

[Cerberus_tm]

Ik weet niet wat die afkortingen zijn... maar een organisatie kan vast een systeem inrichten zonder dit gedoe.

[RobbieB]

Nee, dat kan een organisatie niet zelf. Ik maak jaarlijks van dit soort implementaties mee en zelfs organisaties als Amazon, Google en Apple doen dit niet zelf maar vertrouwen op de diensten van Microsoft, Sentinal One of Crowdstrike. Hetzelfde geldt voor grote Nederlandse bedrijven als ASML, Centric, Volker Wessels etc.

Deze markt is zo niche en specialisten zijn zo schaars dat er geen andere keuze is dan vertrouwen op een aantal grote partijen die hier heel erg goed in zijn.

[Cerberus_tm]

En als je nou niet zo'n dienst afneemt, wat gebeurt er dan?

[RobbieB]

Dan zit je met een aantal problemen (als enterprise):

Je hebt geen Endpoint monitoring, hooguit passief wat met MS Defender, maar niks op bv. Mac of Linux. Dat maakt het voor aanvallers veel en veel makkelijker om ongedetecteerd je systemen binnen te komen.

Daarnaast zit je met een gigantisch compliance issue, want vermoedelijk eisen veel van je klanten dat je dit wel hebt draaien, en als je een cybersecurity verzekering hebt, moet je dit zeker hebben draaien.

Tenslotte heb je een regulatory issue, want o.a. NIS2, DORA, CRA, GDPR vereisen allemaal dat je dit soort maatregelen neemt. Mocht er dus een incident zijn en blijken dat je dit niet hebt draaien en je systemen eigenlijk zeer eenvoudig toegankelijk zijn voor hackers, krijg je daarna ook nog eens een boete aan je broek en moet je het alsnog implementeren, als je pech hebt met verhoogd toezicht van de regulator erbij om te kijken of je de rest wel op orde hebt. Want dit is zo'n basale maatregel dat als je zelfs die al niet neemt, de rest waarschijnlijk ook niet op orde is.

[andru123]

Niet zo goed blijkbaar. De soft kost miljoenen, ik kan niet voorstellen dat er geen concurrentie is?
Eigenlijk moet Microsoft zelf het leveren, net als Windows Defender.
(Crowdstrike soft is a pile of crap trouwens.)

[RobbieB]

Microsoft levert dit als zelf, als extensie op Windows Defender. Ook op verschillende licentie niveaus, van simpele monitoring tot full-fledged SOC software met Sentinel en gerelateerde componenten. Draait ook gewoon op Mac/Linux net zoals Crowdstrike dat doet overigens.

[Lvwp]

Welkom in de 21° eeuw, zowat alle s500 bedrijven draaien software en services in de cloud.Indien je architectuur cloud native is, kan je geweldige dingen doen waarvan je onprem enkel maar van dromen. Als je dan genoeg redundantie voor je netwerk voorziet, is er weinig aan de hand. Voor de duidelijkheid, enkel je servers naar de cloud moven, is niet waarover ik het heb uiteraard.

[Cerberus_tm]

Dat iedereen het doet, wil niet zeggen dat het goed is. Soms is veiligheid en betrouwbaarheid en controle belangrijker dan geweldige dingen doen.

[LogiForce]

Disaster recovery is ook niet het probleem, maar het waarborgen van de continuïteit van bepaalde zaken wel. Dit van kassasystemen tot en met in het ergste geval ziekenhuizen.
Het mag never nooit meer gebeuren dat door IT problemen ziekenhuizen niet hun patiënten kunnen helpen. Echter zelfs bij pinstoringen sluiten de winkels tegenwoordig al de deuren, waar je vroeger gewoon nog met contanten door kon gaan.

De volle afhankelijkheid van digitalisering en automatisering In de samenleving zorgt voor zware continuïteitsproblemen, waarbij bij een storing of hack dus een hele samenleving in het ergste geval gegijzeld zou kunnen worden.
Cybersecurity is een ding, een goed disaster recovery plan een ander. Echter waarborgt dat eerste alleen de continuïteit zolang men niet door de beveiling heen kan komen, en in de tweede instantie waarborgt het alleen de lange termijn continuïteit van een bedrijf.
Voor constante continuïteit in geval van een algehele uitval van digitale systemen ongeacht de reden waardoor, daarvoor zijn gewoon geen plannen aanwezig gebleken en waren analoge systemen om op terug te vallen volledig afwezig. Z

Ziekenhuizen hebben dan ook op aanraden van IT'ers de papieren dossiers en de systemen die erbij horen allemaal vernietigd, en hebben ze allemaal in de ban gedaan. Als we gewoon de pons kaart en de papieren dossiers nog hadden, dan hadden mensen nog geholpen kunnen worden.
Ik vind dit dan ook iets wat de gehele verantwoordelijke IT bedrijven zwaar is aan te rekenen, alsmede ook de leiding van de Ziekenhuizen welke ook zelf hadden na kunnen denken.
Het is om je uiterst voor te schamen. Tenminste, dat zou ik wel doen.

[Marve79]

Idd veel bedrijven kunnen gewoon switchen naar een papieren systeem als de IT plat ligt. Een ziekenhuis zou dat al zeker moeten kunnen en een luchthaven ook. Hoe deden ze dat vroeger anders.

[RobbieB]

Succes met het doen van een CT of MRI scan zonder computer om de beelden op te zien.

Natuurlijk is veel nog mogelijk op papier, maar veel moderne behandelingen worden ondersteund door technologie en kunnen niet zonder die technologie uitgevoerd worden.

Sommige systemen zijn losstaand (bv echo apparatuur is vaak een embedded system) maar dat geldt lang niet voor alles. Het is de realiteit waar we in leven.

En daar hoort dus ook bij dat het soms voor kan komen dat die technologie ons in de steek laat en er geen alternatief is.

[Marve79]

Zo'n ding heeft toch wel een embedded os? Probleem is volgens mij dat alles op windows draait.

[LogiForce]

Aan het begin van het elektronisch patiënten dossier had je nog gewoon een digitaal dossier naast het analoge dossier.
Het probleem lag echter bij het beklag van artsen (mijn eigen in het UMCG inclusief) dat twee dossiers los van elkaar bijhouden nogal omslachtig was.
Het is dus goed om te kijken of uitdraaien van digitale invoeren per direct geprint kunnen worden, zodat ze simpelweg bijgestoken kunnen worden in het dossier.
Tevens zou de ponskaart weer terug moeten keren, maar dit maal met QR code desnoods ingeponst. In het UMCG maken ze nu gebruik van een normale barcode voor de patiënten registratie op de kaart, op de briefhoofden, en voor het daarmee aanmelden op de verschillende poli's, inclusief prikpoli.
Als je de barcode vervangt door een QR code, dan kan dit veel kleiner en zou op een ponskaart kunnen worden geïntegreerd. Waardoor je dus een analoge digitale hybride patiënten systeem neer kan zetten die garant staat voor continuïteit.

[WillySis]

In dit geval waren er toch heel wat bedrijven en instellingen die geen goed werkend disaster recovery plan hadden. Voor vliegvelden, ziekenhuizen enz. verwacht je eigenlijk dat ze altijd een backup-systeem achter de hand hebben en zeker nooit op een heel netwerk de updates tegelijk uit laten voeren.

De minister heeft zich in elk geval even gemakkelijk kunnen profileren. Het probleem is al bekend, vandaar dat alleen de verwijzing naar het actieplan cybersecurity volstaat.

[NielsFL]

Het is inderdaad lekker vrijblijvend zo. Laat hem met een concreet wetsvoorstel komen.

[Sebastian1313]

Dat is toch ook precies zijn bedoeling. En het woord "samen" bestaat ook nog...

[watabstract]

Stemmingmakerij. Deze minister is niets menselijks vreemd. Virologen waarschuwden ook al decennia voor ontwrichtende pandemieën en toch was iedereen verrast. We zitten met zijn allen op een planeet die letterlijk en figuurlijk langzaam richting het kookpunt beweegt en we leven allemaal ons leven alsof er niks aan de hand is.

[Sebastian1313]

Het kookpunt valt wel reuze mee hoor. Maar je voorbereiden kan toch helemaal geen kwaad?

[watabstract]

Het gaat erom dat deze minister wordt toegeschreven dat hij zich probeert te profileren terwijl hij zich uit als elk ander mens zoals ik dat al beschrijf. Het gaat er niet om wat er wel of niet moet gebeuren maar gewoon dat ook de minister zoals de meeste andere mensen in de waan van de dag leeft.

[GertMenkel]

Ach, het hele CrowdStrikeverhaal heeft een grote impact gehad en de plannen die er zijn, komen van het vorige kabinet. Een minister moet hier wel even iets mee doen als crashende computers op de voorpagina van iedere krant staan.

Als het een PR-stunt zou zijn, zou er meer eigen invloed aan worden gegeven. Ik zou er niet te veel achter zoeken.

[CPV]

Of beter: de regeringsperiode proberen uit te zitten zonder dat het kalf verdrinkt. Dat kost het minst.

[B_FORCE]

Dat geldt helaas bij allerlei dingen.

Er moeten helaas eerst slachtoffers vallen voordat dingen serieus genomen worden.

Ondanks dat vele experts al jaren roepen dat het wachten is totdat er serieuze problemen ontstaan.

In dit geval dacht ik ook al dat de opmerking van Minister van Justitie 15-20 jaar te laat is

[jellybrah]

Met slachtoffer bedoelen we nog steeds geen mens of dier in dit geval. Aanvaardbare risicos zijn dit. Je kunt ook niet voor elk dingetje dat fout kan gaan een plan b of c maken, dan zijn we drukker met die plannen dan de normaal situatie.

[PdeBie]

Eens, maar de huidige storing legde wereld economieën plat. Dat lijkt mij we iets voor een plan B.

[Lawine93]

Er zijn ook operaties uitgesteld. Dat zijn wel zaken waar mensen levens op het spel staan. Planbare operaties kan js uitstellen. Maar spoed natuurlijk niet.

[Sebastian1313]

Ik heb gelezen dat alle spoedeisende hulp gewoon door kon gaan. Had jij andere signalen ontvangen?

[Lawine93]

Ik baseerde het op de berichten die ik op de radio en nieuwssites heb gehoord en gelezen. Verschil tussen planbaar en spoed operaties hebben ze niet gemeld. Maar niet doorgaan van operaties wel.

[B_FORCE]

Dat lijkt mij evident, experts roepen namelijk ook niet zomaar wat voor de lol.

[Sebastian1313]

Nou tegenwoordig hebben we heel veel "experts" en heel veel "ervaringsdeskundigen". Dus ik neem ze persoonlijk helemaal niet meer zo serieus...

[B_FORCE]

Jij neemt persoonlijk jaren van ervaring, kennis en een gedegen opleiding niet serieus?

Dus met andere woorden, de bakker om de hoek zou het ook net zo goed allemaal kunnen?

[MazDaMan1970]

Bedrijven & overheden leunen tegenwoordig veel te veel op externe support-partijen, die allerhand SaaS-oplossingen verkopen, met alle risico's vandien. Op zich kun je voor sommige applicaties prima SaaS-oplossingen gebruiken, mits ze niet al te bedrijfskritisch zijn. Maar voor de rest is on premise nog steeds de beste keuze; goedkoper, betrouwbaarder (mits je goed/voldoende personeel hebt) & je bent dan niet afhankelijk vd. grillen vd. leverancier.

[Piet400]

Zeker waar dat bedrijven en overheden heel veel leunen op externe (support-) partijen. Op zicht hoeft dat geen probleem te zijn, echter bij het inkopen van (SaaS) diensten, dien je heel goed te toetsen of aan alle voorwaarden wordt voldaan, en er niet vanuit gaan dat de SaaS partij het wel goed geregeld zal hebben.

Jouw bewering dat on-premise de beste keuze is, is volkomen uit de lucht gegrepen. er valt voor beide opties wat voor te zeggen, maar je kan niet stellen dat de één per definitie beter is dan de ander.

[2TheMaks]

(mits je goed/voldoende personeel hebt)

Technisch personeel is schaars. Misschien wel gemerkt dat je anderhalve maand van te voren een afspraak moet maken voor onderhoud aan je auto omdat er nog nauwelijks aan geschoolde automonteurs valt te komen. Laat staan aan technisch personeel dat je on-prem omgeving online kan houden.

Tech is onwijs in de mode. Helaas hebben we het dan niet over het hebben van daadwerkelijke tech-kennis, maar over op borrel-tafel niveau ouwehoeren over tech.

[rammes]

Is ook logisch dat hij dat zegt, als hij het niet zegt zou het pas verrassend zijn, en zo zorgt hij er ook voor dat er geld voor beschikbaar gemaakt wordt. Hele normale reactie dus.

[avlt]

Waar ik (nog) niemand over hoor is waarom Cloudstrike zo'n single point of failure kan zijn.

Nu is het nog een software fout; maar stel je voor dat de systemen van Cloudstrike in handen zouden vallen van cybercriminelen.

[kodak]

Gewoonlijk gaat het hebben van vooruit plannen maken daar ook om. Je moet je immers bewust zijn van verschillende oorzaken van uitval, niet alleen voor wat een mogelijke 'oplossing' moet voorkomen. Je kunt dus eerder stellen dat het opvallend is dat er vooral aandacht is alsof er geen plannen zijn en er weer weinig aandacht voor is hoe realistisch en acceptabel de geplande 'oplossingen' werkelijk zijn.

[Stijnvi]

Daar is al best wel wat commentaar op gekomen hoor. En zeker op het feit dat de bedrijven de updates dus blijkbaar niet in een sandbox hebben getest en de update niet staggered hebben gepusht naar iedere keer een klein deel van de apparaten.
Maar de reden dat CrowdStrike zo veel schade aan kon richten is omdat het een hook heeft naar de kernel van Windows. Het is dus heel wat meer dan een standaard .exe applicatie.
Daarnaast werd de situatie verergert doordat CrowdStrike op de 'endpoints' draait, oftewel op iedere laptop en computer. En omdat die in een bootloop kwamen, moest iedere computer los, en op locatie, gefixt worden.

Dit lijkt nu heel catastrofaal, maar gelukkig zijn er genoeg bedrijven die hun IT wel op orde hebben, en de update dus wel goed getest hebben, of alleen naar een klein aantal apparaten hebben gepusht, of alle software centraal draaien en niet op de endpoints, of gewoon geluk hadden en endpoints met Linux gebruiken (Linux is overigens ook vatbaar voor een probleem als dit, maar nu was het toevallig Windows).

[Blokker_1999]

De bedrijven die niet getroffen zijn, zijn over het algemeen bedrijven die geen Crowdstrike gebruiken, maar een andere security oplossing.

En wanneer het gaat om je XDR of antivirus wil je net geen getrapte deployment. De meeste platformen staan het niet eens toe om die updates getrapt te verspreiden. Je wil ook niet dat als er een zero-day rondgaat dat jij even rustig de tijd neemt om de update van je malware bescherming door een getrapt mechanisme laten gaan wat dagen aan testen nodig heeft terwijl die zero-day actief misbruikt wordt in het wild.

En het maakt niet uit of je software centraal draait of op endpoints, die endpoints moeten ook beschermd worden. Het is vaak de plaats waar gebruikers alsnog toegang krijgen tot een hoop bedrijfsdata. Al is het maar hun mails en hun messaging dienst. Van daaruit maken zij verbinding met je centrale systemen, en je wil ook daar zeker zijn dat die systemen veilig zijn, dus die ga je ook, altijd mee nemen in je endpoint bescherming. Dat is net het hele doel. En Crowdstrike Falcon installeer je zowel op endpoints als op servers. Het is je XDR oplossing, je threat detection en response in je netwerk.

[BeefHazard]

Het is Crowdstrike, niet Cloudstrike

[sympa]

Tja en ik maar denken dat het Clownstrike was. Oh nee, sorry, verkeerd gelezen.

[Powerblast]

Ik heb werkelijk geen idee wat gesloten Windows hier mee te maken heeft. Windows heeft zijn job gedaan, je pc niet laten opstarten zonder beveiliging, want de virus definition file was leeg. Drivers die niet werken kan Windows weinig aan doen en dan krijg je het ondertussen bekende BSOD scherm.

[jgdevries56]

Het ging om een bestand(je) van Crowdstrike AV (Falcon 'iets') dat assisteert bij het opzetten van een named pipe naar de Crowdstrike 'server' ergens in het LAN.
Dat bestand staat na de update op alle Windows (hoger dan Win 7.11) PC's en Servers. In dit bestand stond foute code dat het OS beveiliging mechanisme van Windows liet afgaan en in een BSOD resulteerde.

Crowdstrike heeft heel wat uit te leggen. Hoe dit door hun eigen test controle is geslopen.

Het YouTube filmpje waarin een nieuwe medewerker op z'n eerste dag 's morgens deze update er door heeft gefietst en 's middags al vrij had is wel vermakelijk....

[blorf]

Offline opstarten en aangeven waarom, plus wat er nodig is om online te komen? Windows: "er is een probleem, ik stop er mee"

[Reactie gewijzigd door blorf op 22 juli 2024 13:18]

[Powerblast]

Wie zegt dat je wel wil op wil starten en kan opstarten. Het is niet de job van Windows om te gaan bepalen dat het over een bestand gaat dat offline wel zou goed gaan. Je start je pc op en vervolgens zit je zonder beveiliging. Drivers zijn drivers, als daar wat mee mis is, stopt het verhaal.

Volgens mij had je sowieso nog de mogelijkheid om in veilige modus te starten, wat dus exact doet wat jij zegt. "Offline" opstarten in dit geval.

[Reactie gewijzigd door Powerblast op 22 juli 2024 13:18]

[5pë©ïàál_Tèkén]

Mwoa, ik vind dat je de minister nu wel erg oppertuun neerzet. Ik denk namelijk niet dat naar aanleiding van deze storing (of alle voorgaande storingen opgeteld) er maatschappij- & kamerbreed mandaat is om honderden miljarden te pompen in een probleem waarvan veel mensen niet overtuigd zijn dat het (ooit) nodig is. En tja, gister was het een zooi, 'maar nu doet alles het weer dus was het ècht zo erg?'
Mensen snappen niet dat als over ~10 jaar de energiesector te maken heeft met een (opzettelijke) storing, het stroomnet een groot probleem heeft. Thuisaccu's/zonnepannelen die massaal alle stroom op het net tegelijk dumpen. Daar is dit peanuts bij. Maar ja, er is geen regeringspartij die preventief tig miljard in IT wil steken. Mensen moeten eerst op de blaren zitten, dan gebeurd er pas iets. Zo werken mensen nou eenmaal helaas.

[Linke-soep]

Het verbaasd mij inderdaad ook dat er geen procedure zijn a'la csirt of iets dergelijks in een worst case scenario. Elk zichzelf respecterende organisatie van een bepaalde grootte omvang heeft zoiets toch?

[Vaevictis_]

Risico analyses worden als het goed is bij elke serieus (grotere) organisaties gemaakt. Daarnaast kun je
een Business Impact Analyse uitvoeren daarmee kun je gevolgschade kwantificeren. Voor downtime gebruik je dan RTO en voor gegevens verlies RPO. Het lastigste is wel imago schade, b.v. crowdstrike heeft nu wel een smetplek opgelopen. Hoeveel is dat qua omzet? Zeg het maar.

[ABD]

De minister toont daadkracht aan de buitenwereld, dat is alles wat nodig is, zolang alles doorloopt en het leven doorgaat.

Er is wat ergernis, het kost en beetje geld, maar uiteindelijk stelt zon storing niets voor op lange termijn. Over een paar dagen ben je het weer vergeten, en dan denk je er pas weer aan bij de volgende storing.

Hoe dan ook, storing is tegenslag en hoort bij het leven. Zolang het af en toe is, los je het probleem op en ga je door met je leven. Niets werkt 100% zoals gewensd.

Neemt niet weg dat er een ministerie voor digitale zaken had moeten komen, ipv een nutteloos ministerie van Asiel (en migratie), dat uiteraard een onderdeel van Binnenlandse Zaken is.

Overigens moet men er wel degelijk voor zorgen dat kritische systemen (drinkwater, stroomvoorziening ed) wél buiten schot blijven. Maar dat zijn systemen die men niet aan de buitenwereld koppelt, of zo mag ik hopen.

[Reactie gewijzigd door ABD op 22 juli 2024 13:18]

[well0549]

Er moeten plannen komen......

Dat betekend dat men voornemens is om iets te gaan doen, wanneer? Waarschijnlijk 2048 of zo

[gooos]

Inderdaad, het lijkt me bovendien dat het Min. van Economische Zaken hier toch een voortrekkersrol in zou moeten hebben.

[Rey Nemaattori]

Waarschijnlijk omdat die plannen, bij het raken van de realiteit, veeel te duur blijken.

Even al je systemen dubbel uitvoeren(analoog en digitaal, zeg maar) is een kostenpost waar zelfs overheden wit van wegtrekken, laat staan het bedrijfsleven.

Op kleine schaal is dit nog wel te doen, maar een reus als bol.com of DHL die even alle orders met de hand gaan opnemen? No way.

[Tyrian]

Mijn plan wat ik al jaren uitvoer: Na elke patch tuesday update ik al mijn software en als het allemaal werkt maak ik een image backup van mijn C: schijf. Op deze manier kan ik altijd terug naar een werkende configuratie die maximaal een maand oud is. Documenten, games en data bewaar ik op afzonderlijke partities dus ik kan altijd terug zonder data kwijt te zijn.

Voor bedrijfsomgevingen zijn er ook image backup oplossingen beschikbaar die automatisch een image backup maken en deze via het netwerk naar een backup server sturen.

[Speedster]

Aardig idee. Echter documenten games en data zou ik op een aparte disk doen niet op een partitie.
Disk stuk alles weg, of natuurlijk heb je een back-up, echter terugzetten van de helehap niet leuk.

Hoe maak je een image backup van C:.?

Vroeger deed ik ook zoiets en maakte gebruik van Norton Ghost.

[Tyrian]

Ik heb twee SSD,s een met Windows en een met mijn partities voor dataopslag. Maar dat is niet zo relevant. Van mijn persoonlijke bestanden maak ik een wekelijkse backup, van Windows een maandelijkse, direct na patch tuesday.
Ik heb verschillende image backup programma's gebruikt. Vroeger Norton Ghost, daarna Acronis TrueImage en nu Macrium Reflect.
Daarnaast maak ik 1x per halfjaar nog een backup van alles die ik bij een familielid bewaar. Om te kunnen herstellen van rampen als brand.

[Dinoxl]

Dit deed ik vroeger ook allemaal.

Had ik nog hele raid systemen draaien..

Tegenwoordig een nas met de foto's offline. Die automatisch alles van de devices afhaalt. En een cloud backup.

Oo me systeem staat niks meer van 'waarde' is het stuk dan reinstall en door. Acounts activeren en klaar.

[Evertprakkie]

Ik gebruik al jaren active disk image met veel plezier en heeft me vaak gered. Sla het op op externe schijf en in mijn cloud, dus altijd een backup ook voor al mijn documenten en andere belangrijke dingen. En als ik maar een bepaalde bestand wil terug zetten mount ik de Image met encryptie en zet dan enkel dat bestand terug. Bij een Windows crash boot ik op een Ventoy disk waar een dan boot op een Active disk image iso. om het hele image terug te zetten. inclusief eventuale partitie's

[RobWu]

Er zijn diverse mogelijkheden:
- Automatisch via een Windows Server/client setup, of via een NAS. Daar zijn diverse tools voor.
- Handmatig met een commerciële of open source disk cloner. Gratis is b.v. CloneZilla, anderen hebben al commerciële versies genoemd.

En zet al je data idd op een aparte disk, en backup deze los van je OS disk.
En je weet... "1 backup is geen backup"

[citegrene]

Heb geen ervaring met crowdstrike, maar wat voor soort update was het eigenlijk? Antivirus definities e.d. worden soms wel elke 15min geupdate. Maar een driver update lijkt mij toch wel vreemd wanneer die volledig geautomatiseerd wordt doorgevoord. Misschien eerst even op een test server proberen?..
Details van de update lees je niks van..

[Bahmi]

Voor zover ik heb begrepen : de Crowdstrike driver zelf was niet geupdated, maar een zogeheten definition file.

De driver laad op boot gegevens van een definition file, alleen die definition file was corrupt (lees: volledig gevuld met 0s) door de CDN met een update gekomen. Dus de machine boot, de driver word geladen, driver probeert definition file te lezen, heeft te maken met een nullpointer door de corrupte data, crashed en omdat het in de kernel gebeurd BSoD'd Windows.

Het probleem is dat het een kernel driver die crashed (dus het hele systeem meetrekt) en omdat het een anti-virus achtige oplossing is werd deze driver ingeladen voordat de rest van de drivers (inclusief de netwerk stack) werden ingeladen, dus het systeem had nooit een moment om verbinding met een netwerk te maken waardoor dus al deze machines met fysieke toegang (of met een omweg via unmount, mount naar werkend systeem, fix, remount in originele VM in cloudsystemen) moesten worden beheerd om dit terug te draaien.

[Powerblast]

Thanks voor de toelichting, dat vond ik dus nergens terug bij de bekende nieuws artikels . Hier in België had het nieuws het zelfs over een "code fout". Een bestand dat corrupt is en dat blijkbaar nodig is om een kernel driver te laden, vind ik niet echt een code fout.

Weet eigenlijk niet goed hoe je dit zou moeten opvangen. Het gaat over antivirus dus laden zonder is misschien ook niet ideaal. Op zich doet Windows ook wat het moet doen, error bij laden van de kernel dus BSOD. Vreemd dat er langs de kant van Crowdstrike niemand gezien heeft dat het bestand corrupt geupload is

[Bahmi]

Tja de enige manier om dit soort dingen echt af te vangen (of in ieder geval de impact te minimaliseren) is een gefaseerde rollout te doen (voor de afnemende bedrijven): draai de update eerst op een paar testmachines bij de IT afdeling, verifieer of het niets kapot maakt en dan in stapjes doorsturen naar de rest van de organisatie.

Het is inderdaad super slecht dat dit niet bij Crowdstrike zelf is opgevallen, maarja dat is nu tegenwoordig het mantra: continuous integration en move fast/break stuff mentaliteit. Waarom een QA afdeling hebben als je ook een paar outsourced devops'ers kan zeggen om het in een geautomatiseerde pipeline op te lossen.

Gecombineerd met een cloud oplossing waarvan de (lokale) sysbeheerders niet echt controle hebben over de updates of wat er precies gebeurd en dan krijg je dit, een enkele botched update met wereldwijde uitval. En natuurlijk deden ze dit op een vrijdag zodat elke sysadmin nu het hele weekend (en waarschijnlijk komende weken/maanden door alle losse apparaten zoals PoS of kiosk machines) door moet werken om deze puinhoop op te ruimen.

[kftnl]

Nou als dit inderdaad de reden is dat de CDN het als null bytes had verstuurd dan had die file nooit geïnstalleerd moeten zijn, een security tool die een signature niet checked voor het laadbaar maken in de kernel zou echt een zeer kwalijke zaak zijn. Ook als de signing op CDN niveau gebeurt zou dat raar zijn.

[Reactie gewijzigd door kftnl op 22 juli 2024 13:18]

[klakkie.57th]

Je zou toch echt verwachten dat er altijd een gefaseerde update uitgevoerd wordt.

Blijkbaar niet 🤷🏻‍♂️

[Powerblast]

Ze hebben gefaseerd "world wide" uitgerold . Australië was hoorde ik eerst de pineut en dan gaan we de wereld rond .

Ik zou persoonlijk verwachten dat ze hun updates gewoon zelf via een testsysteem downloaden en vervolgens als laatste check zien of daar alles goed gaat. Maar vermoedelijk is het daar dus foutgelopen, update naar de CDN en dat is de laatste stap.

[2TheMaks]

Waarom een QA afdeling hebben als je ook een paar outsourced devops'ers kan zeggen om het in een geautomatiseerde pipeline op te lossen.

Een hedendaagse QA afdeling hoort gespecialiseerd te zijn in het definiëren van quality gates die opgenomen kunnen worden in een geautomatiseerde CI-pipeline. Het schrijven van de geautomatiseerde tests kan i.d.d. ge-outsourced worden. Echter: QA afdelingen bestaan grotendeels uit mensen zonder daadwerkelijke IT-opleiding die software bij voorkeur handmatig testen. Dus niet uit daadwerkelijke QA-engineers die daadwerkelijk iets van IT snappen.

Gecombineerd met een cloud oplossing waarvan de (lokale) sysbeheerders niet echt controle hebben ...

Iemand die niet de controle heeft is duidelijk niet de systeembeheerder.

En natuurlijk deden ze dit op een vrijdag zodat elke sysadmin nu het hele weekend ...

... de update in een incubator had kunnen draaien alvorens het na het weekend uit te rollen. Tenzij er zich problemen hebben voorgedaan tijdens de incubatie, bijvoorbeeld 1 of meerdere quality-gates niet gepasseerd.

[Bahmi]

> Iemand die niet de controle heeft is duidelijk niet de systeembeheerder.

> ... de update in een incubator had kunnen draaien alvorens het na het weekend uit te rollen. Tenzij er zich problemen hebben voorgedaan tijdens de incubatie, bijvoorbeeld 1 of meerdere quality-gates niet gepasseerd.

Jammer dat je je niet een beetje hebt ingelezen in plaats van deze reactie te geven, want beide punten zijn simpelweg niet relevant.

Definition update files van Crowdstrike hebben geen versioning, je krijgt gewoon de laatste versie. Dat is het hele probleem: het word volledig uit de handen van systeembeheerders gehaald en er word code zonder controle naar productie gepushed.

Zelfs al was de mogelijkheid ervoor om N-1 of N-2 te draaien op productie, wil jij de systeembeheerder zijn van een bedrijf wat net een cryptoaanval heeft gehad omdat de laatste update van de definitiefiles die je ertegen zou beschermen een paar uur hebt achtergehouden omdat je het eerst lokaal wilt testen? Damned if you do, damned if you don't, maar nu heb je het excuus dat de vendor er een potje van heeft gemaakt en niet jouw team.

Voor zover ik heb gelezen is de tijd zo kritiek met 0-days + dat sommige gebruikers er een potje van de configuratie maakten is dat daarom Crowdstrike de definitie updates niet meer configurabel heeft en ze direct naar alle endpoints pushed.

[citegrene]

Als ik het zo lees is het wel af te vangen binnen de driver. Een last known good definition file fallback systeem. En iig een check of een definition file parsed had dit voorkomen kunnen worden.
Volgende vraag is of er nu duizenden systemen zijn zonder crowdstrike beveiliging omdat de oplossing was het .sys bestand te verwijderen, en of de overwerkte it afdeling proactief nog ff doorgaat.. met uitrollen van de nieuwe versie..

[Powerblast]

Dat is idd wel een goeie, de oude versie nog even bijhouden voor als het fout gaat en daar dan mee booten. Nu is het grote probleem volgens mij dat alle apparaten waar het kapot gaat in een BSOD staan en niet vanaf afstand benaderd meer kunnen worden.

[Odie]

Hoe je dit moet opvangen? Misschien door worst cases te testen? Het is absurd dat een corrupte definition file de boel op z’n gat laat gaan. Dit is niet eens een cornercss, dit had gewoon voorzien moeten worden. Hoe reageert de applicatie erop als de definition file niet aanwezig is of (deels) corrupt is.

[3raser]

Dit lijkt me heel eenvoudig op te vangen en ik vind het dan ook bijzonder dat dit tot zo'n ernstig probleem heeft kunnen leiden. Ze downloaden een file en gaan er blijkbaar vanuit dat de inhoudt correct is. Dat is nog tot daar aan toe. Maar als je hem dan inlaadt er dit gaat mis dan moet dat natuurlijk niet in een compleet systeemfalen resulteren. Dan moet je het bestand via error handling negeren of je moet terugvallen op een backup van je vorige definities. Vooral dat laatste lijkt me een prima optie zodat het systeem niet onbeveiligd doorstart.

[Odie]

Precies dat. Dit gaat op meerdere niveaus ernstig mis bij Crowdstrike. Het begint bij een kennelijk falende QA voor de release, daarna bij een niet sluitende sanity check én inderdaad een falende error handeling.

En dan negeren we even hoe Windows hiermee overweg ging.

Man man man wat een cluster fuck. Maar ik verbaas me dan ook weer dat grote partijen niet vertrouwen op concepten als diversity redundancy of een 2-lane architectuur. Nee, we knallen kennelijk alle bedrijfskritische processen op platformen van één hardware en software vendors en updaten alles massaal naar dezelfde versies.

[Reactie gewijzigd door Odie op 22 juli 2024 13:18]

[John Multiplex]

Die hebben de Update gewoon niet goed getest... Dan krijg je dit soort dingen!

[Lucb1e]

De driver laad op boot gegevens van een definition file, alleen die definition file was corrupt (lees: volledig gevuld met 0s) door de CDN met een update gekomen. Dus de machine boot, de driver word geladen, driver probeert definition file te lezen, heeft te maken met een nullpointer door de corrupte data, crashed

Thanks voor de uitleg. Dit gaat een nuttig voorbeeld zijn wanneer we software testen en de fabrikant stelt dat hun eigen servers sowieso vertrouwd worden en dus alle input niet gevalideerd hoeft te worden. Dit soort kwetsbaarheden waarbij je de server moet overnemen om het uit te buiten is altijd een lastig argument dus een groot, bekend voorbeeld als dit maakt het in ieder geval voor de toekomst duidelijker welke risico's klanten op zich nemen door het niet van voor tot achter robuust te hebben op externe input

[Reactie gewijzigd door Lucb1e op 22 juli 2024 13:18]

[NoUser]

Zonder dat ze gebruikmaken van een (bv SHA) checksum ?

[T-men]

Als die SHA-checksum overeenkomt met het corrupte bestand ben je nog geen steek verder. Het corrupte bestand was immers wél het officieel opgeleverde bestand.
Naast een SHA-checksum was een sanity-check ook wel nuttig geweest. Dit was een dure les voor de toekomst.

[kabelmannetje]

Een kernel driver voor een anti-virus programma... Dat is gewoon vragen om problemen. Dat soort zaken horen natuurlijk niet in een operating system, maar in userspace.

[Lvwp]

Uiteraard niet want dan kan elke malware die door een zero day of andere bug zich in kernel nestelt, ongedecteerd verder gaan. Zulke pakketten zitten altijd in kernel mode…zelfs bij linux.

[Tozz]

't gaat om een soort definitie update van een 'fancy virusscanner'. Dan omschrijf ik het even heel eenvoudig.

Door een fout is die definitie file die gepushed was volledig leeg. Als in, er stonden alleen maar null bytes in. Bestand was dus niet 0 bytes, maar het waren een hele hoop nulletjes. Daarvan ging de driver op z'n muil.

Het probleem is dat deze updates vaak net ontdekte aanvalsmethodes moeten tegenhouden. Als je een security product verkoopt kun je moeilijk de uitrol vertragen met het idee 'Joh, we zijn nog even aan het testen'. Mede omdat CrowdStrike erg kostbaar is draait het vooral op systemen van high profile targets. Dat zag je ook wel aan de outages.. Ziekenhuizen, airlines, Amerikaanse Ministerie van Defensie, etc. Daar is het snel uitrollen van groot belang.

Ik denk dat de oplossing hier gezocht moet worden in een betere foutafhandeling van de driver en niet in het vooraf testen van definitie updates. Tegelijkertijd is het natuurlijk zaak om te achterhalen hoe een null-byte file door de automatische CI/CD pipeline komt.

[Lvwp]

Inderdaad of toch op z’n minst enkele checks door de lokale binaries laten doen tijdens/voor het inladen?

[kodak]

Crowdstrike heeft inmiddels technische details gegeven. Het probleem daarbij blijft dat producten vooral als oplossing verkocht worden, terwijl de leveranciers liever geen uitleg geven hoe ze realistisch voorkomen dat ze niet voor zelfde of grotere problemen zorgen. Het wijzen dat ze dit soort updates vaker doen en het geen nieuw product is gaat er niet op in hoe realistisch ze geen risico vormen.

Loterijen geven ook al decennia dagelijks zekerheid dat er bij inleg geld naar goede doelen gaat, zelfs al is de kans klein dat je een grote prijs wint. Die grote en kleine prijzen vallen om de zoveel tijd wel. Maar ik betwijfel of klanten omgekeerd de gok willen nemen als die prijzen bestonden uit het zelf moeten hebben van heel veel extra schade en dan hopen dat de loterij dat wil compenseren.

[carpebios]

Je mag toch hopen dat er al zo’n plan ligt?

[Wolfos]

Een aantal ziekenhuizen kon gisteren geen operaties meer uitvoeren. Als er al een plan klaarlag, dan is het in ieder geval geen geslaagd plan.

[Martinez-]

Don't you worry: ik denk dat de zorgsector juist een van de sectoren is die wel een analoog plan klaar heeft liggen.

Het uitstellen van niet-spoedeisende operaties is juist onderdeel van dat plan, zodat je personeel kan vrijspelen voor het leveren van de zorg zonder digitale middelen. Het kost namelijk meer menselijke middelen om dan dezelfde kwaliteit zorg te kunnen leveren.

Maar hey, het is altijd makkelijk om op de zorg af te geven, die juist met hele beperkte middelen, hele goede resultaten kunnen behalen.

[emeralda]

Als een ziekenhuis zegt "we hebben woensdag 20 mensen geopereerd" dan wil de verzekeraar de bonnetjes. Dat is waarom de operaties werden uitgesteld.

[Martinez-]

Prachtig om te zien hoe scheef het beeld is.

Die 'bonnetjes' (ik ga ervanuit dat je de verrichtingenregistratie bedoeld) kan je ook retrospectief invoeren - er worden namelijk ook verrichtingen gedaan op een SEH tijdens downtime die alsnog verwerkt moeten worden.

[_Eend_]

Ik begrijp waar het beeld vandaan komt, want verzekeraars hebben best veel macht. Maar dit klopt inderdaad niet.

Zoals @Martinez- al eerder schreef worden operaties uitgesteld om ruimte te scheppen, niet omdat je dan de "bonnetjes" niet meer kunt indienen. Bij ons (ik werk ook in een ziekenhuis) staat het financiële plaatje op de allerlaatste plek op het prioriteitenlijstje. Tijdens de Corona-crisis hebben we eerst meerdere afdelingen omgebouwd tot 'corona-afdeling' en was alle planbare zorg uitgesteld en zelfs toen heeft de directie zich later pas bezig gehouden met het financiële plaatje. Onze CEO heeft toen letterlijk gezegd: Hoe we dit financieel gaan regelen zien we later wel. De eerste zorg is de patiënt, de tweede is het personeel.

Sterker nog: bij een grote IT storing is onze eerste zorg om het EPD up and running te krijgen, maar niet het facturatiegedeelte (de "Bonnetjes") van het EPD. Dat deel volgt later wel als alles weer draait. Veel mensen van de financiële afdeling gaan zelfs in het "huis" aan de slag om het zorgpersoneel te ondersteunen tijdens een langdurige storing.

De patient staat altijd op nummer 1, ook bij ons op de IT afdeling. Bij een grote storing is de eerste vraag: Welke impact heeft dit op de patiënt?

Zelfs een simpele bloedafname kost letterlijk 10x meer tijd dan wanneer alles draait. De arts moet een formulier invullen en de patiëntinformatie overnemen uit het papieren dossier. Dan moet er iemand het formulier naar het laboratorium brengen. En dan moet er iemand bloed gaan afnemen, die weer ouderwets een papieren lijst bij zich heeft die niet 'on the fly' bijgewerkt kan worden. Dan wordt het bloed getest en rolt er op het lab een uitslag uit een printer, of in het ergste geval moet iemand de uitslag overschrijven op papier. Die uitslag moet weer terug naar de afdeling en naar het archief. Zelfs in het meest ideale geval ben je dan minuten kwijt, en niet seconden. En het is allemaal veel foutgevoeliger.

Dat kost allemaal zo onnoemlijk veel meer tijd, en dit was slechts een voorbeeld van het meest simpele onderzoek. Laat staan hoeveel tijd je kwijt bent aan een ingewikkelder onderzoek.

Daarom worden operaties uitgesteld. Niet vanwege het financiële plaatje.

[kimborntobewild]

De eerste zorg is de patiënt, de tweede is het personeel.

Als in een vliegtuig de zuurstofmaskers naar beneden vallen, moeten eerst de ouders die maskers opzetten. Daarna pas de kinderen. Juist omdat de ouders de kinderen moeten kunnen helpen met de maskers.
Dat doet me denken aan jouw uitspraak. Eigenlijk moet de eerste zorg dus het personeel zijn, zodat de patient (ook) geholpen kan worden. Want als personeel uitvalt, kan je ook geen goede zorg meer leveren.

[_Eend_]

Daar is het management voor, die moet het personeel in de gaten houden en op tijd ingrijpen als dat nodig is. Het personeel zelf zal dat, zeker tijdens calamiteiten, vaak niet uit zichzelf genoeg rust pakken. Daar is nu wel veel meer aandacht voor dan voor Corona.

[naaitsab]

Ja en nee. Ik werk zelf als IT'er in de zorgsector. Er zijn zeker noodplannen. Aantal varianten zijn zelfs verplicht. Wat alleen het grootste probleem daarbij is dat actuele patiëntendata niet meer beschikbaar is. Stel dat patient pietje zwaar allergisch is voor narcosemiddel Y. Dat staat in het ECD waar je niet meer bij kan.

Er zijn echter wel ziekenhuizen die nog werken met de 'klassieke' multomap aan het voeteneind van de patient. Wat mij betreft wordt dit ook gewoon verplicht. Hierin kan je een beknopte analoge uitdraai van het ECD plaatsen. Dus stel pietje moet met spoed geopereerd worden, dan weet je dat middel Y absoluut niet gebruikt mag worden dus pak je middel Z. Wordt pietje opgenomen tijdens de storing heb je wel een grote uitdaging natuurlijk.

Probleem is dan wel, afhankelijk van hoe lang de storing duurt is dat je een flinke backlog hebt om in je ECD te verwerken. Dit kost collega's al klauwen met tijd in normale bedrijfsvoering. Laat staan bij uitval. Resultaat, sommige informatie gaat verloren raken door tijdsdruk.

Daarnaast heb je nog te maken met uitval van domotica. Dat is zeker bij gehandicapten en ouderenzorg een zeer groot issue. Omdat een redelijk groot deel van de 'handjes' zijn vervangen door techniek. Noodzakelijk vanwege kosten en schaarste maar wel gevaarlijk bij uitval.

Als het bedrijf groot genoeg is zou je kunnen denken aan een volledig separaat IT systeem. 1 met Windows clients/servers en 1 met Linux clients/servers met elk hun eigen bescherming en management software. Heb je wel uitdagingen met replicatie maar dan kan iets als Cloudstrike nooit je hele omgeving nekken. Gezien we steeds afhankelijker worden van IT zijn dit wel dingen om over na te denken.

[Martinez-]

Ik werk zelf ook in de zorg, het feit dat je het woord ECD gebruikt ipv EPD geeft mij al het beeld dat je in de VVT werkt, een totaal andere tak van sport.

In ziekenhuizen worden er al massaal lijsten uitgedraaid om dat overzicht te bewaren, maar dan nog blijft het probleem dat je IT efficiency moet vervangen door personele middelen.

[Dennisb1]

Wij noemen het ook de ECD diverse redenen maar zijn zeker geen VVT

[Mercurious]

heb zelf mijn mediese gegevens over registratie, aandoeningen en medicatie op papier gezet, en de smartfoon voorzien van een doorzichtige valhoes. Het papier zit opgevouwen achterop, duidelijk zichtbaar met naam. Je hebt van die SOSmedaillons met een schroefdekseltje. Daarin ook een opegevouwen papiertje voor allerlei gegevens. https://www.sostalisman.nl/

[Reactie gewijzigd door Mercurious op 22 juli 2024 13:18]

[Cerberus_tm]

Zou je niet eerder gewoon af moeten van system die in de 'wolk' draaien zoals Crowd Strike? Gewoon alle software locaal draaien. Indien nodig bepaalde databanken regelmatig synchroniseren over het Internet, maar verder gewoon door kunnen draaien als het hele Internet uitvalt, en geen updates accepteren zonder uitgebreide controle.

[Heroic_Nonsense]

Crowdstrike Falcon (waar het gisteren fout mee ging) draait lokaal.

Het was een reguliere app-update op lokale machines die de uitval veroorzaakte, niet een centrale uitval in een datacenter.

[Reactie gewijzigd door Heroic_Nonsense op 22 juli 2024 13:18]

[Cerberus_tm]

Maar het werkt toch alleen als je verbonden bent met hun centrale servers? Die updates pushen zonder dat dat jouw keuze is?

[The Realone]

Maar dat heeft helemaal niks met de "cloud" te maken. Wat jij schets wanneer je zegt "indien nodig bepaalde databanken regelmatig synchroniseren over het internet" is al exact wat hier het geval is.

[Cerberus_tm]

Er worden wel updates gepusht zonder dat je er zelf controle over hebt? Maar goed, als het verder lokaal draait is dat op zich goed. Alleen dan dus niet goed genoeg op deze manier.

[The Realone]

Dit is geavanceerde beveiligingssoftware. Het hele punt van dit spul is dat het proactief aanvallen stopt en constante updates zijn daarbij essentieel. Die komen dagelijks en soms wel meerdere keren per dag. Als je die handmatig zou willen goedkeuren nadat je ze door een TAP omgeving hebt geduwd, kun je de software beter buiten gooien want dan loop je altijd achter de feiten aan.

Deze fout heeft niks te maken met hoe de systemen en software verbinding maakt met wat en hoe de updates verspreid worden, het heeft te maken met het falen van CR om deze update te testen voordat hij uitgebracht werd.

[Cerberus_tm]

Je kunt toch alleen b.v. bepaalde virusdefinities automatisch updaten, niet bestanden die daadwerkelijk in de kernel draaien?

[supersnathan94]

Ziekenhuizen zijn inderdaad een goed voorbeeld van sectoren waar de impact juist relatief laag is. Spoedeisende zorg krijgt per direct voorrang en niet spoed wordt uitgesteld om erger te voorkomen.

De reden dat ze dergelijke zorg uitstellen is juist om inderdaad mensen vrij te spelen voor spoedeisende hulp en om te voorkomen dat er fouten gemaakt worden waardoor complicaties bij niet spoedeisende zorg ineens voor wel spoedeisende zaken zorgt.

Is gewoon onderdeel van het plan om zo weinig mogelijk fouten te maken. Slimme aanpak.

[Martinez-]

Dat niet alleen: centraalposten op verpleegafdelingen zullen ook door medewerkers vervangen moeten worden.

Dat houdt in dat er intensievere rondes gelopen moeten worden, dat de belletjes gepakt en gebruikt moeten worden ipv het verpleegkundig oproepsysteem en daardoor dus meer medewerkers moeten zijn om die belletjes te kunnen horen.

De veiligheid van de patiënten in huis gaat dan ten allen tijden voor op de nog te leveren zorg in de toekomst. Mijn collega's werken kei- en keihard om die veiligheid te waarborgen in een situatie waar zij het slachtoffer zijn. Wat waardering zou op zijn plaats zijn!

[Reactie gewijzigd door Martinez- op 22 juli 2024 13:18]

[J_van_Ekris]

Het uitstellen van niet-spoedeisende operaties is juist onderdeel van dat plan, zodat je personeel kan vrijspelen voor het leveren van de zorg zonder digitale middelen. Het kost namelijk meer menselijke middelen om dan dezelfde kwaliteit zorg te kunnen leveren.

Dat is de keerzijde van efficiencyverbetering door IT: als de IT uitvalt moet het weer op een minder efficiente manier, vaak met nog wat extra obstakels. Het is onrealistisch om te denken dat bij uitval van IT gewoon wordt doorgewerkt. Ergens moet de verminderde efficiency tot uitval leiden.

[Jerie]

Ook mooi gegeven in deze context: de zorgsector heeft dankzij de coronacrisis een stresstest gehad.

Maargoed, we moeten dus het maandelijkse maandag luchtalarm uitfaseren want duur. En dat in een tijd dat we eigenlijk meer richting oorlog aan aan het hinken zijn. Vervolgens worden we afhankelijk van GSM e.d. Onverstandig.

[Siaon]

Zorg wordt nogal gedomineerd door beleidsmensen en die zijn nogal van het 'ik red de planeet nu'-niveau... (mogelijk een enigszins belerende typering; de neutrale versie zou zijn dat ze dingen invoeren met een hoge gezichtsvaliditeit waarvan al duidelijk is dat het niets doet voor het beoogde doel, en feedback hierover negeren met drogredenen).

Een resultaat hiervan: Op veel plekken in de zorg heeft, ondanks zwaar verzet vanuit zorgverleners, het papierloos werken zijn intrede gedaan.

Zo zijn er nog wel wat van dit soort dingen, waardoor zorg (onnodig) ook enorm kwetsbaar is geworden hiervoor.

PS. De beleidsmensen doen ook heel veel goed, maar het is net of hun hersenen uitgaan als het woord duurzaamheid valt.

[Reactie gewijzigd door Siaon op 22 juli 2024 13:18]

[Martinez-]

Ja, laten we aub teruggaan naar papier. De tijd dat multidisciplinair werken een gedrocht was, waarbij je bij elke arts die je bezocht moest uitleggen wat je historie was en waar de verpleegkundigen op de afdeling de vitale gegevens in grafieken met 3 verschillende kleuren potloden moest bijhouden.

In ons ziekenhuis mag nog gewoon geprint worden, maar weet wel dat elk geprint document ook een potentieel datalek is - papierloos werken zou geen doel moeten zijn, want papier kan heel ondersteunend zijn.

[Siaon]

Ik ben echt superblij met veel digitale dingen, het probleem zit hem in het top-down bepalen dat iets per se op een bepaalde manier moet. Vanwege niet-inhoudelijke redenen.

Maar het punt was vooral de kwetsbaarheid van alles alleen digitaal.

[2TheMaks]

Zorg wordt nogal gedomineerd door beleidsmensen en die zijn nogal van het 'ik red de planeet nu'-niveau... (mogelijk een enigszins belerende typering; de neutrale versie zou zijn dat ze dingen invoeren met een hoge gezichtsvaliditeit waarvan al duidelijk is dat het niets doet voor het beoogde doel, en feedback hierover negeren met drogredenen).

Ofwel: 'The machine that goes PING!' is helaas nog net zo actueel als 40 jaar geleden.....

[macaidwin]

En toch waren ze sneller weer op de rit dan ik had verwacht. 's Middags konden ze al weet grotendeels door. Knap gereageerd!

[anboni]

Maar was dat omdat het plan goed heeft gewerkt of omdat de workaround uiteindelijk relatief simpel bleek en prima door een stel getrainde apen was uit te voeren als dit al niet geautomatiseerd kon worden?

[BlueTooth76]

Klopt, als het geen fout in de update was maar een opzettelijke hack die alle installaties sloopt, data versleutelt en zich in het BIOS nestelt dan heb je al een tikje meer werk.

[wildhagen]

Dat weet je niet zonder de inhoud van het plan te kennen. Een volledige 100 procent uptime is zo goed als onmogelijk. Wellicht niet eens zozeer op technisch gebied (hoewel dat al lastig genoeg is), maar wel financieel.

Dat is namelijk best wel een kostbaar gebeuren. Aangezien ziekenhuizen vaak toch al niet ruim in de financiële middelen zitten, en men die middelen vaak liever aan medische zaken besteed dan aan IT, zal er vaker gekozen worden om enige downtime te accepteren.

Bij een echte uitwijk heb je daarom in de praktijk meestal ook enige downtime tot de systemen in het uitwijkcentrum weer up gebracht worden.

Natuurlijk probeert men die downtime zo minimaal mogelijk te houden, vooral voor de primaire processen (zoals de medische systemen in ziekenhuizen in jouw voorbeeld). Kantoorautomatisering is dan een iets lagere prioriteit meestal.

[n4m3l355]

Het is eerder omgekeerd, naar men kan 100% uptime niet garanderen, al is de kans op uitval 0.0001%, dat de realiteit. Dat wetende liggen er plannen klaar voor dergelijke situaties en pakt men enkel noodzakelijke gevallen aan. Dat is een heel andere insteek dan in heel veel andere sectoren waarbij 0.0001% voor lief wordt genomen en men afwacht totdat de boel weer draait. Die keuze heeft een ziekenhuis niet.

Dit valt meer te vergelijken met uitval protocollen bij een reactor, Eurocontrol en meer van dergelijke.

[kodak]

Het plan kan prima aan de eisen van het bedrijf of de organisatie voldoen. Alleen is men vaak voor de meeste afhankelijken niet duidelijk wat de practische grenzen zijn en hoe redelijk die zijn.

En doordat die grenzen onduidelijk zijn is dus ook niet duidelijk of de eisen en plannen we realistisch zijn, of zelfs aanwezig. Met als kennelijk gevolg dat men vooral kritisch blijft zijn over het mogelijk niet hebben van plannen en er weer minder aandacht is over bestaande grenzen eisen en hoe realistisch en acceptabel die voor afhankelijken zijn.

[Reactie gewijzigd door kodak op 22 juli 2024 13:18]

[Frame164]

Dat weet je niet. De basis van zo'n plan is een risk assessment. Aan de risico's die daar uit komen hang je acties met de kosten van die acties. 1 van de acties kan zijn "accepteren". Voor geplande operaties kan je dat best doen, zeker als de kosten van de mitigatie heel erg hoog zijn. Als in de risk assessment staat dat in dit soort risicos wordt geaccepteerd dan waren de plannen gewoon goed.

Jij zult op je werk ook geen mitigatie voor alle mogelijke risico's hebben voorbereid. Daar zitten ongetwijfeld ook dingen bij die je accepteert.

[Reactie gewijzigd door Frame164 op 22 juli 2024 13:18]

[DinX]

Het schrappen van geplande, niet dringende operaties, is nu net van de eerste zaken bij dergelijke incidenten bij ons (groot lokaal ziekenhuis).

Voor zo'n code zilver of goud wordt afgekondigd gaan daar wel een team over die bepaalt vanaf wanneer.

Als blijkt dat het niet binnen x tijd kan opgelost worden gaat onmiddellijk de noodprocedure af. Afhankelijk van hoe groot de impact is hoort daar ook het schrappen van operatie bij.

Spoedgevallen wordt in dergelijke gevallen vaak ook omgeleid naar nabije ziekenhuizen. De OKs blijven enkel nog ter beschikking van levensreddende operaties. Dat de nieuwe heup van Irma en de vasectomie van Kenny dan op een later moment niet gebeuren is daarbij ingecalculeerde nevenschade.

Je hebt alle mensen op dat moment nodig om te helpen met de, op dat moment manuele, zaken die dienen te gebeuren die anders digitaal gebeuren.
Zowat elke stap in het zorgproces, behandelingen, medicatie,... wordt tot op de minuut/seconde gelogd normaal gezien. Elk pilletje dat wordt gegeven, elk compres, elke Baxter,... wordt normaal gescan voor gebruik en toediening. Dat dient op zo'n moment allemaal met pen en papier te gebeuren.

Telemetrie data, patiëntgegevens,... wordt normaal allemaal digitaal verwerkt, allemaal met pen en papier,...

[Reactie gewijzigd door DinX op 22 juli 2024 13:18]

[Cerberus_tm]

Zou je in een noodsituatie zoals deze niet beter tijden al dat loggen kunnen schrappen, behalve dingen die echt van groot medisch belang zijn (zoals bepaalde medicijnen)?

[Verwijderd]

Een aantal ziekenhuizen kon gisteren geen operaties meer uitvoeren. Als er al een plan klaarlag, dan is het in ieder geval geen geslaagd plan.

Heb ook gelezen dat er ziekenhuizen zijn die terug grepen op pen en papier, wel hun patiënten hebben geholpen.
Duurde wel wat langer, maar ok.

[ibmpc]

Mijn vader vertelde mij dat voor zijn pensionering zich hard heeft gemaakt voor een computer in de OK. Als er complicaties waren, dan ging er normaliter iemand naar de bibliotheek en werd er gezocht naar mogelijke oplossingen. Dat kostte tijd. Na veel gezeur kwam er een computer met als startpagina Wikipedia en dat heeft niet zozeer levens gered, maar veel langetermijncomplicaties beperkt. Ik weet niet hoe het nu is, maar vroeger was het zo dat als de computer een keer vastliep (Windows 95 tijdperk) dat de operatie gewoon doorging. Alleen hielden ze er rekening mee dat er iemand wellicht vaker naar de bibliotheek moest.

[downtime]

Niet echt. Veel van die plannen zien er ongeveer zo uit: Als het primaire systeem in het primaire datacenter uitvalt (bijvoorbeeld omdat het datacenter uitbrandt) dan wijken we uit naar de backup in het secundaire datacenter en dat doen we zus en zo. Maar wat doe je de backupsystemen vanwege hetzelfde probleem even plat liggen als de primaire systemen? Niet alle plannen houden daar rekening mee.

[J_van_Ekris]

Niet alle plannen houden daar rekening mee.

Common cause falen is altijd extreem lastig weg te nemen. Deze specifieke faalvorm was mogenlijk voorkoombaar (centra met andere oplossing veveiligen) maar een foute OS of DBMS update is lastig te ondervangen, uitgezonderd asymmetrich updaten (dus niet alles tegelijk), maar dan loop je weer cybersecurity risico's. Het is verre van eenvoudig, zeker als je het beheersbaar wilt houden.

[Frame164]

Er wordt meestal wel rekening mee gehouden maar bij een risk assessment kijk je naar impact x kans. Het risicoprofiel van uitval van beide systemen kan daardoor heel klein zijn waardoor mitigatiekosten buitenproportioneel hoog worden.

[mgizmo]

Een plan voor het voorkomen van uit handen geven van controle aan cloud diensten/producten?

Kies je voor een cloud dienst, verlies je nu eenmaal veel controle. Dat weten we allemaal. Als je dit soort updates dus wil voorkomen, moet of de cloud dienst zijn systeem aanpassen of andere partij kiezen die dat wel biedt. Veelal heb je met grootmachten te maken, take it of leave it.

Nu zal er ongetwijfeld wel wat wijzigen bij de fabrikant maar dat is snel weer vergeten. We zijn immers afhankelijk geworden van cloud providers/producten. Dan moet je je visie omgooien en slikken wat het kost om het risico te mitigeren van afhankelijkheid, maarja de geschiedenis leert ons dat onze overheid dat in ieder geval niet doet. Laat staan (semi)overheid of commercieel. Banken maken gebruik van Cloud Security Providers als Zscaler en Netskope, idem voor overheid. Ze gebruiken “allen” MS365 en Azure en ongetwijfeld AV en Malware scan van een Amerikaanse cloud dienst waarbij hetzelfde kan gebeuren.

De “wat als” plannen kosten meer dan het risico nemen, totdat het gebeurd. Kijken we er weer kritisch naar, zeggen we “hoe groot is de kans dat dit nogmaals gebeurd maar met een andere partij”, zetten er euro’s op en gaan weer verder met de waan van de dag.

Aint gonna happen.

[Reactie gewijzigd door mgizmo op 22 juli 2024 13:18]

[Frame164]

De kans dat een clouddienst faalt is (aantoonbaar) veel kleiner dan de kans dat een onprem oplossing faalt. Alleen als het dan een keer fout gaat is de impact groter. Maar in het grote geheel is het betrouwbaarder dan als iedereen het zelf doet. Niet ieder bedrijf kan zich een uitgebreid IT team permitteren die vier of vijf negens kunnen leveren.

[klakkie.57th]

99,99% uptime is iets wat we jaren geleden perfect leverden en wat we nog steeds zouden kunnen alleen willen veel bedrijven hier niet meer voor betalen en vertrouwen ze volledig onterecht op “de cloud”.

Hoe vaak ligt een verbinding er bij ons op het bedrijf wel niet uit, iets wat vroeger nagenoeg nooit gebeurde. De penalties toen die betaald moesten worden door de telecom operatoren waren torenhoog, al moet gezegd worden dat we toen ook een veelvoud betaalden voor 100mbit waar we nu 1gbit voor hebben.

[mgizmo]

Qua investering van infra vs subscriptions is inderdaad veelal door de massa goedkoper dan iedereen het zelf te doen. Voor de afnemer is dat volgens mij al een debat op zichzelf en dat hangt weer van veel factoren af.

Maar als je onprem de mist in gaat is de maatschappelijke impact een stuk kleiner. Dat het aantal storingen waarschijnlijk hoger ligt met onprem ligt natuurlijk aan de continu investeringen die dat vraagt aan infra en personeel wat dan minder gebeurd. Wat niet helpt is natuurlijk het niet vinden van goed personeel, want die zitten veelal bij consultancy/detachering bureaus ipv in-house (wat ze ook overigens zelf veroorzaakt hebben).

Investeringen en afschrijvingen van it hard- en software is natuurlijk minder leuk voor organisaties waarbij it geen core onderdeel is en ook niet voor organisaties die de kosten van it liever anders op de balans zien dan te moeten afschrijven. Een eigen autopark of een corp operationele leaseauto’s is daar een goed voorbeeld van.

[Reactie gewijzigd door mgizmo op 22 juli 2024 13:18]

[Pep7777]

Stap 1 van zo'n plan zou toch moeten zijn : zorg dat je OS altijd up to date is, windows 10 zou zon ondertussen al niet meer gebruikt moeten worden.

[wildhagen]

Windows 10 is gewoon nog altijd supported en dus prima om te gebruiken. Wel moet je inmiddels uiteraard wel al beginnen met migratie plannen.

Daarnaast had het probleem van gisteren helemaal niets te maken met of een OS wel of niet uptodate is. Het ging hier om een bug in de kerneldriver van een 3rd party produkt.

[CAPSLOCK2000]

Windows 10 is gewoon nog altijd supported en dus prima om te gebruiken. Wel moet je inmiddels uiteraard wel al beginnen met migratie plannen.

ik vind dat je nu wel klaar had moeten zijn met de upgrade. Als je nu nog moet beginnen met plannen dan is dat wel rijkelijk laat. Upgrades lukken niet altijd en dan heb je tijd nodig om een plan te maken en uit te voeren. Daarvoor heb je nog iets meer dan een jaar de tijd, voor een complex IT-systeem is dat erg kort.

Volgens StatCounter zijn er meer dan dubbel zoveel Win10-systemen (66%) als Win11 (30%) systemen actief.

Ik denk dat een groot deel van die Win10-systemen de deadline niet zal halen. Nu zal het in de proffesionele/server sector anders liggen dan op de desktopmarkt maar ook weer niet zo heel anders.

Mijn advies is om zo vroeg mogelijk te updaten, niet zo laat mogelijk. Het moet toch een keer gebeuren en uitstellen maakt het niet makkelijker. Als je te vroeg bent kun je altijd nog terug gaan naar de oude versie en het later opnieuw proberen of een andere oplossing zoeken. Als je te laat bent heb je een stuk minder keuze.

Zo vroeg mogelijk betekent niet dat je moet upgraden op het moment dat er een nieuwe versie uitkomt. Soms heb je tijd nodig om te testen, soms heb je afhankelijkheden, soms moet je wachten op een servicevenster, of wat dan ook. Maar in het ideale geval begin je al met de upgrades testen als de eerste beta beschikbaar komt zodat je problemen kan vinden en laten oplossen terwijl de software nog in ontwikkeling is. Als je vijf jaar na release nog een bug vindt waardoor je niet kan upgraden zal het lastig zijn om die nog te laten repareren als de leverancier op het punt staat support te stoppen.

[Arjan P]

Mijn advies is om zo vroeg mogelijk te updaten, niet zo laat mogelijk.

Ehm, in het licht van juist dit topic is dat advies niet heel goed gebleken..
(ja, ik snap dat je het over OS hebt, maar kon het even niet laten )

[D3LTA]

Wat een onzin, windows 10 is supported tot oktober 2025.. en een prima os om nog te gebruiken.

En ook windows 11 is niet heilig en in dit verhaal had je zelfde issues gehad.

[C64Boy]

Zeker. En alles op hetzelfde moment volledig up to date hebben betekent ook potentieel overal de zelfde ellende. Dat is volgens mij ook hier gebeurd: software die meteen de laatste update binnentrekt. Bij het bedrijf waar ik werk zijn ze ook haantje de voorste met updates. Hadden dus ook problemen. En een tijdje geleden met een bios update van Dell: heel veel machines die niet meer normaal waren af te sluiten. Up to date ja, maar wel enige fasering is wenselijk: dan kun je mogelijk nog op de rem trappen

[Jorah_Newstone]

Ook windows 11 systemen en zelfs servers hadden hier last van hoor.

En dan nog, OS altijd up to date is een goede maar bied geen garanties dat je systeem altijd up blijft. Ik denk zelf dat het gewoon niet te voorkomen is. We worden echt teveel afhankelijk van techniek.

[Verwijderd]

Ook windows 11 systemen en zelfs servers hadden hier last van hoor.

En dan nog, OS altijd up to date is een goede maar bied geen garanties dat je systeem altijd up blijft. Ik denk zelf dat het gewoon niet te voorkomen is. We worden echt teveel afhankelijk van techniek.

" We worden echt teveel afhankelijk van techniek."
en van alles aan elkaar knopen, afvragen;
moet alles aan internet hangen
kunnen we meerdere os langs elkaar draaien om de kans dit soort problemen te minimaliseren
hebben we een werkend plan B

[Stijnvi]

Stap 1 van zo'n plan zou toch moeten zijn : zorg dat je OS altijd up to date is

Dit is best wel ironisch omdat de crash bij CrowdStrike juist veroorzaakt werd door een Windows update.

I stand corrected.

[Reactie gewijzigd door Stijnvi op 22 juli 2024 13:18]

[wildhagen]

Dat klopt niet. Het ging om een upgrade van de CrowdStrike agent (Falcon), die een kerneldriver bevat.

Die driver veroorzaakte het probleem van gisteren. Niet Windows zelf.

De exacte oorzaak van de storing is nog niet bekend, maar beveiligingsonderzoeker Kevin Beaumont zegt op X het betreffende .sys-bestand te hebben bemachtigd. Volgens Beaumont heeft die driver een verkeerd bestandsformaat, dat niet goed wordt gevalideerd.

CrowdStrike heeft inmiddels wel een oplossing voor het probleem, zegt ceo George Kurtz. Ook daarover zijn geen details, maar waarschijnlijk gaat het om een verbeterde driver. Die wordt gepusht naar klanten

Zie bericht van gisteren: nieuws: CrowdStrike-problemen veroorzaken wereldwijd storingen in computersys...

Dit is door de CEO van CrowdStrike ook toegegeven en hij heeft excuses aangeboden.

[Reactie gewijzigd door wildhagen op 22 juli 2024 13:18]

[Stijnvi]

Zoals ik het begreep was het inderdaad wel een update van CrowdStrike die de fout veroorzaakte maar kwam dit doordat er in een Windows update ook zaken waren gewijzigd.
Maar ik krijg daar nu niks meer over gevonden. Zal wel zijn voortgekomen uit de onduidelijkheid gisteren.

[Damic]

Misschien ergens in een schuif van 10 a 20 jaar oud? Dus niet recent.

[Elorad]

Waarmee niet is gezegd dat het volledig onbruikbaar is. Ik doe even de aanname dat zulke plannen uitgaan van of terugvallen op handmatige processen of overschakelen op on-prem backup systemen. Dus wellicht is een (kleine) revisie van die plannen wel afdoende. Tis maar een gedachte

[Meemzeh]

De meeste fallback plannen zijn niet opgesteld met het idee dat het complete besturingssysteem niet meer werkt, meer als een applicatie niet functioneert.

[Het.Draakje]

Ik mag tot hopen dat ook rekening houdt met defecte computer(s). Om wat voor reden dan ook. Anders is nogal wat onderhoud op die plannen nodig. Zoals je nu mogelijk ervaren hebt.

Er werd bij ons zelfs twee keer per jaar geoefend dat het hele datacentrum eruit lag, door bijvoorbeeld brand. Wat nu niet bepaald een onmogelijkheid is. En dan moest de business binnen een paar uur "gewoon" door kunnen werken. Hoeft ook niet zoveel te kosten. De uitwijk werd normaal gebruikt voor Acceptatie en Test. Die heb je als het goed is ook gewoon staan. Soms wat minder snel, maar er is een storing dus dat is geen probleem. En dat development dan even niets kan doen, is ook geen probleem. Die gaat maar een weekje (op eigen kosten) naar het strand in Spanje.

Voor de bakker op de hoek hoeft dat soort maatregelen niet ingeregeld te worden, maar een beetje bedrijf die voor een groot deel afhankelijk is van IT, mag een fallback echt wel meer zijn dan 'applicatie down'.

[Left]

Je kent het spreekwoord wel, pas als het kalf verdronken is dempt men de put.

[xxxMaverick]

Precies ook mijn gedachte . Net alsof dit een soort inzicht is ofzo. Je schrikt bijna van het niveau als je dit leest

[oef!]

Een van de hoofdredenen van automatisering is dat je complexe dingen relatief eenvoudig uit kan voeren. Het is ook belangrijk om te beseffen dat niet techniek maar die processen centraal staan.

Verschillende overheden voeren erg veel complexe processen/wetten uit. Er is geen mens die dat allemaal in zijn hoofd heeft zitten. De data/gegevens voor die processen zitten daarnaast ook nog eens opgesloten in databases.

Als IT uitvalt dan kun je simpelweg niet verwachten dat er een analoog proces klaar staat om dat op te vangen. Zelfs het uitwerken hiervan is al een praktisch ondoenlijke taak.

In de realiteit zullen de belangrijkste processen in kaart gebracht worden en in een noodplan opgenomen moeten worden. Op meer moet je niet hopen.

[Typhone]

Hoe deden ze dat vroeger dan? De gemiddelde overheid waar ik kwam rond 2010 werkte op systemen die ze rond 1995 al als ouderwets bestempelden. Die processen zijn echt niet ‘opeens’ complex geworden. Bureaucratisch ja, complex nee.

[uiltje]

Vroeger hadden we de meeste dingen nog handmatig, en hadden we een heleboel medewerkers die het ook zonder computers konden uitvoeren. Dat is allemaal weg.

[Left]

Is dat niet gek eigenlijk? Volgens mij zijn er in de laatste 20 jaar alleen maar meer ambtenaren bij gekomen. Hoe kan het dat ze vroeger met minder mensen met minder automatisering uit konden ..

[Het.Draakje]

Verschillende overheden voeren erg veel complexe processen/wetten uit. Er is geen mens die dat allemaal in zijn hoofd heeft zitten.

Vreemd, we ontwerpen wel IT systemen om die processen uit te voeren. Dat ontwerp wordt mede mogelijk gemaakt door expert die het proces juist wel tot in de puntjes beheersen.

Als IT uitvalt dan kun je simpelweg niet verwachten dat er een analoog proces klaar staat om dat op te vangen. Zelfs het uitwerken hiervan is al een praktisch ondoenlijke taak.

Het zal niet voor ieder proces nodig zijn, de loonadministratie mag wel een dagje wachten, en de kantine kan wel een weekje dicht. Maar de essentiële processen moeten beschikbaar komen, al dan niet in een analoog proces.

Er zullen niet veel bedrijven zijn die het leuk vinden als hun normale produktie een weekje of zo niet kan draaien omdat je eerst nog even moet nadenken hoe het op een alternatieve manier kan. Of totdat je vervangende server(s) hebt ingekocht (of gehuurd).

Dus ja, echt alles beschrijven, wat is bloed-spoed, belangrijk, nodig, en verfraaiing. Prioriteiten stellen, materiaal (indien nodig) vooraf aankopen. Draaiboeken maken. Regelmatig testen (zijn we niets vergeten, is niets veranderd).

Kortom, Business Continuity. is een vak. En zoals we bemerkt hebben, best wel noodzakelijk. Uiteraard is het niet makkelijk, maar dat maakt het wel zo leuk. Nee, het is geen werk voor de doorsnee beheerder, maar laat ik hopen dat op wat hoger niveau daar toch wel aandacht voor is.

[oef!]

Met betrekking tot continuïteit ben ik het met je eens. Maar ik zie ook dat uitvoerende organisaties, commercieel of (semi-) overheid, bijna altijd gericht zijn op uitvoering en niet zozeer op beheersing/begrip/vastlegging van datgene wat ze doen.

Met betrekking tot expertise zie ik het anders - daadwerkelijke expertise komt meestal van buiten de organisatie. Ik heb meegewerkt aan best wel complexe automatiseringen en de externe partner is eigenlijk altijd de partij die de informatie van verschillende stakeholders binnen de klantorganisatie combineert tot een werkend geheel. Daarbij ligt de focus vooral op de benodigde informatie (en dus systemen), het modelleren van een workflow (de sleutel) en de daadwerkelijke vertaling daarvan in functionele en technische zin naar software.

Dit is normaal niet het werk van een expert maar eerder van een team van consultants, functioneel ontwerpers en ontwikkelaars.

Het gevolg daarvan is uiteindelijk dat het beste inzicht in een bedrijfsproces extern ligt. Als je vervolgens als klantorganisatie in een crisis terecht komt dan zul je merken dat je interne kennis gefragmenteerd is. Een deel ligt bij expertise op de werkvloer, een deel bij functioneel beheer en een ander deel bij technisch beheer.

Het intern samenbrengen van die kennis is een pijnlijk en langzaam proces waarvoor je als organisatie een grote inspanning moet leveren.

Vermenigvuldig dat met het aantal cruciale processen dat je moet uitvoeren en je hebt een hoofdpijndossier van hier tot Tokyo aan je hoofd.

[Het.Draakje]

Ik ben met je eens dat het vaak gefragmenteerd is in een bedrijf. Maar ik ben het niet met je eens dat de expertise buiten de organisatie ligt. Een consultant weet wel hoe zo'n proces er uit zou kunnen zien. Maar hij weet bij aanvang van zijn opdracht niets over hoe het binnen desbetreffende organisatie exact loopt. Net zoals de externe partner dus gewoon de juiste interne stakeholders bij elkaar brengen en uitwerken tot een concept. En het is dus meestal geen éénmans job. Bij meerdere belangrijke processen doe je dat voor ieder proces afzonderlijk.

Mijn ervaring binnen grote multinationals is dat het concept toch echt wel binnen een maand of drie klaar kan zijn. Grote delen zijn al gedaan tijdens het functioneel ontwerp van de applicatie. Ondertussen kan de business de prioriteit van de systemen vaststellen.

Daarna de knop doorhakken. En beginnen met 'Oefen, Schaaf Bij, Herhaal x keer per y tijd". Soms klein, (applicatie / afdeling / multi-afdelings) soms groot (meerdere divisies / heel bedrijf).

(Ik ben inmiddels gepensioneerd, maar) ik was gewend om twee keer per jaar te oefenen met 'bom op het datacentrum, niets werkt meer'). De eerste keer is dat stressen. Later liep ik tijdens de oefening gewoon met mijn kleinkinderen in de Efteling (of iets dergelijks).

[reaL_G]

is corona daar geen goed voorbeeld van?

[wildhagen]

De Nederlandse minister van Justitie en Veiligheid David van Weel vindt het belangrijk om plannen te maken voor wanneer IT-systemen uitvallen.

Een mooie open deur die hij gevonden heeft. Ik hoop toch dat iedere IT-er dit op voorhand al wel wist, inclusief de IT-afdelingen van de diverse overheidsinstellingen.

Maar aangezien de minister het specifiek heeft over "plannen maken", mag ik uit de gekozen bewoording dan opmaken dat er nu dus nog geen enkel plan is bij de overheid voor als er een IT-systeem uitvalt? Of is de bewoording gewoon zeer ongelukkig gekozen door de minister?

Dat zou ik, als dat zo zou zijn, toch wel heel schokkerend vinden namelijk. Anno 2024 hoop ik toch wel dat de overheid beschikt over plannen voor de uitwijk van systemen bij uitval, zodat in ieder geval de primaire processen blijven doorlopen.

[FreezeXJ]

Geloof mij maar dat IT al zat plannen heeft om plannen te maken voor het geval iets uitvalt. Maar om die plannen ook uit te voeren, en te zorgen dat we een (werkende en geteste) backup hebben is er mandaat (lees: euros) nodig, en daar kan de minister voor zorgen.

[Verwijderd]

[...]


Een mooie open deur die hij gevonden heeft. Ik hoop toch dat iedere IT-er dit op voorhand al wel wist, inclusief de IT-afdelingen van de diverse overheidsinstellingen.

Maar aangezien de minister het specifiek heeft over "plannen maken", mag ik uit de gekozen bewoording dan opmaken dat er nu dus nog geen enkel plan is bij de overheid voor als er een IT-systeem uitvalt? Of is de bewoording gewoon zeer ongelukkig gekozen door de minister?

Dat zou ik, als dat zo zou zijn, toch wel heel schokkerend vinden namelijk. Anno 2024 hoop ik toch wel dat de overheid beschikt over plannen voor de uitwijk van systemen bij uitval, zodat in ieder geval de primaire processen blijven doorlopen.

Simpel om die mens af te branden, die pas beëdigd is als minister.
Als hij niet gereageerd had, kreeg die commentaar, reageert hij wel krijgt ook (goedkoop) commentaar.

Lees zijn wikipedia erop na, de man heeft wel wat kennis.

[kodak]

Welke bewoording had je dan liever gezien? Want de minister kan niet zomaar stellen dat er al plannen moesten zijn, want dat gaat nog niet voor iedereen op. En misschien hebben jij en ik wel de hoop of verwachting dat wie niet verplicht is dat dan toch maar al had moeten hebben, maar dat is niet heel realistisch. Juist omdat er al wetgeving nodig blijkt om er voor te zorgen waar de gekozen volksvertegenwoordigers de grens getrokken hebben.

[Verwijderd]

Overheid kan wel een paar dagen wachten. Maar ziekenhuizen daarentegen...

[Jorah_Newstone]

Sommige zaken van de overheid weer niet, zoals uitkeringen. Misschien als het echt niet anders kan maar dan cash uitbetalen ergens? Zoals heel vroegah.

Vind sowieso dat cash geld altijd beschikbaar moet zijn..

[Frame164]

Dat is praktisch helemaal niet mogelijk. Als het geld er al is: wie gaat het tellen, controleren en in enveloppen doen? Dat ga je toch niet als backupplan ontwerpen voor een incident dat maximaal een paar dagen duurt en wat zo goed als nooit voorkomt.

[Lucb1e]

Ik denk dat het eerder gaat om bijv. 100 euro in huis te hebben zodat je een storing kan overbruggen. Met de voorstellen die af en toe opkomen om cash uit te faseren, zou je de afhankelijkheid van 100% uptime nog verder vergroten

[vinkjb]

Jij wilt terug naar de voedselbonnen ofzo, of check waar voor de hele mnd 100 euro opstaat en op is op.

[Jorah_Newstone]

In het geval van hele land ligt voor een week of meer plat.

[Transportman]

Er zijn wel plannen en wordt ook zeker getest, maar niet alles wordt daarin meegenomen. Volledige uitval van systemen zoals gisteren zit er waarschijnlijk niet in, en ik denk dat als dat echt een keer langdurig voorkomt, de impact gigantisch zal zijn.

[nst6ldr]

[...]


Een mooie open deur die hij gevonden heeft. Ik hoop toch dat iedere IT-er dit op voorhand al wel wist, inclusief de IT-afdelingen van de diverse overheidsinstellingen.

Hier bij mindef moeten we ergens wel grinniken: ITers hier krijgen van inhuur (vakgenoten) te horen dat onze infrastructuur en bedrijfsprocessen niet van deze tijd zijn, met als gevolg astronomisch dure projecten zoals GrIT waar vooral het bedrijfsleven baat bij heeft. Wat men in de tussentijd vergeet is dat we al decennia geen downtime of noemenswaardige incidenten hebben, en dat terwijl we een behoorlijk high profile doelwit zijn en iedere paar uur wel aanvallen van verschillende vectoren te verwerken krijgen - tot fysiek indringen en spionage aan toe. Ook disaster recovery is zeer robuust ingeregeld.

Vaak krijg ik het idee dat we juist een van de weinige ministeries zijn die 'bedrijfskritisch' ook echt serieus nemen.

[laptopleon]

Met een systeem wat door de jaren heen nauwelijks verandert en een 'astronomisch' budget is dat toch niet zo indrukwekkend? En hoe weet je ooit hoe effectief je spionage afgewend hebt? Als het wel gelukt is, gaat men niet achteraf de bijbehorende enquete invullen, neem ik aan.

[nst6ldr]

Ik lees veel aannames en slechte interpretaties. De infra veranderd juist aldoor, met 70.000+ gebruikers en apparatuur van de meest uiteenlopende leveranciers (Kyocera tot Boeing, Lockheed Martin tot Samsung en meer) ontkom je daar niet aan. Het is juist het project GrIT wat weinig hoge ogen gooit door het astronomische budget waar niet echt meerwaarde tegenover lijkt te staan ten opzichte van de bestaande infra - anders dan dat er meerdere bedrijven erg rijk van worden.

En hoe weet je ooit hoe effectief je spionage afgewend hebt?

Omdat de daders een ritje met de kmar mogen maken en ja, dat komt voor.

[CAPSLOCK2000]

Ik denk dat we het antwoord op je vragen net in praktijk hebben gezien.
Ondanks dat het een open deur is ging het wereldwijd massaal fout.
We zijn in het algemeen niet goed voorbereid op dit soort storingen.
Natuurlijk zijn er plannen maar blijkbaar zijn die niet goed genoeg.

Helaas kan ik niet zeggen dat ik daar van schrik, het past prima binnen mijn eigen ervaringen op dit vlak.

Al is het ook erg relatief. Ik leef nog, mijn huis staat er nog, de polders zijn niet ondergelopen, er komt water uit de kraan en het licht brandt, de maatschappij bestaat nog. Je kan ook zeggen dat onze plannen en systemen goed genoeg zijn om een ramp als deze te doorstaan.

Niettemin is voor mij duidelijk dat we enorm afhankelijk zijn van fragiele systemen en dat we daar direct of indirect een forse prijs voor betalen. Ik begrijp waarom want het is moeilijk en duur om het goed te doen en alles is voortdurend in beweging waardoor je nooit klaar bent, stilstand is achteruitgang, je moet blijven investeren. Het is principe niet anders dan vastgoed, dat moet je ook blijven onderhouden, maar in de IT is het tempo moordend hoog en we missen nog een hoop ervaring. Het is gewoon moeilijk.

Toch valt er veel te verbeteren met de kennis die we hebben. Er is veel dat we beste weten maar om een of andere reden niet doen. Plannen maken klinkt een beetje zwak, maar uiteindelijk is het wel wat we (meer) moeten doen. Nou ja, controleren of plannen ook werken en worden uitgevoerd is ook nog wel een dingetje. Ik heb een hoop plannen gemaakt die ergens in een bureaulade liggen te verstoffen omdat er geen middelen zijn om ze uit te voeren.

[klakkie.57th]

Eigenlijk staat ik hier helemaal niet versteld van.

Hoeveel bedrijven hebben redundante internetconnectiviteit via verschillende providers via netwerk infrastructuur van verschillende fabrikanten via verschillende intro’s in hun gebouw …. nagenoeg niemand want als je zoiets opppert in it meeting dan wordt je al snel weggezet als doemdenker

[Bezulba]

Er zullen plannen genoeg zijn. Of er geld is om die plannen ook daadwerkelijk uit te voeren lijkt mij gewoon niet aanwezig. Want het gaat altijd goed. En kan er bespaard worden op die 2de datacenter met een 1 op 1 kopie van de production servers. Krijgt de manager weer een mooie bonus door besparing van miljoenen en tegen de tijd dat het een probleem is, is hij allang verdwenen.

[rko4u]

Misschien eens rekening mee houden bij de beslissing om het luchtalarm af te sluiten. Als de mobiele netwerken er uit liggen, gaat een NL alert immers niemand bereiken.

[Powerblast]

Vraag me af hoe het luchtalarm werkt. Als daar ook een pctje met Windows en Crowdstrike op staat, ben je nog altijd gezien. Hopelijk gewoon een simpele constructie waar geen pc tussen zit.

[rko4u]

Er was al luchtalarm toen computers nog nauwelijks gebruikt werden. Dus als er niet al te veel is veranderd, verwacht ik dat deze in geval van nood met een knop kan worden aangezet.

[wildhagen]

Nou helaas niet zomaar meer tegenwoordig. De werking van het luchtalarm kan al verstoord worden als er elders in Europa een probleem met de electriciteitsvoorziening is:

Maandag 4 maart is een aantal sirenes van het waarschuwingsstelsel (zogenoemde WAS-palen) niet afgegaan. De oorzaak van de storing heeft te maken met het Europese probleem met de elektriciteitsfrequentie.

[...]

Hoe werkt dat precies met die klokken en die palen?
De sirenepalen hebben een interne klok, en het computersysteem dat ze aanstuurt ook. Die twee kloktijden worden met elkaar vergeleken. Als de kloktijden met elkaar overeenkomen (met een marge van een paar minuten), worden de sirenepalen geactiveerd. Nu zijn de klokken op de palen gaan achterlopen door het Europese probleem met de elektriciteitsfrequentie. Op de palen waarbij de toegestane marge van een paar minuten is overschreden, ging het alarm niet af.

De sirenes worden toch handmatig aangezet, wat hebben de klokken daarmee te maken?
De sirenepalen worden met een druk op de knop via een computer op de meldkamer in iedere regio geactiveerd. Daarbij zijn de nodige automatische checks en beveiligingsmaatregelen ingebouwd, waaronder de kloktijden.

Zie https://www.vrijsselland.nl/storing-waarschuwingssirenes/ en zo zijn er meer voorbeelden geweest in het verleden.

(Die WAS-palen zijn dus wat in de volksmond 'luchtalarm' genoemd wordt,

Dus er moet nog altijd iemand per regio op een knop drukken, en dan gaat het signaal dus via een netwerk naar de daadwerkelijke palen zelf.

Dat zijn dus al meerdere punten waar het (technisch of organisatorisch) fout kan gaan en dus een storing optreden.

[Reactie gewijzigd door wildhagen op 22 juli 2024 13:18]

[GertMenkel]

Dat specifieke probleem is natuurlijk niet echt relevant buiten de maandelijkse test. Bij een noodgeval checkt de paal niet of de klok wel goed staat.

Nog steeds denk ik dat computerstoringen het luchtalarmsysteem compleet uit de lucht kunnen halenb(omdat de aansturing ook gewoon software is), maar een klokdesynchronisatie vind ik daar geen goed bewijs van.

[Powerblast]

Ik hoop het, maar als het zoals alle andere systeem vanuit de oorlog ondertussen gemoderniseerd is, zit er vermoedelijk wel ergens een pctje tussen

[SPee]

De Tweede Kamer heeft gevraagd om het luchtalarm tóch te behouden:
Nieuws: Meerderheid Tweede Kamer stemt voor motie om luchtalarm te behouden

[GameNympho]

Wat dacht je als die vermadelijke digitale euro er komt?

[cariolive23]

Heb jij even geluk dat de kassa het dan waarschijnlijk ook niet doet

[GameNympho]

Al eerst een nadeel, deuren zijn schuifdeuren en automatisch, dus gesloten

[xp65]

Lijkt mij onder NIS2 (vanuit EU) die er aan komt reeds een verplichting voor grote en vitale bedrijven onder de vereiste Business continuity plan.

[FreezeXJ]

Zeker, maar in hoeverre is dat een papieren tijger? Gisteren is een aantal van die plannen getest, en ik ben benieuwd naar de evaluatie ervan (die ik vrees ik niet overal ga horen, maar toch... )

[Blokker_1999]

Ik snap niet dat zovele mensen er van uit gaan dat het hebben van een noodplan zou moeten betekenen dat klanten geen hinder zouden mogen ondervinden van een storing.

[GertMenkel]

Wat je in het nieuws leest, gaan denk ik ook vooral over de bedrijven die hun plannen niet goed hadden, of niet goed uitvoerden. Hinder is logisch, maar "alle vluchten zijn geannuleerd" is meer dan alleen hinder. Dat een winkel alleen contant aan kan nemen is hinder, maar dat de geldlade van de kassa niet open gaat omdat de PC gecrasht is weer niet.

Zo ook de noodhulp: herplanbare operaties die geannuleerd worden is hinder, maar 911 dat niet bereikbaar was is toch een falen in de noodzorgketen. Daar hebben we in Nederland gelukkig geen last van gehad, maar 112 is er wel eerder uitgeklapt door een storing.

Van wat ik zelf heb meegemaakt met business continuity plans lijken veel mensen erop voorbereid te zijn dat belangrijke systemen eruit gaan, maar niet dat alle systemen eruit gaan. En dat viel hier ook nog mee, overigens; alleen de Windows 10-bakken gingen eruit. Je hoeft je niet voor te bereiden op een nationale EMP (tenzij je in het leger zit misschien) maar "sommige Windowscomputers doen het niet" lijdt toch tot een significante ontwrichting van de maatschappij.

[Kees]

Tja, maar computers maken het werk in heel veel gevallen sneller en veiliger. Je kan dan wel een BC plan hebben liggen waarin je naar papier en pen gaat, maar dan moet je wellicht dat papier met de post gaan opsturen naar een ander bedrijf, en in plaats van dat je even 300 boardingpasses print, moet je ineens 300 boardingpasses met de hand gaan invullen.

Hoe je het went of keert, een onderdeel van zo'n plan is gewoon dat het soms niet meer lukt en je moet afschalen. Dus geen cosmetische ingrepen meer doen, geen operaties doen waar het leven van iemand niet op het spel staat, en een aantal vluchten laten vallen.

Ook bij tweakers hebben we plannen waarin we de site minder bruikbaar maken als dat even niet anders kan, we proberen wel online te blijven, maar het kan zijn dat bepaalde onderdelen niet meer werken als er iets goed stuk gaat.

[DiedX]

Dat was de nis1 ook al

[pinqeh]

Je zou denken dat zo'n plan toch al bestaat..?

[latka]

Stond op de C: schijf....

[floor66]

Nee, we moeten plannen hébben voor als IT-systemen uitvallen.

[moonlander]

Volgens mij hebben we plannen en is het gisteren allemaal snel verholpen.

[leendt]

Dat is zo. Maar stel dat het een volgende keer niet snel verholpen kan worden, hoe blijf je dan operationeel zonder (deel van) je systemen?

[Powerblast]

Ik vrees dat je in zo een geval ook gewoon moet aanvaarden dat bepaalde processen niet meer kunnen lopen en er dan maar even uit liggen. Lijkt me vooral een kwestie van je meest kritieke zaken die je als samenleving echt niet kunt missen goed voorzien van backups (ziekenhuizen, spoedhulp enz.) maar voor de rest is het dan maar even zo. Je moet natuurlijk backups voorzien, maar een productie bedrijf bijvoorbeeld gaat volgens mij geen reeks machines offsite hebben staan. Of het maar even manueel gaan doen .

Impact was erg groot, maar ik vind eerlijk gezegd dat het allemaal toch vrij snel opgelost was of een alternatief voor was gevonden.

[Verwijderd]

Ik vrees dat je in zo een geval ook gewoon moet aanvaarden dat bepaalde processen niet meer kunnen lopen en er dan maar even uit liggen. Lijkt me vooral een kwestie van je meest kritieke zaken die je als samenleving echt niet kunt missen goed voorzien van backups (ziekenhuizen, spoedhulp enz.) maar voor de rest is het dan maar even zo. Je moet natuurlijk backups voorzien, maar een productie bedrijf bijvoorbeeld gaat volgens mij geen reeks machines offsite hebben staan. Of het maar even manueel gaan doen .

Impact was erg groot, maar ik vind eerlijk gezegd dat het allemaal toch vrij snel opgelost was of een alternatief voor was gevonden.

Jij gaat er wel erg makkelijk over,
het kan gebeuren, jammer dan.

Van serieuze bedrijven, luchthavens, havens, ziekenhuizen mag je meer en beter verwachten.
Nu was het redelijk snel opgelost, gelukkig.
Had net zo goed langer veel langer kunnen duren voordat alles weer op gang kwam.
Om nog maar te zwijgen van de schade die hier door ontstaan is.

[Powerblast]

Dat is toch wat ik zeg? Ziekenhuizen, spoedhulp vallen inderdaad onder wat ik bedoel met kritiek.

Ik zeg ook niet dat je helemaal geen backups moet voorzien. Maar op een bepaald moment wordt het simpelweg een afweging van hoever je er mee gaat. De bakker om de hoek die 4u zonder kassasysteem zit? Misschien simpel gezegd, maar ja jammer kan gebeuren, is geen ramp. Die ga je geen full blown backup solution verkopen voor die ene keer dat dit voorkomt. Dan gaat de prijs van het brood maal 4. Die doet gewoon de afweging waar hij zich tegen wil indekken. En dat doen de meeste bedrijven op die manier.

Want eerlijk gezegd, je backup faalt ook, dus die moet je dan ook weer dubbel voorzien. En die dubbele voorziening, die zal wel weer een keertje falen op dat ene punt dat niet dubbel voorzien is of waar je zoals nu geen rekening mee had gehouden. Het zijn weer mooie lessen voor de toekomst.

Luchthavens hebben het (in België althans) netjes opgelost met gewoon manueel in te checken zover ik las. Havens geen idee eigenlijk, heb ik niks van gehoord.

[Reactie gewijzigd door Powerblast op 22 juli 2024 13:18]

[ExtremelyBroken]

Het blijft een kosten-baten analyse, en het is in dit geval een veredelde AV definition file die de boel doet omvallen. Die hadden die bedrijven juist om de boel veilig te houden. En genoeg PCs/servers met bitlocker om de boel veilig te houden, wat de recovery bemoeilijkte. Of cloud servers, zonder toegang tot een console. De schaalgrootte maakt het allemaal nog moeilijker, en het is niet alsof IT personeel makkelijk te krijgen is en de boel dan nog betaalbaar te houden.

Deze uitval was niet voorzien, en het zal vast nog een keer gebeuren, vraag is alleen wanneer en wat. Vorige keren hadden we XZ library, log4j etc wat de wereld op zijn kop zette. Gisteren was het Crowdstrike.

Terug naar pen en papier dan maar

[Lvwp]

Ga je echt het risico nemen om dan je hele omgeving te laten crypto locken?
Dan sta je echt verder van huis, al je systemen restore…

[moonlander]

Soms kan het niet anders. Je kunt je niet overal tegen wapenen. Alles kan, maar dat heeft een prijs.

[klakkie.57th]

Hoezo snel verholpen ?
Het is niet alsof ieder systeem ter wereld ondertussen weer up and running is

[moonlander]

Dat is het wel. Alleen de naweeën zorgen nu nog voor problemen. Dus de vluchten die bijvoorbeeld geannuleerd zijn moeten weer ingepland worden etc.

[Elorad]

Maar elk kabinet wil toch graag het wiel opnieuw uitvinden. Het is net als bij de tandarts, ik heb er nog nooit één horen zeggen: "Zo, mijn voorganger heeft goed werk geleverd". Zo ook met een kabinet/minister

[Kabouterplop01]

Ik gelukkig wel (m.b.t. de tandarts dan he )

[Elorad]

Lol, woon je in Utrecht?

[Reactie gewijzigd door Elorad op 22 juli 2024 13:18]

[jacob.korf]

En het erge is dat vaak het wiel opnieuw uitgevonden wordt. Waarom leren van de tijd en energie die anderen er in gestopt hebben.

[Elorad]

Precies mijn punt, helaas wordt elke keer (okee, vaak) niet een wiel uitgevonden, maar iets dat van afstand op een wiel lijkt maar niet best rijdt

[neuzehie]

Mag ik het vreemd vinden dat elk IT departement het warm water opnieuw zit uit te vinden wat backup, disaster recovery en “IT storing” noodplannen betreft? Ja er zal wel een licht nuance verschil zijn maar een middelbare school is een middelbare school, dat moet toch niet elke school op zich gaan uitvinden. Een KMO is een KMO, een ziekenhuis is een ziekenhuis. Gemeentediensten zijn gemeentediensten. En toch lijkt iedereen op dat vlak het warm water uit te vinden. Nu, het kan zijn dat ik nu wel heel kort door de bocht ga, maar ik kan me even niet van deze gedachte ontdoen dat dergelijke plannen niet telkens opnieuw uitgewerkt en bijgehouden moeten worden.

[MatthiasL]

Qua blauwdruk niet, maar qua hoe hun specifieke architectuur aan elkaar geknoopt is dan juist weer wel.

Wat praat met wat, wat draait op wat, wat is kritisch, wat vooral niet, etcetv

[Blokker_1999]

High level doet iedereen hetzelfde, maar begin je naar wat meer detailnveau te kijken dan is elke organisatie anders ingericht.

Elke woning is een woning. Maar de ene woning heeft slechts 1 verdieping de andere 3. Sommige hebben een kelder anderen weer niet. Hetzelfde met de zolder. Sommige hebben een garage inpandig, anderen naast de woning en anderen weer niet. Maar woningen zijn toch woningen, waarom kunnen we dan niet voor elke woning gewoon evenveel bakstenen en evenveel ramen en deuren voorzien? Waarom moeten we telkens terug naar een architect om een nieuw plan te laten tekenen? Moeten we nieuwe offertes laten maken voor bouwmaterialen, ....