Maastricht UMC sluit poliklinieken vanwege grote ict-storing

Het academisch ziekenhuis in Maastricht kampt sinds donderdagochtend met een grote ict-storing. Door de storing zijn de poliklinieken gesloten en is het ziekenhuis slecht bereikbaar. Het is nog onduidelijk wat de storing veroorzaakt.

Op de site meldt het ziekenhuis dat het sinds donderdagochtend zowel digitaal als telefonisch slecht bereikbaar is. In geval van nood moeten mensen direct 112 bellen. Alle polikliniekafspraken zijn afgezegd in verband met de storing. Het ziekenhuis schrijft dat het nog onbekend is wat de storing precies veroorzaakt. Het crisisteam van het ziekenhuis probeert in kaart te brengen wat er precies aan de hand is.

Een aantal afdelingen blijft wel open. Patiënten die een afspraak hebben bij dialyse, oncologie, of bij de polikliniek voor zwangeren, kunnen wel gewoon komen. Ook de afdeling nucleaire geneeskunde blijft open. Tegenover 1limburg laat een woordvoerder van het ziekenhuis weten dat acute behandelingen gewoon door kunnen blijven gaan. Ook patiënten die opgenomen zijn of zullen worden, kunnen gewoon behandeld worden.

Door Robert Zomers

Redacteur

08-09-2022 • 13:25

86

Submitter: Incognitum

Reacties (86)

Sorteer op:

Weergave:

Uit enigszins betrouwbare bron vernomen dat iemand "iets" heeft aangepast in NSX en dat nu dus alles plat ligt. 8)7

Geen ransomware of iets dergelijks dus.

Vanaf nu zou de boel ook weer up zijn. Dus langzamerhand gaat alles terug naar normaal.

[Reactie gewijzigd door Drucchi op 27 juli 2024 20:49]

Kan gebeuren. Een vinkje verkeerd zetten is zo gedaan.
Klopt, kan gebeuren inderdaad. Vreemd vind ik wel dat ‘alle’ systemen schijnbaar via hetzelfde ‘netwerk’ lopen. Van slagboom tot SAP (patiëntenomgeving) tot aan het openen van de poort van de ambulancedienst. Maar goed, wellicht een deze dagen meer info.
Op zich niet gek. NSX wordt meestal gebruikt als firewall voor (micro)segmentatie van (gehele) VMware omgeving. Als je daar iets verkloot kan het gebeuren dat alle VMs onbereikbaar zijn. Ik spreek uit ervaring helaas :+

[Reactie gewijzigd door CyberTijn op 27 juli 2024 20:49]

Duidelijk! Bedankt voor de uitleg.
Als dat de instelling is in het ziekenhuis, dan lig ik er niet graag.....

Maar serieus, we hebben hiervoor procedures zoals 'four eyes' om fouten te voorkomen en change management om vooraf impact te bepalen. Uiteraard gaat er nog steeds dingen mis maar dit zal zeker niet zomaar onder de tafel worden geschoven. Een lockdown van een ziekenhuis kost initieel al minimaal een miljoen euro en is oplopend. Geen idee hoe of wie deze NSX omgeving ontworpen heeft, maar als het met 1 vinkje plat te leggen is, dan heeft die persoon een slecht ontwerp gemaakt.
Vanmorgen daar geweest. EPD, telefonie, afsprakensysteem. Niets werkte op dat moment. Zelfs de parkeerautomaten lagen eruit. Slagbomen stonden gewoon open. Benieuwd wat zover reikt dat zelfs dit niet zorg gerelateerde systeem niet meer werkt.
Die parkeerautomaten en slagbomen hebben ook gewoon servers draaien (bij ons in het ziekenhuis toch) en die zijn in beperkte mate gekoppeld aan bepaalde patiëntgegevens. Zo krijgen patiënten (bij ons) een ander tarief dan bezoekers van diezelfde patiënten, of mensen die niks te zoeken hebben in het ziekenhuis een boetetarief. Dan moet je wel ergens kunnen vandaan halen of die persoon aan de slagboom inderdaad een patiënt is of niet, of een bezoeker van een patiënt,...
of mensen die niks te zoeken hebben in het ziekenhuis een boetetarief
Ik vraag mij af hoe dit geconstanteerd kan worden? Moet een bezoeker z'n auto kenteken opgeven voor een poliafspraak of ziekenbezoek? Dat lijkt mij nogal privacy gevoelige informatie die onnodig gekoppeld is.

Er zijn vaak veel simpelere oplossingen voor, maar die kosten natuurlijk extra (mensen) handelingen. Bijvoorbeeld bij receptiebalies van een poli de mogelijkheid geven om een gratis of gereduceerd tarief uitrijkaart te krijgen. Bezoekers moeten zich vaak toch al bij zo'n balie aanmelden voor een afspraak. Bij de HAP staan er gewoon parkeerticket scanners op de balie. Immers kom je bij de HAP poli niet zomaar naar binnen zonder afspraak.
Patiënten dienen zich in te schrijven aan de inschrijfbalie of kiosk. Daar krijgen ze een QR code geprint.
Gaan ze hun parkeerticket valideren komt er automatisch 25 euro bovenop de normale uurprijs. Door de QR code te scannen gaat er korting vanaf.
Bezoekers dienen sinds COVID hun bezoek op voorhand vast te leggen. Daarna krijg je een QR code toegestuurd die je nodig hebt om het ziekenhuis binnen te mogen. Diezelfde QR code kan wederom gebruikt worden om een bepaald kortingsbedrag te krijgen.

De QR code wordt vanuit de betaalkiosk gevalideerd via een API die een kortingsbedrag teruggeeft. Geen verdere koppeling tussen systemen dus.

Als de betreffende QR code die dag geen afspraak of bezoek gepland is zal deze dus ook niet werken.

Jef die elke dag zijn vrouw gaat bezoeken op kan zijn QR code van die dag dus niet doorgeven aan zijn dochter om de dag erna te gaan shoppen in de stad en daar goedkoop te gaan parkeren.
Maastricht heeft dat niet voor zover ik weet. Enige dat ze hebben is een week- en maandtarief.
Voor de rest is iedereen gelijk de klos.
Dus ik kan niet, zonder mijn kenteken bekend op visite bij een bekende bij het ziekenhuis waar jij werkt? Of interpreteer ik hou bericht verkeerd?
Als bezoeker dien je sinds COVID een bezoekerscode te hebben om het ziekenhuis binnen te mogen (wat nu vrij standaard is en gebleven is in de concurrerende en partnerziekenhuizen ook).

Die QR code gebruik je bij het valideren van je parkeerticket als korting. Standaard wordt 25 euro bovenop de prijs gerekend. De QR code scannen doet er een bepaald bedrag vanaf.

Vaste patiënten (dialyse, revalidatie,...), die willen, kunnen hun kenteken laten registreren. Dan gaat het vanzelf. Maar dat is een keuze. Ze kunnen ook elke keer met de QR doen als ze willen.
Pfff, wat een ongastvrij systeem... dan weten mensen toch amper meer bij het inrijden wat ze gaan betalen?
Jawel 25 euro + per uur een x bedrag... dat zegt hij net.
Ik weet niet hoe het in dát ziekenhuis werkt, maar er zijn zorginstellingen waar je zoiets kunt aangeven en dan controleren ze je afspraak/opname in het systeem en dan krijg je bijv. een parkeermunt of uitrijkaart mee tegen een lager tarief dan als je alleen op bezoek komt.
Dit klinkt als het verdienmodel prioriteit geven boven security.
Er is geen rechtstreekse koppeling met patiëntgegevens. Het parkeersysteem doet niet meer dan een QR code naar een API sturen, die op zijn beurt enkel een kortingsbedrag terugstuurt.

En verdienbedrag, nee, niet echt. Het ziekenhuis ligt pal in de binnenstad en de parking was continu volzet door een hoop shoppers en dagjestoeristen die daar kwamen staan aan een maximumprijs van 10 euro versus de veel duurdere tarieven van de Q-parks verderop.

Patiënten hadden bij momenten dus geen parking meer terwijl Jef en Maria met hun winkelzakken naar hun auto terugwandelen of een terrasje doen verderop.

Ze verdienen nu zelfs minder aan de parking, want er zijn nu vaak nog lege plaatsen. Er is nu niemand meer die komt parkeren die er niet moet zijn, want die betaalt al snel 30-35 euro voor een halve/volledige dag
Zo krijgen patiënten (bij ons) een ander tarief dan bezoekers van diezelfde patiënten, of mensen die niks te zoeken hebben in het ziekenhuis een boetetarief. Dan moet je wel ergens kunnen vandaan halen of die persoon aan de slagboom inderdaad een patiënt is of niet, of een bezoeker van een patiënt,...
Dan overtreedt je daarmee waarschijnlijk de AVG, want die gegevens hoeven helemaal niet fysiek gekoppeld te zijn. Daar is nul-komma-nul reden toe. Gewoon werken met uitrijbonnetjes.
Het parkeersysteem kan niet aan de patiëntgegevens. Deze kan louter de QR-code controleren via een API.
Er gaat tussen die systemen niet meer heen en weer dan een QR code richting de API, en een bepaald kortingsbedrag terug van de API.

Dat kortingsbedrag wordt bepaald adhv het type bezoeker of patiënt het is.

Patiënten dienen zich in te schrijven aan de inschrijfbalie of kiosk. Daar krijgen ze een QR code geprint.
Gaan ze hun parkeerticket valideren komt er automatisch 25 euro bovenop de normale uurprijs. Door de QR code te scannen gaat er korting vanaf (afhankelijk van het type. Patiënten bvb de volle 25 euro eraf, professioneel bezoek een max prijs van 28 euro, bezoekers een nog andere korting),...
Dat betekent dat die QR code nog steeds een herleidbare identifier is, waar dat niet noodzakelijk is. Dataminimalisatie-principe wordt hier dus overtreden.

Door dit via een API te koppelen is het alsnog mogelijk om gebruik van de QR code te loggen en met andere gegevens die binnen de organisatie voorradig zijn, te combineren en te gebruiken om afgeleidde gegevens te constateren, zoals bijv. exact tijdstip van vertrek bij te houden van een patient of bezoeker. Dat de organisatie dit niet daadwerkelijk doet, is niet relevant. Het gaat er om dat het kan.

Je kunt bij registratie mensen ook een eenmalig te gebruiken uitrijkaart geven waar het kortingsbedrag al in verwerkt zit en wat verder niet langer ergens aan gekoppeld hoeft te zitten, waardoor er ook geen herleidbare afgeleidde gegevens vastgesteld kunnen worden.

[Reactie gewijzigd door R4gnax op 27 juli 2024 20:49]

Klinkt mij als een prima systeem en mooi geautomatiseerd zodat het geen extra mankracht kost (wat nogal schaars is in deze tijd).

Je kunt de mensen die gelijk met privacy gaan smijten de optie geven om bij een balie te betalen met natuurlijk wel een extra opslag zoals ook het geval is als je bijvoorbeeld nog met acceptgiro wil betalen of maandelijks een papieren rekening wil.

En verder wordt bij zowat elke garage je kenteken gescand bij het in en uitrijden.
Goed nagedacht, niet. In dat geval word je kenteken nergens aan gekoppeld, behalve tijdstip van aankomst.
Ik ben benieuwd of je een bron kunt noemen voor deze aanname? Mijn kenteken wordt in ieder geval geprint op het kaartje en dus ergens opgeslagen. Ben altijd al benieuwd wat daar uiteindelijk mee gebeurt. maar eigenlijk is dit off-topic...
Kenteken wordt inderdaad opgeslagen in het parkeersysteem. Dat gebeurt in elke garage of parking die anpr camera's gebruikt.

Als de slagboom vanzelf open gaat bij buiten rijden is dat omdat je kenteken bekend is.

Dit wordt zeer beperkt opgeslagen (inderdaad enkel kenteken en tijdstip van binnen rijden). Dat wordt na x aantal dagen gewist.
Zo is het nog mogelijk om mogelijke fouten, vergissingen of discussies te kunnen nakijken.
Of zelfs een "ik ben mijn kaartje kwijt".

Bij onze terminals heb je eigenlijk je kaartje zelfs niet meer nodig. Als je wil kan je ook gewoon je kenteken ingeven, of gewoon contactloos betalen bij het uitrijden.
Q-park doet toch het beheer van het parkeer gebeuren daar? Vreemd dat die dan ook niet werkten, want die hebben normaal gezien hun eigen lijntje en infra liggen afaik (verbonden met hq op stationsplein).
Wat een ellende allemaal, probleem is dat ziekenhuizen gewoon niet het budget hebben om alles up to date te houden. Het kost inmiddels een godsvermogen met al die software contracten die ze hebben. Volgens mij helpt de gratis wifi in het ziekenhuis ook niet bij de veiligheid.....
Het is triest dat mensen een ziekenhuis aanvallen, maar nog triester dat de overheid hier geen extra laag van bescherming aanbied.

[Reactie gewijzigd door EMR77 op 27 juli 2024 20:49]

Wat een enorme reeks aan aannames.

Wie zegt dat de systemen niet up2date waren, waar staat dat het een aanval is?

Verder is een gasten wifi gewoon gescheiden van het netwerk voor de zorg. Verder snap ik je opmerking van de overheid niet. Je kunt prima aansluiten op bijv. Publicroam.
Ziekenhuissystemen en up-to-date? Dat zijn twee woorden die niet vaak in dezelfde zin passen.. Heel veel van die systemen zijn zwaar verouderd en sommigen kunnen ook niet anders.
Meestal is een zogenaamt gastennetwerk compleet ander netwerk dan het interne wifi netwerk :) misschien moet je je eerst eens verdiepen voordat je aannames doet. Waar ik werk is het gastennetwerk compleet los van het interne netwerk. Anders heb je inderdaad een potentieel veiligheids risico.
Het zou mij niks verbazen als het geen Ransomware is, en dat ze dat (nog) niet durven uit te spreken.
Dat zou een trieste zaak zijn en niet alleen voor het ziekenhuis maar ook voor de verantwoordelijke die zo een aanval uitvoert op een ziekenhuis.
Welke ransomeware is niet triest 8)7
Mee eens, maar ransomware-criminelen targeten bewust en specifiek ziekenhuizen omdat ze weten dat die veelal geen andere keus hebben dan betalen, omdat er anders gewoon mensen dood gaan. Ik las ergens dat er zelfs ziekenhuizen zijn die een voorraadje bitcoin aanhouden om voorbereid te zijn om snel te kunnen betalen bij een ransomware-aanval....

Dat is niet triest, dat is in en in ziek en hoewel er m.i. nogal makkelijk geroepen wordt "daad X is slecht, daar moeten ze strengere straffen op zetten" denk ik dat er weinig andere gebieden van criminaliteit zijn die het meer verdienen om kei- en keihard gestraft te worden.
Heb je wel eens in een ziekenhuis gewerkt? Er werkt (gemiddeld) een ander type mens dan in commerciële organisaties. Ja, er is steeds meer financiële druk etc., maar die druk komt van boven. Op de werkvloer, ook bij de ICT, is het anders. Maar dat kun je niet weten als je er niet zelf gewerkt hebt.

Als je werk "mensen beter maken en levens redden" denk ik dat je wat meer geneigd bent zo'n losgeld te betalen om door te kunnen, dan wanneer je werk "het kunnen delen van kattenfilmpjes" is....
"Het zou mij niks verbazen als het geen Ransomware is"
Het zou mij ook niks verbazen als het geen ransomware is, maar je bedoelt mogelijk "Het zou mij niks verbazen als het Ransomware is"
Hoewel een beetje off-topic blijkt dat Essent weer operationeel is. Essent geeft aan dat er geen sprake was van een cyberaanval. Hopelijk duren de problemen bij UMC Maastricht niet zo lang.
Opmerkelijk toch hoe het tegenwoordig zowat overal fout gaat en blijft gaan..
Opmerkelijk dat, zonder te weten wat er exact aan de hand is, je meent dit te moeten stellen als een breed algemeen probleem. Kan zomaar zijn dat telefonie eruit ligt, agenda poli's eruit liggen, etc. Ziekenhuis is nog gewoon 'open'.
Regel 1: Dingen gaan fout/stuk.
Regel 2: Als het niet fout/stuk gaat, treedt regel 1 over een tijdje wel in werking.

[Reactie gewijzigd door michelr op 27 juli 2024 20:49]

Opmerkelijk dat, zonder te weten wat er exact aan de hand is, je meent dit te moeten stellen als een breed algemeen probleem.
Opmerkelijk dat, gezien een storing in ICT de boel zomaar kan platleggen, het nog steeds als sluitpost, lastig en noodzakelijk kwaad bekeken wordt in veel omgevingen.

Zolang security het ondergeschoven kindje is vind ik dat een algemeen probleem.
hoe is dit een security issue? dat weet je helemaal niet, of je zou het niet hier moeten melden.
Dingen gaan stuk, en anders is er elders wel een wijziging die het alsnog stuk maakt. Aannames doen is een manier om dat proces te versnellen.
Ik zeg niet dat dit een security issue is, ik zeg dat zolang security het ondergeschoven kindje is ICT niet serieus genomen wordt.

ICT is géén hulpmiddel, het neemt taken over en zorgt dat de boel draait.

Het voldoet niet te melden dat het een ICT-probleem is, je hebt verzaakt voldoende tijd en middelen erin te investeren. Een show-stopper is géén incident.
'Gewoon open' is nou niet zoals ik het zou omschrijven.

Volgens dit stukje op nu.nl nu.nl liggen ook de systemen met patientengegevens (EPD) plat.

Omdat veel ziekenhuizen EPD, agenda, planning, onderzoeksuitslagen etc tegenwooordig in 1 sofftwarepakket hebben, ligt bij een storing vrijwel alles stil.

Uitval van het EPD betekent dat je als je als patient op op je poliafspraak komt je misschien wel in de spreekkamer wordt geroepen door de arts, maar dat deze geen beschikking heeft over je gegevens en niets kan wegschrijven in het EPD. Dat is eigenlijk geen werkbare situatie.

Wel ben ik het met je eens dat hoe goed je infrastructuur verder ook is, er toch een keer iets fout kan gaan.
Tja, alles kan stuk.
Er zijn ook veel storingen bij andere (grote) bedrijven, alleen halen die de krant niet. Ik heb bij een multinational gewerkt en door een ICT storing lag het hele netwerk plat. Toen is ook iedereen naar huis gestuurd, heeft alleen de het nieuws niet gehaald want los van de medewerkers en klanten die op dat moment belden heeft niemand het gemerkt.
Ja alles kan stuk. Maat het cascade effect hier is onbegrijpelijk. Het duidt op een core component die dusdanig belangrijk is dat dit niet zou mogen voorkomen.
Tsjah, stel je core router begeeft het. Meestal geen probleem want zoiets voer je redundant uit en je test dat ook regelmatig dat in geval van nood de standby netjes overneemt. Maar je zou de eerste niet zijn die, op een moment dat je het echt nodig hebt, de failover ziet mislukken.

Je kan enorm veel geld investeren om zoveel mogelijk failures eruit te halen, maar je moet ook een kosten/baten analyse maken. Je zou naast het ziekenhuis een heel tweede ziekenhuis kunnen bouwen waar je in geval van nood alles en iedereen naartoe kunt sturen, maar niemand doet dat want dat is te duur. Je kan in heel je infra vele componenten redundant uitvoeren, maar hoe hoog ga je die redundantie zetten? En hoe ga jij je ervan verzekeren dat die redundantie ten alle tijden ook goed werkt?
Het ziekenhuis in mijn stad heeft ook al een keer of twee platgelegen omdat bij een stroomstoring de backup stroomgeneratoren het niet deden. Shit happens
Da’s natuurlijk geen pech maar (vaak) veroorzaakt door falend onderhoud en testen, maw, te voorkomen downtime door goed preventief onderhoud.
In mijn ervaring veroorzaken stroomtests ook nog wel eens problemen. Weet je hoe lang een MRI nodig heeft om weer op veld te komen als hij zonder stroom heeft gestaan? Daar is een ziekenhuis niet blij mee.
In mijn ervaring veroorzaken stroomtests ook nog wel eens problemen. Weet je hoe lang een MRI nodig heeft om weer op veld te komen als hij zonder stroom heeft gestaan? Daar is een ziekenhuis niet blij mee.
Misschien een goed plan om de MRI niet aan dezelfde groep te hangen als de backupserver.
En stroomtests die problemen veroorzaken zijn goed want zo wordt duidelijk wat er verbeterd moet worden.
In mijn ervaring (bij een grote datacenter leverancier) gebeurd dit maandelijk. Daarnaast worden er periodiek black building en load-bank testen gedaan, wat echt zonder downtime kan. Ziekenhuizen kunnen zulke issue dan ook prima voorkomen met soortgelijk preventief onderhoud icm. UPS systemen.
We weten natuurlijk niet hoe vaak 't wel goed gaat. Als de back-upvoorziening gewoon werkt, merkt bijna niemand het en is 't niet nieuwswaardig.

Hier in 't lokale ziekenhuis afgelopen december ook een storing, alles was net nieuw en getest, maar toch werkte 't op een moment suprême niet.
... Je zou naast het ziekenhuis een heel tweede ziekenhuis kunnen bouwen waar je in geval van nood alles en iedereen naartoe kunt sturen, maar niemand doet dat want dat is te duur...
Nou, dat tweede ziekenhuis komt ook niet naast het eerste ziekenhuis te staan, maar een kilometer of 50 verderop. En omdat we toch al problemen hebben met de capaciteit van ziekenhuizen wordt dat tweede ziekenhuis ook gewoon gebruikt; het staat niet leeg. Maar in geval van nood hebben alle omliggende ziekenhuizen wel een stukje capaciteit in reserve, zodat er een ziekenhuis tijdelijk even uit kan vallen
"Shit happens". Het zou niet moeten kunnen, maar we weten allemaal dat het soms wel gebeurd. Vervelend voor de mensen die een afspraak hadden, maar de aller belangrijkste zaken gaan nog door.

Ben zelf benieuwd of ze later naar buiten brengen wat de oorzaak was, wel benieuwd.
Vervelend voor de mensen die een afspraak hadden, maar de aller belangrijkste zaken gaan nog door.
Deze keer wel...
Nee hoor als je AD plat ligt krijg je tegenwoordig ook zon effect, nog niet al te lange tijd terug was er een bepaalde update die ook veel gelazer heeft veroorzaakt.

[Reactie gewijzigd door Skywalker27 op 27 juli 2024 20:49]

Dat is natuurlijk geen vergelijking. Je kunt in het ziekenhuis niet zomaar mensen naar huis sturen omdat er een IT storing is. Grote storingen bij een (groot) bedrijf brengt meestal ook geen mensenlevens in gevaar, grote storingen bij een ziekenhuis zijn natuurlijk een stuk riskanter en maatschappelijk een veel groter onderwerp.
Hoezo, tegenwoordig?

Storingen zijn van allen tijde, en komen altijd al voor. Vroeger ook al, dat is echt niet iets van tegenwoordig.

Alles wat techniek gebruikt kan nu eenmaal defect raken. Gelukkig zijn er protocollen zodat omliggende ziekenhuizen de zorg netjes van elkaar kunnen overnemen.
Alles wat techniek gebruikt kan nu eenmaal defect raken. Gelukkig zijn er protocollen zodat omliggende ziekenhuizen de zorg netjes van elkaar kunnen overnemen.
Men had beter kunnen investeren in systemen die niet zo afhankelijk van elkaar zijn binnen het ziekenhuis zelf.
Het gaat ook vaak zat goed alleen das geen interessant nieuws.

Schijnbaar hebben ze het een en ander prima onder controle als dit voor de lopende zorg geen problemen oplevert Ik haal ook nergens uit dit bericht dat de spoedeisende hulp ook onbeschikbaar is dus echt extreem kritisch lijkt het (nog) niet te zijn
Precies wat je zegt. Als het goed gaat is het geen nieuws, en dat een EPD een grote en meetbare winst voor de patiënt oplevert tegenover werken met papier dossiers en/of losse digitale systeempjes is ook heel makkelijk om te vergeten. Bedenk ook dat ziekenhuizen voor dit soort situaties noodprocedures klaar hebben liggen. Ik heb een tijd ICT voor een radiologie-afdeling gedaan, en het kwam (om diverse redenen, van een grote overstroming, tot stroomstoring en ICT-storing) een paar keer per jaar voor dat een tijdje volgens de noodprocedures werd gewerkt. Soms werd geplande zorg uitgesteld, soms kon het gewoon doorgaan.

Maar als het uitvalt is het nieuws, dat is helaas hoe het werkt. En er is feitelijk nog niets bekend over wat er aan de hand is, maar de speculaties vliegen in het rond.

Ik wacht wel af.
Het gaat ook vaak zat goed alleen das geen interessant nieuws.
Het gaat er om dat er tegenwoordig steeds meer mis gaat (en dus steeds minder alles goed).
Tjah, als Linux Engineer zijnde hoor je ook alleen wat van je klanten wanneer er dingen fout gaan maar blijft het altijd stil zolang alles goed werkt.
Tja, deze reactie is wel wat kort doort de bocht. Ziekenhuizen hebben in de architectuur echt wel rekening gehouden met continuiteit. Helemaak een UMC. Het netwerk zal vast tot op een behoorlijk niveau redundant zijn en er zal vast ook automatische fail-over zijn op de servers. Maar toch kan er altijd wat misgaan. Danwel in de failover, danwel in het component wat toevallig niet redundant is uitgevoerd. Of in een scenario wat niet te testen is.

Een dergelijke situatie is vaak een samenkomst van omstandigheden en toevaligheden.

[Reactie gewijzigd door Rubenus op 27 juli 2024 20:49]

Mijn ervaring dat als er iets stuk gaat in de zin van "uit". en nooit meer aan. Of een vastloper dit goed opgevangen kan worden door de failover oplossingen.
Echter een switch die langzaamaan overlijd en een heleboel bagger over verschillende poorten naar buiten spuugt veel meer ellende oplevert. Je hele netwerk gaat plat en je kunt het defecte component niet zo snel identificeren. Of in een raid set op een storage waar er 1 disk langzaam stuk gaat. waardoor niet alleen de data op die disk corrupt raakt maar ook de rest van de set raakt.
Echter een switch die langzaamaan overlijd en een heleboel bagger over verschillende poorten naar buiten spuugt veel meer ellende oplevert. Je hele netwerk gaat plat en je kunt het defecte component niet zo snel identificeren. Of in een raid set op een storage waar er 1 disk langzaam stuk gaat. waardoor niet alleen de data op die disk corrupt raakt maar ook de rest van de set raakt.
Daarom moet je de boel ook monitoren en blijven testen.
Tja, deze reactie is wel wat kort doort de bocht. Ziekenhuizen hebben in de architectuur echt wel rekening gehouden met continuiteit. Helemaak een UMC. Het netwerk zal vast tot op een behoorlijk niveau redundant zijn en er zal vast ook automatische fail-over zijn op de servers. Maar toch kan er altijd wat misgaan. Danwel in de failover, danwel in het component wat toevallig niet redundant is uitgevoerd. Of in een scenario wat niet te testen is.

Een dergelijke situatie is vaak een samenkomst van omstandigheden en toevaligheden.
Alles wat je schrijft klopt maar daarmee heeft @ultimasnake nog geen ongelijk. Natuurlijk hebben ziekenhuizen een hoop dingen wel goed gedaan anders zou het veel vaker fout gaan. Dat is de vraag niet, de vraag is of het genoeg is? Aangezien het al dagen lang stuk is lijkt het er op van niet.

Dat bedoel ik niet als verwijt aan IT, we weten niet wat er aan de hand is. Ik ben er van overtuigd dat IT daar er het beste van maakt met de middelen die ze hebben. Ik ken weinig IT'ers die dat niet doen.

Maar componenten zijn niet "toevallig" niet redundant, en al helemaal niet in een UMC, zoals je zelf ook al een beetje aangeeft. Dat is juist een symptoom van het probleem dat @ultimasnake aanstipt; te weinig geld/tijd/resources.

IT is verschrikkelijk duur, goede IT is haast onbetaalbaar. Ik heb nog nooit een organisatie gezien die z'n IT echt goed op orde had. Overigens kun je dat ook zeggen over een hoop ander vakgebieden dan IT, overal is het een puinhoop. Maar IT verbindt alles en is daardoor extra lastig en kwetsbaar.

We weten niet wat er aan de hand is. Het kan allemaal domme pech zijn. Voor een deel speelt pech vast ook wel een rol. Overigens is het opvangen/voorkomen van pech natuurlijk een belangrijk deel van IT, daar kun je je maar beperkt achter verschuilen. Maar er valt ook niet te ontkennen dat goede IT eigenlijk te duur is voor de meeste organisaties en er daarom noodgedwongen beknippeld wordt, jaar na jaar. (Wederom, het is niet beter in de zorg, het onderwijs of waar ook. Vrijwel overal wordt er veel gedaan met te weinig middelen).
De afweging is ook continue steken we het geld in patiëntenzorg, in redundancy die praktisch nooit nodig is of steken we meer geld in de zorg, wat waarschijnlijk tot hogere belastingen zal leiden.

In een ideale situatie hebben we onbeperkt grondstoffen, onbeperkt werknemers etc. maar dat is er niet, er is schaarste. En dan moet de keuze gemaakt worden waar die schaarste voor ingezet wordt. En dat is een risico-afweging/ kosten-baten analyse
Ik snap wel hoe het gaat en dat voor iedere cent tien goede bestemmingen zijn. Op microniveau is de keuze inderdaad tussen een extra computer of een extra bed of een nieuwe verfje voor de receptie. Als je met wat meer afstand naar de maatschappij kjikt zijn er veel meer keuzes waar je je van kan afvragen of dat nu optimaal is. Extreem voorbeeld Als ik 150 euro uitgeef aan een mooie tuinkabouter is dat leuk voor mij maar ik had ook 100 arme kinderen kunnen voeden.

Wat minder extreem en interssanter zijn keuzes als in wat voor auto je rijdt en hoeveel geld je uitgeeft aan je zorgverzekering.
Die zijn zo interessant omdat het individuele keuzes zijn die sterk worden beinvloed door de maatschappij. In de VS rijden ze in veel grotere auto's dan in de rest van de wereld. Als je daar een kleine auto wil rijden is het aanbod piepklein. Geld dat in auto's gaat zitten had ik naar de zorg gekund. Voor die auto's zijn ook veel wegen nodig, ook dat geld had anders uitgegeven kunnen worden.

Ik zeg niks nieuws he, het is allemaal redelijk voor de hand liggend. Dat neemt niet weg dat ik vaak denk "zonde van het geld, hadden we er maar X mee gedaan". Het is een beetje de tragedie van de meent.
We splitsen grote beslissingen in een hoop microbeslissingen die individueel allemaal logisch en redelijk zijn maar daardoor nemen we wel de verkeerde grote beslissing. Verkeerd is natuurlijk nogal relatief maar ik heb zo snel geen beter woord.
Als we alle villawijken slopen en vervangen door identieke flatgebouwen is de woninigcrisis zo opgelost. Maar ja, dat botst wel enorm met de persoonlijke vrijheid. De meest extreme communisten en fascisten gaan nog niet zo ver. Ik heb de oplossing ook niet hoor.

Punt is dat ik zie dat wel heel veel delen van onze maatschappij helemaal op het randje zitten en eigenlijk er over heen. Tegelijkertijd is er grote ongelijkheid waardoor de nadelen nogal eenzijdig bij de mensen terecht komen die er zelf niks aan kunnen doen. Denk bv aan brakke software waardoor mensen geen uitkering kunnen aanvragen.

We zouden niet moeten kiezen tussen een server of een bed, maar tussen een server én een bed óf een tweede Jaguar voor de directeur van de plasticfabriek aan de andere kant van de stad. Nou ja, als het zo simpel was dan was dat natuurlijk geen echte keuze.
Ik kan je vertellen dat het MUMC over het algemeen een top netwerk heeft en dit onderhoud. Dat het nu onderuit ligt is pech hebben en wordt een onderzoek uitgevoerd.
Ik zou zulke uitspraken nooit durven doen zonder een goede inkijk te krijgen in hoe IT in een onderneming is georganiseerd. Zelfs de beste paarden struikelen wel eens. Maar het is natuurlijk eenvoudig om het maar direct op een slechte infra te steken.
Vergeet niet hoeveel verschillende lagen "IT" omhelst. Van infrastructuur en providers tot en met de software en medewerkers die deze software gebruiken op de werkvloer.
Puur alleen dit feit al geeft je situaties die van te voren niet te voorzien zijn, want de mens is nu eenmaal een onlogisch "apparaat". Laat nu net die mens in alle lagen aanwezig zijn.

Je kunt op de infrastructuur en platform beheer specialisten hebben zitten welke gemiddeld genomen meer dan 10 stappen verder vooruit kunnen denken dan de gemiddelde systeembeheerder, nog steeds ben je afhankelijk van oncontroleerbare factoren. Een stuk software kan zo gebouwd worden dat het buiten de toegestane specificaties van het platform valt zonder dat een infra team dat doorheeft, tijdens een noodsituatie in de infrastructuur kan dat plotseling de kop op steken. De infra vangt het dan bijvoorbeeld feilloos op en draait door zoals bedacht, de fout is opgevangen. Maar doordat die software, gebouwd door een ander team, hier niet mee om kan gaan, kan een bedrijf alsnog plat liggen terwijl alle infra prima werkt. Alleen de software laag is kapot.
Uiteraard kan dit ook net andersom werken en er is vaak ook helemaal geen opzet in het spel. Het is gewoon onmogelijk om rekening te houden met menselijke onlogica en ondanks dat 99.9% is afgevangen en bedacht, zal er altijd weer een nieuwe gekke combinatie van factoren zijn waardoor er ergens iets fout zal gaan. Hoe goed je alles ook afdekt.

Dit soort berichten zullen altijd voor blijven komen zolang er mensen in het spel zijn.

[Reactie gewijzigd door drocona op 27 juli 2024 20:49]

Ik snap dat het bericht van ultimasnake misschien als aanvallend wordt ervaren door mensen, maar er zit helaas wel een stuk waarheid in; Er is in het ziekenhuis veel geïnvesteerd in klinische apparatuur, maar doorgaans heeft de ICT en de daarbij behorende infrastructuur aardig stilgestaan de afgelopen jaren "want die hebben we niet nodig om te kunnen opereren". En dat is waar het ziekenhuis zijn bestaansrecht vandaan haalt.
Even buiten beschouwing gehouden of hun infrastructuur en architectuur wel of niet voor elkaar is (en ik ga er persoonlijk vanuit van wel); het maakt veelal niet uit hoe redundant je dingen neerzet, hoeveel (pro/re)-actieve monitoring je daarop hebt of hoeveel failsafes je maakt, garanties afgeven kan niemand. Ik werk al een tijdje in de business en wat ik het vaakst zie bij klanten / werkgevers die spul het best voor elkaar hebben, is dat onderdelen net niet stuk genoeg gaan zodat de monitoring het laat zien, maar net wel stuk genoeg gaan om een groot gedeelte van je infra onderuit te schoppen. High availability engines komen vaak met valkuilen die veelal black boxes zijn (vooral bij hardware appliances zoals firewalls, switches, routers, loadbalancers etc.).

Ik ben erg benieuwd wat hier mis is gegaan, maar ik mag toch bij een UMC hopen dat het niet om onkunde gaat (al het oude gezegde; waar mensen werken worden fouten gemaakt).
dat onderdelen net niet stuk genoeg gaan zodat de monitoring het laat zien, maar net wel stuk genoeg gaan om een groot gedeelte van je infra onderuit te schoppen.
Dan klopt de monitoring simpelweg niet en dien je die te verbeteren.
Je monitoring verbeteren is een continu proces, maar je kunt nooit 100% afvangen. Vandaag verbeter je iets en morgen gaat er iets anders stuk. Verandert overigens niets aan mijn verhaal.
Bor Coördinator Frontpage Admins / FP Powermod @Bruin Poeper8 september 2022 14:30
Dit vind ik een nogal kortzichtige reactie. We weten ten eerste helemaal niet wat er precies aan de hand is. Ten tweede doe je met ICT middelen natuurlijk veel meer dan boekhouden. Denk aan zaken als het maken van afspraken, planningen, roosters, medicatie informatie bijhouden, het maken en bekijken van röntgen beelden en ga zo maar door. Ik vertrouw er op dat het UMC een goede risico overweging heeft gemaakt bij de keuze.

Op dit item kan niet meer gereageerd worden.