Nederlandse meldkamers hadden drie dagen last van 'instabiele ICT'

Door 'instabiele ICT' waren de 088- en 0900-nummers van meldkamers van verschillende regio's in Nederland vorige week drie dagen slecht of niet bereikbaar. Ook werkten een aantal meldkamersystemen soms niet.

Minister van justitie en veiligheid Ferd Grapperhaus informeert de Tweede Kamer in een brief over de ICT-storing. De problemen vonden plaats van 15 september tot aan het einde van de middag op donderdag 17 september. De ICT-verstoring had gevolgen voor de meldkamers Oost-Brabant, Noord-Holland, Zeeland-West-Brabant en Rotterdam.

De minister benadrukt dat het alarmnummer 112 en het communicatiesysteem C2000 niet zijn geraakt door de storing. Wel was ook het radiobediensysteem van de meldkamers getroffen, maar daarvoor waren genoeg alternatieven beschikbaar, aldus Grapperhaus. Ook is 'de kantoorautomatisering' van de politie verstoord geweest.

Inhoudelijke details over de storing staan niet in de brief. Volgens Grapperhaus was de oorzaak te herleiden naar 'een instabiliteit in de ICT-dienstverlening'. De Landelijke Meldkamer Samenwerking en dienst ICT van de politie doen verder onderzoek. Op dit moment zou de dienstverlening stabiel zijn.

Volgens Grapperhaus waren er 'op basis van eerdere onderzoeken' al acties in gang gezet om de 'stabiliteit en continuïteit van de politie- en meldkamersystemen' verder te verbeteren. Daar wordt nu met meer urgentie aan gewerkt.

Reacties (58)

Interesse vraagje: wie beheert deze meldkamers eigenlijk? En is dat centraal over alle meldkamers of regelt elke regio zijn eigen ICT ondersteuning?

https://www.landelijkemeldkamer.org/over-de-lms

Volgens mij worden de voorzieningen voor de meldkamer ontwikkeld door een team devOpsers voorheen onder leiding van Bert-jan Schrijvers. Iemand die ook voorzitter is bij de NL-JavaUserGroup.

Hij heeft meerdere talks gegeven op verschillende evenementen waar ik bij ben geweest over IT bij de politie.

Voor de meldkamers hadden ze dacht ik alles in eigen beheer tot de hardware in het datacentrum, maar zelfs daar hadden ze meer info over de systemen qua monitoring dan de persoon die af en toe een HDD moest vervangen. Best wel interessant. Draait allemaal op openstack en openshift.

Motto daar was “invest in people, not in software”. Alles is dan ook open source of zelf geschreven. Geen commerciële software.

Motto daar was “invest in people, not in software”. Alles is dan ook open source of zelf geschreven. Geen commerciële software.

Kun je dat laatste staven? Met een link naar de broncode, bijvoorbeeld? Dat vind ik wel interessant.

Nee dat kan ik niet. Is ook al weer een paar jaar geleden dat ik bij zo’n talk was hoor. Misschien kun je het via zijn GH pagina vinden?

Even snel rondkijkend vond ik in zijn repositories een fork van deze repo

Ik word er zo blij van, om te lezen dat het open source is!

We weten nu in ieder geval dat open source ook problemen kan geven. Hoeft die discussie ook niet meer gevoerd te worden over dat het beter is.

Dat is toch algemeen bekend? Software is mensenwerk, en waar mensen werken worden fouten gemaakt. Het voordeel van Open Source is (en dat komt wel elke keer naar boven) dat je een potentieel grotere groep mensen hebt die de fout kunnen vinden en kunnen oplossen. Zelfde geld voor security zaken e.d

Dat klopt, zodra je gebruik maakt van open source software heb je te maken met grote “communities” en dergelijke. Maar stel voor het project is opeens “verlaten” of niet meer van toepassing. Dan moet je als bedrijf grote interne aanpassingen maken binnen de architectuur. Maar dit geldt dus ook voor betaalde oplossingen (stel voor ze gaan falliet).

Open Source staat niet gelijk aan een grote community...

Zolang je gericht software ontwikkeld voor een bepaald doel. Wil niet zeggen dat dan een hele groep mensen die software wil of kan gebruiken...

We is het zo dat iedereen die interesse heeft kan kijken in de broncode en soms ook een verbetering kan adviseren.. Dat wil niet zeggen dat dit in de uiteindelijke build ook terecht komt..

Andere kant, als er iets gemaakt wordt dat voor heel veel toepassingen geschikt is en de software wordt populair... Maar doel van de software wordt verlaten of closed source.. Dan kan natuurlijk vanuit een fork verder gewerkt worden zie b.v. MySQL vs MariaDB

Ik bedoelde daarmee inderdaad zoals jij zegt de mensen die interesse hebben in de broncode, en geïnteresseerd zijn om een project mee te ontwikkelen.

Misschien had ik het beter kunnen zeggen "in de meeste gevallen heb je te maken met grote communities". Als voorbeeld bedoelde ik hier Ubuntu of Debian bij. Maar ook Nagios of andere open source projecten worden door grote groepen ontwikkeld.

Natuurlijk, het zelfde met heel veel projecten, Domoticz, Home Assistant, LibreOffice, PostgreSQL enz...

Als er interesse is in de software heb je meer ontwikkelaars die iets willen doen aan de applicatie. Is de usebase erg beperkt wat ik kan begrijpen voor een meldkamer.. Zou misschien Trigion, G4S e.d. Misschien mee willen ontwikkelen.. Gezien het om een gerichte oplossing gaat waar niet iedereen wat aan hebt..

Wat wel mooi is dat de community wel controle kan doen.. Zeg er komen problemen wordt nieuws.. zoals dit.. Gaan wel ineens andere mensen ook kijken wat ze aan het bouwen zijn.. Misschien komen daar dan weer bug fixes voor uit, of zelfs verbeteringen...

Pontentieel kan er veel.

LMS.

Mon

De meldkamers zijn elk verantwoordelijk voor hun eigen ICT. Sommige regio's hebben een samenwerkings verband. Echter doordat het eigen afdelingen zijn, valt de mate van samenwerking te betwisten. Niet elke medewerker wil graag naar de ICT afdeling van de andere meldkamer reizen om daar samen te werken.

Lekker vaag verhaal, er is dus 'iets' ,en dat is een negatief 'iets', en het raakt niet alles, maar wel wat dingen, en ze hadden al een onderzoek en dat hebben ze nu nog steeds. Zou zo'n brief een beetje indekken zijn, of is dat een normale gang van zaken?

Stel dat jij geen ITér bent, dan is zo'n brief gewoon kort, duidelijk en alles omvattend. Dus in feite perfect voor de tweede kamer. Van belang is dat je hier ook niet het nieuwsbericht leest maar het document zelf.

Moet de tweedekamer zich dan inhoudelijk buigen over deze kwestie? Details zou het juist een enorme vaagheid tot stand brengen en dan onschiet je ook het doel: openheid van zaken en informeren.

Voor een Tweaker / ITer is zo'n brief natuurlijk compleet nutteloos maar voor in feite een 'manager' wel heel relevant. Indien gewenst zou er een vervolg kunnen komen (lees: Mr Grapperhaus, geef eens wat meer details over de impact of whatever dat je wilt). Desnoods komen er kamervragen.

Die opties staan nu juist open om, maar dat kan alleen door deze openheid en opzet.

Ik bedoel meer dat de brief omschrijft dat ze het zelf ook niet weten en dat het onderzoek het ook niet weet. Dat de brief het niet inhoudelijk hoeft te omschrijven is begrijpelijk, maar helemaal niks communiceren helpt ook niet, behalve als aankondiging dat er later wat komt maar waar nu nog geen invloed op uit te oefenen is.

[Reactie gewijzigd door johnkeates op 26 september 2020 04:24]

De brief lijkt inderdaad te zeggen dat de oorzaak nog niet helemaal helder is. Er staat dat ze last hadden van "instabiele ICT", en dat ze "alles op alles hebben gezet" om de oorzaak te achterhalen. En vanaf donderdag 17 september heeft het probleem zich niet meer voorgedaan. Maar of dat door trial & error is gekomen, of dat ze daadwerkelijk de oorzaak hebben kunnen aanwijzen staat er niet concreet in.

"De oorzaak van de verstoringen is te herleiden naar een instabiliteit in de politie ICT-dienstverlening." Ja, elke storing is te herleiden naar een instabiliteit. En verderop: "Om toekomstige verstoringen te voorkomen, wordt op dit moment door de LMS en de dienst ICT van de politie verder onderzoek gedaan." Dat interpreteer ik als een herbevestiging.

Hier mogen best kritische vragen over gesteld, want 112 en C2000 horen gewoon solide en robuust te zijn.

112 en C2000 hadden hier dacht ik geen last van, maar centralisten konden andere diensten niet (of minder) gebruiken, zoals radiobediening (of hoe het ook heet).

[Reactie gewijzigd door johnkeates op 27 september 2020 21:52]

grappig dat hij het nog altijd een brief noemt, terwijl het een word-document is, of zouden ze nog zo antiek zijn in hun communicatie dat er letterlijk papier over en weer wordt gestuurd

Voor zover ik weet worden de brieven inderdaad per post verstuurd. Afhankelijk van hoe en wat loopt dit via een eigen koeriersdienst

De interdepartementale post en koeriersdienst om precies te zijn.
https://www.ubrijk.nl/service/ipkd

Het is nog steeds een brief als het als brief is opgesteld. Een brief hoeft niet van papier te zijn. Een brief bevat de geadresseerde, datum, onderwerp, aanhef, beschrijving, groet van afzender en verwijzingen maar eventuele bijlagen. Daarin onderscheid het zich van een Word document zoals bijvoorbeeld een ontwerp of product beschrijving.

Ik hoop niet dat ze zomaar random Word documenten heen en weer sturen, op z'n minst een digitaal ondertekende PDF ofzo.

nope, gewoon een editeerbare docx:
Verstoringen_ICT_politie_met_gevolgen_voor_meldkamers.docx

ze hebben wel de moeite gedaan om een template te gebruiken, maar veel properties zijn er niet ingevuld, zelfs geen author

[Reactie gewijzigd door dasiro op 26 september 2020 08:22]

Documenten worden digitaal beveiligd naar de tweede kamer gestuurd en zijn in te zien via tweedekamer.nl > kamerstukken.

De documenten zijn niet perse beveiligd, maar doordat de bron dat wel is (namelijk hun eigen omgeving), zijn ze wel verifieerbaar.

Deze specifieke brief is hier te vinden: https://www.tweedekamer.n...2020Z17311&did=2020D37448

[Reactie gewijzigd door jhnddy op 27 september 2020 12:01]

De oorzaak is denk ik niet zo heel ingewikkeld te vinden.

Waarschijnlijk zijn dit gewoon de naweeën van de regionale vastlopers de dag er voor. En heeft de rasmsomware aanval van 14sept toch meer impact gehad dan het eerst leek

nieuws: Ransomware treft systemen Veiligheidsregio Noord- en Oost-Gelderland

De Veiligheidsregio Noord- en Oost-Gelderland (VNOG) is zaterdag getroffen door een aanval met ransomware.

https://www.nu.nl/tech/60...ffen-door-ransomware.html

[Reactie gewijzigd door xbeam op 26 september 2020 12:56]

Dit is incorrect. Ik werk met en aan deze producten en hier zit geen verband tussen.

Toevallig is het wel. Een ding wat ik in de jaren geleerd heb is dat toeval niet bestaat of maar heel zelden echt toeval is.

Dat hoeft niet te betekenen dat de meldkamers geïnfecteerd zijn geweest.

Het zou bijv wel kunnen zijn dat ergens tussen de veiligheidsregio’s Congestie is geweest door bijv het terug of overzetten van back-ups en dat daarbij het VoIP verkeer in de verdrukking is gekomen.
https://nl.m.wikipedia.org/wiki/Congestie_(data)

Of dat uit voorzorg alle switches en routers van alle regio’s in het land zijn gerest naar fabrieksinstelling en opnieuw zijn ge-patch om er zeker van te zijn dat ze allemaal clean zijn. Daar is niets vreemd aan.

Ik roep zomaar even wat voorbeelden waarom deze issues met elkaar te maken zouden kunnen hebben. Zeker zo direct in elkaars velende (een dag na elkaar)

Maar als jij als beheerder van deze diensten werkt is het voor mij/ons als Iter’s /tweakers super interssant en leerzaam, als je iets meer uitleg kan geven waarom het niet gerelateerd of in het verlengde van elkaar ligt en wat er dan wel aan de hand was. En hoe jullie de ransomware gestopt en herstelt hebben. Ik zou het geweldig vinden als je daar samen met tweakers een artikel of webinar over zou kunnen makken/geven

[Reactie gewijzigd door xbeam op 26 september 2020 12:54]

Nogmaals, de ransomware bij de VNOG was een lokaal probleem van de veiligheidsregio en heeft niets te doen met de LMS. Deze is ook in de VNOG niet geraakt. Compleet gescheiden omgevingen. Je hebt geen weet van wat je zegt.

ik beweer en zeg niets he! De ransomware artiekelen van tweakers, nos en nu.nl over de ransomwareaanval op een de veiligheidsregio halen het LMS er bij niet ik. Ik stel alleen via wat suggestie op basis van die artikelen vragen om te begrijpen waarom het wel of niet met elklaar te maken kan hebben? Meer niet.
Dus iets vriendelijker mag wel.

Daarnaast geef ik toch duidelijk aan dat ik het super leuk zou vinden om eens een keer wat meer over de zero trust netwerk opbouw van de regio’s en lms leren. bijv via een artiekel of lezing of webinar over

[Reactie gewijzigd door xbeam op 27 september 2020 04:43]

Of dat uit voorzorg alle switches en routers van alle regio’s in het land zijn gerest naar fabrieksinstelling en opnieuw zijn ge-patch om er zeker van te zijn dat ze allemaal clean zijn. Daar is niets vreemd aan.

Heb je ooit mogen werken aan layer2-3 core switches van een gemiddeld overheids kantoor? Ik kan je melden dat je die dus niet even naar default fabrieksinstellingen reset. Ze gaan qua configuratie dan ook 'iets' verder dan je huis-tuin-en-keuken-router die je met voordeelzegels van je ISP krijgt.

Hij geeft toch aan dat het anders gaat dan een normale router/switch configuratie gaat? Jij en ik begrijpen heus wel dat het via die commando’s die jij specificeerd het ook zo lukt. Maar
voor de “algemene burger” het heel anders gaat. Beetje nutteloze reactie naar mijn idee...

Klopt, Misschien een beetje flauw om hem op deze manier te vertellen dat ik hem kan vertellen dat je daar 3 regels en een paar keer enter voor nodig hebt.

En dat zijn reactie dat het rocket science is om een bijv Cisco L3 switch wissen naar fabriek en dat je daarom niet zomaar bij de overheid preventief alle switches in het netwerk zou kunnen resetten/cleanen. Omdat anders dan gaat dan bij plakzegel isp router. Niet naar de algemene burger is maar mij. Maar zijn idee over dit omgevingen doet mij vermoeden dat hij zelf een alleen voordeel zegel ips router heeft. ;-)

Jij en ik weten dondersgoed dat wanneer de documentatie op orde is en aan gevuld met Snippets dit veel sneller kan dan bij al dat media-markt spul. En in het geval van een SDN hoef je bijna helemaal niets doen aangezien dit allemaal via de auto configure gaat.

Bij een hoog bedrijfs critici omgevingen is de enige beperking altijd het moment waarop. Niet de techniek.

[Reactie gewijzigd door xbeam op 27 september 2020 10:57]

Daar ben ik helemaal mee eens!

Zodra de documentatie goed is is het goed. En inderdaad in het bedrijfsleven is het moment, tijd en financiën plaatje een kritische succesfactor.

Ook Limburg had er last van. Probleem zat in de routering van de 088 nummers naar de achterliggende nummers. Hierdoor was de meldkamer niet bereikbaar voor bv huisartsen of ziekenhuizen. 112 en C2000 hadden geen problemen.

En nee, Tele2 verzorgt niet de lijnen maar KPN doet dit.

[Reactie gewijzigd door Incognitum op 25 september 2020 21:50]

Vreemd dat ze problemen hebben met de radio en dat het eigenlijk ligt aan het routing.

Blijkbaar is alles voor iedereen duidelijk, maar ben ik de enige die geen verband ziet.

Het niet berijdbaar zijn van telefoon nummers kan meerdere oorzaken hebben, bv bij de profider of bij de afnemer. Of daar tussen in, maar het lijkt me als er een radio probleem is dat men doelt op iets anders als telefonie .

Of te wel het bericht is misleidend

Wie heeft het over radio’s? Problemen waren er met telefonie en het probleem lag bij KPN. Geheel los van C2000/GMS.

Het kan ook te maken hebben gehad met een grote fiberbreuk bij rotterdam.
Die was op hetzelfde moment.
Wij misten ook 1 fiber pad.

De foutmelding die 0900-8844 gaf destijds, was zoiets als dit:

Het toestel van de ontvanger is niet aangemeld.

Dat duurde voor Oost-Brabant zeker een half uur.

En dan verwacht je toch eigenlijk wel dat dat soort diensten dubbel zijn uitgevoerd op alle it aspecten. Dus ook de telefoon leverancier met nog een andere als backup. Maar blijkbaar is dat moeilijk en duur.

Het is ook dubbel uitgevoerd. Maar je weet toch ook wel dat ook als het dubbel of driedubbel is uitgevoerd er nog steeds wel eens iets fout kan gaan. Geo-redundancy vereist ook software en bedrijfsprocessen. En die zijn ook niet 100% perfect.

Ik heb ooit eens een probleem gehad met een systeem waarbij we redundancy over 4sites hadden waarvan er 2 mochten uitvallen. En dan zit er een bug in de switches waarbij alle andere switches denken dat de andere actief is.

grappig: Oke, wie heeft er een TV uit ierland gekocht???

serieus: Hmm, kwalijke zaak dat zo iets kan gebeuren

Is het niet zo dat ze naar Tele2 zijn overgegaan een paar jaar geleden?

Imho nou niet de partij waar je graag zou willen zitten met zulke cruciale diensten....

https://dutchitchannel.nl...en-aan-rijksoverheid.html

Kennelijk al acht jaar, dan valt het dus allemaal wel mee.

[Reactie gewijzigd door Bongoarnhem op 25 september 2020 21:08]