Bedrijven, overheden en gemeenten schakelen Citrix-systemen uit voorzorg uit

Verschillende Nederlandse bedrijven, overheden en instellingen hebben hun Citrix-omgevingen volledig uitgeschakeld vanwege de veiligheid. Het Nationaal Cyber Security Centrum waarschuwt na recente incidenten dat dat de beste oplossing is.

Onder andere de Tweede Kamer heeft alle systemen uit voorzorg afgesloten, net als verschillende Nederlandse gemeenten. Het gaat daarbij onder andere om Amsterdam, Rotterdam en Tilburg. Ook bij Schiphol zijn alle Citrix-systemen uitgezet. Het gaat specifiek om de Citrix Application Delivery Controller en de Citrix Gateway Server. Die worden gebruikt door organisaties om werken van een afstand mogelijk te maken. Medewerkers van de bedrijven en overheidsinstellingen kunnen voorlopig dan ook niet thuiswerken. De systemen zijn offline gehaald uit voorzorg. Eind vorig jaar werd bekend dat er een kwetsbaarheid in de systemen zit waarmee een remote code execution mogelijk is. Eerder deze maand bleek dat er honderden kwetsbare servers in Nederland stonden. Er is nog geen patch beschikbaar voor dat lek. Naar verwachting komt die pas eind deze maand op z'n vroegst uit. Wel is er een mitigatie waardoor systeembeheerders het risico kunnen vermijden. Het Nederlands Nationaal Cyber Security Centrum waarschuwde eerder dat bedrijven die mitigatie moesten doorvoeren. Inmiddels raadt het NCSC aan de systemen helemaal uit te schakelen.

Eerder deze week maakten onder andere het Medisch Centrum Leeuwarden en de gemeente Zutphen bekend dat er hackpogingen waren gedaan op hun systemen. Het MCL maakte vandaag verder bekend dat er bij die hack geen patiëntgegevens zijn gestolen.

Reacties (211)

[Foxy66]

Gelukkig neemt Citrix de onduidelijkheid weg met;

https://www.citrix.com/bl...ix-gateway-vulnerability/

Beetje meer nuance in het bericht zou geen kwaad kunnen. Citrix heeft veel producten, dit betreft alleen de Netscaler.

Precies door het niet juist overnemen van berichten is er bij veel organisaties paniekvoetbal ontstaan, en hebben ze onnodig Netscalers uitgezet...

[Reactie gewijzigd door Foxy66 op 23 juli 2024 09:22]

[CAPSLOCK2000]

Gelukkig neemt Citrix de onduidelijkheid weg met;
https://www.citrix.com/bl...ix-gateway-vulnerability/

Beetje meer nuance in het bericht zou geen kwaad kunnen. Citrix heeft veel producten, dit betreft alleen de Netscaler.

Er is veel onduidelijkheid en dit bericht van Citrix is te weinig en te laat. Als de eerste fix goed had gewerkt had het anders gelegen, maar nadat die patch verscheen bleken er opnieuw systemen kwetsbaar te zijn. Nu lijkt het dat het daarmee is opgelost, maar in bovenstaande blogpost houdt Citrix zoveel slagen om de arm dat ik me er nog steeds niet prettig bij voel. Ten eerste geven ze aan dat het probleem groter is dan ze in eerste instantie dachten, ten tweede erkennen ze dat de fix niet blijkt te werken als je niet up-to-date bent. Ten slotte hinten ze dat er misschien nog een ander lek is ("exploits not involving the directory traversal method").

Extra bezwaar is dat de voorgestelde mitigatie me niet heel veel vertrouwen geeft. Die is namelijk gebaseerd op het matchen van strings als '/../' in URLs en dat is altijd een beetje een gevoelig punt. Hackers zijn door de jaren heen extreem bedreven geraakt in kunstjes om dat soort string-matchers te misleiden. Ik zeg niet dat ik weet hoe het in dit geval zou moeten, maar ik denk dat er een hoop hackers nu een "challenge accepted" gevoel hebben. Er zijn hele toolkits te krijgen om daar bij te helpen.

Ik snap dat NCSC op een gegeven moment heeft besloten om dit soort systemen zo veel mogelijk uit te zetten, er was veel onduidelijkheid en veel ophef. Na de situatie rond ransomware in Maastricht en problemen in Leeuwarden was iedereen erg nerveus. Ik snap wel dat men besloten heeft om voor veiligheid te gaan. Uiteindelijk is het niet meer dan een advies en zal iedere systeembeheerder voor zichzelf moeten besluiten of dit advies gevolgd moet worden of niet. Wie niet heel erg zeker van z'n zaak is kan maar beter het zekere voor het onzekere nemen.

[Reactie gewijzigd door CAPSLOCK2000 op 23 juli 2024 09:22]

[ijdod]

Z-CERT en VWS adviseren nu ook af te schakelen. Alleen die verwijzen weer naar NCSC. lekkere cirkelredenatie weer.
https://www.z-cert.nl/med...-kwetsbaarheid-in-de-zorg
https://www.rijksoverheid...heid-bij-zorginstellingen

En het wordt nu breder getrokken. AIVD wordt genoemd.
https://www.rijksoverheid...n-ernstige-gevolgen-heeft

Edit: typo

[Reactie gewijzigd door ijdod op 23 juli 2024 09:22]

[Motion2]

Dit is echt waanzin. Het NCSC slaat de plank hier volledig mis en veroorzaakt onnodig paniek.

Als je de mitigatie op tijd ( voor begin januari ) toe hebt gepast en niet een Netscaler hebt met versie 12.1 50.28 of lager is er NIKS aan de hand.

Het artikel van het NCSC is zo vaag geschreven dat vele organisaties hier verkeerde conclusies uit trekken.

[rdoorn]

NCSC vergeet te zeggen dat je ook gewoon een upgrade van citrix netscaler kan doen zodat deze mitigatie wel weer werkt. Maar welke overheid gaat om half vijf op vrijdag nog upgraden? Nee dan maar uitzetten, dan kan niemand werken dit weekend. (ambtenaren en vrijdagmiddag....
Het is ook alleen de nederlandse overheid die loopt te panieken. de rest van de wereld denkt, waarom deze paniek voor een lek dat al bijna een maand bekend is. Fox-it vind het ook al een storm in een glas water.https://fox-it.com/nl/act...t-citrix-advisory-update/

[Verwijderd]

inmiddels doet het NCSC dat wel.

https://www.ncsc.nl/actue...len-niet-altijd-effectief

Mocht het upgraden van uw Citrix-server niet mogelijk zijn

Daarnaast verwijzen ze ook gewoon naar de acties die Citrix zelf aanbeveelt:

Dit ter aanvulling op de maatregelen die Citrix op haar website adviseert.

1. Update to the refreshed "12.1 build 50.28/50.31" or later, OR
2. Apply the mitigation steps towards protecting the management interface as published in CTX267679. This will mitigate attacks, not just on the management interface but on ALL interfaces including Gateway and AAA virtual IPs

zoals te lezen op:
https://support.citrix.com/article/CTX267027

Dus in principe vergeet het NCSC helemaal niet te zeggen dat je ook gewoon kan upgraden.
Ze geven alleen tips voor het geval je niet kan/wil upgraden.

Samenvatting: NCSC verwijst dus gewoon naar wat Citrix zegt (upgraden) maar raadt aan om het spul uit te zetten als je niet kan/wil upgraden, om te voorkomen dat je gehacked wordt want het lek wordt actief misbruikt momenteel.
DAT is wat het NCSC zegt.

Indien niet upgraden/mitigeren, dan uitzetten, want waarom zou je je voordeur onnodig open laten staan?

[Reactie gewijzigd door Verwijderd op 23 juli 2024 09:22]

[spoller]

Ik lees anders (eerste zin artikel)

Het NCSC raadt u aan Citrix ADC en Citrix Gateway servers uit te schakelen.

De paniek ontstaat door de ongenuanceerdheid van NCSC. Fox IT is wél genuanceerd, en schrijft:

It’s unclear to Fox-IT, based on the article of NCSC NL, whether the mitigation steps aren’t an adequate solution for all vulnerable Citrix devices that are vulnerable for CVE-2019-19781, or whether this only applies to Citrix ADC releases 12.1 with builds before build 50.31, or builds before 51.16/51.19. Fox-IT hasn’t observed any detailed information from NCSC that confirms/rejects the statement of NCSC NL in general. In one of our investigations we have seen that implementing the supplied technical measurements by Citrix, resulted in a specific Citrix ADC product no longer being vulnerable to the currently public available exploit. Therefore it remains difficult for Fox-IT to validate the accuracy with the lack of technical details of this statement in general and we are recommending the earlier mentioned mitigation scenarios provided by Citrix nonetheless.

Overigens ligt de feitelijke oorzaak van de commotie bij Citrix zelf, want die lieten in hun oorspronkelijke versie van hun artikel over de kwetsbaarheid veel onduidelijkheid. Inmiddels is dat bijgewerkt. De CISO van Citrix zegt nu het volgende:

Our testing and input from customers indicate that the mitigations are effective across all known scenarios if all steps are completed, including upgrading from 12.1 build 50.28 or, alternatively, applying the mitigation to the management interface

Gezien de rol van het NCSC, overigens een normaal gesproken gerenommeerde instantie, had ik meer nuance hier echt op zijn plaats gevonden. De informatie was er, ook 16 Januari al, je moest alleen goed lezen. Maar dat mag je van zo'n organisatie verwachten.

[Reactie gewijzigd door spoller op 23 juli 2024 09:22]

[Verwijderd]

als Citrix in oorspronkelijke versies van hun artikel ook niet duidelijk waren, dan was er dus ook onduidelijkheid bij het NCSC.

Dat is nu dus zowel bij Citrix als bij NCSC weggenomen omdat nu ook het NCSC gewoon zegt: 'upgraden en miti, en als je dat niet kan/wil, dan advies om uit te zetten'.
Zo simpel is het.

[spoller]

Als het mij lukt om helderheid te krijgen uit de oorspronkelijke aritekelen van Citrix, dan mag datzelfde zeker verwachten van het NCSC want het is hun rol.

En wat heel simpel is, is de openingszin (van vanochtend) van het artikel van het NCSC

Het NCSC raadt u aan Citrix ADC en Citrix Gateway servers uit te schakelen.

Dat was met de kennis van een paar dagen geleden geen juist statement, en vandaag de dag is het dat al helemaal niet. Zo simpel is het.

[ultimasnake]

Volgens mij is al gebleken dat in bepaalde gevallen de mitigatie niet voldoende bleek. Wat heb je liever als instelling dat je tegen het advies in wordt gehacked met alle gevolgen van dien (dit zijn allemaal bedrijven met enorme hoeveelheden gevoelige persoonsgegevens) of heb je liever dat tot de patch je personeel gewoon op kantoor moet verschijnen....

Roepen ze niets of doen ze te weinig staan we ook te toeteren en schreeuwen. Is er eindelijk een ‘neem het zeker voor het onzekere’ beleid is het weer niet goed

[ijdod]

Dat een Security Officer of CIO deze call maakt op basis van NCSC et al, is niet het probleem, dat is begrijpelijk. Het blijft echter een feit dat het advies niet bijzonder sterk onderbouwd is. De cruciale vraag wordt simpelweg niet beantwoord: zijn er concrete aanwijzigen dat een Netscaler die aan de gestelde punten voldoet, daadwerkelijk kwetsbaar is gebleken?

Het risico bestaat daardoor dat ze een volgende keer minder serieus genomen worden.

[ultimasnake]

Maar zelfs Citrix lijkt in deze niet het juiste antwoord te kunnen geven, hoe kunnen wij dat dan van de ncsc verwachten?

[AddictIT]

Vandaar dat het belangrijk is om genuanceerde informatie te geven. Een bericht van NCSC wordt opgepikt door op sensatie beluste media die het alleen maar erger maken. Met de huidige situatie tot gevolg.

[tweaker2010]

De cruciale vraag wordt simpelweg niet beantwoord: zijn er concrete aanwijzigen dat een Netscaler die aan de gestelde punten voldoet, daadwerkelijk kwetsbaar is gebleken?

Die vraag is wel beantwoord. Namelijk dat bedrijven actie ondernemen als hackers tot op de deurmat zijn geweest, maar nog niet binnen zijn geweest. De media roepen zelf dingen waar ze totaal geen verstand van hebben. Zoals ook deze week op BNR het interview met het ziekenhuis.

[ijdod]

Het is me niet duidelijk wat je bedoelt. Hackers komen dagelijks tot op de deurmat. De feiten zijn duidelijk, de kwetsbaarheden ook. Het NCSC advies strookt daar helemaal niet mee; het advies mist een puzzelstuk: namelijk concrete aanwijzingen dat de feiten anders zijn dan bekend (dat systemen dus *toch* kwetsbaar zijn). Dat *kan* uiteraard, maar kom dan naar buiten met die informatie.

[tweaker2010]

Waarom zou het NCSC hun kennis (die ze van de AIVD hebben ontvangen) delen met de buitenwereld?

[ijdod]

Omdat je een beveiligingsadvies op waarde moet kunnen schatten. Bijkomstigheid is dat de rest van de wereld zich duidelijk minder zorgen maakt. Het NCSC advies is inmiddels ook al weer iets afgeschaald.

'Because I say so, trust me' is geen valide security uitgangspunt. Een paar partijen neem je serieus, maar dat is wel iets wat verdient moet worden, en zeker zo belangrijk, zeer zorgvuldig gebruikt. De NCSC stelling voldoet daar niet aan. Het risico wat je dan loopt is dat de volgende keer, als het WEL nodig is, men het NCSC advies naast zich neerlegt.

[spoller]

Dat "neem het zekere voor het onzekere beleid" is in deze niet nodig, want er is goede informatie beschikbaar over wanneer je wel en niet je omgeving moet uitzetten. Zeker omdat de business impact van uitzetten zeer fors is, had het NCSC hier een betere afweging kunnen én moeten maken

[Motion2]

Dit! Thanks voor het delen van het Fox-it statement.
Dit sluit volledig aan bij mijn statement, de mitigatie werkt naar behoren behalve (soms niet) voor enkele oude versies maar een simpele upgrade verhelpt dit.

Waar het NCSC hun verhaal op baseerd staat nergens en geeft veel onrust.

[Verwijderd]

of bedrijven wachten gewoon even tot de patches er zijn. Kan ook he.

Het is maar een Netscaler. Dan ben je maar even minder goed bereikbaar.

[TheGabeMan]

Vergeet ook niet de bedrijven die hun Citrix farm in de Cloud hebben staan achter een Netscaler. Dan heeft naar kantoor komen ook weinig zin.

[CPM]

En jij denkt dat bij grote bedrijven de Netscaler alleen voor Citrix is?

[Verwijderd]

nee dat denk ik niet.
Wij gebruiken het ook voor de login van onze webmail.
Die doet het nu ook niet.
Maar is geen probleem. Gebruik je even geen webmail vanuit extern, maar alleen intern.

Alleen bedrijven die hun hele hebben en houden in een externe cloud achter een netscaler hebben staan hebben een probleem.
De rest wordt slechts gehinderd in extern werken.

[spoller]

Wat je veel ziet is dat, als organisaties Citrix gebruiken, ze ook Netscalers hebben. Als die er toch staan, dan lopen zo'n beetje alle externe verbindingen over de Netscaler heen. Daarmee wordt de business impact al snel heel fors als je de Netscalers uitzet. Dat gaat veel harder dan alleen een tijdje niet kunnen telewerken op een remote desktop.

[pe0mot]

Dank voor deze link.
Het is helder en voorkomt alle paniek reacties zonder onderbouwing.

[ijdod]

Die link is van voor de laatse uidates van NSCS en Z-CERT. De Laatste NSCS update (17/1 23:09 zegt in feite zet hem uit tenzij je echt niet anders kan.

[SkyStreaker]

Ah, vandaar dat werk.nl eruit ligt?

[dwizzy]

De mitigatie waar je over spreekt, schijnt niet afdoende te zijn. Wat ik begrijp is dat zelfs met de laatste patch en adviezen van Citrix, je toch kwetsbaar blijkt te blijven.

[Motion2]

Nee dit is dus wat absoluut niet klopt. als je de mitigatie toepast en niet de aangegeven builds gebruikt alles in orde is.

De media heeft hier compleet verkeerd over gerapporteerd, de bedrijven die geraakt zijn hierdoor hebben domweg niet op tijd de mitigatie toegepast.

[Reactie gewijzigd door Motion2 op 23 juli 2024 09:22]

[dwizzy]

Dan ben ik benieuwd aan welke binnenkant je zit

Niet op tijd de mitigatie toegepast, of wel de mitigatie toegepast maar nog in de veronderstelling dat ze desondanks kwetsbaar zijn?

[Motion2]

Ik heb deze week veel klanten hierin geholpen en geadviseerd, daarnaast veel contacten binnen deze wereld en kan je zeggen dat er inmiddels echt wel voldoende is getest met de mitigerende maatregelen om met zekerheid te zeggen dat het lek gedicht wordt met de mitigatie.
Uiteraard met een nieuwe firmware wordt het lek pas daadwerkelijk verholpen.

[Reactie gewijzigd door Motion2 op 23 juli 2024 09:22]

[batjes]

Het lek wordt niet volledig gedicht. Hier draaien de security afdelingen overuren met het 24/7 monitoren van de systemen. Het is dusdanig gedicht dat je -als het goed is- niet ongezien meer binnenkomt.

[Motion2]

Ik zeg ook niet dat het lek gedicht is, ik zeg alleen dat je het lek niet meer kan bereiken met de mitigatie.
Het lek zit namelijk in de mogelijkheid om bij een perl script te komen die aangeboden door wordt Apache. Met de mitigatie zorg je ervoor dat de exploits (en de URLs + headers) die ze hiervoor gebruiken om op de ADC binnen te komen Apache niet meer bereiken.
De ADC geeft op deze URLs een 403 terug voordat het verkeer ook maar bij Apache komt.

[Reactie gewijzigd door Motion2 op 23 juli 2024 09:22]

[Arfman]

Je zegt letterlijk "er inmiddels echt wel voldoende is getest met de mitigerende maatregelen om met zekerheid te zeggen dat het lek gedicht wordt met de mitigatie." Vervolgens is het lek weer niet gedicht.

Dit is precies de reden dat het NCSC gezegd heeft "uit met die handel" want het lijkt alsof je van niemand (zelfs Citrix zelf niet) een eenduidig antwoord krijgt.

[ijdod]

Niet helemaal mee eens. Van Citrix is er een vrij consistent, eenduidig verhaal. Alleen hebben zij weinig moeite genomen om de rondzingende geruchten de kop in te drukken (o.a. door te weinig/te laat concrete informatie of de exploits en hoe te testen). Juist NCSC maakt het verhaal hier onduidelijk mt steeds wijzigende updates. Ze schermen met AIVD (weten die meer, of zeggen die alleen maar 'uit is veilig' wat uiteraard klopt, duh), maken onduidelijke statements, en escaleren. De ministeries en instanties als Z-CERT komen daar weer overheen. Ze verwijzen allemaal naar elkaar, maar concrete informatie dat een systeem wat op tijd gemitigeerd is, en niet een van de bekende kwetsbare releases draait, en toch gehacked is heb ik nog niet voorbij zien komen.

Een tweede punt: iedereen zet nu in op de formele patch van Citrix... als we de mitigatie informatie van Citrix niet vertrouwen, vertrouwen we dan wel de claim van Citrix dat de patch werkt? Als dit simpel te testen is, kan dat met de mitigatie immers ook.

[ijdod]

Het lek is dichtgeplakt, en je kwam sowieso niet ongezien binnen (of genuanceerder: niet zonder sporen na te laten). Voor een security exploit is dit een vrij zichtbare.

[Tr1pke]

Ik werk voor een bedrijf die heel veel kennis heeft van dit product


Dus je bent eigenlijk geen insider ...

[quorumz]

Ik weet niet aan welke binnenkant je idd zit maar wat mij betreft is Citrix te laks geweest om gedurende de kerst periode zijn medewerkers aan het werk te zitten om dit gelijk fixen. (ik vind het opvallen dat niemand over citrix zelf begint hoe slecht ze dit doen... hmm waren ze zelf een tijd geleden ook niet 6 maanden lang geinfiltreeerd geweest?.. https://techcrunch.com/20...83dnFNdgfCPRaPkpcR5teyF3U

Citrix mag wel met goede campagnes gaan komen, welk citrix product is next?

[ijdod]

Dat wordt zeker wel besproken, maar daar heb je vrij weinig aan als je nu een issue hebt. Dan is de vraag vooral 'is de mitigatie voldoende'.

[spoller]

"schijnt", "naar ik begrijp". Dat is precies waarom zoveel CIOs nu besluiten hun systemen uit te zetten. Op basis van halve feiten en hele onwaarheden.

[xSNAKEX]

nieuws: Advies NCSC: overweeg Citrix ADC- en Gateway-servers uit te schakelen
Mis ik iets? Die patch komt toch pas over een paar dagen uit? Zoals Arnord hier onder ook zegt.

[Reactie gewijzigd door xSNAKEX op 23 juli 2024 09:22]

[Motion2]

Er is inderdaad op dit moment geen patch voor het lek maar enkel een mitigatie.
Helaas is er een versie waarbij de mitigatie (een policy) soms niet goed kan werken door een bug in de policy processing engine. Hiervoor is WEL een patch (al hele lange tijd uit).

De eerste patches voor het lek worden vanaf 20 januari verwacht.

[Verwijderd]

zeg mister insider, anders bel je even met het NCSC om te zeggen dat ze het fout hebben.

Je zorgt hier met je posts zelf voor onduidelijkheid:

- je zegt dat het lek gedicht is (17 januari 2020 20:14) door de mitigatie
- en toch is het lek niet gedicht (uiteraard want geen patch) maar slechts een mitigatie

Dus wat is het nou?
Is het lek gedicht of niet?
Antwoord: neen. (want de echte patches komen dus nog, en als de patches nog komen, is het dus nog niet ECHT gedicht, anders waren die patches niet nodig )

Is de mitigatie afdoende?
Antwoord: niet altijd. Want versies/bugs.

Dus gaan bedrijven kijken wat voor versies ze hebben.
En wie weet komt er nog wel meer informatie boven water, dat later blijkt dat toch meer versies last hebben of dat er toch nog meer achter weg kwam waardoor bijv. die mitigatie niet helpt of wat dan ook.

Citrix schijnt zelf aan te geven dat ze niets kunnen garanderen en dat men het beste het spul uit kan zetten. (edit: lijkt erop dat het NCSC dit doet, en niet Citrix zelf. Hoe het ook zij: ik vind het prima als het NCSC leidend is).

In de ideale wereld heeft elk bedrijf altijd direct de laatste versies van alle systemen.
Helaas leven we niet in een ideale wereld.

Als beheerder ben je echter medeverantwoordelijk voor je netwerk en alle data die daarin rondgaat.
Kan je nog zo'n dikke insider zijn en stellen dat het allemaal wel meevalt... er zijn genoeg bedrijven die liever het zekere voor het onzekere nemen en niet hun data kwetsbaar opstellen omdat jij vindt dat het allemaal wel meevalt ;-)

En dus gaat de Netscaler gewoon doodleuk uit totdat de officiele patches er zijn.
Komen mensen maar naar kantoor om op Citrix te werken

[Reactie gewijzigd door Verwijderd op 23 juli 2024 09:22]

[HollowGamer]

Waar zegt Citrix dat je hun service best niet kunt gebruiken?

Ik weet niet hoe serieus jullie bedrijf is, maar er zijn genoeg medewerkers die remote werken, denk ook aan sale en internationale zaken. Zelf heb ik ook een tijd over Citrix gewerkt toen ik ziek was en met een token ging dat altijd prima.

Je kunt dus niet zomaar verwachten dat iedereen maar op kantoor komt zitten. Neem daar ook het milieu in mee, want daardoor hoeft niet iedereen de weg op.

Overigens heeft Citrix instructies gepost en die lijken voldoende om misbruik te stoppen. Het is best complexe software, en ik kan je nu al verklappen dat er meer gaten in hedendaagse software zijn die (kunnen) worden misbruikt, maar door goede maatregelen wel stukken moeilijker te bereiken zijn.

[Verwijderd]

Hm het is het NCSC die dat zegt inderdaad. Maar goed dat zal zijn op basis van het feit dat niet alle versies afdoende zijn beschermd met de mitigatie. En dat er dus geen eenduidig antwoord is nog. Tot die tijd moet elk bedrijf dus zelf inschatten wat handig is voor ze.
Overheden volgen graag de landelijke lijn in dit soort dingen. Better safe than sorry.
En op zich niets mis mee. Hoog tijd dat overheden inderdaad beter contact met elkaar hebben en gezamenlijk optrekken.
Beter een eenduidige storm in een glas water dan een wirwar van gehackte overheden met alle gevolgen van dien.

We hebben een noodoplossing voor mensen die echt extern moeten werken ook in het weekend en 's nachts.
Die hoeven niet via de Netscaler maar komen op een andere manier op het interne netwerk, inclusief Citrix.

Maar die oplossing gaan we niet voor alle medewerkers doorvoeren. Hoeft ook helemaal niet want de kritieke externwerkers zijn de wachtdienstmedewerkers zelf en dat zijn er maar een handvol. Nog geen 10% van de gehele organisatie.
Die overige 90% kunnen prima naar het hoofdkantoor komen overdag, of indien echt nodig naar een dichtstbijzijnde kleine vestiging in de buurt.

En natuurlijk gaat het werken met Citrix en token altijd prima.
Maar nu dus even niet.
Na de aanval op Medisch Centrum Leeuwarden vinden we het wel prima en volgen we gewoon het NCSC.
Milieu enzo, uiteraard, maar de wereld vergaat niet als je niet thuis kan werken voor een weekje.
Als de boel over de gehele linie gefixed is, wordt alles weer normaal.
Het is niet alsof bedrijven voor altijd hun Netscaler uitgezet hebben

[Reactie gewijzigd door Verwijderd op 23 juli 2024 09:22]

[ijdod]

De kritiek die velen op het NSCS hebben, voor dit advies, is dat niet duidelijk is hoe ze tot hun conclusies komen. Dat is ook waar de elders gepubliceerde FOX-IT mededeling in feite over gaat.

Err on the side of caution is prima, maar de informatie is mager.

[Verwijderd]

het idee is dat het lek al in december bekend was.
Maar blijkbaar pas deze week kwam het nieuws langs bij de waterkoeler dat die mitigation dus niet bij alle versies helpt.

En dan wordt het anders.

Dan ontstaat er dus verwarring en gaan bedrijven dus twijfelen.
De onduidelijkheid die dan ontstaat lijkt mij een natuurlijk fenomeen en dan kan je op eigen houtje vanalles gaan beslissen en denken/stellen/opperen, of men zoekt naar een leider hierin voor advies, en het lijkt mij dat dat een van de doelen is van het NCSC. Prima. En het NCSC is ook niet perfect maar ik vind het wel goed dat er inmiddels een NCSC is.
Better safe than sorry.

En dan blijkt wel weer: zo belangrijk is thuiswerken niet voor veel bedrijven.
Tenminste niet voor het gros van hun medewerkers.
Het kleine aantal die dat wel moet, daar vindt men wel een oplossing voor, maar tot de daadwerkelijke patches zet men gewoon de netscaler uit.
En dat kan prima.
Niemand wil toegevoegd worden aan de lijst met MCL en Zutphen

[Reactie gewijzigd door Verwijderd op 23 juli 2024 09:22]

[ijdod]

> En dan wordt het anders

Daar verschillen we dan over van mening. De reden dat die release het niet deed was vrij snel duidelijk. Die release was ook een jaar geleden al teruggetrokken. Dat is totaal iets anders dan '$random_release is om onduidelijke redenen nog kwestbaar'. In dat geval zou ik het met je eens zijn.

[ijdod]

> Is de mitigatie afdoende?
> Antwoord: niet altijd. Want versies/bugs.

Even flauw:

Is een patch voldiende?
Antwoord: niet altijd. Want versies/bugs.

[Verwijderd]

in dit geval betreft het gewoon een paar settings die als mitigation werken maar het lek niet dichten.
Het gebrek aan een patch is dus wat er momenteel speelt.
Als er wel een patch is, geeft dat in elk geval meer vertrouwen.

[ijdod]

Dat is semantiek. Mitigation is de normaalste zaak van de wereld. Sowieso weet je niet of een 'patch' daadwerkelijk een fix van de onderliggende problemen is, of een standaard geactiveerde setting zoals nu in de mitigatie gedaan wordt.

Het punt is simpelweg: is het systeem kwetsbaar ja of nee. Het maakt voor 'nee' niet uit hoe dit bereikt wordt. Hell, een firewall is een groot mitigatieplatform, net als een WAF.

Dat wil niet zeggen dat het onderliggende probleem niet gefixt dient te worden, maar er wordt nu enorm gefocust op die patch. Zolang je niet concrete informatie hebt dat de beschreven mitigatie niet werkt (en die ben ik nog niet tegen gekomen), voegt die patch daaraan niets toe. Niet in de laatste plaatst omdat die ook met zijn eigen mogelijke issues gaat komen.

[spoller]

Wie zorgt hier nu voor onduidelijkheid?

Citrix schijnt zelf aan te geven dat ze niets kunnen garanderen en dat men het beste het spul uit kan zetten. (edit: lijkt erop dat het NCSC dit doet, en niet Citrix zelf. Hoe het ook zij: ik vind het prima als het NCSC leidend is).

Je houdt een slag om de arm met 'schijnt'. Maar Citrix zegt dit helemaal niet. Wat ze wel zeggen is dit

Our testing and input from customers indicate that the mitigations are effective across all known scenarios if all steps are completed, including upgrading from 12.1 build 50.28 or, alternatively, applying the mitigation to the management interface

En dat is redelijk helder.

[Verwijderd]

klopt, maar dat was dus, zoals je aangaf in je eerdere post, wel een correctie op eerdere berichtgeving.

De duidelijkheid rondom versies etc. kwam pas rond 16 januari, en niet in december al.

[spoller]

Dat heb ik helemaal niet gezegd. Citrix heeft niets gecorrigeerd, wel hebben ze onduidelijkheden weggenomen in de oorspronkelijke tekst. Of je dan Citrix moet verwijten dat ze in beginsel niet super helder hebben gecommuniceerd, of het NCSC -en vele anderen- dat ze niet goed hebben gelezen laat ik in het midden. Ik denk dat beide partijen daarbij zijn geweest.

Maar mijn punt is dat ik je post hypocriet vind. Je verwijt een ander onduidelijkheid terwijl je zelf meedoet aan het vergroten van de verwarring door te posten op basis van halve feiten en hele vermoedens, in plaats van te blijven bij de feiten. En dat is in dit soort berichtgeving, zeker gezien de potentiele implicaties, in mijn ervaring uitermate belangrijk.

[eelco74]

Nee citrix heeft inmiddels hun adviezen een aantal keren aangepast, waardoor ze ook zelf onduidelijkheden hebben veroorzaakt. De mitigatie maatregelen waren vanaf het begin af al bekend dat ze mogelijk niet afdoende waren, veel later bleek dat ook de versie belangrijk was ivm de maatregelen.

[Motion2]

Op zich is het statement van Citrix niet heel erg verandert, ze hebben vanaf 18 december al aangegeven dat men een mitigatie moet toepassen. Deze werkt ook naar behoren.
Echter is er gebleken dat een oude bug (klanten hadden al lang moeten upgraden!) in sommige gevallen er voor kan zorgen dat de mitigatie niet werkt.

[galaumiy]

Politieke partijen willen de advies van NCSC opvolgen. Dit geldt ook voor security officers.

[Reactie gewijzigd door galaumiy op 23 juli 2024 09:22]

[ijdod]

Dat is evident. Het risico is alleen 'err on the side of caution' op zich wel werkt, maar je wel een hoop credit kost. Het geschetste risico is vooralsnog niet heel zwaar onderbouwd.

[Reactie gewijzigd door ijdod op 23 juli 2024 09:22]

[spoller]

Niet alleen politieke partijen, eigenlijk alle (semi-)overheidsinstanties. De logica daarachter is simpel: NCSC is een onderdeel van het ministerie van Justitie. Als je doet wat het NCSC adviseert kun je het als CIO bij de overheid niet verkeerd doen. Dan is voor de zekerheid alles maar platleggen een risicoloos scenario. Hoef je je ook geen zorgen te maken over mogelijke business impact.

[kodak]

Als je stelt dat iets waanzin is en er niets aan de hand is kan je dan ook uitleggen waarom er niks aan de hand zou zijn? Het lijkt mij namelijk ook te makkelijk om negatief te doen en ondertussen net zo vaag te zijn.

[PostyMcPostface]

Dan hebben de betreffende Nederlandse bedrijven, overheden en instellingen hun beveiligingsplaatje gewoonweg niet op orde. Dat durf ik heel stellig te zeggen.

Het is natuurlijk sowieso van de zotte om al je beveiliging toe te vertrouwen aan een enkele vendor. Als daar eens wat lek in is (zoals nu), dan ben je inderdaad de sjaak. Dat kun je heel simpel voorkomen door gewoon twee technieken te gebruiken voor authenticatie. Als je in het netwerk kan komen maar daarna nergens bij kan zonder verder te moeten authenticeren, is een mogelijkheid. Of hang de hele handel achter een VPN. Het maakt niet uit, het punt is dat je het ene gat met de volgende blokkade al in principe voldoende mitigeert Defense in Depth is geen nieuw concept en had hier een hoop gedoe mee kunnen voorkomen

Overigens hekel ik sowieso het feit dat een desktopvirtualisatiesysteem als Citrix van buiten benaderbaar moet zijn. Dat gebeurt typisch bij organisaties waarbij je verplicht moet inbellen naar een Citrix-werkplek om interne applicaties te mogen benaderen. Dat kan echter ook prima met een simpele VPN-constructie. De voornaamste reden die gegeven wordt om dat niet te doen is omdat je de laptop van de eindgebruiker niet zou kunnen vertrouwen. Dat klopt wel, maar in principe kun je de eindgebruiker met een virtueel werkstation óók niet vertrouwen. Ook je interne LAN is in principe een untrusted zone! Hou je dat principe aan dan richt je de beveiliging van je interne applicaties in alsof ze rechtstreeks aan het internet hangen. Dan is de eindgebruiker met een eigen device ook geen probleem meer, en had je helemaal geen Citrix aan het internet hoeven hangen.

Het is jammer dat het echte leven helaas niet zo werkt. In de praktijk krijgt de afdeling kantoorautomatisering structureel te weinig tijd en/of budget. Dan is het inderdaad minder of zelfs geen prioriteit om je interne netwerk goed te beveiligen. Zelfs dan vind ik het alsnog bijzonder onverantwoord er nog zoveel organisaties vertrouwen op een enkele magische pil van een grote vendor waar je alles wel veilig achter zou kunnen zetten.

[Phntm]

Jouw bericht slaat de spijker compleet mis. Er is een reden waarom vele bedrijven/overheden je noemt het maar blijven steken op bepaalde versies. Citrix bijvoorbeeld hanteert LTSR updates voor haar klanten. Deze worden door hun zelf aangeraden om te gebruiken i.c.m. bepaalde contracten en licenties die zij uitgeven. De Rijksoverheid kent vele, vele, vele medewerkers (ambtenaren) ca. 100k!!!! Dat is zo een gigantische schaal. Tuurlijk heb je dan oplossingen als Citrix nodig om een hele farm aan te sturen en iedereen te voorzien van een digitale werkplek die tevens ook benaderbaar is op alle devices die de Citrix Workspace app ondersteunen, zoals een chromebook. Echter zijn ze echt niet dom zoals jij insinueert middels je bericht. Ze hebben heus een VPN van een andere aanbieder er tussen hangen als je extern verbindt, je bent immers dan via een untrusted verbinding binnen, en je valt dan ook in een aparte IP reeks.. Echter is het zo dat de bedrijven en dergelijk geen vertrouwen hebben in de mitigatie die aangeboden is door Citrix zelf. En dat kan je hebben als klant. Je referreert ook zelfs naar Defense in Depth, maar vergeet vervolgens zelf dat absolute defense of perfect security (of hoe je het ook wilt noemen) NIET bestaat. Dat is één van de eerste dingen die je leert met security. Overigens zou ik persoonlijk niet kantoorautomatisering de afdeling maken die nog ook eens gaat over security of het inregelen van werkomgevingen... ik heb dan liever een afdeling die bestaat uit werkplek specialisten.

De overheid heeft iets wat de mobiele werkplek heet. Dit kan op vele andere manieren worden aangeboden. Maar citrix biedt daarvoor een vrij goed totaalpakket voor die ook te beheren valt mits je tien duizenden ambtenaren moet voorzien van een omgeving. Men werkt tegenwoordig niet meer alleen op kantoor, maar thuis, buiten (zie agentschappen zoals NVWA bv) en ga zo maar door. Dit leidt natuurlijk weer tot een ander gespreksonderwerp (wil je wel overal je werk kunnen doen?) maar daar gaat het niet om.

Ik begrijp dat het je mening is, maar je probeert deze wel zo over te brengen op een manier die doet klinken alsof alle bedrijven, (lokale) overheden en instellingen achterlijk zijn dat zij uberhaupt Citrix gebruiken om te werken.

[PostyMcPostface]

Ik ben het compleet met je betoog eens, maar ik begrijp niet waarom dit mijn stelling weerlegt? Wanneer een organisatie "heus een VPN van een andere aanbieder er tussen [heeft] hangen als je extern verbindt", is de betreffende kwetsbaarheid nagenoeg onmogelijk om te misbruiken, immers, de betreffende software is niet benaderbaar vanuit 'buiten'.

Natuurlijk zit een grote organisatie op een LTS-cyclus. En is daar een update voor, ga ik er vanuit dat die ook eerst intern getest wordt voordat dit naar productie gaat. Dat kost tijd, en dat begrijp ik ook. Dat is helemaal prima, daar heb ik dan ook geen woord over gerept.

Met Citrix zelf heb ik ook geen problemen. Ik hekel echter wel het gebruik van Citrix als magische pil: "Stop het hele netwerk maar achter een inbelwerkplek en hup thuiswerken is gefaciliteerd en beveiliging regelt Citrix wel".

Het verplichten van een inbelconstructie kan een bewuste keuze zijn om allerlei andere redenen, maar ik zie toch vaak dat het wordt ge-/misbruikt als een grote toegangspoort. Als dat dan ook direct de enige toegangspoort is, dan vind ik simpelweg dat je beveiliging niet op orde is. Zet er een poort voor, of na. In jouw voorbeeld van een VPN zou het helemaal niet nodig zijn om Citrix in geheel uit te schakelen, immers, die is vanuit het grote boze WAN uberhaupt niet benaderbaar.

[Reactie gewijzigd door PostyMcPostface op 23 juli 2024 09:22]

[Paul]

Wanneer een organisatie "heus een VPN van een andere aanbieder er tussen [heeft] hangen als je extern verbindt", is de betreffende kwetsbaarheid nagenoeg onmogelijk om te misbruiken

Er is altijd een eerste punt van verbinding. In dit geval is de ADC / Netscaler / Gateway dat eerste punt. Wat jij graag wil is dat een VPN endpoint het eerste punt is.

Ten eerste kan die ook lekken bevatten, en dan kun je ook naar binnen (een VPN endpoint heeft, net als een reverse proxy, ook vrijwel per definitie gaten naar binnen), ten tweede IS een ADC / Citrix Netscaler / Netscaler Gateway een type VPN endpoint. Namelijk voor XenDesktop of ander verkeer via een SSL-tunnel.

[HollowGamer]

Correct me if I'm wrong, maar zorgt die Citrix Scaler ook niet ervoor dat de prestaties goed blijven en je eigen VPN niet plat gaat door de vele requests? Ik dacht te hebben gelezen dat dit een soort loadbalancers en VPN in één zijn.

[Phntm]

Ik kan je vertellen dat ondanks het gebruik van een VPN (van een andere partij), de meeste klanten van Citrix alsnog ervoor gaan kiezen om alleen lokale WAN verbinding te zien als een soort "beveiligde" verbinding. Alles dat extern is buiten dit netwerk om heeft geen toegang meer tot de Citrix werkplekken. Ze gooien in feite Citrix niet volledig uit, maar enkel de verbinding van buitenaf. Dus je laatste stuk klopt als een bus!

[Tozz]

Als er daadwerkelijk bij de overheid 100k gebruikers zijn die werken via Citrix, dan lijkt mij een VPN niet afdoende. Dat weert misschien random attacks van Internet, maar bij 1 van die 100k zal ook ongetwijfeld een schurkje zitten.

Bij zo'n grote user base kun je die niet vertrouwen en is de enige optie dus 't dicht zetten.

Dit geldt natuurlijk ook voor kleinere userbases. Partijen als ziekenhuizen etc ook kunnen de bescherming van patientgegevens niet overlaten aan het vertrouwen in hun personeel. Kortom: " Alleen ons personeel kan bij ons kwetsbare systeem, dus we hebben het lek open gelaten" is geen excuus. Dat gaat je een keer de kop kosten.

[batjes]

Citrix is als het goed is bij de meeste Rijksdiensten niet eens rechtstreeks te benaderen van buitenaf en gaat zoals je zegt via een VPN. Anders via Govroam of eigen netwerk. Het is niet de enige defensieve linie. Het zijn er nogal wat waar je ongezien doorheen moet zien te komen wil je echt impact hebben als hacker, voordat je deze Citrix exploit gaat kunnen aanraken.

Bah ik wil niet te veel in detail gaan x.x

[Phntm]

Rijksdiensten hebben ervoor gekozen om alles buiten Govroam om te blokkeren. Je kan nu vanuit huis niet verbinden met de algemene citrix storefront pagina tot nadere orde, want de netscaler staat dan uit. Jammer voor de thuiswerkers.

[Reactie gewijzigd door Phntm op 23 juli 2024 09:22]

[batjes]

Niet elke rijksdienst heeft het thuiswerken uit staan.

[Reactie gewijzigd door batjes op 23 juli 2024 09:22]

[M8T66]

Goed antwoord en helemaal mee eens, als aanvulling wil ik vermelden dat in dit geval het resultaat van eventuele hack niet meteen resulteerde in een volledig gecompromitteerd netwerk maar dat dit misschien juist wel de eerste schil is van de beveiliging.
Het werken met organisaties van deze grote is echt wel wat anders dan beheer doen voor de kruidenier op de hoek met 10 man.

[supersnathan94]

Goede punten en ik denk voor het grootste deel ook geheel waar, maar ik ben er wel van overtuigd dat mijn huidige oprdachtgever de boel rechtstreeks aan het internet heeft geknoopt. Ze hebben namelijk vandaag de aanbeveling opgevolgd voor alle externe devices. Dus volgens mij vrij letterlijk een IP block voor externe adressen anders dan in een bepaalde range. Thhiswerken wordt dan even wat lastiger, maar dat is dan maar zo.

[Verwijderd]

hoeveel merken firewalls, netscalers, servers en wat dan ook maar heb jij in je bedrijf hangen?
Heb jij alle merken in je racks hangen, 'just in case'?

Er kan altijd overal wel een lek zijn.
Als Windows weer eens een bruut lek heeft, ga je dan ook argumenteren dat het ook gewoon van de zotte is dat je alleen maar Windows gebruikt?

'Dat kan echter ook prima met een simpele VPN-constructie'.
Ja, kan. Maar wat als DAAR een lek in wordt gevonden? Gewoon even een vraag he? Wat is DAN je argumentatie?
Het is altijd hetzelfde geklaag als er ergens een lek in wordt gevonden: dan was je stom dat je het gebruikte, 'want het kan ook anders'.
Ja duh...

Citrix is gewoon een grote naam op desktopvirtualisatiegebied en er is werkelijk weinig tot geen reden om het NIET beschikbaar te stellen voor mensen extern. Dat is nou juist een van de voordelen van dergelijk spul.

Goede samenvatting: het echte leven werkt helaas niet zo.

[Verwijderd]

ware het niet dat Citrix vanwege dit lek niet verdacht wordt van bewust data stelen tbv de Amerikaanse overheid.

[Getto]

Tip van flip. Als je er een WAP voor zet met preauthentication kunnen de mensen gewoon nog thuis werken en je zit als nog veilig. Het brengt wat ongemak omdat mensen 2x moeten authenticeren maar je bent in ieder geval veilig.

Ben benieuwd wat de meldkamers doen. Bijna alle meldkamers waar ik ben geweest word er gebruik gemaakt van Citrix Xenapp/Xendesktop werkplekken.

[field33P]

Ik neem aan dat Citrix wel van binnen het netwerk toegankelijk blijft.

[Bensimpel]

Jup binnen is geen enkel probleem, maar goed tegenwoordig hebben we niet eens genoeg flexplekken meer en moet iedereen maar thuis werken om de file te ontzien. Gaat leuk worden maandag

[MarcelG]

Precies dit. Kantoren zo ‘lean’ gemaakt dat als meer dan 60% van je personeel op z’n werk verschijnt er te weinig parkeer- en werkplekken zijn....

[Verwijderd]

en het gaat jarenlang gewoon goed. Tenzij er een storing is.

En dan is het behelpen.

Geen reden om van zo'n concept af te stappen vanwege een lek.

[Getto]

Intern verkeer gaat niet over de Netscaler maar rechtstreeks naar Storefront.

[Recklezz]

Tenzij je deze als loadbalancer gebruikt

[ijdod]

Als deze intern staat natuurlijk geen probleem. Tenzij het management natuurlijk blind gewoon alle netscalers uit laat zetten

[TweakOverflow]

WAF voor een WAF?

[asing]

Web application firewall.

Normaal : verkeer over https moet daarheen, blokkeer de rest

Waf inspecteert het verkeer op inhoud, en bepaalde vormen van aanvallen.

[rdoorn]

Citrix netscaler is niet citrix xenapp.
Netscaler is een wap/sdwam hierin zit het probleem, niet in de werkplek citrix.

[Getto]

Ik bedoelde de Web application proxy van Microsoft

[Noxious]

Dankzij SSO over ADFS is dubbel aanmelden vaak niet eens nodig, in de applicatie daarachter krijg je dan IdP-initiated sign-on - en een dergelijke constructie is natuurlijk niet voor iedere applicatie de oplossing.

[kodak]

Met een web application proxy zoals je voorstelt ben je veiliger. Als je dat goed doet en zolang niet blijkt dat er kwetsbaarheden in zitten. Er bestaat geen beveiliging waarbij je 100% veilig bent. Daarom kan je gewoonlijk maar beter meerdere lagen van beveiliging hebben, goed nadenken of je je netwerk echt van buiten toegankelijk moet maken, welke delen, voor wie en wanneer, waar echt geen toegang toe mag zijn als een crimineel wel binnenkomt, zorgen dat je voldoende inzicht hebt op fout gebruik of pogingen tot inbraak enz. Het veilig maken is dus wel wat meer dan even simpel een wap met preauthenticatie er voor zetten en dan klaar zijn. Citrix is ook een beveiligingsproduct waarvan eerder werd aangenomen dat het wel veilig was en daar is nu ook weer van gebleken dat het niet verstandig lijkt om enkel in een bepaalde oplossing of product te geloven om veilig te zijn.

[Ricko1]

Wat betekent dit voor online werkplekken? Citrix uitschakelen zou betekenen dat niemand zijn werk meer kan doen.
Op mijn werk zijn alle pc's thinclients en alles is verbonden via citrix receiver naar een datacenter. Alles in de cloud(kloot) blijkt weer eens een slecht idee te zijn.

[krakendmodem]

Ik gok dat die werkplekken nog steeds gewoon werken. Nu weet ik niet de situatie bij jou op kantoor, maar hier (grote overheidsinstelling in Noord Nederland) kunnen de werkplekken in de gebouwen nog gewoon inloggen, en wij hangen ook aan een datacenter. Alle Citrix verbindingen van buiten (vanaf internet) worden nu geblokkeerd.

Men kan maandag op kantoor hier gewoon inloggen.

[Ricko1]

Dat is de is de standaard instelling van onze cloud provider. Inloggen kan alleen vanaf het interne netwerk. Anders krijg je een verwarrende foutmelding dat de gebruiker onbekend is.

[GMJansen]

als de netscaler vanaf internet alleen bereikbaar is van de cloudprovider of via de vpn met hun, dan blijft alles intern lijkt me werken

[Soribaj]

Interne citrix verkeer kun je via je Storefront laten verlopen ipv je Netscaler. Probleem opgelost.

[GMJansen]

mogelijk alleen een andere url!

[Verwijderd]

organisatie waar ik werk is alleen de Netscaler uit. Citrix-omgeving is intern gewoon beschikbaar inderdaad.

Niks mis met de cloud.
Interne Citrix-omgeving is ook nog steeds een cloud, alleen staat die in je eigen datacenter.

[Bensimpel]

"Het gaat daarbij onder andere om Amsterdam, Rotterdam en Tilburg. Ook bij Schiphol zijn alle Citrix-systemen uitgezet.

Nou ik kan wel stellen als insider dat alle gemeenten die citrix gebruiken, alles hebben uitgezet (Net scaler dan he).

https://badpackets.net/ov...erable-to-cve-2019-19781/

Beter het zekere voor het onzekere, je wilt geen ransomware/diefstal op je netwerk.
Best slecht dat dit zo lang moet duren vanuit Citrix om met een patch te komen. als 25k servers kwetsbaar zijn moet dit veel sneller opgelost worden. Ik ben echt benieuwd waarom dit zo lang moet duren.

[TweakOverflow]

"De Vereniging van Nederlandse Gemeenten zegt dat zo'n 200 van de 355 gemeenten werken met Citrix." alsdus de NOS. Knap dat jij weet dat ze bij al deze gemeenten de Citrix Netscalers uitgezet hebben..

Maargoed, dat is dus niet zo. Er zijn tal van bedrijven die niet zonder de WAF kunnen of deze niet tijdelijk kunnen vervangen voor andere apparatuur (non-Citrix).

[Houtenklaas]

Huisgenoot hier meldt inderdaad dat in zijn gemeente waar hij werkt - nergens genoemd in deze berichtgeving - vandaag de stekker uit Citrix is getrokken en ze zich nu beraden wat ze maandag moeten doen met al het personeel waarvoor ze nog niet de helft aan bureaus hebben. Wat ik veel schokkender vond is dat de IT meneer iets had gezegd dat "ze uit de media hadden vernomen" ... Hoe erg heb je dan liggen slapen ... Maar @Bensimpel heeft het denk ik wel bij het goede eind hoor, er is gehoor gegeven aan een centraal orgaan. Ik denk dat 99% geluisterd heeft. Dat je de boel aan laat staan ondanks de dreiging "omdat ze deze niet tijdelijk kunnen vervangen" is wat naïef, dat gaat echt niet gebeuren, zoals mijn huisgenoot ook meldde. Het gaat domweg op zwart! Overigens denk ik dat je ook nog eens een groot probleem krijgt als je de boel willens en wetens aan laat staan en je zou op een verzekering willen terugvallen als het mis is gegaan. En terecht.

De enige juiste actie is: Stekker er uit bij twijfel.

Edit: Typo + laatste stukje tekst

[Reactie gewijzigd door Houtenklaas op 23 juli 2024 09:22]

[HollowGamer]

Wat een onzin, er is toch al een werkende workaround en je kunt zo te lezen nog een extra laag zoals een (extra) VPN gebruiken om het netwerk te beschermen. Moeten we dan bij elk lek op zwart of mensen massaal naar kantoor sturen terwijl er juist flink is ingezet op flexplekken?

Gemeente en overheid hebben liggen te slapen of hun zaken niet goed op orde. Dit statement veroorzaakt veel paniek en onduidelijkheid, terwijl er wel kan worden ingezet op alternatieven.

[Houtenklaas]

Natuurlijk kan je een extra laag toevoegen. Maar ik denk met @ijdod dat een hoop gemeentes dit hebben uitbesteed en geen flauw idee hebben hoe dat moet. En als ze inderdaad geen flauw idee hebben maar wel twijfelen, dan is de enige optie het op zwart zetten. Vanuit "kennis" is het makkelijk reageren dat het onzin is, maar als je de risico's niet kunt inschatten of mitigeren, tja, dan is er echt maar één optie ...

[Reactie gewijzigd door Houtenklaas op 23 juli 2024 09:22]

[ijdod]

Het zou mij niet verbazen als een aanzienlijk deel van de gemeenten hun VDI oplossing gewoon turnkey inclusief remote toegang middels een Netscaler van een derde partij heeft afgenomen. Dan hebben ze helemaal de kennis niet om dat platform bij te houden.

[spoller]

Overigens denk ik dat je ook nog eens een groot probleem krijgt als je de boel willens en wetens aan laat staan en je zou op een verzekering willen terugvallen als het mis is gegaan. En terecht.

ALS dat het geval is, heb je een punt. Maar we hebben hier te maken met een leverancier die zwart op wit aangeeft dat de mitigerende maatregelen voldoende zijn. Daarmee ben je richting je cyber security verzekering voldoende gedekt, bevestigen ze overigens ook zelf in ons geval.

[Bensimpel]

Algemeen advies van IBD, er zullen vast wel rogue gemeenten zijn die dit niet volgen. Maar dat is dan eigen risico. In dit soort gevallen zal de directie 99% het advies van de IBD volgen.

Komt ook voornamelijk omdat het NCSC voor verwaring zorgt imho. Better safe than sorry.

[dasiro]

als open en bloot in de media verschijnt hoeveel systemen er per land kwetsbaar zijn en je weet dat je er een van bent, dan ga je niet wachten en de kop in het zand steken, zeker niet met een hoop politiekers boven je hoofd die iedereen maar proberen wijs te maken dat ze goed bezig zijn (wat vaak het omgekeerde betekend )

[Henk-Bakker]

Ook ik weet van een niet genoemde Gemeente die down is.....

[Cergorach]

Beter het zekere voor het onzekere, je wilt geen ransomware/diefstal op je netwerk.
Best slecht dat dit zo lang moet duren vanuit Citrix om met een patch te komen.

Best slecht van de Nederlandse gemeenten dat het een maand duurt voordat ze het daadwerkelijk uitzetten, terwijl men al sinds 17 december wist dat dit speelde. Infectie kan allang hebben plaatsgevonden en de welbekende infectie methoden al zijn weggepoetst...

[Reactie gewijzigd door Cergorach op 23 juli 2024 09:22]

[wesjuhdabomb]

Ik denk dat dat wel meevalt. Waar ik werk is de mitigatie van Citrix gevolgd op 23 December. Wij gingen er vanuit dat dit voldoende bescherming bood om de patch af te wachten, zo was het artikel van Citrix immers ook geschreven op dat moment.

Pas gisteren is bekend geworden dat de mitigatie niet werkt bij enkele software versies en dan is de vraag hoe effectief de door Citrix voorgestelde maatregelen daadwerkelijk zijn. Ook bij ons is de ADC vandaag op zwart gegaan..

[Cergorach]

Maar ga je dan niet testen of de fix het daadwerkelijk fixt?

[wesjuhdabomb]

Tooling om te testen heeft Citrix pas zelf op de 15e Januari beschikbaar gesteld. Tooling van derden geeft ook niet voldoende garantie.

[webhalla]

Informatie over de patchtest, de reeds bekende exploits (vanuit Duitsland en Polen) en hoe deze te herkennen op de Netscaler in dit uitstekende artikel van SANS:
https://isc.sans.edu/foru...o+Install+Backdoor/25700/

[ijdod]

De tooling van derden is vooralsnog veel uitgebreider dan die van Citrix.

[spoller]

De tooling van Citrix overigens ook niet. Die stelt wél vast of je de juiste mitigerende maatregelen hebt genomen, maar kijkt niet naar de versie / build die je gebruikt om te controleren op kwetsbaarheden. Althans afgelopen woensdag nog niet. Dus op de kwetsbare builds van versies 12.1 krijg je de feedback dat je niet kwetsbaar bent, terwijl dat wel het geval is. Dat is wel kwalijk...

[Lord_Dain]

als je na mitigatie hebt getest dan moet je rationeel reageren lijkt me.

Ps. garantie heb je nooit

[Reactie gewijzigd door Lord_Dain op 23 juli 2024 09:22]

[Jo0p]

Op Fireeye wordt melding gemaakt van malware die deze checks beinvloed: Ondanks dat het lijkt dat je niet kwetsbaar (meer) bent na maatregelen, zit de backdoor er nog steeds.

[ijdod]

De checks om te kijken of je Netscaler daadwerkelijk gecompromitteerd is, laat deze variant exploit gewoon zien. Zie o.a. http://deyda.net/index.php/en/2020/01/15/ (onder Review of the systems)

[harry899]

Het is voor overheden uiteindelijk ook geen technische beslissing meer maar een politieke.

Als 50% van de gemeentes preventief haar Netscalers uit de lucht haalt, dan gaat het niet lang duren voordat de overige 50% hier achteraan gaat.

Als is het maar voor het geval dat..

[Tourniquet]

Inderdaad, als het NCSC zegt “zet voorlopig maar even uit”, dan kun je als overheidsinstantie niet veel ander doen dan dat opvolgen, wat je er ook van vindt.

[ijdod]

Flauwe vraag: je vertrouwt de fix van Citrix dus niet, maar de patch van Citrix wel?

De aanvalsvector is uitgebruikt te documenteerd en te testen. Ook is vrij eenvoudig te testen of je systeen gecompromitteerd is.

[TijsZonderH]

Dit waren de enige (grote) gemeenten waarvan ik het kon verifiëren. Ik vermoed inderdaad wel dat het er meer zijn, maar kan het niet onderbouwen dus niet opschrijven.

[Znorkus]

Tijs, je bent een goeie nieuwsposter en de manier waarop je je verantwoordelijkheid neemt en op de inhoud ingaat op de reacties is prijzenswaardig. Dat wilde ik even gezegd hebben.

[ijdod]

Er is een fix. Als je die implementeerd ben je veilig, met een uitzondering van een handjevol specifieke releases.

Als je die fix niet vertrouwd, wat maakt dat dat je een patch wel vertrouwd?

[spoller]

+1

[spoller]

Beter het zekere voor het onzekere, je wilt geen ransomware/diefstal op je netwerk.
Best slecht dat dit zo lang moet duren vanuit Citrix om met een patch te komen. als 25k servers kwetsbaar zijn moet dit veel sneller opgelost worden. Ik ben echt benieuwd waarom dit zo lang moet duren.

100% eens. De kwetsbaarheid is gerapporteerd op 17 december, was intern ongetwijfeld al langer bekend. En de patches komen pas vanaf aanstaande maandag. Ruim een maand later. Dat is echt onacceptabel laat, gezien de ernst van het lek (CVSS) score van 9,8.

Iemand overigens meegekregen dat er ook TWEE Windows vulnerabilities bekend zijn geworden deze week met ook een CVSS score van 9,8? Daarvoor zijn alle Windows clients en alle Windows servers kwetsbaar. Patch is dinsdag gereleased door Microsoft. Moet je wel AL je clients en AL je servers even patchen. Ik schat in dat veel bedrijven dit nog gemist hebben, terwijl het werkelijke risico door het aantal systemen dat kwetsbaar is vele malen hoger is. Komende wekend gaan we vast in de pers wat zien over bedrijven die gehacked zijn.

[Luftbanana]

Dit portaal is op advies van het NCSC gesloten. Wat stond hier zo ongeveer?

Edit: de url bevatts iets met "telewerken rechtspraak", waardoor ik de verwachting had dat het geen inlogscherm betrof, maar een bron van informatie over telewerken.

[Reactie gewijzigd door Luftbanana op 23 juli 2024 09:22]

[Houtenklaas]

Gezien het "telewerken" in de realm *denk* ik dat het iets met een Citrix inlogscherm te maken heeft ...

[dwizzy]

Ik gok: een Citrix VDI

[ArchNemeziz]

Toch bijzonder nog steeds dat die fix er nog niet is, na bijna een maand tijd. Het lek was daarvoor ook al aanwezig, dus ze hebben verzaakt om het aan te pakken. Citrix is het meest gebruikte thuiswerkoplossing mondiaal gezien en treft zo duizenden bedrijven.

[arnord]

Toch bijzonder nog steeds dat die fix er nog niet is, na bijna een maand tijd. Het lek was daarvoor ook al aanwezig, dus ze hebben verzaakt om het aan te pakken. Citrix is het meest gebruikte thuiswerkoplossing mondiaal gezien en treft zo duizenden bedrijven.

`

Vandaag nog contact gehad met Citrix. Om 16:09 was de ETA voor de patch voor 12.0 release nog 20 januari. Het duurt inderdaad lang, dat voor zo'n grote speler in de IT wereld.

[EnigmaNL]

Soms gaan dingen nou eenmaal niet sneller dan ze gaan... Ook voor grote spelers in de IT.

[Verwijderd]

Ik hoor net dat zelfs het Ministerie van Justitie en Veiligheid, jawel Veiligheid, bij een check vorig jaar zijn updates niet had doorgevoerd. Je kan ook te langzaam gaan. Bron: DWDD net 5 minuten geleden.

[DonJunior]

MinJenV heeft de systemen bij een verplichte derde partij draaien (SSC-ICT) die zijn verantwoordelijk voor het uitvoeren van de updates op de werkplekken (en dus met name Citrix)
Maar dat is echt een verschrikkelijke slome organisatie.. dus het kan wel kloppen dat de updates niet tijdig zijn doorgevoerd.

[batjes]

Zo derde partij is SSC-ICT niet, is ook overheid. Valt onder het Ministerie van Buitenlandse Binnenlandse Zaken. Is ook niet verplicht, is keuze van Ministerie van Justitie en Veiligheid zelf. Ze mogen het ook zelf doen of aankloppen bij Dienst ICT Uitvoering.

[Reactie gewijzigd door batjes op 23 juli 2024 09:22]

[NaN]

Binnenlandse Zaken.

[batjes]

Oh ja, oeps.

[DonJunior]

Punt is dat MinJenV niet de eigen werkplek omgeving beheert maar daar dus een partij voor inhuurt. @Verwijderd benadrukt het woordje 'veiligheid' maar dat gaat men name om landelijke veiligheid (terrorisme etc) Dat gaat niet om werkplekbeheer veiligheid.

[Verwijderd]

Lekkere landelijke veiligheid als je zo makkelijk op de servers van onze overheid kan komen. Daarom benadrukte ik dat. Erg fijn als terroristen precies kunnen zien wat onze BvD bijvoorbeeld doet.

[DonJunior]

Maar dat lukt je niet.. je roept nu gewoon wat omdat je iets hebt gehoord. Als je ergens lastig bij kan is het je werkplek bij Ministerie en dan nog zitten de servers niet direct aan de werkplekken gekoppeld en zul je ook daarvoor nog een aparte connectie moeten opzetten.

[Iblies]

Ik hoop van harte dat niet alles buiten bepaalde netwerken te bereiken is, en dat is ook zo in te stellen.

[batjes]

Klopt, het is niet dat ik het met je oneens bent. Meer toevoeging op. Vooral met je laatste zin ben ik het wel eens, enorme "over de schutting gooien zodat het niet mijn probleem is" organisatie.

Al denk ik wel dat de werkplekken van het ministerie net zo goed belangrijk zijn voor de landelijke veiligheid. Je wilt niet dat (bv) China zichzelf daar naar binnen werkt en in de data gaat graven, of erger, aan gaat passen.

[Glashelder]

DICTU is alleen nóg erger dan SSC-ICT

[spoller]

Interessant weetje: het NCSC is een onderdeel van dat ministerie

[kodak]

Dat er geen update is kan ik nog wel begrijpen. Het kost tijd om een update te maken en te testen om te voorkomen dat er nog meer problemen ontstaan.

Wat bijzonder is is dat de kwetsbaarheid door het bedrijf bekend is gemaakt terwijl ze nog geen oplossing hadden en dan ook nog een tussenoplossing geven waaraan blijkbaar makkelijk valt te herkennen om wat voor probleem het gaat. De kans op exploits neemt dan toe terwijl het maar de vraag is of de klanten die tussenoplossing op tijd installeren omdat er geen automatische updates zijn en het bedrijf rond de feestdagen de bekendmaking deed. Andere bedrijven zoals Microsoft en Oracle doen dat tegenwoordig anders. Die lossen het probleem al dan niet samen met de ontdekkers op om vervolgens bekend te maken welk probleem er is en dat er ook een oplossing is. Tenzij er al een gevaarlijke 0-day is want dan gaat het soms nog sneller met updaten.

[Frozen]

Bij de TU Delft staat alles nog aan, ik vraag me af waarom zij het dan niet uitschakelen.

[Steenvoorde]

Onze Netscaler draait ook gewoon nog. Of nouja gewoon, de Citrix mitigations waren bij ons allang uitgerold en wij hebben een security team die de boel 24/7 actief monitort. Da's natuurlijk niet voor elk bedrijf weggelegd. Ik snap wel dat je bij twijfel de stekker uit je Netscaler trekt, je kan het simpelweg niet verkopen aan je SMT dat je ransomware op je netwerk hebt omdat je dacht dat het wel veilig zou zijn. WIj als dochteronderneming mochten niet onze eigen breakout hebben dus de Netscaler die met mijn XenApp/Desktop servers verbind staat bij ons moederbedrijf, ik ben daar nu eigenlijk wel blij mee. Het probleem met Netscalers is dat ze vaak door Citrix beheerders worden ingericht, maar wat weet een VDI specialist nou van netwerken en beveiliging? Ondanks het naampje Citrix, moet een Netscaler die voor externe toegang gebruikt wordt door een netwerk engineer geïmplementeerd worden.

[Sircuri]

De berichtgeving is ook heel erg onduidelijk en verwarrend. Vooral voor eenvoudige gebruikers die er veel te weinig vanaf weten om een beslissing te nemen. Unit4 accounting werkt bijvoorbeeld ook met Citrix voor hun boekhoudprogramma. Nergens op de site vind je iets van informatie over het gebruik van hun Citrix omgeving. Moet je het dan uit voorzorg maar niet gebruiken voorlopig of is er echt niks aan de hand?
Hoe moet ik die keuze maken?

[Steenvoorde]

Het zou inderdaad handiger geweest zijn als ze vanuit hun bedrijf hier een statement over gemaakt zouden hebben. Maar voor het aanbieden van losse apps wordt XenApp gebruikt en dit product is niet het probleem. Je zou voor je gemoedsrust de toegang tot je lokale drives kunnen disablen (als je dat niet nodig hebt tenminste) dan loop je zelf geen risico en kan je die app gewoon gebruiken.

[Sircuri]

Dank je. Dat is nuttige informatie. Weer iets geleerd

[rdoorn]

Om dat ze bij de TU wel nadenken? oh ja en fox-it zit toch in delft? https://fox-it.com/nl/act...t-citrix-advisory-update/

[wvalk]

Als we het hier hebben over de CVE: CVE-2019-19781, dan is inderdaad de mitigerende patch vanuit Citrix niet voldoende.

Als we kijken naar de scripts (welke ik niet ga delen ivm mogelijk scriptkiddies ) lijkt het probleem te zitten in een Perl script. Dit Perl script bied gebruikers in staat om bookmarks toe tevoegen.

Het onderligende probleem in het product zit hem voornamelijk in Directory Traversal en onvoldoende User input validation, tevens lijkt het er ook op dat teveel plekken toegangelijk zijn zonder enige vorm van authenticatie.

Ik ben ook zeer benieuwd wat voor patch Citrix hiervoor gaan uitbrengen

[Motion2]

De mitigatie houdt de executie van deze scripts tegen.
Het lek zit namelijk in de verwerking richting apache, de mitigatie zorgt ervoor dat, door de responder enige het malafide verkeer ( met traversal etc), niet bij apache aankomt maar een 403 terug geeft.

[Reactie gewijzigd door Motion2 op 23 juli 2024 09:22]

[wvalk]

als je je even verdiept in wat er in die fix gedaan wordt dan zul je zien dat er gekeken wordt of .. en vpns in de naam zit. de tekenreeks waarde als ."." werkt ook. dus weg is de fix... het probleem zit hem niet in apache maar in het gebruik van perl en het script die een eval van de input doet..

[Edit 1]
Tevens als het probleem in apache had gezeten was het wel een wereldwijd probleem geweest met apache en niet met dit citrix product..

[Edit 2]
Hier wordt goed uitgelecht wat er precies aan de hand is mocht je je er toch nog in willen verdiepen...
https://www.youtube.com/watch?v=msslpqyf98c

[Reactie gewijzigd door wvalk op 23 juli 2024 09:22]

[Motion2]

Excuus het was laat.. Ik heb me hier wel degelijk in verdiept.
Het klopt wat je zegt, daarom werkt de mitigatie ook aangezien hierdoor de exploit commando's apache niet bereiken en het script niet word uitgevoerd.