Onderzoeksraad voor Veiligheid begint onderzoek naar Citrix-kwetsbaarheid

De Onderzoeksraad voor Veiligheid start een onderzoek naar de kwetsbaarheden in Citrix, en de manier waarop bedrijven deze hebben gepatcht. Daarbij wordt ook gekeken naar de rol van de overheid.

Het onderzoek gaat over het beveiligingslek in Citrix, specifiek in de Citrix NetScaler Gateway en de Citrix Application Delivery Controller. Daarin werd eind vorig jaar een ernstige kwetsbaarheid gevonden waarmee onder andere een remote code execution mogelijk was. Veel Nederlandse bedrijven en overheidsinstellingen bleken kwetsbaar te zijn voor dat lek. Regelmatig werden systemen daarbij uit voorzorg uitgeschakeld.

De Nederlandse Onderzoeksraad voor Veiligheid begint nu een onderzoek naar hoe er werd gehandeld na dat lek. De Onderzoeksraad kijkt met name naar 'de aanpak in de maanden na de ontdekking'. Daarbij gaat extra aandacht naar 'de governance van digitale veiligheid' in Nederland.

Vermoedelijk kijkt de OVV met dat laatste naar de rol van overheidsinstellingen zoals het Nationaal Cyber Security Centrum. Het NCSC kreeg in de periode dat het lek actief was regelmatig kritiek vanwege het gebrek aan aanpak.

De Onderzoeksraad gaat verder kijken naar de verantwoordelijkheden en bevoegdheden van zowel overheidsinstellingen als private bedrijven. De OVV wil kijken naar hun bevoegdheden en hoe die werden ingezet. In de toekomst is het doel daarvan om de digitale veiligheid in Nederland te verbeteren. Uit meerdere rapporten blijkt dat er in Nederland een grote kans is op 'digitale ontwrichting', met name omdat bedrijven niet voorbereid zijn op, of zich niet goed kunnen wapenen tegen cyberaanvallen. Overheidsinstanties zoals het NCSC, of het Digital Trust Center kunnen daarin een grotere rol spelen.

Eerder deze week bleek dat hackers bij zeker 25 Nederlandse bedrijven een backdoor hebben geplaatst in de tijd dat er nog geen patch uit was voor de kwetsbaarheid. Die bedrijven zijn daardoor nog steeds vatbaar voor aanvallen zoals ransomware.

Reacties (29)

Vermoedelijk kijkt de OVV met dat laatste naar de rol van overheidsinstellingen zoals het Nationaal Cyber Security Centrum. Het NCSC kreeg in de periode dat het lek actief was regelmatig kritiek vanwege het gebrek aan aanpak.

Deze snap ik niet helemaal. Het NCSC kan toch helemaal niets aanpakken, maar alleen waarschuwingen doen en adviezen geven? Als bedrijven dan die adviezen niet opvolgen, kan het NCSC toch weinig meer?

Of hebben zij ook de bevoegdheid om bedrijven te verplichten om actie te ondernemen (hetzij die Netscalers tijdelijk uitschakelen, hetzij de mitigation-stappen afdwingen)?

Veel bedrijven zijn vermoedelijk zelf veel te laks geweest met maatregelen nemen, en hebben dat veel te laat gedaan.

Dat is precies het probleem, dat het NCSC geen slagkracht of mandaat heeft. Daarnaast geven ze alleen informatie aan de 'vitale'-sectoren. Waar bv. bedrijven als PostNL geen onderdeel van uit maken (om 1 willekeurig bedrijf te noemen dat in mijn ogen redelijk op de grens van vitaal/niet-vitaal zit).

Dit onderzoek zal naar mijn idee vooral met een advies moeten gaan komen hoe we in NL om moeten gaan als dit soort kwetsbaarheden bekend zijn bij bv. NCSC en hoe de communicatie dan moet plaatsvinden.

Feit is dat er gigantisch veel bedrijven getroffen zijn, terwijl er een overheidsorgaan was dat hier al langer vanaf wist. De vraag is of dat nu een gewenste situatie is.

Dat daarnaast veel bedrijven laks zijn geweest is in veel gevallen eigen verantwoordelijkheid, maar bij bv. de vitale sectoren wil je daar als overheid misschien wat meer over te zeggen hebben.

Allemaal vragen die door dit onderzoek uitgezocht moeten gaan worden...

Jup, ik heb wel eens contact met het NCSC. Wat ze soms doen is contact opnemen met een bedrijf. Soms een mailtje of zelfs telefonisch. Dit in de hoop dat hun "naam" iets toevoegt en dat een bedrijf dan wat gaat doen. Eigenlijk is dat een stukje extra service wat ze dan maar proberen, iets wat ik wel heel nobel vind.

Ik hoop ook echt dat er verandering in komt. Dit is namelijk roeien zonder riemen.

Je kan het ook omdraaien. Het NCSC zou zich moeten positioneren en marketen als een kundig adviesorgaan waar bedrijven gebruik van willen maken en zelf aan kloppen met vragen. Door kennis te centraliseren kan er veel geld bespaart worden in sectoren zoals onderwijs en zorg.

De vitale sector is inderdaad ook precies waar het NCSC voor is opgericht. Andere (MKB) bedrijven kunnen uiteraard wel gewoon informatie van het NCSC krijgen maar deze heeft inderdaad niet de capaciteit om op maat deze bedrijven te helpen. Het https://www.digitaltrustcenter.nl/ is specifiek opgericht voor alle overige bedrijven. Het DTC werkt nauw samen met het NCSC om informatie snel beschikbaar te hebben en te kunnen delen met Nederland.

[Reactie gewijzigd door Tweekzor op 2 juli 2020 11:13]

Veel bedrijven zijn vermoedelijk zelf veel te laks geweest met maatregelen nemen, en hebben dat veel te laat gedaan.
Ja en nee.
Citrix heeft hier totaal verkeerd gereageerd. Helaas brengt tweakers weinig achtergrond over de tijdlijn van het hele verhaal. Als je echt iets wilt weten over dit probleem is Tweakers naar mijn mening niet een goede bron. Zie hier veel meer informatie:

Voor een van deze kwetsbaarheden, aangeduid als CVE-2019-19781, publiceerde Citrix op 17 december 2019 een waarschuwing. Via het beveiligingslek kan een ongeauthenticeerde aanvaller op afstand willekeurige code op het onderliggende systeem uitvoeren, zo laat Citrix weten. Een beveiligingsupdate is echter nog niet beschikbaar. Wel adviseert het bedrijf een workaround die bescherming tegen eventuele aanvallen zou moeten bieden.

Zes dagen later op 23 december publiceert het securitybedrijf Positive Technologies een bericht dat meer dan 80.000 bedrijven in 158 landen risico lopen om via het Citrix-lek te worden gecompromitteerd. Een onderzoeker van het bedrijf ontdekte de kwetsbaarheid en informeerde Citrix. Positive Technologies waarschuwt dat aanvallers via het lek toegang tot het lokale bedrijfsnetwerk kunnen krijgen. In Nederland zouden meer dan 3700 bedrijven risico lopen, aldus een telling van de it-beveiliger. Nog altijd is er geen update van Citrix beschikbaar.

Dan blijft het twee weken stil rondom de kwetsbaarheid. Op 7 januari meldt het Internet Storm Center dat aanvallers actief naar kwetsbare Citrix-servers zoeken, hoewel er nog geen publieke exploit bekend is waarmee er misbruik van het lek kan worden gemaakt. Beveiligingsonderzoeker Kevin Beaumont laat op 8 januari weten dat ook hij scans naar kwetsbare Citrix-servers ziet.

Een groep beveiligingsonderzoekers uit India maakt op 10 januari een exploit voor de kwetsbaarheid openbaar, die nog altijd op een update van Citrix wacht. Een dag later laat Citrix weten dat de eerste updates op 20 januari zullen verschijnen. Inmiddels hebben onderzoekers van securitybedrijf Bad Packets meer dan 60.000 Citrix-servers gescand om te kijken hoeveel hiervan kwetsbaar zijn. Het blijken er zo’n 25.000 te zijn, waaronder 713 in Nederland.

Citrix had een patch klaar moeten hebben voordat ze de waarschuwing de deur uit deden. Toen de waarschuwing er was wisten hackers precies waar ze naar moesten zoeken (door de mitigation). Het was een verloren zaak vanaf dat moment voor bedrijven.
Gezien veelal alle thuiswerkers, zo niet alle werknemers via dit apparaat verbinding maken naar de werkplek hadden organisaties echt niet veel keuze. De meeste ziekenhuizen draaien hierop, wil je alle ziekenhuizen dan maar dichtgooien?

Hier meer technische informatie.

[Reactie gewijzigd door dycell op 2 juli 2020 11:22]

Gezien veelal alle thuiswerkers, zo niet alle werknemers via dit apparaat verbinding maken naar de werkplek hadden organisaties echt niet veel keuze. De meeste ziekenhuizen draaien hierop, wil je alle ziekenhuizen dan maar dichtgooien?

Andersom denk ik dat enkel het gebruik van Citrix om wekken op afstand mogelijk te maken een single-point-of-failure is die men ook als risico moet incalculeren.

Verder is ziekenhuizen dichtgooien een extreem voorbeeld dat hier niet op zijn plaats is. Stel dat het Internet in het geheel uitvalt en niemand meer op afstand kan werken dan moeten ziekenhuizen ook door kunnen draaien. Het zal niet soepel gaan, maar het zal gaan.

[Reactie gewijzigd door The Zep Man op 2 juli 2020 12:34]

Bij het bekend worden van de kwetsbaarheid is ook direct een work-around gepubliceerd door Citrix op 16 december waarmee de kwetsbaarheid gedicht werd in afwachting van de patch die later uitkwam.

Het probleem is gewoon dat veel instellingen niet direct actie ondernomen hebben (wellicht had dat ook te maken met de kerstvakantie), zelfs niet nadat op 23 december bekend werd hoeveel instellingen door deze kwetsbaarheid getroffen waren en ook niet toen er al een tool beschikbaar was om de eigen systemen te controleren op de kwetsbaarheid. Deze tool kon men ook gebruiken om te controleren of de work-around in afwachting van de definitieve patch correct geïmplementeerd was.

De instellingen die vervolgens gehackt werden hadden dat dus gewoon kunnen voorkomen door de work-around te implementeren. Dat men in paniek hele systemen maar gewoon afsloot is m.i. een gevolg van de onkunde/laksheid van de verantwoordelijke administrators.

Precies verwoord zoals het was. De mitigatie was gewoon en prima work-around. Makkelijk na te gaan waarom deze ook echt werkte (responder policy die ervoor zorgt dat de ‘hack’ gewoon niet uitgevoerd kan worden). Invoeren daarvan zorgde een veilig, werkbare Netscaler. Dichtgooien was vaak een gevolg van politieke beslissing en/of onwetendheid en helemaal niet nodig geweest. Heeft hoop geld gekost vermoed ik.

https://support.citrix.com/article/CTX269189

Oeps... toch niet...
Misschien toch eens de link lezen voordat je reageert. Maar dat is op het internet tegenwoordig ook een zeldzaamheid. Terwijl je op het internet zit, zoek ook even het woord ‘Mitigation’ op. Heb je weer iets geleerd...

Vreemde reactie. Ik weet prima wat mitigation betekend. Daarnaast was ik op de hoogte van dat niet op alle builds de mitigation werkte en ik weet ook waarom. Dus wel degelijk bewust en niet onwetend. Dat je ervoor moet zorgen dat je Netscaler geen oude build draait lijkt me sowieso wel handig....

Als ik de reacties zo bekijk (en dan negeer ik nog de vele reacties in het vorige artikel):
ook direct een work-around gepubliceerd
De instellingen die vervolgens gehackt werden hadden dat dus gewoon kunnen voorkomen door de work-around te implementeren
De mitigatie was gewoon en prima work-around

work-around = alternatief, alternatieve oplossing
https://www.vandale.nl/gr...ands/vertaling/workaround

Mitigatie betekent matiging, verzachting, vermindering
https://nl.wikipedia.org/wiki/Mitigatie

Mitigatie is geen oplossing. Anders was er een patch ook niet nodig geweest.
Je woorden zeggen dus letterlijk iets anders.

Ik praat ook niet specifiek tegen jou, maar over de instelling in dit probleem algemeen. Het probleem is veelvoudig:

• Klanten, leveranciers en sommige consultants dachten (en denken) dat mitigerende maatregelen het probleem helpen. Dit is letterlijk niet het geval. Het lost het probleem niet op! Dit zorgde voor een vals gevoel van veiligheid.
• Citrix was extreem onduidelijk, langzaam en slecht met de communicatie waardoor verwarring ontstond. Ook onder Citrix consultants die juist de adviezen moesten uitbrengen op dat moment. Zo slecht dat de overheden moesten ingrijpen met adviezen en communicatie.
• Het feit dat de mitigerende maatregelen niet werkten op bepaalde versies netscalers werd pas veel later bekend. Check de datums maar van de artikelen bij Citrix zelf.

Als ik de reactie direct op jou zou richten:
Letterlijk de Onderzoeksraad voor Veiligheid stelt een onderzoek in maar jij stelt keihard:
invoeren daarvan zorgde een veilig, werkbare Netscaler. Dichtgooien was vaak een gevolg van politieke beslissing en/of onwetendheid en helemaal niet nodig geweest.
Zelfs Citrix heeft te kennen gegeven dat dit niet zo was (voor bepaalde versies). Waarom verdedig je een organisatie die duidelijk fouten gemaakt heeft? Dit was allemaal geen 'klein' incident. Bedrijven zijn letterlijk gehackt. Niet alleen bedrijven maar overheden en organisaties essentieel voor onze infrastructuur. Werk je bij Citrix ofzo?

Ik werk niet bij Citrix. Een mitigatie kan dienen als een work-around voor een probleem. Nee, het is niet de daadwerkelijke patch, dit vereist aanpassing in de firmware en die was er toen nog niet.

De mitigatie zorgde wel voor een situatie waarbij continuïteit van de diensten via Netscalers, zonder risico van deze specifieke kwetsbaarheid kon doorgaan.

Ja, het is zeker een ernstige kwetsbaarheid. Vooral het gemak hoe hier gebruik gemaakt van kon worden is zeker kwalijk.

Maar men moet het ook niet gekker maken dan dat het is.. Als je weet wat je doet was de mitigatie voor Netscalers met recente firmware gewoon een werkbare situatie. Dichtgooien is dus geen technische keuze geweest maar een politieke, of onwetende keuze (of juist bewust wanneer je een oude firmware draaide en je om wat voor reden niet wilt upgraden).

Nou ja dat is mijn mening. Ik vat het niet persoonlijk op hoor. Begrijp wel wat je wilt zeggen.

Volgens mij moet jij het woord ‘Mitigation’ even googelen..

En dan de opmerking:
Dat men in paniek hele systemen maar gewoon afsloot is m.i. een gevolg van de onkunde/laksheid van de verantwoordelijke administrators.

Nope, mensen zoals jij zijn het probleem. Ze zaaien twijfel wat te doen terwijl iedere minuut telt in dit soort situaties. Je hebt er altijd wel een paar die het beter denken te weten. Het bleek ook later dat de mitigation oplossing helemaal niet werkte bij sommige builds..
https://support.citrix.com/article/CTX269189

Dat staat in je eigen link, slimmerik...

[Reactie gewijzigd door dycell op 2 juli 2020 23:34]

Allereerst dank voor je compliment. Er staat letterlijk "In Citrix ADC and Citrix Gateway Release 12.1 build 50.28, an issue exists that affects responder and rewrite policies causing them to not process the packets that matched policy rules. Citrix recommends that customers update to the 12.1 build 50.28/50.31 or later for the mitigation steps to function as intended."

Slimme mensen die nog op versie 12.1 build 50.28 zaten konden dus upgraden en vervolgens alsnog de mitigation steps uitvoeren.In deze context kun je 'mitigation' prima vertalen met 'work-around'. Hoezo zaai ik twijfel? Zodra je de mitigation steps had ingevoerd volgens de instructies van Citrix waren je systemen niet meer kwetsbaar voor de bug. Simple as that. Uiteraard moest je wel even testen of je de mitigations steps goed had uitgevoerd, en daarvoor was al snel een tool beschikbaar. Voor mensen die nog op Release 12.1 build 50.28 was nog een extra stap nodig, namelijk upgraden naar minimaal 50.31. Wat is je probleem? Inderdaad, iedere minuut telt in dit soort gevallen. Dus is het zaak direct de mitigation steps (en evt upgrade) uit te voeren in afwachting van de patch. Diegenen die dat op 7 januari nog niet gedaan hadden zaten te slapen. Nogmaals, hoezo is dat de schuld van mensen zoals ik?

Men kwam er pas later achter dat de mitigation helemaal niet werkte op sommige netscaler versies. Zie de datums van je eigen links.

Je noemt beheerders waarvan je helemaal niet de omstandigheden kent onkundig en laks. Een uitspraak die mensen met inlevingsvermogen nooit zouden doen. Zoals ik al zei, mensen zoals jij zijn het probleem. Ze vertalen mitigation als work-around voor andere mensen terwijl het een heel verschillende betekenis heeft. Ze zeggen dat ze het wel onder controle kunnen maken terwijl de verstandigste keuze misschien moeilijk is.

Had jij dus bijvoorbeeld bij een ziekenhuis gezeten met een oudere netscaler versie had jij dat ding in de lucht willen houden met alle mogelijke gevolgen van dien.

Ik heb een vaag vermoeden dat er een reden is waarom jij dit zo persoonlijk opvat. Het gaat er bij mij gewoon niet in dat er 25.000 netscalers waren waarop die mitigation stappen om welke reden dan ook niet geïmplementeerd konden worden.

Hoe je erbij komt dat ik een lekke netscaler in de lucht zou willen houden is me een raadsel, dat zeg ik nergens. Ik zeg alleen dat er ook andere oplossingen voor het probleem waren dan simpel de netscaler uit zetten.

Ik heb een vaag vermoeden dat er een reden is waarom jij dit zo persoonlijk opvat.
Lol, al meer dan 10 jaar niets met Citrix gedaan dus volledig niet betrokken geweest bij dit hele incident. Maar ik zie inderdaad veel bedweters binnen IT afdelingen. Van die mensen die het wel beter weten maar ondertussen is het onmogelijk om dit te weten (zoals zeker weten dat je na een mitigation geen risico meer loopt). Maar wel een oordeel klaar hebben over anderen.

Hoe je erbij komt dat ik een lekke netscaler in de lucht zou willen houden is me een raadsel,
Nou, jij maakt wilde beweringen over administrators, dan ga ik dat ook maar doen. Ironisch, niet?

Voor iemand die al 10 jaar niets met Citrix gedaan heeft blaas je wel heel hoog van de toren dan. Je mag mij een bedweter noemen, prima. Doet niks af aan het feit dat veel van de netscalers die op 7 januari nog kwetsbaar waren dat niet hadden hoeven te zijn als admins beter hadden opgelet. Ik snap je opwinding niet helemaal. Jij vindt dat Citrix verkeerd gehandeld heeft door te vroeg over de kwetsbaarheid te communiceren. Ik vind juist dat ze prima gecommuniceerd hebben. Wij gaan het niet eens worden vrees ik, en dat is ook prima.

Dat klopt inderdaad. Citrix heeft te vroeg informatie over het probleem vrijgegeven terwijl er geen patch was. Hier trouwens ook het bericht van het NCSC die ook het advies hebben gegeven om de boel uit te schakelen.

Het verschil in onze mening is dat ik vind dat de schuld van dit probleem bij Citrix ligt en jij vindt dat dit (gedeeltelijk) bij de beheerders (klanten) ligt.

We hoeven het verder ook niet eens te zijn hoor. Uiteindelijk hebben we hier de overheid en speciale instanties voor die zullen beslissen waar de schuld ligt (zoals nu onderzocht wordt door de onderzoeksraad). Ik ben in ieder geval wel benieuwd naar de uitkomst.

Je bent wel selectief in je berichtgeving, in dat artikel van de NCSC staat letterlijk: "Het NCSC raadt u in ieder geval aan Citrix ADC en Citrix Gateway servers uit te schakelen, als uw organisatie niet voor donderdag 9 januari 2020 door Citrix geadviseerde mitigerende maatregelen heeft getroffen."

Dat is wat anders dan stellen dat het NCSC adviseert om de boel uit te schakelen. Mijn punt is juist dat er wel degelijk alternatieven waren naast simpelweg uitschakelen, en dat die simpelweg niet opgevolgd zijn door velen en tegelijkertijd ook de netscaler niet uitgeschakeld werd, en dus werd men gehackt...

NCSC kon bv. niet scannen op kwetsbare servers, dat moesten ze aan andere partijen overlaten. In de toekomst zouden ze graag zelf op zoek kunnen gaan naar kwetsbare systemen, maar daarvoor moeten ze de juridische ruimte krijgen. Als er eenmaal kwetsbare systemen gevonden zijn kan je de betrokkenen informeren, eerst via de security contacten, maar als na een bepaalde tijd blijkt dat het lek nog steeds niet gedicht is, of dat het risico is toegenomen kan je ook prima op directie niveau gaan informeren via een formele brief. Knappe jongen als je dan nog steeds niet gaat patchen, dan als/wanneer het mis gaat heb je geen voet meer om op te staan.

Mij lijkt het dat het geen slecht idee is, in het algemeen, dat iets als remote desktop over bv. Citrix alleen kan vanaf een VPN connectie met het interne bedrijfsnetwerk. Dat je zoiets dus niet zomaar bloot op Het Internet zet.

Ik raad je aan om even te lezen hoe citrix precies werkt en wat een netscaler/adc doet.
Het is in feite een VPN.

Een Citrix omgeving staat vrijwel nooit open op internet. En ook jou VPN server kan gehacked worden, die staat immers open en bloot op internet.

Ik raad je aan om even te lezen hoe citrix precies werkt

Citrix is toch een bedrijf?

en wat een netscaler/adc doet.
Het is in feite een VPN.

Niet specifiek.

Afhankelijk van je interesse licensing en je inrichting, kan je er ook "gewoon" voor kiezen (alhoewel erg duur) om een Netscaler als load-balancer in te zetten naar bijvoorbeeld 2 Raspberry Pi's die een website hosten en verder niks.

Of, net zo grappig, als een heeeeel duur stukje SNMP-monitoring door puuuur pingetjes te checken en bij een gefaalde ping even een alert te mailen naar je.

Of alleen als "portal" op je interne netwerk waarna er een "simpel ICA bestand" aan jouw PC wordt aangeboden waarmee een sessie naar een session-host gestart wordt. En als het bedrijf de interne IP's netjes op orde heeft, heb je dus "ook" geen VPN nodig.

Verder zijn er nog / inderdaad wel wat andere mogelijkheden inrichtbaar / inzetbaar en daar hebben "we" last van gehad.

Ik stoor me ook aan de berichtgeving. Je moet eens weten hoeveel mailtjes van bezorgde gebruikers ik gekregen heb over dit lek destijds. Terwijl de meeste bedrijven gewoon een VDI/shared computing omgeving afnemen van Citrix, zonder Netscaler/ADC. Of de remote toegang regelen via een andere aanbieder.

Je hebt het ook niet over een Microsoft lek, als dit bijvoorbeeld alleen voor Office geldt.

Als je remote toegang wilt hebben, zul je ergens een interface moeten hebben "Publiek Internet" <-> "beveiligde interface" <-> "Intern netwerk".

Jij noemt die beveiligde interface VPN-server, maar Citrix Netscaler is ook zo'n beveiligde interface. Het probleem is dus niet dat mensen dingen plat aan het internet hebben hangen, maar dat er een bug in de beveiligingsoftware zelf zit.

"In het algemeen vind ik dat je een een slot op de deur moet zetten". Maar ja het probleem is dus het slot zelf.

Hopelijk volgt er een advies uit:
- Software- en hardwareleveranciers kunnen aansprakelijk gesteld worden én beboet worden voor het niet tijdig patchen en/of inherent onveilige productontwerpen.
- Gebruikers kunnen aansprakelijk gesteld worden voor het niet tijdig patchen en/of onveilige configuraties in bedrijf te houden.

Nu is het allemaal veel te vrijblijvend om netwerkapparatuur en software veilig te houden.

[Reactie gewijzigd door ari3 op 2 juli 2020 14:10]

Waarom heeft dat zolang moeten duren, dat lek bestaat al heeeeel erg lang.