Citrix waarschuwt voor kritieke kwetsbaarheid in NetScaler ADC en Gateway

Citrix waarschuwt voor een kritieke kwetsbaarheid in NetScaler ADC en NetScaler Gateway. Hackers kunnen die kwetsbaarheid gebruiken om op afstand code uit te voeren zonder authenticatie. Het betreft een lek dat in de praktijk wordt misbruikt. Er is een patch beschikbaar.

Citrix heeft deze week patches uitgebracht voor drie kwetsbaarheden, waarvan een als kritiek wordt aangemerkt. Deze zeroday, die wordt gevolgd onder CVE-2023-3519, maakt het volgens Citrix mogelijk om op afstand code uit te voeren zonder authenticatie. Hackers kunnen dat beveiligingsprobleem uitbuiten als het kwetsbare systeem is geconfigureerd als een gateway, zoals een vpn of ica-proxy, of een 'AAA virtual server'. De kwetsbaarheid heeft een CVSS-score van 9.8 uit 10.

Citrix heeft updates uitgebracht die de kwetsbaarheden oplossen. Organisaties worden opgeroepen om de patches zo snel mogelijk te installeren. De updates zijn verwerkt in verschillende nieuwe versie van NetScaler ADC en Gateway:

• NetScaler en NetScaler Gateway 13.1-49.13 en latere releases
• NetScaler ADC en NetScaler Gateway 13.0-91.13 en latere releases van 13.0
• NetScaler ADC 13.1-FIPS 13.1-37.159 en latere releases van 13.1-FIPS
• NetScaler ADC 12.1-FIPS 12.1-55.297 en latere releases van 12.1-FIPS
• NetScaler ADC 12.1-NDcPP 12.1-55.297 en latere releases van 12.1-NDcPP

De twee diensten die kwetsbaar zijn, worden vooral gebruikt door bedrijven. NetScaler ADC, voorheen Citrix ADC, wordt door bedrijven gebruikt als application delivery controller om netwerkverkeer te beheren. Met NetScaler Gateway kunnen medewerkers van bedrijven op afstand toegang krijgen tot bijvoorbeeld applicaties en het intranet van bedrijven.

Reacties (46)

[Rossi]

Gisteren rond 15u kreeg ik de melding via e-mail binnen van Citrix.
Meteen de patches geïnstalleerd bij onze klant want deze CVE's waren wel heel ernstig. Gelukkig overal HA-pairs dus onder werktijd uit kunnen voeren in overleg met onze klant.

Je moet er wel echt flink bovenop zitten tegenwoordig. Bijna elke dag besteed ik wel een gedeelte van de dag om bij te lezen op het laatste nieuws van CVE's, patches, updates, etc, via allerlei verschillende kanalen.

[GertMenkel]

Ik denk dat het hoog tijd is dat een paar minuten downtime voor het repareren van dit soort dingen een keer genormaliseerd wordt. Wat heb je nou aan die 99,999999% uptime van je VPN als je hele netwerk versleuteld is door een cryptolocker? De patches zijn nu al een dag of twee uit, iedere seconde telt in dit soort situaties waar iedereen op internet een RCE kan triggeren.

Dit helemaal aangezien één van de kwetsbaarheden een patch was voor een eerdere patch die niet goed werkte, waardoor criminelen die een exploit hadden gemaakt voor de eerdere kwetsbaarheid al grotendeels op weg waren.

[Hammetje]

Dat klinkt leuk - en als het moet, dan moet het, maar hou je ook even rekening met sectoren waar dit praktisch onmogelijk is? Denk even aan ziekenhuizen, waarbij elke downtime zeer ongewenst is (helemaal als dit niet uitgebreid voorbereid kan worden) of de logistieke sector. Juist daar heb je HA /AlwaysOn voor om te kunnen schakelen als dat nodig is.

[themadone]

Als de citrix omgeving die binnen een ziekenhuis nodig is voor patientenzorg aan het internet hangt mag je je afvragen wat je aan het doen bent natuurlijk.

Als je daar gewoon nette scheiding hebt zitten is het niet zo erg dat de thuiswerkers of even niet kunnen werken of gewoon weer eens naar kantoor komen.

Dat hele thuiswerken blijkt steeds meer de zwakke schakel in it omgevingen, en nee ik zeg niet dat ik er helemaal tegen ben, maar op zijn minst een vpn en verplichting een company asset te gebruiken is misschien een beter idee als een openbare citrix omgeving waar je vanuit de hele wereld bij kunt.

[naaitsab]

Fortigate wordt in de industrie vaak ingezet voor VPN's. Deze hebben ook om de havenklap een flink lek te pakken. Het blijft altijd een kwestie van de zwakste schakel opzoeken. Binnen komen lukt ze altijd met genoeg tijd, kijk naar situaties zoals de hack van die Chinese club laatst met een sign token van AzureAD. Het gaat erom dat je daarna de schade beperkt door segmentering en je beveiligings instellingen zoals token lifetime goed op orde hebt.

Bedrijven worden vaak ingericht als een systeem met een groot eng hek eromheen maar als je eenmaal binnen bent is het lui lekkerland. Denk aan basale dingen als een global admin account hashes sniffen. Die gedachtegang moet echt anders. Zowel buiten als binnen moet je beveiliging op orde zijn. En dat kost (veel) geld. Een cyberincident kost echter nog veel meer geld.

[Pinkys Brain]

De VPN hoort praktisch nooit de zwakste schakel te zijn, het hoort zeer simpel te wezen. De IT industrie is zoals gewoon full retard.

Wireguard of iets van de CSfC lijst of je doet het verkeerd ... bijna iedereen doet het verkeerd.

[Blokker_1999]

Als alles wat je nodig hebt een poepsimpele VPN is ... ja. Maar zo eenvoudig is het niet in vele bedrijven. Of denk je dat bedrijven met plezier tienduizenden euro per jaar uitgeven aan dure VPN oplossingen als er gratis alternatieven zouden zijn die alles even goed kunnen en met dezelfde support te krijgen zijn?

[Pinkys Brain]

Tegen de tijd dat je de support hebt betaald om het aan te passen aan je eisen is het niet gratis meer, maar die aanpassing is voor het beheer, niet de basis functionaliteit.

Miljoen LOC aan aanvalsoppervlak voor de basis functionaliteit, met oneindig aantal downgrade attacks, buffer overflows, use after frees, type confusion etc etc etc is gewoon niet nodig. Wireguard of iets van de CSfC lijst of je doet het verkeerd.

[d3burt]

Ik heb meer dan eens een open source oplossing zien vervangen door een product uit een kartonnen doos wat aantoonbaar meer en ernstiger bugs bevat, dus ik ben het hier niet automatisch mee eens.

Het probleem met WireGuard of OpenVPN is dat het integreren met zaken als Active Directory, 2FA en dergelijke niet bepaald out of de box werken. Omdat de VPN je eerste verdedigingslinie is moet gebruikersbeheer goed geregeld zijn, en dat verklaart de populariteit van Fortinet e.d.

[Pinkys Brain]

Ik zei Wireguard ... OpenVPN is een ramp van een project. Wireguard is niet goed omdat het open source is, het is goed omdat het open source is, en weinig LoC, en een simpel protocol heeft. Naar de miljoen LoC troep op de CSfC lijst heeft NSA tenminste eens goed naar gekeken.

[tvtech]

Ik ben ook fan van Wireguard en gebruik het met een vpn oplossing van Sonicwall. Werkte in het begin niet stabiel, nu wel met als enige nadeel dat het soms niet door een firewall heen komt als de collega in een hotel of provinciehuis zit.

[graey]

Out of the box zou ook niet hoeven bij bedrijven/sectoren die prima meer dan 1 IT-medewerker in kunnen huren. Duidelijke pakketten die de functionaliteit dekken, wel gekoppeld kunnen worden, en een heldere aanpak van hoe dat kan, en dan kan je dat prima industriebreed uitrollen. In plaats daarvan komt er nu vaak een andere speler op de markt met iets 'disruptiefs' dat alle vinkjes lijkt te zetten, maar waarbij het in de praktijk toch minder goed werkt dan werd voorgesteld, en uiteindelijk de kwaliteit achter de voordeur ook niet super is.

[Verwijderd]

Haha, moet je hebt volledig gelijk maar die opmerking moet je eens maken in het nieuwsbericht van Fortinet.

De commerciële bedrijven verdienen goud geld met de waardeloze Fortinet oplossingen en ze pushen het als de enige mogelijk oplossing. Daarna verdienen ze opnieuw goud geld wanneer er weer een exploit is en iedereen opgeschaald moet worden.

Nu kan je zeggen dat de bedrijven die dit spul kopen het ook verdienen om opgelicht te worden...

[beerse]

Binnen ziekenhuizen en vergelijkbare instellingen wordt citrix ook gebruikt om binnen het eigen netwerk scheiding van zaken te bieden. En andersom, voor het mee nemen van desktops als wordt overgestapt op andere werkplekken.

Natuurlijk is het gevaar van zo'n cve op een afgeschermd netwerk iets minder groot maar ook in ziekenhuizen wordt gebruik gemaakt van wifi en daarbij is het niet verkeerd dat je er van uit gaat dat daar op wordt meegekeken (of erger). Daarmee zou je op de wifi de zelfde beveiliging en afscherming willen gebruiken als bij thuis werk verbindingen via internet.

Aan de andere kant: Voor zover ik het begrijp blijft bij de meeste patches/updates aan de citrix omgeving de desktop wel behouden maar wordt de toegang tot die desktop mogelijk even onderbroken.

[Reactie gewijzigd door beerse op 23 juli 2024 07:56]

[GertMenkel]

Er zijn zeker genoeg uitzonderingen, maar momenteel doet iedere sector alsof ze absoluut niet vijf minuten kunnen wachten op een serverherstart omdat ze zichzelf ontzettend belangrijk vinden. Zelfs binnen een ziekenhuis zijn er afdelingen waar mensen niet zullen sterven vanwege een onverwachte koffiepauze.

Natuurlijk moet de spoedeisende hulp altijd beschikbaar zijn en operatieondersteunende software moet niet spontaan down gaan, en om daarmee om te gaan heb daar zeker HA-oplossingen voor, maar ik vind dat veel bedrijven wel erg in doordraven.

We zagen dit gedoe tijdens het grote Exchange-debacle, waar bedrijven weken of maanden deden over het installeren van patches, want die e-mail was o-zo-belangrijk.

Als software echt zo kritiek is dat downtime acceptabel is, snap ik sowieso niet waarom dat spul niet lokaal draait. Wat moesten we wel niet voordat we internet hadden, zeg!

[Verwijderd]

er kan ook iets misgaan bij de update waardoor het systeem langer dan 5 minuten plat gaat

[Blokker_1999]

Daarom dat je met een HA cluster zit. Je upgrade 1 appliance, doet de nodige testen, zet alle verkeer over naar de geupgrade, wacht even af om te zien of er klachten binnenkomen. Alles in orde? Op naar de andere appliance. En als ze virtueel zijn, zoals vandaag meestal het geval is, maak je snapshots zodat je ook altijd onmiddelijk terugkunt naar de vorige versie.

Als het zo kritiek is, dan zorg je ervoor dat je voldoende resources hebt om de risicos te minimaliseren.

[graey]

Dit, en dit is ook geen hogere wiskunde. En al bijna net zo oud als computers. Die dingen die meevlogen naar de maan hadden ook genoeg marges voor uitvallende componenten, waarom zouden we dat met de veel goedkopere en betere techniek van nu dan niet hebben?

[CyberTijn]

Je hebt helemaal gelijk.

Ik heb het idee dat het beeld wel rap begint te kantelen. Je ziet dat CISO's en IT-security afdelingen een steeds grotere vinger in de pap krijgen bij het management. De dreiging van en angst voor ransomware is real. Als ik op een dinsdagmiddag om 14:00 uur voor een kwartier 500 man van het netwerk moet gooien om een update te installeren dan weet ik zeker dat ik daar goedkeuring voor krijg als ik benoem dat er een serieus risico is om slachtoffer te worden van een hack of ransomware.

[Reactie gewijzigd door CyberTijn op 23 juli 2024 07:56]

[well0549]

Als die security scans dan maar niet het enige is waar je naar kijkt...

Ik krijg altijd een beetje het idee dat er alleen naar patch levels gekeken wordt..

En als alles up to date is staan de security jongens weer aan de voetbal tafel....

M.i. vindt er zeer weinig actieve preventie plaats,

- waar komen internet verzoeken vandaan
- hoeveel waren het er vorige week
- wat is de procentuele toename
Etc etc etc...

[Blokker_1999]

Ik heb een stijging van 17% uit Rusland en 24% uit China, maar uit Zuid-Amerika een daling van 36%. Wat betekend dit nu allemaal?

Dit zijn echt dingen die niets zeggen. Dat je systemen up to date zijn, je firewall regels gezond zijn, je geen verdachte logins ziet, ... dat zijn belangrijke metrics.

Dat er deze week wat meer scriptkiddies in Rusland actief zijn, dat doet er net iets minder toe.

[well0549]

Leuke statistieken,

Maar het gaat natuurlijk om het verkeer wat net achter je firewall zit.

Alles de script kiddies daar al doorheen komen, helpt het up-to-date houden van je systemen geen zier....

[Rossi]

Ik ben het helemaal met je eens. Ik zie het door mijn werk bij een MSP erg veel, bedrijven waarbij jij en ik dit kunnen vinden, maar uiteindelijk krijg je een bokkende klant aan de telefoon.

Aan de ene kant vinden ze security belangrijk (meestal, helaas zijn zelfs daar nog uitzonderingen op), maar aan de andere kant vinden ze downtime OnAcCepTaBeL tIjDeNs WeRkTiJd
"Ach joh, zo'n vaart zal het toch niet lopen, ons pakken ze toch niet" en meer van dat soort opmerkingen, ik heb zo al vaak gehoord, en ik ga er graag de discussie over aan, maar soms wordt het wel vermoeiend.

Gelukkig zie ik bij sommige klanten ook juist het tegendeel. Ze beginnen zich eindelijk te realiseren dat security toch wel echt heel belangrijk is, en dat een kwartier downtime een stuk acceptabeler is dan recovery vanuit een ransomware-situatie, en dan heb ik het nog niet over de datalekken die er meestal tegenwoordig ook bij komen.

Ik beweeg mij vanuit mijn werk vooral in de MKB-markt, waar IT nog steeds te vaak als kostenpost wordt gezien, en security dus ook, dus mijn beeld is misschien wat gekleurd.

[Verwijderd]

Ik mag hopen dat je als MSP daar toch al goede afspraken over hebt gemaakt op voorhand?

Of laten ze de discussie over aan de techneuten wanneer het probleem zich voordoet?
In dat geval neemt jouw organisatie security ook niet echt serieus....

[Tmaster]

Een paar minuten downtime??, Wij hebben 8 van die netscalers staan. Een test omgeving, Productie omgeving met double hop config, dus 2 MPX-en aan de buitenkant en 2 VPX-en aan de binnenkant. Zo'n update, snapshot maken van de vm of backup maken van de hardware appliance (nsconfig), image file downloaden en op de ADC zetten uitpakken installeren, failover, etc.. Al met al 5 uur bezig geweest. Dit doe je echt niet in een paar minuten.
Het is geen software pakketje van 5 MB wat je even op je windows werkplek installeerd.

En ja bij een failover heb je even een kleine freeze bij clients die met een ica sessie verbonden zijn. Echter icm Cisco ACI netwerk kun je situaties krijgen waarbij zo'n failover veel langer duurt (bij mij gisteren 40 minuten) dan ben je dus afgesneden van je werkplek en moet je even een schietgebedje doen en hopen dat alles weer terug komt. Dat kwam het gelukkig wel maar door flapping oid (GARP/ARP configuratie van ADC) gaat dit niet altijd lekker in bepaalde omstandigheden.
Voor wie dit bekend voor komt: https://www.ferroquesyste...er-issues-with-cisco-aci/

[Reactie gewijzigd door Tmaster op 23 juli 2024 07:56]

[winwiz]

Bij ons gewoon gedaan. Downtime van 7 minuten. Ze moeten er maar aan wennen dat dit voor kan komen.

[themadone]

Mocht je dat zat zijn, installeer nessus in je omgeving, krijg je iedere ochtend een rapport met de laatste eventuele issues en missende patches. Scheelt een hoop werk.

Ontopic,

Niet de eerste keer bij Citrix, vraag me af of deze zeroday heeft bijgedragen aan de toenemende hoeveelheid hacks de laatste dagen.

[Skywalker27]

Eerst kwamen deze dingen altijd op vrijdag middag om 16.00. Nu werk ik niet meer op vrijdag begint het al op woensdag binnen te druppelen. Gelukkig hoef ik niet te patchen maar IT Security moet weer overal achteraan vangen.

[achondar]

Kreeg de mail gisteren van citrix rond 4 in de bus. Gelijk onze beheer partij maar de opdracht gegeven om te patchen. Had een flashback naar eind 2019. Toen waren ook veel organisaties te laat.

[CyberTijn]

Toen stonden organisaties met hun rug tegen de muur, omdat Citrix zelf nog geen patch had. Wel kon je een responder policy schrijven als workaround, maar daarvan zei het NCSC dat het niet 100% veilig was.
Gevolg was dat veel organisaties besloten hun Netscalers uit te zetten, met op een vrijdag zogenaamde "Citrix files" op de weg omdat er door tienduizenden werknemers niet meer thuis gewerkt kon worden.

Een paar maanden later brak er een pandemie uit, waardoor mensen juist thuis moesten werken.
Beide gebeurtenissen op hetzelfde moment had pas echt voor een berg ellende gezorgd.

[Dennisb1]

Gistermiddag direct zelf al geïnstalleerd en doorgevoerd, ben erg benieuwd wat nu de echte hack dan is en hoe je tevens kan controleren of je niet al slachtoffer was.

[Reactie gewijzigd door Dennisb1 op 23 juli 2024 07:56]

[CyberTijn]

Bij mijn weten zijn er geen IOC's bekend, dus je kunt er niet makkelijk achter komen of de kwetsbaarheid is uitgebuit.

[Donstil]

The following steps can help:

1. Check your system for suspicious files/webshells. Adjust the value of the "-newermt" parameter depending on the installation date of your system:

find /netscaler/ns_gui/ -type f -name *.php -newermt 20230501 -exec ls -l {} \;
find /var/vpn/ -type f -newermt 20230501 -exec ls -l {} \;
find /var/netscaler/logon/ -type f -newermt 20230501 -exec ls -l {} \;
find /var/python/ -type f -newermt 20230501 -exec ls -l {} \;


2. Check the HTTP error logs for anomalies that could indicate exploitation of a vulnerability:
grep '.sh' /var/log/httperror.log*
grep '.php' /var/log/httperror.log*


3. Check shell logs for unusual commands:
grep '/flash/nsconfig/keys' /var/log/sh.log*


4. Check for suspicious files with the setuid bit:
find /var -perm -4000 -user root -not -path "/var/nslog/*" -newermt 20230501 -exec ls -l {} \;

Niet direct een IOC maar misschien een begin voor sommige.

[Reactie gewijzigd door Donstil op 23 juli 2024 07:56]

[Bor]

Niet direct IOC's inderdaad maar goede hints om te beginnen met onderzoek lijkt mij. Wat is de bron van bovenstaande?

[Donstil]

Edit: Even een knip i.v.m. Limited disclosure

[Reactie gewijzigd door Donstil op 23 juli 2024 07:56]

[Dennisb1]

Komt dit bij Citrix vandaan? Kan deze info daar nergens verkrijgen en vind dat erg schokkend eigenlijk dat hun dat niet delen.

[virtualite]

Nee, vanuit csirt.

[Dennisb1]

Misschien ben ik gek maar ik krijg steeds de foutmelding dat " Command not valid here "

[achondar]

Het lek werd al in het wild misbruikt.
https://advisories.ncsc.nl/advisory?id=NCSC-2023-0353

[Bor]

Dat is bekend en dat staat ook in het artikel. Waar we naar op zoek zijn, zijn IOC's ofwel Indicators of compromise; forensische artefacten die duidelijk kunnen maken of misbruik heeft plaatsgevonden.

Volgens een post op Twitter zou er mogelijk een lijst zijn maar wordt deze niet gedeeld wat bijzonder is.

You know there is a list of IOCs shared TLP:AMBER mentioning a PHP webshell, a SetUID binary and an IP, but no one shares them with the public

You cannot derive a POC from that. It pisses me off that no one shares them.

Nu vind ik een losse twitter post geen goed bewijs dus doe met deze info wat je wilt

[Reactie gewijzigd door Bor op 23 juli 2024 07:56]

[Paul]

Wij hebben de patch weer deels ongedaan gemaakt, want 12.1-55.297 is een LAGER nummer dan de 12.1-65.35 die we al hadden.

We hadden issues met één HA pair, contact opgenomen met Citrix support, vragen ze ons waarom we gedowngrade hadden? Nou, misschien omdat dat de NIEUWSTE versie is en jullie ons mailen over een CVE met score 9.8?

Ik heb het gisteren vooral via WhatsApp meegekregen, vandaag eens zien of ik wat meer info kan achterhalen.

[wildhagen]

Wij hebben de patch weer deels ongedaan gemaakt, want 12.1-55.297 is een LAGER nummer dan de 12.1-65.35 die we al hadden.

Dat lijkt me puur een fout van jullie beheerders zelf, niet van Citrix. Er staat in de CVE én het security bulletin immers duidelijk dat 12.1.55.297 en hoger niet kwetsbaar waren voor dit lek.

Als je zelf al ziet dat je op 12.1.65.35 zit en dus niet kwetsbaar bent, waarom ga je dan tóch een oudere versie installeren?

[Paul]

Omdat in de eerste mailing geen 12.1.55.297 stond, maar (copy paste uit de mail): "NetScaler ADC 12.1-NDcPP before 12.65.36". En waarom we een "oudere" versie installeren? Omdat die nieuwer is, niet ouder...

Wat is waarschijnlijker, dat ze in een stokoude versie een kwetsbaarheid patchen die in de huidige versie niet eens meer zit, of dat ze een typfout hebben gemaakt in het nieuwe versienummer? Mijns inziens het tweede... Als je vandaag een nieuwe versie in de 12.1-branch uitbrengt, dan ga ik er vanuit dat dit een doorontwikkeling is op de laatste versie van de 12.1-branch, in plaats van een fork van een ruim vier jaar oude versie.

[Verwijderd]

Het installeren van de oudere versie is misschien ongelukkig geweest van @Paul's IT afdeling. Maar de dubbele voorzichtigheid is niet verkeerd.

Paul heeft de patch ook niet ongedaan gemaakt. Paul had de patch al of de nieuwere versie had het probleem niet.

[Jay-v]

Stevig déjà vu momentje:

nieuws: Citrix waarschuwt voor apparaatovernames door gevaarlijk lek in ADC e...