Ook gemeente Zutphen slachtoffer van Citrix-kwetsbaarheid

De gemeente Zutphen heeft een 'poging tot inbraak' gedetecteerd op het netwerk. Dat gebeurde door een kwetsbaarheid in Citrix, de virtualisatieomgeving waarvan de gemeente gebruikmaakt. Voor die kwetsbaarheid is nog geen patch beschikbaar.

Bij de infectie zijn geen gegevens gestolen, staat in een bericht op de website van de gemeente. Een woordvoerder bevestigt aan Tweakers dat de inbraak ontstond nadat een kwetsbaarheid in virtualisatiesysteem Citrix openbaar werd gemaakt. Het lek werd eind december vorig jaar bekend. Deze week bleek dat honderden Nederlandse bedrijven kwetsbaar waren voor het lek. Woensdag bleek het Medisch Centrum Leeuwarden door hetzelfde lek te zijn aangevallen. Citrix heeft nog geen patch voor het lek beschikbaar, maar wel een mitigatie. Onlangs waarschuwde ook het Nationaal Cyber Security Centrum dat bedrijven de mitigatie zo snel mogelijk moeten doorvoeren.

Volgens de woordvoerder zijn er geen signalen dat de hackers het systeem zijn binnengedrongen. "Op maandag hebben we een update uitgevoerd aan het systeem en een poort gesloten op het netwerk. Dinsdag ontdekten we dat er een verdacht softwarepakket op de server is gezet. Het is niet bekend wat dat deed. We hebben dat pakket aan een extern ict-bedrijf en naar de Informatie Beveiligings Dienst gestuurd", zegt de woordvoerder. Misschien gaat het om software die eerst zoekt naar zwakheden in een netwerk om vervolgens toe te slaan met malware. Veel bekende ransomwarevarianten maken gebruik van die methode. Het is nog niet bekend of dat hier ook het geval is.

De gemeente zegt aangifte te hebben gedaan bij de politie. Ook heeft de gemeente melding gedaan bij de Autoriteit Persoonsgegevens, hoewel er geen aanwijzingen van datadiefstal zijn. "Voor zover we zien, zijn de hackers niet ver gekomen", zegt de woordvoerder. "Om verder in te loggen op het systeem, zijn een gebruikersnaam en wachtwoord, en een verificatietoken nodig. Wel is de Citrix-omgeving tijdelijk afgesloten, waardoor het niet mogelijk was van een afstand te werken."

Reacties (46)

[Phrenesis]

Ze zijn niet binnengedrongen maar hebben wel een softwarepakket op een server kunnen zetten?? Die snap ik niet helemaal.

[kibje]

Het beveiligingslek zit hem in de Citrix ADC / Citrix Netscaler reeks.

Deze machine wordt aan de buitenkant van een netwerk neergezet met internettoegang om een veilig portaal aan te bieden waar mensen bijvoorbeeld met 2FA op kunnen inloggen. Na authenticatie worden ze dan doorgesluist naar de interne resources.

Het lek zorgt er voor dat het mogelijk is om zonder authenticatie bestanden op deze portal neer te zetten, die met een andere aanroep tevens zouden kunnen worden uitgevoerd. Hiermee is het mogelijk om een reverse shell te maken waarvandaan gepoogd kan worden verder in het netwerk te komen.

Op deze machine staan geen bestanden of data, maar wel staan hier bijvoorbeeld de private keys van de SSL certificaten die worden gebruikt. Door het niveau van toegang wat een aanvaller kan krijgen is het mogelijk dat het prive geedeelte van een SSL sleutel ook kan worden verkregen.

Wat er hier dus wordt gezegd is dat er niet-originele software (waarschijn een reverse shell) is aangetroffen op een security-appliance. Op dat moment kun je het beste de appliance van het internet trekken en gaan uitzoeken of het de aanvallers is gelukt een stap verder te komen (wat niet per se simple hoeft te zijn). Ik zou zelf ook adviseren om alle externe certificaten te vernieuwen,

[Jerie]

De poging tot inbraak is op het netwerk. Die is afgeslagen. De aanval op de Citrix server is niet afgeslagen. Daar is een verdacht softwarepakket op gevonden dat door externen wordt geïnspecteerd.

[TheVivaldi]

Echt hè! Zoiets als "Ik ben niet in je auto geweest, maar ik heb wel een bom in je dashboardkastje gelegd"

[Verwijderd]

Het is eerder: ik ben in je garage aan het snuffelen geweest maar de auto kon ik niet in want die was goed op slot.

Dit soort internet-facing apparaten zitten meestal in een DMZ. Om dus op het LAN te komen moet je vaak langs een firewall en IDS systemen. Dat hackers op de Citrix box zijn gekomen wil dus nog niet zeggen dat ze op het interne netwerk zijn geweest.

[johnkeates]

Die Citrix box kan nagenoeg altijd bij AD en bij diverse servers om überhaupt te kunnen functioneren. Er zitten ook domain credentials op die ADCs met static AES keys die al gekraakt zijn, dus leuk dat er een 90's DMZ netwerk is, maar in de praktijk is dat een wassen neus. Dikke kans dat de aanvallers gewoon skids waren en daarom niet verder kwamen.

[Reactie gewijzigd door johnkeates op 23 juli 2024 18:09]

[Keypunchie]

Inloggen op de AD-server via de citrix-server? Dacht het niet. Sowieso is ‘doorloggen’ iets dat je tegen hoort te gaan, maar vanaf je perimeter apparatuur moet dat echt niet mogen.

De poorten voor directory services kan een aanvaller nu wel bij, maar dat is niet hetzelfde als inloggen, laat staan pwnen.

Verder ken ik de precieze aard van het lek niet, maar de bak die gehackt wordt doet de netwerk-autorisatie, maar gebruikersautorisatie moet je dan nog ergens anders vandaan halen.

[Reactie gewijzigd door Keypunchie op 23 juli 2024 18:09]

[johnkeates]

Een Citrix box gebruikt AD als source voor users en group membership, om dat te doen moet je wel met AD kunnen praten, en als je hem configureert met een user kan die user dus bij AD. In 99% van de gevallen is AD verkeerd geconfigureerd en kan een authenticated user veel meer dan ie zou moeten kunnen, maar vaak is ook dat zelfs niet nodig en is een simpele read genoeg om data te achterhalen om een replication te vervalsen. Daarna kwestie van een random DA vinden en cracken en je zit goed. Alternatief is een golden ticket krijgen, dat kan als iemand bijv. bedacht heeft dat het een goed idee was om DA via Citrix zonder elevantion op de destination te doen. En dat is zonder dat de op 'de rest' van het netwerk hoeft. Zelfs met alleen LDAP open werkt dat al, maar vaak zat staat oude en nieuwe SMB zooi open, net als DCERPC en dan heb je op 139 of 445 ook genoeg vectors voor complete takeovers.

De aard van het lek is complete toegang tot de doos. Op de doos zelf staat dan weer genoeg informatie om alle services die er mee gekoppeld zijn te benaderen. Dat is dan ook het hele doel van die doos en in de praktijk betekent dat bij een netwerk zonder echte defense-in-depth dat je zodra je er door heen prikt kan doen wat je wil. En dat betekent ook dat een basis netwerk met het concept van 'zones' en dan alleen bijv. LAN, WAN, DMZ en dan misschien B2C, B2B, C2C o.i.d. je niet beveiligt.

Zodra je AD te pakken hebt op een klassiek KA netwerk heb je alles, want in elke zone staat wel iets met AD te lullen.

[Keypunchie]

en als je hem configureert met een user kan die user dus bij AD

Een service account =/= inlogaccount en dat is maar goed ook.

Ja, het goed configureren van Kerberos is moeilijk, maar zo moeilijk is het ook weer niet.

Daarna kwestie van een random DA vinden en cracken en je zit goed.

Ja, als dat zo makkelijk was, dan heb je niet eens toegang tot de Directory Service nodig :-)

Je stelling komt er bijna op neer dat zodra je maar een ingang heb naar de Directory Server, dat hij dan te hacken valt. Zo makkelijk is dat gelukkig niet, want dan zou je al bij wijze van spreken vanaf het gast-wifi *poef* de hele boel kunnen hacken (in de meeste gevallen).

Als het niet goed geconfigureerd is, dan is het niet goed geconfigureerd. En als iemand overal als wachtwoord admin/admin heeft ingesteld, dan is het ook makkelijk te 'hacken'

Maar, zonder dit lek te bagatelliseren, juist dit is waarom je defense-in-depth hebt en waarom voor perimeter-servers ander beleid geldt en waarom je geen inloggen of SMB, of whatever anders dan least privilege toestaat vanaf die servers.

Disclaimer: Het is alweer lang geleden dat ik serieuze dingen met Windows deed en ik heb geen enkele beheerervaring met Citrix.

[Reactie gewijzigd door Keypunchie op 23 juli 2024 18:09]

[johnkeates]

Tsja, in therorie zou je vanaf je Gasten-Wifi ook niet bij een DC moeten kunnen, en toch kan dat vaak. Soms zit er unauthenticated read in voor non-secure attributes, en dan denk je: prima, is toch niet geheim. Maar met membership, group en user enumeration is een aanval heel makkelijk te organiseren, en een geoorganiseerde aanval is precies wat je doet als je een bedrijf of overheidsinstelling wil ransomwaren.

En helaas is een SA wel een inlog account. Misschien niet in de AD termen waarbij een SA wel LDAP en DCERPC enz mag doen maar geen RDP bijv. Maar dat is het nou juist; die heb je niet nodig om een slecht ingerichte AD te pakken.

Het zal je misschien verbazen, maar de meerderheid van AD opstellingen is gewoon niet goed geconfigureerd. Vooral in NL niet waar de schaal er meestal niet voor is om het intern goed te doen of een MSP te vertellen hoe je het wil. Zo gek is dat ook niet, want de meeste bedrijven doen het er een beetje bij, en zijn er helemaal niet zo mee bezig. Heck, meestal hebben ze niet eens een CISO of ISO en zijn de mensen die er wel mee bezig zijn niet geautoriseerd (op bedrijfsniveau) om er wat aan te doen.

Dit hele verhaal gaat ook een beetje op voor oudere software draaien (want bedrijfs proces kan niet zonder), het is prima te plannen, te faseren en zelfs ad-hoc nog te repareren, maar het wordt gewoon niet als belangrijk gezien.

[Keypunchie]

Nou, ik geef je deels gelijk: bij iedereen die nu nog niet de mitigatie heeft aangezet, is er een grote kans dat de rest ook niet goed is ingeregeld.

[johnkeates]

Op shodan zie je ook wel een wat hogere patchrate dan normaal, maar het gaat lang niet zo hard als je zou willen aan de andere kant: dan is het blijkbaar een geaccepteerd risico, of een onbekend risico, en dan is het bedrijf sowieso al de pineut.

[tonkie_67]

De Citrix server zou voor de AD authenticatie idd contact moeten kunnen maken met een AD server (in een Win based omgeving) maar dat zou beperkt kunnen zijn tot specifieke AD servers die geen andere rollen hebben en liefst een zgn 'read only AD' server. Support al een tijdje geen Win servers meer dus weet niet zeker of win16/19 nog de 'read only ad' rol biedt en wat de exacte opties van die rol zijn; maar heb implementaties gezien waar alle authenticatie van buiten via geselecteerde ro-ad ging en het lijkt me een goed idee. Maar zoals gezegd: weet niet wat tegenwoordig exact de specs zijn van de RO-AD rol zijn

[johnkeates]

In theorie idd. Maar in de praktijk hebben bedrijven die puur leunen op een Citrix bak voor security gateway doeleinden de rest ook niet op orde. Ook is een RO AD DC niet genoeg om je te beschermen, dat helpt namelijk alleen op AD replication niveau. Je kan van die machine namelijk wel met de R/W AD DC praten, en zodra je van je ADC de pivot kan maken naar ADRO kan je ook de pivot doen naar ADDC die RW mag.

Bovendien is het vaak niet single-owner waardoor een MSP die citrix komt doen de AD kant niet gaat fixen, of iemand die zelf Citrix gaat doen de AD bij een MSP heeft liggen.

[tonkie_67]

Ik reageerde ook alleen dat het feit dat de Citrix omgeving bij een DC kan komen niet automatisch betekent dat het dus onveilig is wat daarvoor beweerd werd door iemand. En beweer ook nergens dat alleen een ro-dc de oplossing is. Net zoals.alleen een Citrix gw op zichzelf geen afdoende beveiliging is; maar je zou als gebruiker (bedoel hier de it afdeling die de citrix omgeving beheert) wel enigzins mogen verwachten dat een product wat specifiek wordt aangeboden om een veilige koppeling met inet te bieden ook zodanig is opgebouwd dat je niet te makkelijk kan binnen wandelen, terwijl het huidige lek wel extreem knullig is.
Overigens denk ik dat je dit soort semi standaard en vrij basale setups bij veel semi overheids tokos ziet omdat die jongens allemaal shoppen bij dezelfde beperkte groep 'system intergrators' die "it consultants" aanbieden die net van de uni afkomen en blind geloven in de mooie verkoop praatjes van de software aanbieders. Hoe vaak zie je niet configuraties waarbij alle settings 1:1 uit de voorbeelden uit het (1e) cursusboek komen incl hostnames, user/service/community names: weinig echte praktijkercaring maar gewoon copy/paste werk of als je geluk hebt output van een standaard script...

[johnkeates]

Haha ja, dat heb ik ook vaak gezien, een config die bijna letterlijk overgezet is uit een studieboek of certificeringsboek maar totaal nergens op slaat voor de situatie.

[Flagg]

Alleen als je niet weet hoe het werkt.

Ze zijn de in de gang geweest rest van het huis konden ze niet bij.

[ShellGhost]

Ze zijn dus wel gehackt inderdaad, anders kan er geen verdacht pakketje gedropt zijn.

[teacup]

Het is nog niet duidelijk wat het pakket doet, en ook is het nog niet bewezen dat het bij die hackers vandaan komt.

Maar dan nog zou ik in deze fase nog niet de uitspraak doen dat de hackers niet ver lijken te zijn gekomen. Een te vroege conclusie zolang niet alles onderzocht is.

[ViNyL]

Is ook duidelijk of zij de mitigatie doorgevoerd hadden?

[nachtgebraak]

Door een bug in versie 12.1.50.28.nc werkt de mitigatie aanpassing (op basis van een responder policy) niet en is de NetScaler nog steeds kwetsbaar. Een firmware update is in dat geval dus ook nodig.

[TijsZonderH]

Ja, hadden ze maandag gedaan.

[ViNyL]

Ik las het bij de NOS inderdaad dat het wel zo was. Werd me niet direct duidelijk in het artikel.

[Dirrukje]

In de berichtgevingen wordt onvoldoende aangegeven vanaf welk moment de maatregelen zijn toegepast. Ergens wel kwalijk want het levert meer onduidelijkheid op, zijn de maatregelen nu wel of niet toereikend? En lopen bedrijven die wel tijdig hun systemen hebben bijgewerkt nog risico of niet?

Ze zijn hier misschien ook niet toe verplicht. Ze zijn verplicht het incident te melden en proberen in de communicatie naar buiten toe het misschien zo te brengen dat ze zo min mogelijk imagoschade lijden.

[tERRiON]

De berichtgeving op de verschillende sites is nogal tegenstrijdig. Van de artikelen die ik tot nu toe gelezen heb, geeft het artikel van De Stentor tot nu toe nog de meest accurate weergave van hoe het gegaan is.

Veel meer kan ik er op dit moment helaas niet over zeggen, behalve dat ik degene ben die "de software" heeft ontdekt.

[Dirrukje]

Zover mijn kennis rijkt is het zo dat de mededelingen die nu naar buiten komen van partijen moeten zijn die de mitigerende maatregelen nog niet hadden toegepast, ten tijde van de aanval of hack. Maar ik laat me graag corrigeren als dat niet zo is.

[SunnieNL]

Rond 23 december wordt het probleem bekend en direct ook een tijdelijke oplossing. Op alle technieuws en Twitter feeds komt het voorbij en Citrix doet zelfs een mailing uit.

9 januari (ruim 2,5 week later) geeft ons cyber security center een waarschuwing. Zijn die van kerst tot nieuwjaar op vakantie geweest ofzo? 23 december was al bekend hoe groot het probleem is en hoe gevaarlijk. De waarschuwing had toen gelijk de deur uit moeten gaan.

Daarnaast geven 700+ bedrijven de voorkeur om de mitigatie niet door te voeren en vieren ze liever kerst en oud en nieuw in plaats van te zorgen dat hun systemen en data van het bedrijf en klanten veilig zijn...

Ik snap echt niet hoe het zover kan komen. Sommige mensen hebben echt hun prioriteiten verkeerd liggen. Pas als het ineens groot in het nieuws komt en als mensen actief misbruik maken van het probleem komen ze in aktie (nou ja dat hoop ik dan maar). Ben benieuwd hoe snel straks de echte patch wordt uitgerold, maar het zal me niets verbazen als er over een half jaar alsnog iemand via dit probleem een grote hoeveelheid data binnen hengelt.

Edit: correctie, het cyber security center heeft een high/high melding gemaakt op 24 december. Een dagje te laat om voor de kerst opgemerkt te worden door mensen, maar die had daarna natuurlijk wel opgepakt moeten worden door bedrijven.

[Reactie gewijzigd door SunnieNL op 23 juli 2024 18:09]

[Donstil]

Ja want van Kerst tot nieuwjaar op vakantie is echt super ongebruikelijk natuurlijk. Als dit "nieuws" dan uitkomt op een dag dat half Nederland al vrij is (23/24 december) omdat kerst heel gunstig valt vind ik dat niet zo vreemd eigenlijk.

[SunnieNL]

Dus als er ergens een melding van een dreigende aanslag wordt gedaan met kerst vind jij het ook wel normaal dat de Nederlandse overheid daar niets mee doet de 3 weken er na?

We zijn 3 weken verder, 2 weken na oud en nieuw...
dat je met kerst niet reageert ok (al vind ik dat ook al slecht als bedrijf zijnde)..
maar 3 weken niets doen?

[Donstil]

Een dreigende aanslag heeft hier niet zoveel mee van doen. Dat plaats ik verder ook niet op dezelfde hoogte.

Na oud en nieuw had het opgepakt moeten zijn. Dat zeker maar het ging mij meer om jou verbazing over de kerst periode bij bedrijven. Die lijkt mij niet realistisch.

[Reactie gewijzigd door Donstil op 23 juli 2024 18:09]

[Wim-Bart]

24 december was niet te laat. Kwestie van laksheid. En ik kreeg het zelf via 4 kanalen binnen (en dan zie ik Tweakers niet als een kanaal) waardoor het niet te missen was. Dus een Netscaler beheerder en Security officer die dit hebben laten gaan zouden direct op non actief gezet moeten worden en richting uitgang van bedrijf begeleid moeten worden.

[dehardstyler]

Misschien zeg ik wel iets raars hoor, maar waarom zetten ze alle Citrix bakkies niet gewoon uit? Liever alles op straat of eventjes niet meer thuis werken?

[Wouterkaas]

Ik weet niet hoe ze het precies hebben ingericht bij de gemeente Zutphen, maar Citrix uitzetten betekent waarschijnlijk dat niemand meer kan werken en alle dienstverlening op zijn gat ligt. Ook intern wordt er veelal met thin clients gewerkt die via (bijvoorbeeld) Citrix inloggen.

[arnord]

Normaliter wordt de Netscaler voor thuiswerken ingezet, lan clients connecteren in de meeste gevallen rechtstreeks naar storefront in het LAN.

[Wim-Bart]

Probleem is dat het "Citrix" genoemd wordt maar het is een Netscaler en dat is maar een klein onderdeeltje. Een goed ingerichte Netscaler kan gecompromiteerd worden zonder dat dit voor een gat zorgt, maar dan moet je wel weten wat je doet. Bijvoorbeeld met de AD praten hoeft niet, het kan via een Virtual Server op de Netscaler die ook weer via een LDAP VS praat op de virtuele netscaler die aan de binnenkant staat. Double hop scenario.

[arnord]

Makkelijker gezegd dan gedaan, bedrijfvoering kan dan in gedrang komen. De mitigatie doorvoeren, dat is de sleutel.
Ik heb vandaag contact gehad met Citrix, zij bevestigen dat de mitigatie "the way to go" is. Ik zie hier op systemen dat de policy die met de mitigatie prima zijn werk doet.

Kortom, ACL/IPS/AV en allerlei andere zaken op firewall op orde hebben.
Goede ACL's in een DMZ zone.
Lan (storefront ) goed gepatcht op OS en Middleware juist patchen.
enz. enz.

[kodak]

Wie bedoel je met ze? In december zijn er al waarschuwingen door citrix en beveiligingsorganisaties gegeven. Daarbij was ook mitgatie bekend gemaakt. Als een organisatie na weken zelfs geen mitigatie lijkt te hebben, hoe kan je dan verwachten dat ze bedenken dat citrix misschien te veel risico is en je het beter uit kan zetten?

[SunnieNL]

Omdat de mitigatie het probleem al oplost alleen met wat admin ongemakken tot gevolg. Die implementeer je in 15 minuten.
Maar daar doen ze ook niets mee, dus waarom zouden ze de bakken uit zetten?

Daarnaast, door uitzetten kan niemand er meer bij. Ook je werknemers niet meer

[nachtgebraak]

Netscaler (of beter gezegd Citrix ADC, wat de nieuwe naam is) doet veel meer dan VPN of application delivery. Wordt in veel bedrijven ook gebruikt voor o.a. SSL offload, content switching, load balancing, ... In veel gevallen betekent dat inkomensverlies; Dat zet je niet zomaar even uit.

[Shaidar]

Hoe kan je absoluut zeker zijn dat je Citrix omgeving niet kwetsbaar is? Volgens mij is de onze zo oud dat de exploit er nog niet eens inzat...

Heb deze gebruikt, en die gaf aan dat onze omgeving niet geimpacteerd was...

https://github.com/cisagov/check-cve-2019-19781

[SunnieNL]

Als je NetScaler zo’n oude firmware draait vrees ik dat je wel meer problemen hebt dan die ene cve... https://www.cvedetails.co...scaler.html?vendor_id=422

[Cis]

Geen interessant doel voor hackers dus.
Die zien zoveel gaten en kwetsbaarheden op die netscaler, dat ze niet weten waar ze moeten beginnen. -> ze raken in paniek, en zoeken snel een ander target uit.

[Flagg]

Hahaha die denken: "daar zitten alle lekken in die bekend zijn, moet wel een honeypot zijn. *Disconnect

[Mrjraider]

[Zwaait naar alle Zutphenaren en Zutphenesen]
Zal mij benieuwen wat ze gaan doen, dit soort kosten kunnen ze er nu gewoon niet bij gebruiken. Ze komen al enkele miljoenen te kort....

[teacup]

Ik denk dat de opmerking op zich terecht is, de gemeente heeft bijna structurele tekorten.

Op zich verwacht ik wel dat Zutphen een budget zal hebben voor dit soort security issues. Structurele tekorten hebben wel invloed op de hoogte van dit budget. Is het budget te klein dan is de kans aanwezig dat ergens anders geld vandaan gehaald moet worden.

[Een -naar (geen -nees....) zwaait terug]

[Timber83]

Hier een Zutphenaar. Zal mij benieuwen...