F-Secure waarschuwt voor gevaren van nagemaakte Cisco-switches

Beveiligingsbedrijf F-Secure waarschuwt bedrijven voor nagemaakte apparatuur van Cisco. De nepswitches bevatten volgens het bedrijf geen achterdeur, maar kunnen toch beveiligingsrisico's vormen, waarschuwt het bedrijf.

F-Secure begon eind 2019 een onderzoek naar een bedrijf dat hulp had geroepen nadat diverse switches problemen hadden. F-Secure ontdekte daarna twee switches in de Cisco Catalyst 2960-X-series die ermee waren gestopt na een software-upgrade. F-Secure concludeert in een rapport dat er geen backdoors in de firmware zaten, maar dat er desondanks beveiligingsrisico's waren.

De nagemaakte apparatuur gebruikte een tot nu toe onbekende kwetsbaarheid in de software om het secure boot-proces te omzeilen, zodat ongeautoriseerde firmware op de switches kon worden gedraaid. De switches lijken zozeer op de echte switches dat Cisco speculeert dat de namakers wellicht toegang hadden tot documentatie van het bedrijf. Wel was op een van de switches de eeprom vervangen op het moederbord, wat volgens F-Secure betekent dat de daders flink wat tijd en middelen in hun namaakapparatuur hebben gestopt.

F-Secure weet niet hoe omvangrijk het probleem van nagemaakte switches is. Het bedrijf zegt dat het de daders waarschijnlijk vooral om geld te doen was, maar dat systeembeheerders desondanks moeten oppassen.

Wat vind je van dit artikel?

Geef je mening in het Geachte Redactie-forum.

Reacties (55)

Ik heb dit meegemaakt na aanschaf van een aantal refurbished 2960-X switches bij een partij die ik hier niet zal noemen.

Na een upgrade naar c2960x-universalk9-mz.152-2.E7 de melding '%ILET-1-AUTHENTICATION_FAIL: This Switch may not have been manufactured by Cisco or with Cisco's authorization. ', waarna switch zijn Lanbase licentie verloor en L2 switching niet meer mogelijk was. Best belangrijk.
Verder exact dezelfde meldingen als in het F-Secure document. De ILET-foutmelding werd ook genoemd in een bug-report, maar de zgn. oplossing, alles afkoppelen en stroom een aantal keer wat langer eraf halen werkte niet. Downgraden naar vorige IOS versie hielp ook niet. Ik zag overigens niets geks aan de switches, kan ze helaas nu niet meer vergelijken.

Verhaal van de verkoper:
CISCO wil de controle aanscherpen op hun wereldwijde hardware verkopen, zowel refurbished als nieuw. Het gaat dan om hardware dat buiten de lokale Cisco kanalen aan eindklanten worden verkocht.
Overtollige hardware die ze overigens zelf wereldwijd op de internationale broker markt weg zetten om zo van hun lokale overtollige voorraden af te komen en de betreffende sales managers hun targets kunnen halen

Ze blijken nu, met terugwerkende kracht de licentie regels te hebben aangepast, dat is halverwege 2019 besloten.

Op het moment dat je na een software upgrade een foutmelding krijgt, kan je ook niet meer terug naar de oude. Of Cisco dit expres heeft ingebouwd of dat
dit aan een bug in bepaalde switches ligt ( meest waarschijnlijke geval) , is ons niet bekend. Maar je bent zo als klant wel gedwongen om contact met ze op te nemen.
Als de hardware niet via het eigen lokale distri kanaal komt dan komt er een lastercamapagne op de klant, en wordt de bug niet gesupport .
Naar verluidt dwingt CISCO de klant om een smartnet af te sluiten zelfs met terugwerkende kracht.

Ik lees op één van de links dat als je eenmaal hebt geüpgrade en dit voorkomt, de hardware onbruikbaar is (bricked in vaktaal) en dat het enige dat werkt, is een call loggen bij Cisco loggen.
Er zijn meer Cisco klanten die dat is overkomen zelfs na gebruik van 3 jaar trekt Cisco gewoon de licentie terug en kan je er niets mee.

Ik heb jouw case ook voorgelegd aan een CISCO partner van ons en die heeft mogelijk een work-around om er voor te zorgen dat de vorige software-versie weer op de switch komt.
Daarna upgraden naar de nieuwere (beruchte) versie is natuurlijk niet meer mogelijk.
Hoewel dit alles buiten onze invloedsfeer ligt, willen wij jullie uit coulance hierbij kostenloos helpen.
Hiervoor dient de switch wel naar ons opgestuurd te worden, want de work-around kan niet ter plekke uitgevoerd worden.

En later:
Onze EU leverancier waar we de nieuwe hardware hebben gekocht, schrijft me net:
“I totally agree with you that Cisco is making it almost impossible to resell New Cisco.
It has become so bad, that we even decided to focus only on refurbished Cisco from 2019 – substantially reducing the new sales to a bare minimum – simply too many issues which we have no chance of solving.”

Dus CISCO verkoopt overtollige nieuwe hardware via de achterdeur, en laat vervolgens die klanten keihard in de kou staan.(vanaf 2019 ) Een schande eigenlijk. Monopolisten.


Hoeveel er waar is van dit verhaal blijft natuurlijk gissen. Ik had de switches al meer dan een jaar voordat ik de upgrade poogde. Hoewel er vanuit de verkoper werd aangeraden om de switches terug te sturen en geen contact op te nemen met Cisco, heb ik dit toch maar gedaan. Allereerst via een ticket een Lanbase licentie ontvangen, maar die werkte maar heel even waarna dezelfde melding tevoorschijn kwam. Toen via een RMA 2 switches ontvangen, en de defecte teruggestuurd.

Als dit echt fake switches betreft vind ik het vreemd dat Cisco ze wel zonder morren omruilt. Je zou verwachten dat dan bij het doorgeven van het serienr. al een alarmbel af zou gaan en de support daar zou stoppen. Kan natuurlijk een bewuste opstelling zijn naar eindklanten, maar zo klantgericht ken ik de Amerikaanse giganten niet. Hoe dan ook, geen schade van gelukkig.

[Reactie gewijzigd door fRiEtJeSaTe op 16 juli 2020 15:54]

“I totally agree with you that Cisco is making it almost impossible to resell New Cisco.

Dit is natuurlijk een onzin verhaal. Cisco verkoopt uitsluitend via partners en elke partner kan gewoon bij de officiële distributeurs inkopen. Echter zijn er resellers die ervoor kiezen om grijs in te kopen om zo meer marge te kunnen maken (of goedkoper te kunnen leveren).

Een voorbeeld van hoe deze bedrijven inkopen is inderdaad op basis van een discount voor een specifieke klant gebruiken en het vervolgens aan een broker te verkopen.
Het komt inderdaad ook voor dat hardware via deze resellers verkocht wordt als een ander model, ik heb een keer meegemaakt dat ik een ASA5520 had welke softwarematig gemanipuleerd was maar eigenijk een 5510.

Dit gebeurt bijna bij alle grote fabrikanten overigens. En in de meeste gevallen wordt hardware welke grijs is ingekocht niet ondersteund.

Inderdaad een onzin verhaal van de leverancier.

Maar even over extra inkopen op een order van een klant met de klant korting en dat doorverkopen is voldoende om je reseller/distribution rechten te verliezen.

Ieder device wat onder een quote van Cisco geleverd wordt, is geregistreerd onder die klant. Ga je een DOA of TAC traject in, dan is de Reseller direct het bokkie.

Eens! Ik bedoelde hiermee een voorbeeld te geven van een van de manieren hoe deze hardware in het "grijze kanaal" terecht komt.

[Reactie gewijzigd door jesses op 16 juli 2020 18:53]

Die verkoper wil zichzelf indekken.

Ik heb ook wel eens counterfit apparatuur meegemaakt. Bij een eindklant stonden 3 ASA5520 firewalls waar men memory van wilde upgraden. (i.v.m een aanstaande software upgrade.) De afgestuurde memory upgrade kit paste niet. Er ontbraken memory slots op het moederbord van de ASA. Achteraf bleek dat het om omgekatte ASA5510 firewalls ging. Hier hadden ze de frontpanel van vervangen en de software. Van de buitenkant zag je niet dat het om een lichter model firewall ging.

Via officiële Cisco distributeurs is gewoon refresh / refurb apparatuur te krijgen, waar je ook gewoon Smartnet contracten op af kan sluiten. Hier zit standaard 30% korting op t.o.v. listprijs. (Nog afgezien van standaard kortingen die een Cisco Partner krijgt.) Koop je hardware en support contracten via officiële Cisco Partners / Distributeurs en ben je eerste eigenaar (Dus niet via verschillende vage partijen.), dan kan je gewoon support cases openen en helpt Cisco TAC je verder.

Ik vermoed dat deze switches zijn gemaakt uit onderdelen die echt door/voor Cisco zijn gebouwd. De meeste fabrikanten produceren hun apparaten zelf niet meer maar huren daar Chinese fabrieken voor in. Het schijnt dat er dan nog wel eens een partij extra wordt geproduceerd die niet in de boeken komt maar het zwarte circuit in gaat.
Dat hoeft overigens geen kant-en-klaar-apparaat te zijn geweest, er is een grote markt voor reserve-onderdelen en als je er daar genoeg van verzameld kun je ook een heel apparaat samenstellen.

Het enige probleem dat ze dan hebben is dat ze alleen de hardware hebben en niet de software, die wordt er pas later opgezet. Nu kun je wel firmware-images downloaden maar volgens mij probeert de software van Cisco tegenwoordig om de hardware te controleren op echtheid en manipulatie.
Die ene ERPOM chip die ze hebben vervangen is dan denk ik om de software werkend te krijgen.

Als je het F-secure rapport leest lijkt er wel echt sprake te zijn van counterfeit hardware (https://labs.f-secure.com...020-07-the-fake-cisco.pdf met nep-onderdelen, voorpaneel bijvoorbeeld is duidelijk namaak.

Duidelijk, als ik het zo bekijk. Zou het mij niet eens opvallen. En al helemaal niet als ik maar 1 heb.

Wow, ja, inderdaad, alleen verschillen die je opvallen als je beide versies naast elkaar ziet.

Na dit rapport te hebben gelezen ben ik het met je eens: dit gaat verder, een van die twee lijkt z'n eigen printplaat te hebben ontworpen. De andere unit is denk ik wel een echte Cisco printplaat, of in ieder geval een exacte kopie. Daar zitten de verandering niet in de print, maar lijken ze achteraf te zijn toegevoegd.

Inderdaad. Ze noemen dit ook wel de grijze markt.

Voor de mensen die hier in geïnteresseerd zijn, deze markt is enorm. Er zijn zelfs zoveel iPhone onderdelen te krijgen op de grijze markt dat je zelfs een gehele iPhone als onderdelen kunt kopen.

Eh, nee.. Grijze markt is echt iets geheel anders. Daarbij gaat het niet of zeer zelden om namaak maar leveringen via omwegen buiten de officiele kanalen om.
Hierbij vervalt bijv. vaak de garantie en niet zelden ontduikt men bijv BTW.
Heeft in principe weinig met counterfeit of namaak te maken.

Eh, ja... Ik reageer op:
Het schijnt dat er dan nog wel eens een partij extra wordt geproduceerd die niet in de boeken komt maar het zwarte circuit in gaat.

Ik reageer niet op namaak of vervalsingen.

Het filmpje waar je naar refereerd voor het bouwen van een Iphone zijn allemaal onderdelen vekregen uit kapotte toestellen etc op de accu's na.

Maar je hebt ook onderdelen van hardware die lettelrijk nieuw via de achterdeur de fabriek verlaten.

Het filmpje waar je naar refereerd voor het bouwen van een Iphone zijn allemaal onderdelen vekregen uit kapotte toestellen etc op de accu's na.

Weet je het zeker? Als ik het op een markt na zou vragen zou dat het standaard antwoord zijn maar of het echt zo is? Daarom is het ook 'grijs' gebied

Strange parts volg ik al een tijdje en je ziet naast dat de parts duidelijk verkregen zijn uit andere telefoons dat er vaak ook gewoon ngo data op staat etc.Apple heeft overigens extreem veel controle op parts binnen de fabriek en krijg j ebijna niet via de achter deur naar buiten. In tegenstelling tot bijvoorbeeld parts voor een NIntendo switch etc.

Fabriekanten als Samsung, LG, Sony etc bieden parts gewoon aan via B2B verkoop kanalen. In Shenzhen kan je voor deze apparaten dan vaak wel gewoon ook factory new parts vinden voor goedkoop.

Volgens mij verwar je het met de term "grijze onderdelen" uit de oldtimer-wereld.

"Grijze onderdelen" zijn (auto)onderdelen gefabriceerd van mallen die weer zijn gemaakt van een "negatief" van "zwarte mallen" (de mallen van de autofabrikant zelf).

Volgens mij niet, zie ook de Wiki:
https://en.wikipedia.org/wiki/Grey_market

Het is niet perse iets Chinees, Johnny Cash zong er ook al over in 1976 met One Piece at a Time en heet schijnbaar salami slicing.

Het hoeft niet eens een extra partij te zijn, wellicht komen deze exemplaren gewoon uit een partij switches die niet door de kwaliteitscontrole is gekomen en dus niet de echtheidssticker heeft gekregen.

Het bedrijf zegt dat het de daders waarschijnlijk vooral om geld te doen was, maar dat systeembeheerders desondanks moeten oppassen.

En hoe is dit verdiend? Moet ik dit begrijpen dat zij zelf de nagemaakte switches hebben geproduceerd?
En dat zij dit verkochten?

Ja, de boeven maken die nepswitches en verkopen die. In die nepswitches zit het goedkoopste spul wat je maar kan vinden op de markt, maar word voor een Ciscoprijs verkocht.

[Reactie gewijzigd door rickboy333 op 16 juli 2020 10:19]

Wel was op een van de switches de eeprom vervangen op het moederbord,

As it is not trivial to tell genuine and counterfeit devices apart,

Dit klinkt toch alsof alles behalve de eeprom echt was.

[Reactie gewijzigd door Olaf van der Spek op 16 juli 2020 10:21]

Cisco switches zijn veel duurder dan de maakprijs van de hardware. Sommigen zullen zeggen dat dit te verantwoorden is vanwege ontwikkelkosten die Cisco maakt en ondersteuning die de klanten krijgen. Anderen zullen het als overprijsd beschouwen. In ieder geval is het deze meerprijs waar ze dan mee verdiend hebben (voor zover we uit dit artikel op kunnen maken).

Cisco switches zijn veel duurder dan de maakprijs van de hardware.

Dat is toch altijd zo?
R&D is niet bepaald gratis..

Dat zegt men niet alleen maar dat is natuurlijk ook gewoon zo. Daarnaast bestaat een organisatie ook uit personeel dat niet direct fabriceert (zoals de afdeling verkoop en administratie).

De productieprijs van ieder apparaat is slechts een (klein) gedeelte van de totaalkosten van het apparaat.

Ik meen ooit eens ergens gelezen te hebben dat bij Apple en Samsung en andere van dat soort bedrijven meer dan 50% van hun kosten bestond uit marketing.

Zoek het dan eerst op voordat je zo iets ongefundeerds roept, Samsung geeft ongeveer 5% van hun totale inkomen uit aan marketing, en Apple minder...

Ik denk dat je dan eerder moet denken aan luxe artikelen als Nike, Adidas of parfums en sieraden. Heel veel producten kosten heel erg weinig om te fabriceren maar worden met enorme winstmarges verkocht.

Voor technology is dat lastig, Apple maakt relatief (in hun sector) veel winst maar dat is in de electronica sector. Die winstmarges zijn om te lachen in de sieraad business waar winstpercentages van 400/500% vaak minimaal zijn. Die bedrijven geven het meeste geld uit aan marketing omdat hun product simpelweg niet veel voorsteld. Merkkleding is hetzelfde.

Dat is altijd zo kort door de bocht. Alsof productiekosten alleen maar een optelsom van de gebruikte hardware is, die discussie zie je ook vaak als ze bijvoorbeeld een iPhone gaan ontleden. Het kost geld om een product te ontwikkelen, fabriceren, support te kunnen leveren, organisatieoverhead etc. En onder aan de streep wil elk bedrijf een gezonde winstmarge hebben. Dat is toch niks geks? Je gaat toch ook niet tegen de bakker zeggen dat zijn brood te duur is want de optelsom van meel, water en gist is veel minder dan zijn vraagprijs.

[Reactie gewijzigd door Ascension op 16 juli 2020 10:50]

Die ondersteuning moet na 90 dagen worden betaald via een contract (Smartnet, Smartcare, etc.).

Ah ja, dat is idd niet huis-tuin-keuken.

Maar het zal me niks verbazen als er toch goedkope compenenten inzitten. Je kan wel iets hebben nagemaakt, maar dat wil nog niet zeggen dat dezelfde compenenten zijn gebruikt. Niet alle elco's op deze aarde zijn gelijk

Dit zijn vaak gewoon de echte apparaten die men op de grijze markt verkoopt. Wat vaak gebeurd is dat een (gecontracteerde) producent een paar ploegen extra productie laat draaien. Deze worden via de achterdeur verkocht aan iedereen die er maar behoefte aan heeft en geeft de producten een extra kickback waar niemand natuurlijk wat van hoeft te weten.

Dat was het niet. Ik heb gister de F-Secure PDF over dit issue gelezen. Op 1 van de 2 namaak devices waren zelfs de Ethernet chips van een ander merk (LSI, terwijl Cisco wat anders gebruikt).

Ze leken overigens verder wel heel erg hetzelfde.

Puur aan hardware kost zo'n switch maar 15-20% van de normale retail prijs.
Als het gaat om originele parts, die via het zwarte circuit worden "ingekocht" is de prijs waarschijnlijk nog lager.
Zet dus een complete switch in elkaar uit illegale onderdelen en verkoop hem voor 50% van de retail prijs en je maakt nog steeds vet winst.

Overigens: Cisco (en alle ander grote swtich fabrikanten ook) geeft grote klanten tot 70% korting (op retail list-prijs) op veel switches. En dan maken ze nog steeds winst. Dus die hardware zelf kan gewoon nooit zo duur zijn,

Waarschijnlijk wel, die nieuwe switches retailen voor duizend(en) euro's. Als je een switch voor 50 tot 200 euro kan laten produceren en voor 800 euro kan laten verkopen is er redelijk wat geld mee te verdienen.

Productiekosten voor zo'n switch zijn een stuk lager. Het is niet zo spannend wat er in zit. Kosten zitten voornamelijk in de ondersteuning en R&D. Mensen die dit soort producten bedenken en ondersteunen zijn schaars en duur. En een groot deel van de kosten zit ook in marketing natuurlijk.

Tja, als je de productiecapaciteit hebt om deze toestellen massaal na te maken met goedkopere chips, dan kan ik mij inbeelden dat je een mooie stuiver kan verdienen hiermee.

Maar ik zou toch meer schrik hebben voor backdoors - zo moet je er maar een handjevol produceren om veel meer geld te kunnen verdienen met gestolen of ge-encrypteerde data (ook al hebben ze die niet onmiddellijk gevonden)...

Moet je ook het technisch onderliggende netwerk hebben en grotere kans dat je gepakt wordt.... Hier heb je grote kans zodra het ingebouwd is dat 0 mensen het zien -> Totdat er een update plaatsvind zoals nu maar hoe vaak gebeurt dat? ( ik zit niet in die industrie)

[Reactie gewijzigd door Zyphlan op 16 juli 2020 13:26]

[...]


En hoe is dit verdiend? Moet ik dit begrijpen dat zij zelf de nagemaakte switches hebben geproduceerd?
En dat zij dit verkochten?

Zelf chips inkopen, zelf monteren en verkopen? Dat doen ze dan tegen veel lagere prijzen dan wat cisco voor hun apparatuur vraagt.

Eigenlijk dus een copy clone.

Ik moet toch weer denken aan het verhaal van Bloomberg over door spionnen aangepaste hardware.
Ze zijn toen neergesabeld, maar het lijkt toch wel veel op wat hier aan de hand is.

https://www.bloomberg.com...e-america-s-top-companies

Dat verhaal was toen overigens ook niet nieuw, het gaat al veel langer rond:
https://www.bloomberg.com...posed-by-fake-cisco-parts

Cisco probeert ook zijn hele supply chain zelf te beheersen, dus in die mate dat 3PL's bij Cisco binnen op het terrein van Cisco komen te zitten.

Ook al eerder gehoord dat Cisco in overleg met eigenaren van bedrijven valse huisadressen huurde om te voorkomen dat de NSA, CIA enz in de supply chain al de software van de routers kon vervangen voordat het bij de bedrijven aankwam.

Natuurlijk is het een Amerikaans bedrijf, maar ik geloof wel dat ze bij Cisco integer zijn. Maar ook zij zijn gebonden aan Amerikaanse wetgeving en rechtspraak.

Natuurlijk is het een Amerikaans bedrijf, maar ik geloof wel dat ze bij Cisco integer zijn. Maar ook zij zijn gebonden aan Amerikaanse wetgeving en rechtspraak.

Dat, en dat bedrijven altijd afhankelijke blijven van hun personeel, en personeel kun je omkopen, chanteren of op een andere manier een oogje dicht laten knijpen. Het wordt heel moeilijk om te voorkomen dat iemand stiekem een achterdeur open laat staan, "per ongeluk" een verkeerd adres opschrijven of RFID-tracker in een doos laten vallen. Natuurlijk proberen ze dat wel, maar als er maar genoeg medewerkers een geheime agenda hebben is het eigenlijk niet te voorkomen.

Maar ze stopten dus met werken. ALs de koper die dingen via een officiële reseller heeft gekocht dan lijkt me dat het redelijk traceerbaar is waar dit vandaan komt.
Daarnaast hebben die dingen hebben lifetime warranty, dus dan komt cisco er toch zo achter op momemt dat ze terug gaan.

Ik snap dus niet echt waarom fsecure niet cisco bij staat in de zaak.

Ik heb een fake ASA 5585-X ontvangen een paar jaar terug van een onbekende / ongeautoriseerde refurbished boer en die was vrijwel gelijk aan de andere 5585-X'en die we al hadden hangen. Alleen als je goed keek zag je verschillen in de stickers en hoe de belettering op het chassis was geplakt.

Heb 'm bij Cisco om mogen ruilen voor een echte zodat zij onderzoek konden doen.

Op AliExpress is ook heel wat netwerkapparatuur te krijgen waar ik serieuze vraagtekens bij zet. Bij de freebies wordt er ook overal mee naar je hoofd gegooid. Zou interessant zijn om daar ook eens naar te kijken.

Cisco routers hadden toch sowieso al tijden backdoors, dat was algemeen bekend ol Tweakers.net

Ja, alleen werden die zodra ze bekend werden weggehaald, daar hoef je bij deze niet op te rekenen.

Het bedrijf zegt dat het de daders waarschijnlijk vooral om geld te doen was, maar dat systeembeheerders desondanks moeten oppassen.

Nee hoor, daar hebben we netwerkbeheerders voor

Dit bericht geeft toch wel aanleiding tot zorgen met name omdat niet duidelijk is hoeveel meer van dit gemanipuleerde IT spul (routers, access points etc) bestaat.
Als het zoals F-Secure inschat alleen om geldelijk gewin gaat is het naar mijn mening voornamelijk voor Cisco nadelig en voor de getroffen klanten, deze bedrijven zullen hun leveranciers nog eens moeten her evalueren.

Als het echter een bewuste manipulatie betreft door een partij die we nu nog niet kennen en waar we het doel niet van weten dan hebben we een ernstiger issue.

Wellicht ver gezocht maar toch genoeg om oplettend te zijn is het boek Ghost Fleet, beetje zwak verhaal maar toch.