AMS-IX voltooit migratie naar energiezuinige Juniper-switches

AMS-IX is volledig overgestapt op Juniper-switches. Het Amsterdamse internetknooppunt deelt dat de laatste gegevens zijn gemigreerd naar de MX10008-routers van Juniper Networks. De nieuwe switches zijn energiezuiniger, hebben meer poorten en ondersteunen 400G en 100G LR-1.

AMS-IX-engineeringmanager Tim Vriend deelt op LinkedIn dat de overstap naar de modulaire MX10008-routers, die ook als switches gebruikt kunnen worden, voltooid is. In totaal zijn er 26 Juniper MX10008-routers, 26 Juniper LC2101-modules en 74 Juniper LC9600-modules gemigreerd. Daarnaast deelt de manager dat er 818 10Gbit-klantpoorten, 582 100Gbit-klantpoorten en 140 400Gbit-backbonelinks zijn gemigreerd. De migratie nam in totaal ongeveer 1,5 jaar in beslag en omvat in totaal 66.380Gbit/s aan klantcapaciteit en 56.000Gbit/s aan backbonecapaciteit.

Het internetknooppunt maakte in 2023 bekend MLX-switches te vervangen door switches van Juniper. Daardoor zou het energiegebruik van de switches in zijn Equinix AM5-datacenter met 85 procent zijn teruggedrongen. Het energiegebruik daalde op die locatie van 52,8kW naar 8,2kW. De Juniper-switches zijn niet alleen energiezuiniger, maar hebben ook meer poorten en ondersteunen 400G en de 100G LR-1-standaard. De Juniper-switches hebben net als de oude MLX-switches een verwachte levensduur van 12 jaar.

Reacties (57)

[Aardedraadje]

Het energiegebruik daalde op die locatie van 52,8kW naar 8,2kW.

kW is vermogen. Energie is kWh. Het artikel van AMS-ix beschrijft duidelijk "power consumption" ofwel vermogen.

In energie per dag is dat oorspronkelijk dus 1267,2 kWh, nu omlaag naar 196.8 kWh.

[Reactie gewijzigd door Aardedraadje op 5 maart 2025 14:32]

[Lucb1e]

Klopt toch? Als een huishouden (bijv. continu of piek) 20 gram water per minuut verbruikt en daarna 14 g/minuut, dan beschrijf je dat als een gedaald gebruik denk ik. Nu is (k)W een (k)J/s dus naar mijn idee hetzelfde type eenheid als g/minuut en is het niet nodig om het naar bijvoorbeeld g/minuut×h om te rekenen (zoals kJ/s×h oftewel kWh)

Edit: voorbeeldeenheid aangepast voor een directere vergelijking

[Reactie gewijzigd door Lucb1e op 5 maart 2025 14:47]

[cosmo_roel]

Het woord "energiegebruik" schrijft niet voor of je het totaal of per tijdseenheid moet vermelden. Kilowatt is een eenheid voor vermogen en betekent joules (x duizend) per seconde. Het lijkt me prima om op deze manier aan te geven hoeveel energie verbruikt wordt. Als iemand het voor een bepaalde tijdsduur wil weten, kan die het zelf vermenigvuldigen met die tijdsduur om bijvoorbeeld tot kWHs te komen.

[Aardedraadje]

Dat is dus expliciet wel zo. Watt (en afgeleide kW, MW etc) is de SI-eenheid van vermogen. Vermogen is energie per tijdseenheid. Misschien ben ik hier te autistisch voor, maar ik las de zin en snapte hem niet. Het is tegenstrijdige informatie. Vandaar dat ik het uit moest zoeken.

[cosmo_roel]

Dan wil je dus dat het vermogen wordt genoemd als ik je goed begrijp. En dat wordt toch ook genoemd? Er staan toch al watts? Of zijn de waardes verkeerd?

edit: als een waterkoker een vermogen gebruikt van 1000 W = 1 kW, zijn de switches dus vergelijkbaar met ongeveer 8 waterkokers. Dat valt me reuze mee. Maar ook 50 waterkokers was me nog meegevallen trouwens. Dat zullen vast niet de grootste kosten zijn. Bij hyperscale datacenters gaat het bijvoorbeeld om megawatten (1000 keer meer).

[Reactie gewijzigd door cosmo_roel op 5 maart 2025 15:00]

[Tostie1987]

Bedankt, het artikel klopt op deze manier niet. Het verbruikt nu 8.2 kWh per uur en dus vermenigvuldigen met 24 uur dan kom je uit op 196.8 kWh per dag.

[BezurK]

Ik denk dat je "vermogen" best kan vertalen naar "gebruik", alleen niet naar "verbruik".

Dus de locatie gebruikt nu 8,2 KW en verbruikt dus 196.8 KWh per dag.

[Yariva]

Erg indrukwekkende cijfers vanuit AMS-IX. En ook erg mooi om te zien dat het algehele internet verkeer hier weinig / geen last van heeft gehad. Dit verspreid over een migratie window van 1 1/2 jaar voor een enorme internet backbone zoals AMS-IX is heel netjes te noemen. Gefeliciteerd allen, een goede reden voor een feestje!

[TimVriend]

🙏

[Robbierut4]

Van 52.8kW energieverbruik teruggedrongen naar 8.2kW. Dat is echt een absurde verandering.

Kan iemand uitleggen hoe het kan dat een apparaat dat de nieuwe switches niet alleen meer kunnen, maar ook zoveel energie zuiniger zijn?

Bij consumenten cpu's/gpu's zie ik die trend namelijk niet.

[Luchtbakker]

Kan iemand uitleggen hoe het kan dat een apparaat dat de nieuwe switches niet alleen meer kunnen, maar ook zoveel energie zuiniger zijn?

De nieuwe Juniper MX10008-routers zijn energiezuiniger dankzij efficiëntere ASICs (Application-Specific Integrated Circuits) die speciaal ontworpen zijn voor high-speed netwerkverwerking met een lager stroomverbruik. Daarnaast gebruiken ze geavanceerdere koeltechnieken en voedingseenheden die minder energie verspillen. Omdat ze modulaire line cards ondersteunen (zoals de LC2101 en LC9600), kunnen ze meer poorten en hogere snelheden (400G en 100G) bieden zonder dat het energieverbruik evenredig toeneemt. Kortom: slimmere chips, betere voeding en efficiëntere hardware-architectuur zorgen voor meer prestaties per watt.

[thetakman]

Zijn ten eerste 13 jaar oude (MLX) switches

Dat je dan op 125+- apparaten zoveel stroom verbruik bespaart is niet zo heel raar.
Bij CPU/GPU's zie je die trend niet omdat daar andere zaken belangrijk zijn.

Maar ga jij een 13 jaar oude videokaart maar eens pakken, en een game van toen opstarten, en dan een huidige nieuwste (high end) kaart pakken en zorg dat deze precies gelimiteerd is op dezelfde FPS in diezelfde game en dan ga je ook veel minder stroom verbruiken.

Alleen bij CPU/GPU's is het doel om sneller en sneller te zijn, en bij switches wil je niet 4FPS meer halen, maar gewoon een aantal GB's per poort. Alle overhead die daarna komt in performance kan je gebruiken voor energie zuinigheid.

[Olaf van der Spek]

Zijn ten eerste 13 jaar oude (MLX) switches

Was het qua kosten geen idee om eerder te upgraden?

[thetakman]

Dit zijn switches die rond de 80-90K in enkel hardware kost.

Die ga je niet om de 5 jaar vervangen als het spul nog goed draait.
Vergeet niet dat groot zakelijke datacenters voor een habbekrats inkopen.

Die rapporteren stroom in Megawatt ipv Kilowatt.

Dus van 50 naar 8 KWH is mooi.. maar een druppel op de plaat van een DC.
Plus een migratie van 1,5 jaar en spullenboel van 1.5/2.5 miljoen ga je niet zomaar vervangen omdat het nieuwer kan.

[servicedb]

Die "habbekrats" valt relatief mee tegenwoordig. Waar je vroeger als DC voor € 0,06 per kWh kon inkopen, is de markt toch behoorlijk veranderd. Daarbij moet je koeling etc bovenop tellen, waardoor je vaak op € 0,14 per kWh als goedkoopste uit kwam. Tegenwoordig kan je dat verdubbelen, zo niet, meer.

[dehardstyler]

Ze betalen in datacenters nu 0,28 per kWh+? Dat geloof ik eigenlijk gewoon niet. Kan je daar eens over uitweiden? Wat bedoel je bijvoorbeeld met "Daarbij moet je koeling etc bovenop tellen, waardoor je vaak op € 0,14 per kWh als goedkoopste uit kwam."?

Het gaat toch gewoon over de prijs per kWh, wat heeft de koeling daar mee te maken?

[erwinb]

bij de prijs van de kWh moet je de Power Usage Effectiveness (PUE) optellen.
veel datacenters draaien met een PUE van rond de 1.4 / 1.5 / 1.6. Als je een nieuw datacenter bouwt in de Amsterdam regio, moet het design een PUE hebben van 1.3 of lager,

hoe bereken je dan de kosten voor energie: (neem voor het gemak even een kostprijs van 20 cent/kWh)
20 cent x PUE (1.5?) = prijs die een verbruiker betaald, dus 30cent per kWh
soms komen daar nog aditionele belastingen bovenop, en kan je wel eens korting krijgen als er alleen groene stroom wordt gebruikt.

[dehardstyler]

Dat deel begrijp ik, maar dat maakt de kosten die een DC betaald aan een energieleverancier toch niet hoger per kWh? Je hebt meer kWh nodig om een datacenter te runnen, maar dat betekent niet dat de DC in kwestie nu ineens per kWh 0,28 betaald aan, zeg, Eneco? Of mis ik nou iets?

[erwinb]

je hebt 100% gelijk, het DC betaald aan Eneco gewoon de afgesproken prijs (laten we voor het gemak maar weer die 20 cent nemen). echter de gebruiker (AMS-IX) betaald dan die 20 cent per kWh aan het DC vermenigvuldigd met de PUE factor.

[dehardstyler]

Ja precies, dank voor je uitleg!

[TimVriend]

Er was al een eerdere migratie opgestart naar de Brocade/Extreme SLX Series, maar vanwege een wijziging in de roadmap (halverwege de migratie) hebben we die noodgedwongen moeten stopzetten en een andere type hardware moeten zoeken.

Met RFP, testen, onderhandelingen en levertijden (tijdens Corona en een zijwaarts geparkeerd schip in Panama Kanaal) ging hier iets meer tijd overheen dan gewenst.

[Maurits28]

Suez

[TimVriend]

Ah ja, sorry… Haal wat dingen door elkaar 😜
Dank u

Edit: Uhh bedenk me nu dat ik deze fout in meerdere berichtgeving heb gemaakt 😖

[Reactie gewijzigd door TimVriend op 5 maart 2025 18:49]

[Maurits28]

Ach, het is vast druk zo rond persberichten en afronden migratie.

Klinkt als mooi project en leuk om over te lezen! Toffe job.

[ZeRoC00L]

Er moet wel significante vooruitgang zitten in nieuwe hardware. Wellicht was deze niet eerder beschikbaar.
Daarnaast, er staat dat de migratie 1,5 jaar duurde, dan kun/ga je ook niet om de haverklap vernieuwen.

[bartje]

dat klinkt absurt,
maar toen ik dit huis 3 jaar terug kocht hingen er 2 100W gloeilampen,
nu hangen er 13W led lampen die ik ook nog eens gedimmed heb,
dus ja, innovatie qua energy zuinigheid gaat snel.

bij consumenten gpu's zie je dit wel terug, bij high end niet omdat daar de prestaties belangrijker zijn dan het energyverbruik.

[edit:]
@Frame164
je hebt helemaal gelijk

[Reactie gewijzigd door bartje op 5 maart 2025 15:55]

[Frame164]

Maar dan moet je de prestaties versus energieverbruik bekijken. En dan is het misschien wel zuiniger. Je doet alleen meer waardoor het onder aan de streep nog steeds een hoop verbruikt.

[Vulcanic]

De vorige switches waren meer dan 10 jaar oud - er is in de IT welzeker flink wat gewijzigd op het gebied van performance per watt binnen die periode.

[Martinspire]

Waarom heeft het dan zo lang geduurd voordat deze hardware is vervangen als je ziet dat de besparing zo groot kan zijn?

[TimVriend]

Zie ook mijn eerdere reactie elders hier in de comments, we waren al begonnen aan het vervangen, maar helaas hebben we die noodgedwongen moeten stopzetten en een nieuwe vendor selectie moeten uitvoeren.

[Reactie gewijzigd door TimVriend op 6 maart 2025 07:10]

[morphje]

Als je uitgaat van het feit dat de oude switches ook al 12 jaar oud waren, dan is die trend wel degelijk zichtbaar.

Intel Skylake, 6e generatie CPU's kwam uit in 2015 (dus 10 jaar oud). Ik heb gewust deze generatie genomen, omdat het de tock generatie was (Broadwell was de 5e generatie, meer performance, maar ook meer verbruik).

Anyway. De core i7 6700K had een TDP van 95W. Een huidige generatie processor met vergelijkbare TDP core i7 14700. Volgens Passmark zijn de scores respectievelijk 8940 en 42174. Een verschil van ongeveer 80%. En dat over een periode van 10 jaar. Voor 12 jaar moet je zelfs terug naar Haswell.

[Yankovic]

Bij consumenten cpu's/gpu's zie ik die trend namelijk niet.

Laptops van nu kunnen over het algemeen een stuk langer op de batterij dan 13 jaar geleden. En dat terwijl ze ook nog eens dunner zijn geworden (waardoor de batterijcapaciteit iig niet toeneemt)

Dat is mede dankzij een stuk zuinigere chips die dan ook nog eens krachtiger zijn dan 13 jaar geleden..

Bij desktops speelt de energiezuinigheid een kleinere rol en kiezen fabrikanten er dan juist voor om ipv energiezuiniger gewoon meer rekenkracht te bieden. Overigens heb ik wel het idee dat voedingen van 700 a 800W tegenwoordig niet zo snel meer nodig zijn

Bij mobiele telefoons zal die balans een beetje in het midden zitten. Ook daar worden de chips een stuk zuiniger, maar wordt er vooral naar gewerkt om iig een volle dag op de accu te kunnen doen.

[RogerWilco2]

Bij consumenten electronica zie je die trend ook.

Een moderne Rasberry Pi of andere zuinige computer kan even veel of meer dan een dikke server van 10-20 jaren geleden.

Jij vergelijkt het met hardware die veel meer kan dan de oude hardware.

Wij zijn ook onze netwerk infra uit 2007 van Foundry aan het vervangen door spul van Juniper en dat gaat ook ongeveer 75% schelen in het energieverbruik. Al was het alleen maar omdat 40x10G meer stroom verbruikt dan 1x400G, zeker als je het over lange afstand optics hebt, gaat het gauw om 20W per verbinding.

[Pilovali]

Van 52,8kW naar 8,2kW is toch een aanzienlijke energiebesparing! Ik ga er vanuit dat ze ook minder hitte uitstoten dus ook minder energie nodig om te koelen.

Zijn de chips die verantwoordelijk zijn voor switching zo energie zuinig geworden de laatste jaren?

[CorbataGames]

Die bespaarde koelenergie zal waarschijnlijk toch al wel meegerekend zijn?

[TimVriend]

Nee, die zit hier nog niet in.
De koeling word geleverd door het datacenter, waardoor wij hier geen zicht op het verbruik hebben.
Dit verbruik is puur het verbruik van de apparatuur die in onze racks hangt.

[CorbataGames]

Dan is het helemaal knap bedankt voor de extra info!

[thomasv]

Lijkt mij wel aangezien het gaat om het energieverbruik op die locatie en niet specifieker dan dat.

[RonJ]

Lijkt me juist niet, dat is namelijk vrijwel niet te meten op individueel niveau en de efficientie van het koelsysteemvarieert ook nog eens met de buitentemperatuur en belasting van het DC-segment.

Terwijl het primaire energieverbruik wel per rack of zelfs per apparaat gemeten wordt.

[JoeB2C]

Al dat verbruik wordt omgezet in hitte, dus ja de koelvraag is ook veel lager.

[pumpidumpi]

Al dat verbruik wordt omgezet in hitte, dus ja de koelvraag is ook veel lager.

Dat zou niet best zijn... Als je al je verbruik omzet in warmte heb je een 100% efficiente kachel. Maar die kunnen over het algemeen geen netwerkverkeer afhandelen.

[JoeB2C]

Ja dat werkt zo bij computertechniek. De hoeveelheid energie die niet in warmte wordt omgezet is volstrekt verwaarloosbaar.

[Reactie gewijzigd door JoeB2C op 5 maart 2025 14:54]

[mdcoo]

Helaas zijn de meeste linkse partijen en stichtingen tegen DC's omdat dat alleen maar veel stroom kost. Maar niemand die eens de moeite neemt wat je allemaal kan doen met die warmte.

Had laatst een project waar het volgende gebeurde.
Pro's:
Warmte extractie vanuit DC warm alley ==> 46 graden.
Een warmtepomp of een warmte wisselaar weet hier heel goed raad mee. En als resultaat kunnen die er 90 graden water van maken om dit vervolgens in te zetten als verwarming of warmwater.

Con's:
DC is niet altijd in de buurt van warmtecentrale.
Verlies is bij extreme kou van toepassing bij transport tussen DC en warmtecentrale.

[sympa]

En: in de zomer heb je warmte die niemand nodig heeft.
Maar het is wel aantrekkelijk dat te gebruiken als i put voor een warmtepomp, of als "bronnet" wat een lauwwaternetwerk is waar dan een warmtepomp in huis aan wordt gekoppeld.

[Sorcerer8472]

Zo goed als alle elektriciteit die in een DC wordt gebruikt, wordt in warmte omgezet.

[Olaf van der Spek]

Dat zou niet best zijn... Als je al je verbruik omzet in warmte heb je een 100% efficiente kachel. Maar die kunnen over het algemeen geen netwerkverkeer afhandelen.

Wikipedia: Wet van behoud van energie

Zo goed als alle elektriciteit die in een DC wordt gebruikt, wordt in warmte omgezet.

Buiten een DC ook, direct of indirect.

[Reactie gewijzigd door Olaf van der Spek op 5 maart 2025 15:07]

[Sorcerer8472]

True, er zijn btw wel wat minimale uitzonderingen zoals licht wat via een glasvezel uit het DC vertrekt, maar da's verwaarloosbaar

[LinuZZ]

Plus dat er ook licht terugkomt over de andere vezel

[peize9]

Ik denk dat een groot onderdeel ook is dat chips gewoon meer performance per watt hebben gekregen. Alle chips groeien snel, dus ook deze.

[Mellow Jack]

Uit de datasheet

The MX10004 and MX10008 RE features a 10-core 2.2 GHz Intel
processor with 64/128 GB memory and 2x200 GB solidstate drive
(SSD) storage.

Zullen vast nog een berg extra chips in zitten met bepaalde netwerk functies

[Uberprutser]

Dat is slechts de control plane.

[svennd]

Ik vermoed dat dit al inclusief koeling is.

[RogerWilco2]

Met hogere snelheden heb je ook veel minder nodig.
Een beetje optic gebruikt rond de 20W per aansluiting.
Wij zijn verschillende 40x10G door 1x 400G aan het vervangen, tel uit je winst.

[D0phoofd]

Juniper MX-serie zijn routers. Nu gebruikt iedere grote service-provider MPLS (Multiprotocol label switching, ook wel laag 2.5 genoemd) en VPLS.

Het is bijzonder hoe veel minder stroom we verbruiken per bit. Ook grote afstanden overbruggen met DWDM e.d. zijn super goedkoop en toegankelijk geworden.

[Dark Angel 58]

Juniper is van HP, nietwaar? Volgens mij heeft HP Juniper vorige jaar overgenomen.

[Reactie gewijzigd door Dark Angel 58 op 5 maart 2025 17:22]

[SpeedyDH]

Niet helemaal correct. HPE is bezig met de overname dus niet HP.
Maar https://www.computable.nl...r-hpe-op-losse-schroeven/ er loopt een rechtzaak.

[SHFT]

Ik had stress toen ik vier TOR-switchen moest vervangen in ons datacenter, laat staan alle switchen van een internet Exchange.