AMS-IX ziet nieuw record in internetverkeer, met 13Tbit per seconde

De Amsterdam Internet Exchange, of AMS-IX, heeft een nieuwe internetverkeerspiek behaald. De organisatie zag het verkeer op de avond van 17 september rond half elf pieken op 13Tbit/s.

Dat de verkeerspiek 's avonds kwam, verrast het internetknooppunt niet. In de avond wordt het internet veel gebruikt voor het streamen van films en series, gaming of tijdens het leren, schrijft de organisatie. Het verkeer ligt dan dus vaak hoger dan overdag.

Toch noemt AMS-IX de piek van 13Tbit/s 'astronomisch'. Deze hoeveelheid verkeer staat volgens de organisatie gelijk aan bijvoorbeeld 65 miljoen mensen die tegelijkertijd Minecraft spelen of 520.000 mensen die tegelijkertijd 4k-video's streamen.

Het Amsterdamse internetknooppunt ziet het verkeer al jaren toenemen. Afgelopen februari verwerkte AMS-IX voor het eerst 12Tbit/s aan internetverkeer, wat het vorige record was. In 2022 lag de hoogste piek nog op 11Tbit/s aan data.

Reacties (63)

[Emcee]

Wat is eigenlijk de limiet die ze aan kunnen qua Tbit per seconde?

[lenwar]

Ik 'denk' dat dat moeilijk te bepalen is.
Dit gaat om peering.

Versimpeld gezegd:
Dus
KPN --- Odido
KPN --- Vodafone
KPN --- Delta
Vodafone --- Odido
Vodafone --- Delta
Delta --- Odido
Delta --- Vodafone
(( en allemaal ook nog terug ))

Als KPN bitjes uitwisselt met Odido, dan hebben Vodafone en KPN daar niets mee te maken.

Odido heeft recentelijk haar verbinding met AMX-IX geupgraded naar 2.4 Tbit/s
Stel dat alle vier die ISPs zo'n lijn hebben, dan zitten zij met z'n vieren al op 9,6Tbit/s capaciteit. Ofwel. Daar kunnen we geen conclusies over trekken

Denk denk dat die vraag een beetje neerkomt op 'hoeveel capaciteit heeft de ring van Amsterdam'. Veel verkeer blijft in één hoekje van de ring. En dan heeft de andere kant van de ring daar niets mee te maken. (( n.b. zoals alle auto/verkeer-vergelijkingen is ie een klein beetje scheef, maar het illustreert waar ik op doel ))

[sniek]

Dit zijn de "lokaal" opererende partijen. De AMS-IX is echter een hub die directe connecties heeft met omliggende knooppunten. Frankfurt, Londen, Parijs, Lille, Dublin, etc.... Ben eigenlijk ook wel benieuwd wat dat voor links zijn. Heb je daar ook info over? Gewoon 100gbps fibers en dan lacp trunkje van 20?

[LanTao]

AMS-IX heeft geen connecties met andere knooppunten.

[sniek]

Wie verzorgd die interconnects dan? NL-IX?

[LanTao]

Internet exchanges zijn niet onderling verbonden.

Carriers zoals Arelion (voorheen Telia), Colt (voorheen Lumen / Level 3), Zayo, EUNetworks hebben lange-afstandsfibernetwerken gebouwd waar netwerken capaciteit op huren voor het bouwen van hun eigen backbone en waar ze zelf ook diensten over leveren. En van zo'n netwerk kan je in Amsterdam zogenaamde global IP transit kopen zodat je niet zelf een dergelijke backbone hoeft te bouwen en beheren.

Een van de doelen van Internet exchanges is om op een schaalbare manier lokaal verkeer lokaal te houden. Daar zijn hooguit fiberverbindingen tussen datacenters in de regio bij betrokken.

Internet exchanges zijn in principe platte layer-2 netwerken. Deze koppelen aan andere zonder een router ertussen is technisch hondsmoeilijk.

[sniek]

Thanks LanTao! Weer wat geleerd vandaag. Moet ik Hurricane Electric scharen als carrier of als leverancier van diensten op een carrier?

[LanTao]

Voor zover ik weet hebben ze zelf nergens de aanleg van fibers gefinancierd maar ze hebben ongetwijfeld langlopende lease-constructies. De grens tussen de twee categorieën die je noemt is erg dun. Ze hebben wel eigen datacenters, onder andere in Freemont, Californië.

[sniek]

Helder. Zij doen voorkomen alsof zij zelf allerlei glas over de planeet hebben getrokken .

[Nox]

De links die je omschrijft zijn tussen 2 accesslagen, de data tussen een kpn/vfz/odido enz. en contentpartijen is meer. Denk dan aan partijen als hosters en cdn's van middelgroot formaat tot groot. Vaak zijn de hele grote partijen direct verbonden zonder IX, maar de iets kleinere partijen gaan via een IX omdat eigen crossconnects te duur/omslachtig zijn. Al is kpn zelf in bepaalde mate ook weer zo'n partij.

[LanTao]

% curl -RLO 'https://my.ams-ix.net/api/v1/members.pl?exchange=NL'
% cat total.pl
#!/usr/bin/perl -w

require './members.pl';

my $total = 0;

foreach my $m (@M6_MEMBER_LIST) {
next unless $$m{'vlan'}[0] =~ /ISP/;
my $s = $$m{'speed'};
$total += $1 if ($s =~ /^(\d+)GE$/);
}

print "$total\n";

Totaal ruim 16 Tbps, of 13 Tbps als je alleen 100GbE/400GbE-poorten meetelt.

Als je IPX Diameter ook meerekent (neutraal platform voor 4G/5G roaming tussen telco's), 23 Tbps en 18 Tbps respectievelijk.

De backbone tussen de switches zal enigszins oversubscribed zijn, en vaak zie je dat content-partijen in andere datacenters aansluiten dan zgn eyeball networks, dus in de praktijk zullen deze twee getallen niet gehaald worden.

Edit, twee uur later: De data lijkt incompleet dus bovenstaande getallen kloppen niet, de export levert 656 netwerken, de website zelf toont er 865.

Edit, weer een tijdje later: nieuwe data source, nieuw script: ruim 46 Tbps poortcapaciteit aangesloten, bijna 49 Tbps als je het IPX VLAN meetelt. Dit is alleen Nederland, sommige andere statistieken genoemd in de comments betreffen poorten in alle landen waar AMS-IX actief is. Als je die allemaal meetelt kom je op bijna 53 Tbps uit.

[Reactie gewijzigd door LanTao op 19 september 2024 15:27]

[JackBol]

Totaal ruim 16 Tbps, of 13 Tbps als je alleen 100GbE/400GbE-poorten meetelt.

Ik heb niet je script geanalyseerd, maar heb je x2 gedaan? Aangezien poorten bidirectioneel zijn?

[Olaf van der Spek]

Aangezien poorten bidirectioneel zijn?

Wilde je elk packet dubbel tellen? Als ik 1 packet naar jou stuur, telt dat dan als 1 of als 2?

[JackBol]

Dat script telt volgens mij alleen de totale poort capaciteit op. Als die uit komt op 16Tbps dan zou op die piek de gemiddelde poortbelasting 81% zijn. Daar krijgt een gemiddelde netwerk engineer een hartaanval van...

[LanTao]

Je hebt gelijk, de data lijkt incompleet dus bovenstaande getallen kloppen niet: de export levert 656 netwerken, de website zelf toont er 865.

Edit: met betere data is het 46 Tbps, dus 28% belast, wat gemiddeld is in de geschiedenis van AMS-IX.

[Reactie gewijzigd door LanTao op 19 september 2024 15:29]

[LanTao]

Internet exchanges tellen verkeer eenmalig, want elke bit in gaat er ook weer uit. Geen Cisco "full duplex"-marketinggetallen-meetmethode dus.

Het feit dat in het screenshot er meer 'Out' traffic dan 'In' is duidt overigens op een meetfout. Gewoonlijk zijn er altijd wel een paar poorten overbelast waardoor 'In' structureel meer is dan 'Out'. Als er meer 'Out' is, dan is er ofwel sprake van echt heel veel multicast — wat volgens mij niet het geval is bij AMS-IX — of worden er enkele poorten niet meegenomen in de berekening van het 'In'- maar wel van het 'Out'-totaal. Of er worden per ongeluk ergens backbone-poorten meegenomen, die zijn vrijwel altijd asymmetrisch in gebruik.

[Polderviking]

Vanaf dat soort knooppunten gaat verkeer allerlei kanten op, volgens mij is daar niet zomaar een hapklaar antwoord op.

[SupaHotFire]

Het AMS-IX heeft een capaciteit van zo'n 40 Tb/s:

https://www.techzine.nl/n...-35-procent-meer-verkeer/

[citegrene]

In 2022 hadden ze 49tb/s capaciteit volgens: https://www.stackscale.com/blog/ixp-ams-ix/

[TimVriend]

67,4 Tbit op dit moment, maar als je het volgende week nog eens vraagt, dan is het weer wat meer 😉

[pennywiser]

Is het niet zo dat het een continu stijgende lijn is en dat het eigenlijk pas nieuws is als daar van afgeweken wordt? Je kan elk bericht terug klikken naar het vorig record, 2019 was het 7 terabit.

[Polderviking]

Nieuwe iPhones zijn ook geen nieuws als je het zo brengt.

[pennywiser]

Ik vind het leuk om te lezen hoor, maar het is een logisch continuerende trend.

[Calypso]

Daarom krijg je het ook niet te zien wanneer er een nieuw record gevestigd is ("100 mbit/s meer als het vorige record"), maar alleen als er mijlpalen bereikt worden, zoals 13 TBit/s

[jaenster]

gezien er weinig veranderd is denk ik dat je daar nog wel eens punt kan hebben

[dasiro]

in toestellen kan er iets veranderd zijn, dit is gewoon puur een groter cijfertje in een grafiek

[DeCo]

520.000 mensen die tegelijkertijd 4k-video's streamen

Dat valt dan toch wel mee, of zie ik dat verkeerd?
We willen steeds meer on-demand, hogere beeldkwaliteit, sneller internet, etc.. de volgende piek zal niet lang meer op zich wachten, vrees ik.

[fenrirs]

Veel streaming diensten hebben dit al gecoverd.jouw netflix stream komt niet verder dan het dc van kpn/odido/ziggo

[DeCo]

Ik kan daar weinig over terugvinden (edgeRouting) hoe dat anno 2024 georganiseerd is.
Maar AMS-IX zegt zelf dat de oorzaak juist door streaming (en gaming, etc) komt. Dat zou betekenen dat dit nog niet, of te weinig gecoverd is en mijn Netflix stream nog gewoon via AMS-IX gaat?

[Raindeer]

Het is geen edgerouting maar caching. Een aanbieder zoals KPN heeft op ongeveer honderd locaties dit soort doosjes staan https://openconnect.netflix.com/en/

[dez11de]

Wat vrees je daar aan?

[DeCo]

ja, ik zag 'm ook, niet meer aangepast. Verkeerde woordkeuze inderdaad.. "vermoed", bedoelde ik

[_Tobias]

Of… 1.625 mensen met zo’n 8 Gbit glasvezel die ‘m even vol opentrekken.

[glennoo]

Je moet je Linux ISO's toch ergens vandaan halen?

[xiam]

Wat is de milieubelasting van AMS IX? Kan ik als gebruiker dit makkelijk verminderen zoals minder video calls/Teams meetings. Die laatste natuurlijk niet vervangen door een meeting waarbij iedereen met de diesel auto naar een lokatie rijd...

[LanTao]

Het stroomverbruik van netwerkapparatuur varieert nauwelijks met datadoorvoer, dus kijk vooral op 4K, daar hoef je het niet voor te laten.

[m-m]

maar er is wel meer netwerkapparatuur nodig als de pieken hoger zijn, dus je downloads op de dal-momenten doen heeft in theorie wel een milieu-impact als genoeg mensen het doen

[Raindeer]

Lantao legde het al uit, maar ik kan het ook nog wel even aan je uit leggen. Ik legde het vorig jaar nog uit aan enkele studenten https://ripe86.ripe.net/p...lel-events/student-event/

[m-m]

Ik denk dat we het meer eens zijn dan je denkt. Het is in de praktijk niet boeiend.

[themadone]

Gewoon op de fiets naar kantoor gaan. Dan ben je echt goed bezig.

Ontopic. Dit zal alleen maar toenemen, als ik op het werk kijk naar de gemiddelde mailbox afmeting bijvoorbeeld gaat het exponentieel.

Die mailboxen moeten weer over een lijntje heen tijdens de backup en zo dragen ook de bedrijven waar ik werk bij aan deze verhoging.

[Raindeer]

De mailbox is het probleem niet. Wil je een digitale schoonmaak houden, ga dan hier mee aan de slag;
Verspil je energie niet aan de mail tijdens de Digitale Zomerschoonmaak!
https://www.linkedin.com/...id&utm_campaign=share_via

[Raindeer]

De AMSIX heeft net nieuwe apparatuur en die is iets zuiniger dan de vorige. Ze besparen blijkbaar 85%op de stroomrekening en kunnen een decennium groei aan. nieuws: AMS-IX vervangt switches door Juniper en verlaagt energiegebruik met ....

[TimVriend]

Mwah, even nuanceren... Die 85% was op die locatie aangezien we daar een dubbele set oude switches hebben vervangen voor een enkele set nieuwe switches.
Afhankelijk van de apparatuur die er staat is de besparing bij andere locaties ergens tussen de 10-50%.

[Raindeer]

Ah, het klonk ook al te goed... Maar misschien eens een aparte blogpost over schrijven

[TimVriend]

We hebben al wel wat losse verhalen op de website staan en her en der op LinkedIn, maar zodra we de migraties volledig afgerond hebben, is het inderdaad de bedoeling om hier wat meer aandacht aan te geven

[Arnout]

De piek werd om kwart over negen gehaald en niet half elf. Zie https://stats.ams-ix.net/index.html
Het originele artikel zegt ook 22:30 CET, wat 21:30 CEST is.

[tweakhunter]

Apple IOS update

[lenwar]

Goed punt. Die zal best een stukje hebben bijgedragen.
Aan de andere kant. Het leeuwendeel van de mensen zal het niet zelf bewust aanklikken verwacht ik. Dus de meeste telefoons zullen 's nachts de update ophalen?

Is er ook niet een één of andere tv-serie opgestart of zo?
Ik zat zelf te denken aan een één of andere tv-serie/film of zo die net uit was, maar die diensten hebben veelal caching servers bij de ISPs staan, dus die gaan dan niet over de AMX-IX heen.

[Skit3000]

Haalt iOS de update niet pas op zodra je je apparaat aan de oplader hangt? Half elf komt vast aardig overeen met de gemiddelde bedtijd van Nederlandse iOS-gebruikers.

[lenwar]

Geen idee hoe Apple dat heeft geregeld. Dat denk ik wel.
Maar stel dat ik Apple zou zijn. Dan zou ik er wel voor zorgen dat dit automatisch wordt uitgebalanceerd. Dus de telefoon meldt zich aan "Ik ben autonoom/automatisch op zoek naar een update...." (dus zonder menselijke handeling). Dan zou ik als Apple server zeggen "Jij mag over een kwartiertje".

Mogelijk dat er relatief veel mensen zijn die "Update" en 'naar bed, we kijken morgen wel'. Maar nogmaals. Ik verwacht dat het leeuwendeel van de mensen er echt nooit naar kijkt. (we zien het wel).

[pennywiser]

In hoeverre komt alles langs Ams-ix of is er 1x een iOS kopie naar een CDN dichterbij geschreven vanuit de US.

[lenwar]

Daar kunnen we niks over zeggen. Maar goede kans dat die CDN-nodes voor Nederland ook met AMS-IX communiceren? Het kan natuurlijk ook inderdaad dat de Nederlandse ISPs Apple-servers hebben staan (die dus de updates/App Store spul binnen hun eigen netwerk cachen. Geen idee of Apple daar aan doet??)

En nu ik dit schrijf. Klassiek gezien zijn er altijd relatief veel app-updates na een iOS-upgrade. Dus die kan ook bijdragen. Maar ook hier geldt weer voor. Mogelijk wordt er automatisch gethrottled als het 'automatische updates' zijn.

[pennywiser]

Is niet logisch, Ams-ix is duur verkeer wat makkelijk in de keten uit te schakelen is. Ze communiceren er wel mee, maar eenmalig of minimaal, er wordt vanuit de US 1 kopie overgezet. Wij trekken het lokaal binnen. De snelheden waarmee het binnenkomt versterken mijn vermoeden. Mogelijk is er capaciteit onderhandeld in lokale DC's van cloud- of internetproviders. Volgens mij gaat dit met streamingsdiensten ook zo. Maar true, weten we niet.

[Reactie gewijzigd door pennywiser op 19 september 2024 10:41]

[lenwar]

Streamingdiensten hebben inderdaad "cachingservers" in de netwerken van ISPs staan.
https://openconnect.netflix.com/en_gb/
Netflix noemt dat 'Openconnect'. Ik ga er even heel simpel vanuit dat alle (grotere) streamers dat hebben. En inderdaad. Mogelijk dat Apple/Google dat ook doen met hun AppStore/PlayStore update (en daarmee dus ook misschien voor hun OS-updates als dat via een ander kanaal loopt (technisch gezien)).

Op die manier is het in de praktijk goedkoper voor alle parijen en bieden alle partijen een beter dienst. De ISPs hoeven niet achterlijke hoeveelheden data op te halen bij Netflix (en consorten) en Netflix hoeft niet nog achterlijkere hoeveelheden data op te sturen naar hun gebruikers.
Juist met een Netflix-achtige dienst, geldt dat ze een relatief kleine hoeveelheid data hebben. 'slechts' een paarduizend films/series die zwaar gecomprimeerd worden opgestuurd.
Voor UHD adviseert Netflix een internetlijn van ongeveer 15Mbit. (dat is dus met 'overhead' voor de rest van je netwerk). Dus die film/serie zal op 4k 10-12Mbit zijn? 1,5Mbyte per seconde. is 5,4GB voor 1 uur film. 5,4TB voor 1000 uur film. (en lang niet alles is in 4k beschikbaar!)
Dat is prima op te schalen naar 20000/30000 uur filmmateriaal (onderschat niet hoeveel uur een serie bij elkaar is ). Uiteraard is het meer dan onze NASjes aankunnen, maar op zich is het prima te doen. Ze hoeven in de praktijk natuurlijk ook alleeen maar de populairste titels lokaal gecached te houden. Daar is waarschijnlijk wel een slim algoritme op te bedenken.

[Sorcerer8472]

Heel veel komt langs AMS-IX. Als providers geen directe peering hebben met een bepaald CDN dan komt het verkeer al snel langs de AMS-IX. Veel merken zoals Apple zullen meerdere CDN's gebruiken, dus het kan zomaar zo zijn dat de ene iOS-update via AMS-IX loopt en de andere niet.

[pennywiser]

Misschien is dat verkeer allemaal niet zo duur meer als 20 jaar geleden, en misschien Apple wel een bedrijf met diepe zakken, je weet het niet .

[Sorcerer8472]

AMS-IX is lang niet zo duur als transit

Maar ws zal er veel Akamai zijn, en Akamai peert wel direct met elke grote ISP lijkt me?

[dez11de]

Apple heeft z’n eigen cdn.

[CH4OS]

De iOS update was echter op 16 September, afgelopen maandag. Als de iOS update de reden was, zou ik de piek op Maandag verwacht hebben, gezien velen vanaf het moment dat het beschikbaar is willen updaten.

[lenwar]

Dat ligt er natuurlijk aan wanneer de telefoons/tablets/settopboxen hem uit zichzelf beginnen te downloaden.

De gebruiker kon vanaf dat moment op ‘doemijdiemaar’ klikken, maar het leeuwendeel van de mensen zal het niet interesseren en krijgen hem gewoon opeens, of reageren op het rode eentje.

Apple kan daar prima op sturen dat dat een paar dagen later is om bandbreedte te spreiden .

[Videopac]

Zei daar iemand proxyserver?

[JapyDooge]

en de nieuwe Steam Family is pas out of beta