SURF test 1,2Tbit/s-glasvezelverbinding tussen Amsterdam en Finland

SURF heeft een langeafstandsglasvezelverbinding van 1,2Tbit/s aangelegd tussen Amsterdam en de Finse stad Kajaani, een afstand van meer dan 3500km. Met het experiment wilde SURF testen of het mogelijk is om enorme datasets met andere Europese onderzoeksinstanties te delen.

Op de route tussen SURF in Amsterdam en het netwerk van CSC in Finland, Funet, liep de glasvezelverbinding ook langs onderzoeksinstellingen in Noorwegen en Zweden. Er werd een overdrachtssnelheid van 1,2Tbit/s bereikt. SURF spreekt van 'veelbelovende resultaten', omdat met dit experiment zou zijn aangetoond dat grote geografische afstanden geen belemmeringen vormen voor hogecapaciteitsdataverkeer tussen Europese landen.

Hiermee bereidt de onderzoeksvereniging zich naar eigen zeggen voor op de toename van enorme datasets, die onder meer worden gebruikt voor het trainen van geavanceerde llm's. Met dergelijke langeafstandsglasvezelverbindingen zouden taalmodellen als OpenEuroLLM tegelijk getraind kunnen worden op de Lumi-AI-supercomputer, die in een datacenter in Kajaani wordt gehuisvest, en Snellius, die door SURF beheerd wordt.

SURF en de Scandinavische onderzoeksinstanties werkten voor dit experiment samen met Nokia. Dat bedrijf leverde het optische transportsysteem voor het vervoeren van de data over lange afstanden. Ook was Nokia verantwoordelijk voor de ip/mpls-routingtechnologie.

Reacties (42)

[Keypunchie]

Lekkere bandbreedte, maar wat was de latency?

[TPar]

goeie vraag, ik moest onmiddellijk terugdenken aan Tanenbaum: “Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway.”

Effe snel een berekening gedaan, een Ford Transit (6,1 m3 laadruimte) vol harde schijven (36 TB drives) van Amsterdam naar Helsinki laten rijden komt neer op een bandbreedte van 51+ Tbit/s. De latency is wel 27 uur :-).

[Balance]

Met microSD-kaarten kom je zelfs nog een stukje hoger. Een microSD-kaart is 15mm lang, 11mm breed en 1mm hoog. Simpel gezien 165 mm³ dus. Daarvan passen er dan ongeveer 6 miljoen in een kubieke meter.

Als we aannemen dat we de helft van de laadvolume daadwerkelijk benut krijgen, praten we dus over ongeveer 18 miljoen microSD-kaarten. Pak je de prima verkrijgbare 1TB-capaciteit, heb je dus 18 exabytes aan data bij je. Over 27 uur kom je dan uit op 185 terabyte per seconde, oftewel 1.5 petabit per seconde.

Ruim duizend keer zo snel als deze kabel dus! Één keer heen en weer rijden verplaatst dan meer data dan deze kabel zou kunnen in een heel jaar.

Uitgaande van UHS-I-kaartjes (~100 MB/s), heb je wel een kleine 2 miljoen geheugenkaartlezers nodig om die 1.5 petabit per seconde te halen. En alleen je geheugenkaartjes kosten al €1,4 miljard.

Qua context, de snelste submarine cable die ik kan vinden is MAREA met 200 terabit per seconde.

[Sliderhome]

Je. Moet hier wel de tijd bij rekenen om al die sd kaartjes eerst te vullen.

[MatthijsV.]

Hmm, ik denk eerder een latency van oneindig.
Heb er ff een gemiddelde oude harde schijf bij gepakt (Barracuda 7200.12 750GB) en ook snel een berekening gedaan:

Een HDD heeft een volume van ca. 0,37 liter (14,6*10*2,5 cm). Het laadvermogen van de Transit (6100 liter) gedeeld door het HDD-volume (0,37 liter) is afgerond 16.500 HDD's. De betreffende Barracuda weegt ca. 610 gram, dus dat betekent voor de Transit een lading van ca. 10 ton (16.500*0,610). Die Transit komt niet heel ver (als hij überhaupt al van z'n plek komt)...

[Reactie gewijzigd door MatthijsV. op 4 juni 2025 21:49]

[SpongebobSat]

[HolaGanz]

Wel nog even de kopieerslagen en/of afvoer- en installatietijd meenemen, dan neemt de latency nog wat toe. En de bandbreedte ook wat af, afhankelijk van hoe je dat berekent.

[GarBaGe]

Ik gok iets van 12ms.

Immers, lichtsnelheid is 300.000 km/s
Afstand is 3.500 km.
Dus 3.500/300.000 in seconden.
Ongeveer 12ms

[Lau1406]

Door een glasvezel kabel gaat het ongeveer 31% langzamer. Dan kom je uit op ongeveer 20ms
https://www.sikich.com/in...derstanding-fiber-optics/

[Tweaker1958]

Klopt. Licht reist langzamer in een ander medium dan een vacuüm.
Glasvezel 199.861 Kilometer per seconde
Door de lucht 299.000 Kilometer per seconde
Door een vacuüm 299.792 Kilometer per seconde

[jurgen1976]

In glasvezel komt dit voornamelijk omdat licht niet recht door een glasvezelkabel reist, maar bounced tegen de wanden waardoor je een zig-zag route door de kabel krijgt

[Bas_f]

Nee hoor. Dat komt doordat het licht tegen de elektronen van de atomen van het glasvezel aanbotst, waardoor de snelheid afneemt. Als het een zigzag-route zou nemen, dan zou de snelheid een fractie van de normale snelheid zijn.

[Davey400]

Beiden zijn van invloed. Het pad is daadwerkelijk langer door het ‘stuiteren’, maar in relatie tot het effect van het medium beperkt, zeker in single mode.
In multi-mode is het effect echter echt wel merkbaar. Gezien de afgelegde afstand in deze test is multi-mode zo goed als uitgesloten.
Er leest vast een betrokkene bij dit onderzoek mee hier, dus het echte antwoord zal snel komen. 🤓

[Houtenklaas]

Geen betrokkene, maar wat @Bas_f zegt klopt. Het licht wordt afgeremd omdat het tegen atomen aan botst in de vezel. Daarnaast wordt multimode alleen op de "korte" afstand gebruikt, deze test is met garantie met single mode uitgevoerd. Het "bouncen" is beperkt tot de kern van een vezel. Single mode heeft doorgaans een kern van 9µm "dik" waar het licht gedurende de reis in blijft zitten. Dus ja, het kan in die 9µm nog wel wat stuiteren. Multimode (waar ik in het verleden mee gewerkt heb) heeft een kern van 50µm tot 62,5µm, wat nog steeds niet heel veel is, maar significant meer dan bij single mode.

[Jack Flushell]

Je gebruikt de lichtsnelheid in vacuüm. Dit is in glasvezel, dat is een stuk langzamer, maar nog steeds bizar snel hoor. Er zijn best nog wat factoren, zoals breking en golflengte, naast afstand. Zie hier.

[Snow_King]

Die gaat niet lager worden, die is grotendeels al bepaald door afstand en lichtsnelheid

[rjmno1]

Zo een harde schijkven bestaan nog niet eens 1,2 tb per seconde das best snel.
Dan zit jue meer aan de limieten te denken van de servers die dus nu wel een botleneck zullen zijn.

[Luchtbakker]

Alsof data dat verwerkt wordt via een netwerkpoort direct opgeslagen wordt op een HDD/SSD. Daar hebben wij geheugen voor uitgevonden.

Maar zo'n verbinding wordt natuurlijk opgesplitst in honderden vertakkingen, door switches die dat wel kunnen verwerken.

[Cyberpuppy]

Dat zal een beste switch moeten zijn om dit te kunnen verwerken.

[Xfade]

Een zooi server SSD's in raid kunnen dat prima, heel veel RAM helpt ook mee.

[Jay-v]

Nee, dat haal je noot met een enkele server. De laatste generatie Turin servers heeft max 128 PCIE 5.0 lanes. 1 lane is 4GB/s welke je dus al voor een groot deel zou vullen. Daarnaast kan je inderdaad journallen in memory maar moet je het ook flushen naar disk.

Je loopt ook tegen allemaal ander problemen aan zoals je TCP/IP window size.

Om deze "pijp" te vullen zal je een scale-out file-system nodig hebben (bijv Lustre). Ook zal je meerdere clients om de data te versturen.

[Draggeta]

Misschien dat ik hier een rekenfout maak, maar (4GB/s/lane * 128 lanes * 8 b/B) / 1000 Gb/Tb ≈ 4 Tb/s toch? Een server zou het theoretisch 3+ keer aan kunnen als het PCIe 5.0 gebruikt en 128 lanes heeft.

[Reactie gewijzigd door Draggeta op 4 juni 2025 16:08]

[Jay-v]

Ja, maar de data gaat meer dan 1x over de PCIE lanes. Het gaat immers niet rechtstreeks van je NIC naar de SSD , daarnaast gaan daar nog andere zaken overheen.

Ter illustratie. De snelste NetApp appliance (AFF A1K) heeft een theoretische max van 80GB/s per "pair" (2 storage nodes). Komt al in de buurt, maar nog niet helemaal .

[Wouterie]

Ik gok dat het niet echt fijn is voor een online shooter, maar om lekker veel data over te pompen is latency niet zo heel relevant.

[kodak]

Er zijn verschillende manieren om snellere verbindingen te krijgen. Denk bijvoordeeld aan pairbonding bij dsl. Wat is in deze test dan een 'verbinding'? Hebben ze meerdere glasvezels dan gewoonlijk gebruikt? Of is het gelukt om meer gegevens per glasvezel te verzenden? Is het een combinatie?

[MrSir69]

Het nieuwe AI-cluster van de TU Eindhoven komt ook in Finland te staan. Lagere buitentemperaturen maken het makkelijker om de zaak koel te houden.
https://www.tue.nl/nieuws...s-krachtigste-ai-platform

[kodak]

Juist over de redenen staat niets in die bron. En hoewel men vermeld dat het bestaande datacentrum duurzaam is is dat niet zomaar een reden om voor die locatie te kiezen. De prioriteiten liggen bij onderzoek namelijk bij voor onderzoek belangrijke kenmerken zoals geschikte mogelijkheden voor inzetbaarheid en geschikte communicatie om van afstand die systemen te kunnen gebruiken. Zelfs al is de temperatuur in de zomer daar lange tijd fors hoger dan in Nederland of in de winter fors kouder. En dan is dit soort snelle verbindingen en de betrouwbaarheid daarvan daar veel belangrijker bij. Als die namelijk niet genoeg capaciteit heeft en niet genoeg beschikbaar is dan heb je anders een heel stuk minder aan de duurzaamheid van het datacentrum zelf.

[Tota-Fox-]

Maar is dit over één fiber of zijn dit er meer? Want dan kan ik ook wel zo rekenen.
Maar wel cool dat het zo alweer is. het dan stabiel, en wat voor type routers zijn daarvoor nodig?

[laurxp]

Ook dát zegt niet zo veel, want met WDM kan je verschillende verbindingen over één fiber laten lopen. In essentie krijgt iedere verbinding een eigen kleur licht, en aan beide uiteinden heb je een fancy "prisma" om de kleuren te combineren en weer uit elkaar te halen. Aan de andere kant kan je ook één verbinding splitsen over meerdere fibers: het is een relatief goedkope manier om op korte afstand meer bandbreedte te krijgen.

Je kan zo'n 80 "kanalen" over één fiber sturen, dus in theorie kan je zo'n verbinding maken met slechts 15Gbps / kanaal. Met zo'n snelheid zit je in 2025 al bijna op het niveau van consumentenapparatuur!

Maar goed, dat is hier natuurlijk niet het geval. Iemand anders had al deze bak gevonden, wat in feite een fancy media converter is, die met één kleur op één fiberpaar 1.2Tbps kan doen. Onderaan die pagina adverteren ze zelfs (met meerdere units die met WDM werken) een bandbreedte van 100Tbps per fiberpaar!

In de praktijk ga je dat echter altijd splitsen in meerdere TCP/UDP verbindingen, want zulke hoeveelheden data zijn niet door één machine te verwerken. Je kán daar wel een transceiver voor krijgen, maar er bestaan nog geen netwerkkaarten die dat aan kunnen, want zelfs met het aankomende PCI-E Gen6 geeft een x16-verbinding maar 968Gbit, en er bestaan überhaupt nog geen machines die daar gebruik van kunnen maken, want er is nog geen enkele CPU met PCI-E Gen6. Je komt al iets verder als je een custom NIC gebruikt (met bijv. 32 lanes via OCP) en op PCI-E niveau gaat switchen om data direct van de NIC naar de GPU gaat sturen, maar zelfs Nvidia's nieuwste bord komt niet verder dan 800Gbps / NIC - en dat is al mét PCI-E Gen6!

En als je toch al meerdere TCP/UDP verbindingen hebt, maakt het ineens vrij weinig uit of het één fiber is of meerdere. Na load balancing merk je daar helemaal niks van.

[Pilovali]

Hoe test je de snelheid van zo'n snelle glasvezel? Of is het gewoon een berekening?

[Vinez Initez]

iperf

[Pilovali]

Moet je wel een NIC hebben die zo snel kan. Ik denk niet dat iperf gebruikt wordt.

[Cyberpuppy]

Binnenkort in de pricewatch

[laurxp]

iperf tegelijkertijd draaien op een paar dozijn servers, en de nummers optellen.

[wimmi]

Ik hoop dat de kabel wel in een diepe geul onder water ligt

[himlims_]

china heeft een speciaal bootje daarvoor, incl ROV met 'kabelzaag' https://www.csis.org/anal...ship-spooks-international

[dez11de]

Dit is toch op geen enkele manier een bijzondere prestatie? Zowel afstand als snelheid zijn echt niks bijzonders.

[grasmanek94]

Wikipedia: Small Form-factor Pluggable

Ik ben benieuwd of ze dan ook QSFP-DD1600 gebruiken?
1.6 Tbits/s is wel erg toevallig.
Dus 16 of 32 fibers?

En zal dat dan wel een switch zijn van het kaliber als hier: https://www.edge-core.com/product/ais800-32d/ ?

Edit: Oops 1.2 T niet 1.6T maar oké, leuke technologie, bedankt!

[Reactie gewijzigd door grasmanek94 op 4 juni 2025 17:26]

[Floxtor]

De test was in samenwerking met Nokia, die hebben dit product als je zoekt op de 1.2 Tb/s producten: https://www.nokia.com/optical-networks/ice7/. Daar kan je wat meer vinden over de technologie die hier achter zit.

[diego_wen]

Volgens het artikel gaat het over "quantumveilige, hogecapaciteits en veerkrachtige IP/MPLS- en optische infrastructuur". Dan heb je niet genoeg aan dat optische spul van Nokia maar heb je FP5 gebaseerde routers nodig. https://www.nokia.com/networks/technologies/fp5/

[Cyberpuppy]

Wat kost een dergelijke switch? Ik vraag dit voor een vriend (Vrouw leest mogelijk mee)

[grasmanek94]

Ik heb geen directe prijzen maar als ik zo even rond snuffel en zoek naar meningen van mensen op fora dan zou het wel eens 50K-60K USD kunnen zijn.