SURF haalt 800Gbit/s-datasnelheid met netwerkverbinding tussen Amsterdam en CERN

SURF heeft succesvol een netwerktest uitgevoerd over de 1648km lange glasvezelverbinding tussen CERN in Genève en Nikhef in Amsterdam. Daarbij werd een datasnelheid van 800Gbit/s bereikt. De verbinding is daarmee geschikt voor toekomstige datastromen, zegt SURF.

SURF voerde de succesvolle test samen met Nokia uit, zo werd maandag bekendgemaakt. Bij de test werd gebruikgemaakt van het bestaande glasvezelnetwerk tussen Nikhef en CERN, dat door België en Frankrijk loopt. Dergelijke 800Gbit/s-overdrachtssnelheden zijn nodig om gegevens uit de komende LHC-deeltjesversneller te kunnen versturen. CERN werkt momenteel aan een upgrade van die deeltjesversneller, die in 2029 klaar moet zijn. Momenteel heeft de verbinding tussen Nikhef en CERN een capaciteit van maximaal 400Gbit/s.

Het glasvezelnetwerk is de afgelopen tijd geoptimaliseerd om geschikt te zijn voor toekomstige datastromen van de Europese kernonderzoeksorganisatie, die is gevestigd in Zwitserland. Bij de test werden de nieuwe fotonische PSE-6s-netwerkkaarten van Nokia getest om te beoordelen hoe die presteren. Met het slagen van de test is aangetoond dat het netwerk tussen Nederland en Zwitserland een 'veel hogere capaciteit aankan dan werd verwacht', zegt SURF. Nokia deelt komende week meer details over de resultaten van de proeven.

SURF begon samen met Nikhef en Nokia eerder al met het upgraden van het netwerk. Nikhef is een van de dertien zogenoemde tier-1-locaties wereldwijd, die grote hoeveelheden data van CERN's Large Hadron Collider-deeltjesversneller ontvangt om te analyseren. Naar verwachting zullen de hoeveelheden onderzoeksdata flink toenemen nadat die deeltjesversneller is geüpgraded. SURF spreekt over '5 tot 7,5 keer meer data' dan nu het geval is. Het verbeterde 800Gbit/s-netwerk moet dus geschikt zijn om die data over te brengen.

Het SURF-team bij de Atlas-detector bij CERN. Echte gegevens van die Atlas-detector werden gebruikt tijdens de netwerktest. Bron: SURF

Reacties (79)

[Zackito]

Zo dan, en dan ook nog de capaciteit hebben om die data weer op te slaan.

[Liger]

De reden dat het naar Amsterdam gaat is omdat daar bij het Nikhef de supercomputer (parallelle verwerking, niet zozeer snelheid) staat die de data verwerkt en voornamelijk filtert. Het grootste gedeelte wordt niet opgeslagen. Bron: de podcast in de bovenste reactie.

[init6]

Nikhef heeft geen supercomputer (die staat bij Sara) maar is onderdeel van een tier 1 site waar de data opgeslagen wordt en een deel verwerkt wordt door Grid compute clusters (andere tiers). Nikhef en Sara werken hierbij samen en nemen elk een deel van de compute en data voor hun rekening. Het Grid cluster is een HPC cluster, maar staat volgens mij niet in de super top 500.

[Reactie gewijzigd door init6 op 23 juli 2024 05:43]

[MicGlou]

De snelheid zegt uiteraard niets over de hoeveelheid data... ook 1GB verplaatsen gaat nu uiteraard HEEL snel. Ik kan mij heel goed voorstellen dat in bepaalde onderzoeken en o.a. zoveel mogelijk "realtime" gegevens verwerken het niet snel genoeg kan.

[Horatius]

Denk niet dat er zoveel realtime data wordt verwerkt en zeker niet verstuurd, als er eenmaal een experiment gaande is ga je er niks meer aan aanpassen. Je regelt alles van te voren en niks meer tijdens, daarna kijk je achteraf welke data je hebt. Dus snelheid voor 1GB is vrij irrelevant, realtime zou ook meer om latency gaan en dan ben je in NL niet aan het juiste adres.

Ze moeten realtime zoveel kunnen versturen zodat ze minder hoeven op te slaan en alles sneller kunnen verwerken naar een kleinere hoeveelheid data. Dat zegt zeker wel wat over de hoeveelheid

Nee CERN genereert gemiddeld 1PB per dag, en met de komende upgrade wordt dat dus 5-7x keer zoveel.

[Reactie gewijzigd door Horatius op 23 juli 2024 05:43]

[MicGlou]

Punt is dat ik eenvoudig probeerde uit te leggen dat een dergelijke (enorm) hoge snelheid niets te maken hoeft te hebben met grote hoeveelheden data maar dat data nu 2x zo snel kan worden doorgesluisd om verwerkt te worden. Realtime is uiteraard geheel relatief, maar de data is veel sneller beschikbaar over grotere afstanden.

Overigens wat betreft de latency, ik vermoed toch heel sterk dat met zo'n snelle "directe lijn" er weinig over gezegd kan worden in vergelijking met... tja, zo'n beetje iedere andere dataverbinding die er van en naar Nederland ligt

[Reactie gewijzigd door MicGlou op 23 juli 2024 05:43]

[CAPSLOCK2000]

Zo dan, en dan ook nog de capaciteit hebben om die data weer op te slaan.

Niet noodzakelijk, soms kun je een deel direct verwerken zodat je daarna alleen de uitkomst hoeft op te slaan en niet alle data. Het zou misschien efficienter zijn om dat daar ter plekke te doen maar supercomputesr zijn duur, als je via het netwerk gebruik kan maken van bestaande computers is dat waarschijnlijk goedkoper en flexibeler.

[Zackito]

Ook al wordt het direct verwerkt, het moet toch ergens beschikbaar gemaakt worden voor het verwerken. Denk dan aan geheugen, caching of iets dergelijks?

In dit soort onderzoeken lijkt het mij ook handig dat je de "rauwe" data zelf ook nog kan inzien?

[CAPSLOCK2000]

Ook al wordt het direct verwerkt, het moet toch ergens beschikbaar gemaakt worden voor het verwerken. Denk dan aan geheugen, caching of iets dergelijks?

Het zal inderdaad tijdeljk in RAM en caches moeten worden opgeslagen, maar niet noodzakelijk op hardeschijven voor de lange termijn.

In dit soort onderzoeken lijkt het mij ook handig dat je de "rauwe" data zelf ook nog kan inzien?

Meer data is altjid beter, maar alles kost geld. Vergelijk het maar met een snelheidscamera. Die hoeft alleen foto's op te slaan van verkeersovertreders. Alle uren dat er niemand over de weg rijdt omdat het nacht is hoef je niet te bewaren.

[Luchtbakker]

Hoezo opslaan? Veelal van data is in de cache. Maar een klein deel van je surfgedrag wordt opgeslagen.

[downtime]

Surfgedrag? Waar heb je het over? Surfen in een deeltjesversneller?

[arbraxas]

Ik denk dat hij op het verkeerde been gezet word door de naam SURF.

[dooiedodo]

Dit is lhc data, niks cache. Daarna paar jaar nodig om data te analyseren

[SirMemeAlot]

Voor surfgedrag heb je sowieso niet meer dan 5mbit nodig, dus daar zal deze snelheden ook niet voor van toepassing zijn . Enige waarom ik nu een snelle lijn kan gebruiken is voor het down of uploaden van grote bestanden en dan is het wegschrijven wel degelijk een probleem.

[xzaz]

Dus data bewaren in cache is geen opslag?

[Andros]

Net zoals je niets download als je streamt toch ?

[ultimasnake]

en rekencapaciteit hebben om het te kunnen verwerken...

[Neocortex-re]

Als je die lijn dichttrekt dan is dat ca 6900 terabyte per etmaal. Dat zijn ca 150 LTO 9 tapes, compressed.
- Ja, dat past achterin een stationwagon.
- Ja, je rijdt binnen een etmaal van CERN naar Amsterdam.

"Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway. — Andrew S. Tanenbaum."

[fluffy1]

De vraag is, hoe lang duurt het om 150 LTO9 tapes vol te schrijven? En weer in te lezen?
Die dingen zijn niet van de snelste.

Of je moet 300 LTO9 tape drives voorzien. Maar dan mag je ook niet vergeten dat die allemaal moeten ingevoerd en achteraf weer verzameld moeten worden.

[svennd]

Download calculator maakt er eerder 8600 TB / 24H, LTO 9 kan "maar" 18TB/tape trekken ? Dat zijn eerder richting 470 tapes.

Er zijn al ssd's die 100TB kunnen storen (ExaDrive), dat kunnen we gewoon met de trein meenemen in een doos

https://what-if.xkcd.com/31/

Overigens wil je die data niet enkel van A->B krijgen maar ook verwerken om running parameters & experimenten te finetunen.

[ZinloosGeweldig]

En nu de tijd die nodig is voor het wegschrijven van de data naar de tape en het op bestemming inlezen van de data meenemen.

[joost00719]

Maar kun je die tapes ook zo snel weer uitlezen?

[SgtElPotato]

Je vergeet alleen de overdrachtsnelheid met de LTO tapes, die ligt vrij laag in vergelijking met deze 800Gbit/s aansluiting.

[Liger]

Je reactie zal natuurlijk voor de leuke vergelijking zijn, maar het er hier vooral over dat die 800GBits nodig is omdat ze het direct willen verwerken om het te kunnen filteren. Eérst opslaan en daarna gaan kijken welk deel van de data interessant is (erg weinig, ze zoeken spelden in hooibergen) is dan helemaal niet economisch.

[Nollekeuh]

Grappig, maar je moet die bende ook nog van en naar de stationwagen verplaatsen en op de tapes zien te krijgen. Succes!

Onzin vergelijkingen. Niemand heeft zulke hoeveelheden bruikbare data op tapes. Dat staat op servers met jawel, een internetverbinding. Tapes zijn voor archivering.

Hartstikke leuk dat ze daar elke keer het budget vinden om de interconnects op te waarderen en de verbindingen te optimaliseren voor hogere bandbreedtes. Dit is het zoveelste nieuwsberichtje over deze link. Ge-wel-dig!

[beerse]

Hoe onzinnig het ook lijkt, in het verleden zijn er wel degelijk dergelijke 'netwerken' geweest. Toegegeven, dat was in de tijd dat het vol schrijven van een tape/disk sneller ging dat de bandbreedte van lange-afstandsnetwerken.

[dlaoR]

"Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway. — Andrew S. Tanenbaum."

Die stationwagen heeft in elk geval het voordeel dat Amsterdam <-> Genève via de snelweg een stuk korter is dan 1648 km!

Heeft iemand enig idee hoe die kabel precies loopt? Of hebben ze voor het artikel de afstand heen en terug gebruikt? (Oh nee, klopt ook niet) 🤔

[VisionMaster]

Een beetje oude vergelijking inmiddels. Vroeger klopte het heel aardig, maar met alles eromheen buiten de transfer...

[maquis]

Super tof. Net een leuke aflevering opde podcat "Met nerds aan tafel "er over geluisterd met Tristan Suerink. Aanrader

Afl. 355 - De verborgen 94%: een reis naar het begrijpen van het universum met Tristan Suerink
https://podcastaddict.com...cultuur/episode/173234676

(Link correctie. Dank.)

[Reactie gewijzigd door maquis op 23 juli 2024 05:43]

[Xaverius]

Werkende link ;-)
https://podcastaddict.com...cultuur/episode/173234676

[Xieoxer]

Ik heb onlangs ook naar deze de podcast 'Met Nerds om de Tafel' geluisterd over dit onderwerp, waar Tristan Suerink aangaf dat ze zich aan het voorbereiden waren over dit onderwerp. Een snelheid van 800Gbit is op zichzelf niet per se indrukwekkend, aangezien deze snelheid al zijn bereikt in verschillende testopstellingen. Wat echter indrukwekkend is aan Nokia en SURF, is dat ze deze snelheid hebben behaald op een langeafstandskabel die oorspronkelijk niet bedoeld was voor hoge snelheden en die veel last heeft van ruis. Langeafstandskabels die op de zeebodem liggen, kunnen op minimeter nauwkeurig een retransmitter plaatsen, iets wat niet mogelijk is bij kabels die over land lopen vanwege obstakels zoals gebouwen.

De link naar de podcast: https://www.metnerdsomtaf...-met-tristan-suerink.html

[Reactie gewijzigd door Xieoxer op 23 juli 2024 05:43]

[RAAF12]

minimeter? Er zitten inderdaad verzwakking in de fiber dus wordt het laserlicht weer versterkt onderweg, maar dat gebeurd in de regel om de 20-50km afhankelijk hoe oud de (zee)kabel is.

[MauricevL]

Tweakers heeft geloof ik ook eens een interview gehad met iemand die bij dit project betrokken is. Is indaad erg interessant!

[lasermen]

Bedoel je deze? https://tweakers.net/revi...oor-met-rappe-opslag.html
Hier wordt dezelfde persoon als bij de bovenstaande MNOT podcast geinterviewd.

[MauricevL]

Precies dat artikel ja! Was leuk om te lezen

[kanvua]

Erg boeiende aflevering inderdaad. Zeker het luisteren waard als je meer context wil over die aansluiting.
De url werkt overigens niet, dat moet zijn: https://podcastaddict.com...cultuur/episode/173234676

[jackaubrey]

Hoeveel vezels heeft die verbinding dan?
In de bron staat dat de gebruikte router 48 'aansluitingen' heeft.

[anboni]

Als ik die link over die PSE-6s kaarten zo lees, gaat dit over 1 vezel (of mogelijk een vezelpaar, dat haal ik er diagonaal lezend niet uit). Daar worden twee van dit soort 800Gbit kanalen overheen gemultiplexed.

[opdenakkerj]

De verbinding is 1 enkel vezel paar. Voor de test werd met een enkel 150GHz kanaal gewerkt. In theorie krijg je 96 kanalen op DWDM, maar met 150GHz spacing wordt dat een ander verhaal.
De 48 poorten gaat specifiek over de routers aan de uiteindes van de vezel. Hierop zitten respectievelijk de NL-T1 en CERN datacenters aangesloten.

[kodak]

Een verbinding is een aaneensluiting van verschillende paren en dus verschillende soorten glasvezel die gezamenlijk met de apparatuur de praktijk bepalen?

[JackBol]

'veel hogere capaciteit aankan dan werd verwacht'

Voor veel mensen zal het een beetje onbegrijpelijk zijn wat hiermee bedoeld wordt. We kennen 100mbit, 1gbit, 10gbit etc en wanneer het link lampje aangaat kun je op die snelheid versturen, en zo niet zal een ethernet verbinding vaak de snelheid omlaag zetten naar bijv 100mbit. En het maakt niet uit of het om een koper of glasvezel verbinding gaat.

Echter gaat dit om glasvezel verbindingen met lange afstandsoptics. Die glasvezel fiber is niet 100% perfect en heeft vervuiling en lassen zitten, waardoor er demping (attenuation) plaats vindt. Daarnaast 'slippen' wavelengths een beetje over afstand (skew en polarisation mode) wat dispersion veroorzaakt , waardoor het signaal niet meer te demoduleren is.

Het feit dat een optische verbinding over deze (relatief oude) fibers werkt is te wijten aan bijzonder goede optical technologie die hiervoor kan compenseren. Dit is echt cutting edge engineering van Nokia.

[TheGraphic]

Is dit niet best langzaam als je zoiets leest? https://circleid.com/post...er-than-average-broadband

[Erwin537]

Waarom moet die data zo snel over zo'n grote afstand worden verplaatst? Je zou bijna complottheorieën bedenken dat ze de data zo snel mogelijk buiten de blast radius moeten verplaatsen

[borft]

omdat die data zo snel gegenereerd wordt door de deeltjesversneller...

[Reactie gewijzigd door borft op 23 juli 2024 05:43]

[Erwin537]

Ja dat snap ik op zich, maar waarom moet het ook zo snel verplaatst worden. Ik neem aan dat het makkelijker is de data gewoon op te slaan en vervolgens te verspreiden.

Wat @CAPSLOCK2000 zegt klinkt ook logisch. Ik zat in eerste instantie te denken aan onderzoekers die over de wereld verspreid zijn..

Het is natuurlijk goed en logisch dat er stappen worden gezet in het verhogen van bandwidth over grotere afstanden, maar uit het artikel lees ik dat dit noodzakelijk is. Wat maakt het dat de data niet vertraagd opgestuurd kan worden?
Toen ik vroeger nog 'Linux ISOs' downloade kon ik ook een dag van te voren de download starten zodat ik de volledige 'Linux ISO' binnen had en kon bevestigen dat het goede kwaliteit was voor ik hem ging 'installeren'. Als het meerdere supercomputers zijn die samen werken op één centrale dataset snap ik hem.

[Ellej_Harmsen]

Oh, dit kan ik wel beantwoorden.

CERN genereert zo veel data dat je het niet op kan slaan. Ze doen daar verschillende dingen mee. Ik zal dit heel grof verwoorden, er zijn mensen met meer in-depth kennis van dit onderwerp.

• ML word gebruikt om "nuttige" van "nutteloze" data te onderscheiden. De als "nutteloos" gemarkeerde data word direct weggegooid. Het is best interessant hoe vroeg ze daar begonnen zijn met het gebruiken van ML. Ik geloof dat ze het niet erg vinden als er wat te veel word weggegooid, dus mogelijk hoeven de ML tools niet zo nauwkeurig te zijn voor dit werk.
• Nuttige data wordt deels daar opgeslagen (Tier 0). In 2017 hadden ze al 200 Petabyte ter plekken opgeslagen op tape, maar:
• Het meeste van de nuttige data wordt verstuurd naar rekencentra verder weg om daar dan verwerkt te worden in resultaten (Tier 1). Daar werken dan specialisten aan verder om publicaties van te schrijven (m.a.w. wetenschappelijke vooruitgang te produceren). Verder dienen deze locaties als back-ups, en verspreiden ze de data verder naar alle Tier-2 datacenters.

lees ook dit artikel:
review: Datavloedgolf LHC op komst - Nikhef bereidt zich voor met rappe opslag
of bekijk deze presentatie
https://indico.cern.ch/ev...C2019_MLBigData_final.pdf

Het is best bizar hoeveel de projecten rond CERN hebben bijgedragen aan internationale digitale infrastructuur. In 2005 bestond hun interconnected systeem al uit meer dan 10000 cpu cores (https://home.cern/news/pr...-grid-surpasses-100-sites) en veel internationale communicatie verbindingen. De investeringen in dit systeem hebben ons internet hier ook verbeterd (en versneld). De kosten die er voor gemaakt zijn, zijn natuurlijk wel hoog... Maar het is niet zo dat alles wat het project kost niet meer ten gunsten komt aan de maatschappij.

[borft]

Het is een stream, dus je kunt het wel opslaan, en dan? Ik vermoed dat de stream eerst verwerkt wordt, voordat het opgeslagen wordt, zodat je alleen opslaat wat echt interessant is. Als je het eerst opslaat en dan nog moet downloaden heb je nog meer bandbreedte nodig.

[rschwartnld]

Het antwoord op deze opmerking is simpel omdat er elke dag enorme hoeveelheden data bewerkt moeten worden.
Dus tijd is er niet zeker omdat de super computer er ook een enorme puist werk aan heeft en jawel CERN echt niet de enige is die deze supercomputer gebruiken wil.
Het barst van de wetenschappers en instituten die deze machine allemaal willen gebruiken, vandaar ook het grof filteren zo snel mogelijk uitvoeren zodat de werkelijke hoeveelheid data toch sterk word ingeperkt.
Dit alweer omdat het aantal super computers zelfs samen een enorme klus hebben om al de aangeboden reken klussen te kunnen verwerken.
Het feit alleen al dat onderzoeken in alle richtingen ( bijvoorbeeld AI of wat dan ook) daar ook tijd eist maakt het nog moeilijker om deze enorme klussen effectief door te worstelen.
Zelfs op universiteit systemen is het vechten om de tijd en rekencapaciteit van toch echt ook krachtige systemen is verdomd lastig.

[CH4OS]

omdat die data zo snel gegeneerd wordt door de deeltjesversneller...

Ik hoop dat de LHC zich niet geneert over de data die het genereert...

[Reactie gewijzigd door CH4OS op 23 juli 2024 05:43]

[borft]

hehe, scherp!

[CAPSLOCK2000]

Waarom moet die data zo snel over zo'n grote afstand worden verplaatst? Je zou bijna complottheorieën bedenken dat ze de data zo snel mogelijk buiten de blast radius moeten verplaatsen

Ik denk omdat de computers die ze nodig hebben (te) duur zijn, daarom willen wetenschappers gebruik kunnen maken van supercomputers over de hele wereld.

[beerse]

Misschien is het inderdaad wel om het zo snel mogelijk elders te krijgen om calamiteiten voor te zijn. Ik kan mij voorstellen dat ze het lokaal verwerken EN op 1 (of meer?) plekken op afstand.

[Zwatelaar]

Als het ze lukt een zwart gat te creëren, is die snelheid alsnog niet toereikend

[nelizmastr]

Die kun je ook met een potje Norit genereren, kost geen data

[jaenster]

Hoeveel post duiven met usb sticks moet je op en neer sturen voor een hogere data overdracht? De latency is dan wel een stuk hoger

[Wolfos]

Je hebt tegenwoordig USB sticks van 1TB, dus 8000 gigabits. Er zou dus iedere 10 seconden een duif moeten aankomen

[k995]

Afrikaanse of europese duif?

[szjoin]

Dat weten alleen The Nerds Who Say 'Ni!'

[Sandor_Clegane]

Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway.
–Andrew Tanenbaum, 1981

[MineTurtle]

Een stuk milieuvriendelijker dan rooksignalen met zulke hoeveelheden data

[Reactie gewijzigd door MineTurtle op 23 juli 2024 05:43]

[beerse]

Hoe snel kan je een usb-stick vol schrijven?

[boner]

is dat knap? als je DWDM ZHX interfaces gebruikt en een passieve DWDM 'switch' gebruikt. Dan is 32 losse kanalen met 25Gb mogelijk. Dan voor de afstand een EDFA dan is dat toch te doen? of denk ik (weer eens) te makkelijk.

[Peebee01]

Op de link van SURFpassen 32 van dit soort 800Gbps kanalen. Dus 25.6Tbps op een enkel vezelpaar.

[haam]

Toen ik 30 jaar geleden mijn AT aanzette met 1 hele MB intern geheugen om via de vertrouwde inbelverbinding (inclusief wachttijd) over het internet te SURFen, was deze snelheid nog niet eens een droom van de tech wereld.

We have come a long way....