Tweakers Gaming Live - Een kijkje in de netwerkkeuken

Bij de organisatie van een evenement met de omvang van Tweakers Gaming Live komt een heleboel kijken, waaronder het aanleggen van een netwerk waarop de honderden pc's kunnen worden aangesloten. Op verzoek van velen geven we in dit artikel een klein kijkje in de keuken.

Vrijwel alles wat je kunt doen of zien op Tweakers Gaming Live, van de lanparty tot simracing en de e-sportstoernooien, vereist een netwerkverbinding. Soms alleen lokaal, maar in de meeste gevallen ook nog een verbinding die op internet is aangesloten. Een dergelijk netwerk wordt niet simpelweg opgebouwd uit wat switches die je bij de gemiddelde webshop haalt, maar vereist apparatuur van een andere orde. Onze partner Duh-Events heeft daarom met netwerkleverancier Juniper Networks de handen ineengeslagen om dit fundament voor TGL te bouwen.

De opbouw van het netwerk

Het hart van het netwerk bestaat uit twee QFX5100-48S-AFO-switches die met elkaar in verbinding staan. Deze zijn voorzien van 48 10Gbit-aansluitingen naast nog eens 6 aansluitingen die maximaal 40Gbit doorvoeren. Samen vormen ze een Virtual chassis. Om de lanparty op deze krachtige backbone aan te sluiten, wordt elke tafelrij uitgerust met EX3300-48 switches, voorzien van 48 1Gbit-aansluitingen en vier aansluitingen van 10Gbit. Elke groep van vier tafelrijen wordt gecombineerd tot een Juniper Networks Virtual Chassis, met een uplink naar beide coreswitches en onderling een 10Gbit-link.

Ieder Virtual Chassis heeft dus een 20Gbit-uplink naar de cores, die gekoppeld worden aan de beide uiteinden van het virtual chassis, zodat de verbinding blijft werken bij een glasvezelbreuk van een van de kabels.

Juniper Networks Virtual Chassis

Dankzij de Virtual Chassis-techniek op de Juniper Networks-switches kan het management van verschillende switches gegroepeerd worden. Bij TGL wordt bijvoorbeeld gebruikgemaakt van Virtual Chassis met vier zogenaamde members. Dit houdt in dat er één beheersentiteit per vier switches is. Simpel gezegd zijn er binnen een Virtual Chassis de volgende rollen:

• Routing Engine
  Dit is de 'master'-switch. Tegelijk is de routetable van deze switch leidend voor alle members.
• Backup Routing Engine
  De Backup Routing Engine, Ook wel de Backup RE genoemd, is de back-upswitch, die alle taken kan overnemen van de Routing Engine als hiermee iets fout gaat.
• LineCard
  De LineCard memberrol wordt voor alle overige switches gebruikt. LineCards zijn 'domme' switches die hun configuratie volledig vanaf de Routing-Engine ontvangen.

Het configureren, back-uppen, updaten en beheren van een Virtual-Chassis 'Stack' is eenvoudig, doordat er maar één configuratie en toegang is voor verschillende switches. Er hoeft dus geen configuratie per switch gemaakt te worden. Wel is sprake van afwijkende interfacebenamingen als deze technieken worden gebruikt. Dit heeft te maken met het doornummeren van de memberswitches en kan volledig van tevoren worden voorbereid. Dit is een handige functie van de Juniper Networks-switches. Een interface hoeft niet fysiek aanwezig te zijn om ze toch van configuratie te kunnen voorzien. Dit maakt het werk met het voorbereiden van de configuraties en hardware een stuk eenvoudiger.

Dns en dhcp

Bij iedere netwerkomgeving horen de coreservices: dhcp en dns. Zo ook bij Tweakers Gaming Live.
In de beginjaren van lanparty’s was wasknijper-dhcp de normaalste zaak van de wereld, maar inmiddels pakken we dat beter aan. Om een stabiele omgeving te creëren, wordt gebruikgemaakt van Infoblox DDI (dns, dhcp, ipam). Met het Infoblox-platform kan op een eenvoudige manier snel een cluster van dhcp-en dns-servers worden gebouwd. Door de coreservices op verschillende fysieke servers te verspreiden en dupliceren, wordt de impact bij uitval beperkt.

Wifi

Het draadloze internet op Tweakers Gaming Live is een van de belangrijkste diensten die zowel de beursgangers als onze lanbezoekers krijgen aangeboden. Iedereen heeft tegenwoordig een of meer apparaten die van wifi zijn voorzien. Om iedereen veilig en werkbaar wifi te kunnen bieden, is het gebruik van de legacy-2,4GHz-band enorm beperkt. Waar dit niet nodig is, wordt ook niets op deze frequentie uitgezonden.

Om de bezoekers zo goed mogelijk te beschermen tegen mitm-aanvallen wordt een 802.1X beveiligd wifinetwerk aangeboden. Om hier verbinding mee te maken moet de gebruiker een gebruikersnaam en wachtwoord invoeren. Vervolgens wordt een specifieke sessiesleutel bepaald voor het verkeer dat van en naar deze gebruiker wordt gestuurd. Hierdoor wordt het afluisteren van de gebruikers een enorm lastige handeling.

Er wordt gebruikgemaakt van Aruba Networks-hardware om een zo goed mogelijke wifidekking te realiseren. Daarbij worden twee Aruba 7210-controllers ingezet, zodat er redundantie is en de andere controller het kan overnemen bij storingen. Daarnaast worden ongeveer vijftig accesspoints verspreid over de hallen opgehangen om een zo goed mogelijke dekking te krijgen tijdens het evenement. Deze hardware komt van EventInfra. Om de accesspoints aan te sluiten, worden vooral Juniper EX2300-C-12P switches gebruikt.

Internet

De internetverbinding bestaat uit een link met Nikhef Housing te Amsterdam. Omdat de meeste games tegenwoordig via internet worden gespeeld, krijgen de lanbezoekers een publiek ip-adres, zodat de pc's direct vanaf internet benaderbaar zijn. Omdat niet alle bezoekers de kennis of mogelijkheid hebben om een firewall in te stellen, neemt de organisatie dit op zich door firewalls in het netwerk te plaatsen. Zo worden de bezoekers waar mogelijk tegen malafide downloads, ransomware, virussen en exploits beschermd. Ook wordt het inkomende verkeer op onbeschermde poorten gefilterd, zodat verkeer als Microsoft rdp, ssh en rawprinting nooit bij de eindgebruiker terechtkomt.

Palo Alto Firewall

Als firewall wordt een Palo Alto Networks NGFW-series ingezet. Deze biedt aanvullende features op firewallniveau waardoor niet enkel poortgebaseerde beveiliging kan worden toegepast, maar ook applicatiegebaseerde blokkades kunnen worden gecreëerd. Een van de mooie doelen waarvoor dit wordt gebruikt, is bijvoorbeeld het blokkeren van dns als applicatie. Dit wordt gedaan om de bezoekers te dwingen gebruik te maken van de geboden dns-oplossing. Om efficiënt gebruik te kunnen maken van de internetverbinding, worden namelijk bepaalde Steam-updates gespooft. Dit gebeurt op basis van de dns-omgeving. Verder wordt gebruikgemaakt van een High-Availability-configuratie. Dit houdt in dat als onverhoopt een van de firewalls uitvalt, de andere dit binnen een paar milliseconden naadloos overnemen.

Netwerkcrew

Duh-Events heeft als netwerkcrew een groep vrijwilligers die zich CCN noemen. De uitwerking van de infrastructuur op Tweakers Gaming Live is eerder ingezet op enkele edities van The Party, CampZone en The Reality, en heeft zich daar prima bewezen.

Data en locatie

• Datum: vrijdag 9 tot en met zondag 11 november
• Locatie: Brabanthallen Den Bosch
• Lanparty: vrijdag 17.00 tot en met zondag 16.00 uur
• Expo en toernooien: zaterdag (09.30 - 22.00u) en zondag (08.30 - 20.00u)

Faq

Antwoorden op veelgestelde vragen vind je hier.

Dagticket

• Toegang tot de expo en e-sportsarena
• Gamen, cosplay, merchandise en meer.
• Live meekijken e-sportstoernooien
• 10 of 11 november

€ 19,⁵⁰

Bestel

Weekendticket

Meest verkocht

• 2 dagen toegang tot de expo en e-sportsarena
• Live meekijken e-sportstoernooien
• Gamen, cosplay, merchandise en meer.
• 10 en 11 november

€ 29,⁵⁰

Bestel

Lanparty ticket

• 48+ uur multiplayerfun! BYOC
• 2 dagen toegang tot de expo en e-sportsarena
• Verschillende e-sportstoernooien
• Incl. koffie, thee en fris

€ 69,-

Bestel

Reacties (68)

[Quindor]

Voor de mensen die graag wat meer de techniek achter LANparty events wil zien en daarbij met name de netwerken die CCN de laatste jaren bouwt in combinatie met Juniper apparatuur, zijn er ook 2 videos!

Beide komen uit 2017, deze gaat over The-Party en de netwerk opstelling daar en deze video is een soort "achter de schermen" op CampZone 2017!

[diehard889]

Enige wat ik mis zijn nog wat foto's om bij te kwijlen.

[RobbyTown]

Hier wat kwijl spul @ Campzone HQ enkele jaren terug. Even gecheckt het is/was 2009

https://tweakers.net/ext/f/ALfh5oJSjpn3hULmuphBj3JJ/full.jpg
https://tweakers.net/ext/f/sR8syGxvUPybrYw5pS8asyd4/full.jpg

[Reactie gewijzigd door RobbyTown op 26 juli 2024 09:58]

[Beuker]

WOW das lang geleden! Dat zijn niet enkele jaren ;-)

[Le Mol]

Denk dat die foto’s uit 2006 of misschien 2007 zijn. Die Big Iron doet zijn naam tegenwoordig eer aan, het was toen echt een mooi ding om mee te werken, maar heeft naar de huidige maatstaven echt geen zinnige capaciteit meer :-)

Dit is een foto van de racks van 1 van de afgelopen jaren op campzone: https://tweakers.net/ext/f/rLCZCiNvEwG2vJmQxl2at6dx/full.jpg (foto is gemaakt door Quindor)

[Neo_TGP]

Daar is een oplossing voor, al het spul is te zien op Tweakers Gaming Live

[StephanVierkant]

Interessant om te zien!

Wordt er ook gebruik gemaakt van een proxy server om bandbreedte naar de uplink te besparen? Ik kan me voorstellen dat er veel bandbreedte wordt gebruikt voor het downloaden van (updates van) software (games, OS) en het is nogal zonde als iedereen daarvoor individueel de uplink gaat gebruiken.

[Miepermans]

Ja! Omdat de bandbreedte redelijk beperkt is wanneer je hier met honderden mensen gebruik van maakt, gebruiken we zeker cache's voor bepaalde zaken. Zo hebben we onderandere een zogenaamde steam-cache https://github.com/steamcache/steamcache in gebruik.

Op andere events hebben we vroeger ook zaken als Twitch en andere gaming-updates gecached. Dit word helaas bemoeilijkt doordat bijna alle CDN's overschakelen op SSL verbindingen. Hier kunnen wij natuurlijk niet in gaan rommelen. Dat zou teveel waarschuwingen, timeouts en klachten opleveren.

[woekele]

als je 4 10Gbit-poorten hebt per switch en 4 switches, hoe kun je dan 2x uplink doen van 10Gbit en ook nog eens onderling verbinden met 10Gbit? Dan heb je toch 5 10Gbit poorten per switch nodig?

[Reactie gewijzigd door woekele op 26 juli 2024 09:58]

[Laurens0doorn]

Ze bedoelen 2 keer een uplink van het vc chassis. Zie ook de tekening

Op het virtual chassis van 4 switches heb je dan maar 2 poorten nodig binnen het chassis. Dus bv poortje op switch 1 en een poortje op switch 4. De rest van de 10GE poorten kun je dan gebruiken voor de vc backplane of andere doeleinde.

[woekele]

Thanks. Ik vind de tekening wat vaag. De blauwe pijlen suggereren de interne verbindingen van de vc als een soort van in-serie-verbinding, lijkt me niet echt handig. En de gele lijn bij een vc snap ik al helemaal niet. Wat wordt er nou met elkaar verbonden?

[Tom-W]

De switches binnen het virtual chassis worden onderling niet als een full mesh aangesloten maar als een ring. De blauwe links verbinden de switches 1 t.e.m. 4 in serie en de gele link loopt weer terug van switch 4 naar switch 1. Om deze te maken heb je dus op elke switch maar 2 poorten nodig. 10GBASE-SR staat dan ook voor short range en 10GBASE-LR voor long range. Bij een breuk van eender welke kabel kan de ring dan nog steeds langs de andere kant communiceren.

Fysiek zullen ze over 4 tafelrijen verspreid worden en zullen de eerste en laatste tafel een uplink naar de core switches krijgen. Dit neemt dan op de eerste en laatste switches 1 extra poort in.

[Laurens0doorn]

Als ik de tekening goed bekijk worden de switches inderdaad is serie aan elkaar gesloten. Dit zijn de blauwe lijnen. De gele is de LR connectie van de bovenste switch naar de onderste. Daardoor kan een switch gewoon uitvallen en zal het verkeer omgeleid worden over de gele verbinding, of over de uplink uiteraard.

Dit is best wel common binnen de netwerkwereld hoor. De kans dat een vc link wegvalt of dat een switch in running operations uitvalt is erg klein. En mocht het toch gebeuren dan heeft dat vaak effect op alle switches van de cluster. (Bij piekspanning bijvoorbeeld)

[lasermen]

De internetverbinding bestaat uit een lichtpad naar de AMS-IX.

Zeg, vertel: Sinds wanneer biedt de AMS-IX lichtpad diensten aan en bij welke AMS-IX locatie komen jullie dan uit? Dat lijkt mij interessanter om te weten

[Beuker]

Dit is ergens tussen de verschillende partijen er in geslopen.
De tekst is inmiddels aangepast.

En licht pad... Er moet nog wel iets tot de verbeelding kunnen spreken toch?

Maar kort door de bocht is het een ethernetdienst van Ziggo die ons naar Nikhef Housing in Amsterdam brengt.

[lasermen]

Ah, interessant! Maar werken jullie dan met kabel modems van Ziggo?
Zo ja, mogen jullie dan al gebruik maken van de docsis 3.1 standaard?
Dat lijkt mij wel een primeur dan!

[Beuker]

Nee, het zijn wel glas/fiber verbindingen, dus geen docsis. We willen geen asynchrone verbindingen. ;-)

[lasermen]

De docsis 3.1 standaard kan synchrone gigabit snelheden aan. Dus dat is dan toch prima mogelijk?
Meer info: https://www.cablelabs.com...ion-of-docsis-technology/

[Beuker]

Misschien had ik dat even anders moeten formuleren. Internet providers hebben geen belang bij het leveren van synchronen verbindingen. Mensen downloaden meer dan uploaden over het algemeen. Het is dus voor hun goedkoper die asynchroon aan te bieden. Tevens waren er vroeger ook technische beperkingen waardoor het alleen asynchroon kon.

In de tekst staat nog steeds het volgende: Speed: Defines support for up to 10 Gbps downstream and up to 1 Gbps upstream network capabilities.

Nu weet durf ik niet te zeggen of de download snelheden onder de 1G wel synchroon kunnen, maar dat hangt helemaal af hoe de provider het configureert, maar op 10G zit je nog steeds met 1G upload, dus asynchroon.

In den beginnen van glasvezel heeft meen ik KPN zelfs asynchroon aangeboden, maar omdat de concurrenten het wel synchroon aanboden hebben ze dat snel veranderd.

[lasermen]

Zakelijke providers leveren je graag een synchrone verbinding. Zoals je zelf aangeeft, is het op glas thuis ook normaal om synchroon te krijgen.

Dan heb je de complete standaard niet doorgelezen. Volgens de standaard is het prima mogelijk om synchroon 1Gbit/s download en upload aan te bieden aan klanten.
Je geeft mij het gevoel dat ik een 'rare' vraag stel, terwijl het technisch prima mogelijk is.

[Beuker]

Dat het technische mogelijk is sluit ik ook niet uit. En helaas ben ik te druk op het moment om hele standaarden door te lezen. Echter ging het mij niet zozeer wat technische mogelijk is, maar wat de providers configureren. Helaas besluiten zij nog altijd wat wij kunnen aanvragen als particulier en zolang zij het nut niet inzien van een synchrone verbinding kunnen wij er naar fluiten. En ik sluit ook niet uit dat de infrastructuur van de providers niet is ingericht op synchrone verbindingen, maar dat is gissen en gokken ook al heb ik er bij een aantal gewerkt.

En zakelijk... Dan is bijna alles te regelen als je geld hebt.

[lasermen]

Het is toch een mooie showcase voor Ziggo om te laten zien dat Docsis 3.1 werkt en te gebruiken is toch?
Als geld blijkbaar geen probleem is, waarom hebben jullie dan geen 200Gbit/s verbinding?

[Beuker]

Zou een prachtige showcase zijn, maar ik denk dat de bezoekers meer hebben aan iets wat gegarandeerd werkt.

Wie zegt dat geld geen probleem is?

Ik denk dat we nog wel even door kunnen discucieren, maar dan lijkt me de lan een betere plek dan deze nieuwspost.

[lasermen]

Volledig mee eens!

Euhm, dat kan je uit je eerdere reactie halen?

Gezellig toch?

[stefan-d]

Dit was een incorrecte redactionele vertaling van 'Amsterdam' naar AMS-IX en dat is gecorrigeerd in de tekst. Bedankt voor de opmerkzaamheid.

[lasermen]

Ik zie het, mijn dank voor de attentie en het laten aanpassen

[Laurens0doorn]

Mooi dat we een kijkje krijgen hoe het achter de scherm gaat. Altijd interessant! Ben wel benieuwd wat de reden is voor de firewall keuze. Waarom een Palo Alto ipv een Juniper srx firewall? gezien het grootste gedeelte ook met Juniper wordt gedaan. Biedt dit nog specifieke voordelen?

[Larcorba]

PaloAlto en Juniper lijken kwa werkwijze erg op elkaar, ik kan me voorstellen dat de keuze is gemaakt voor PaloAlto voor hun mooie, duidelijke en uitgebreide implementatie van Application Firewall bijvoorbeeld.

Al met al is het zeker niet vervelend om een PaloAlto in te zetten in een Juniper netwerk, gaat zelfs erg goed samen Ik meen dat een deel van een Juniper ScreenOS team ooit afgesplitst is en PaloAlto begonnen is, maar kan daar zo even geen bron over vinden.

[Laurens0doorn]

Ah vandaar, ik ben zelf niet erg thuis is de PaloAltos, meer in de Juniper SRXen . Dat over hun Application Firewall heb ik ook wel eens gehoord. Misschien toch maar eens in verdiepen.

Thanks voor de info!

[Miepermans]

Hier zijn meerdere goede antwoorden mogelijk, eens zien welke ik vandaag gebruik...

De keuze voor Palo Alto Networks komt mede omdat het een platform is waar CCN(CampZone Community Networking) in het verleden al veel ervaring mee opgebouwd heeft. Ook is de goede relatie met Palo Alto Networks natuurlijk erg prettig.

Qua functionaliteit merk ikzelf dat het applicatiegebaseerd firewallen op de PAN-Firewalls erg goed en vanzelfsprekend werkt, Ook hebben we wat geautomatiseerde scripts welke toegespitst zijn op PAN-Firewalls.

Verder kan ik je zeggen dat ik uitstekende ervaringen met de Juniper Networks SRX-lijn heb, zo goed zelfs dat ik dit o.a. thuis ook heb draaien.

[cracking cloud]

Om efficiënt gebruik te kunnen maken van de internetverbinding, worden namelijk bepaalde Steam-updates gespooft

Wat moet ik me daarbij voorstellen?

[Miepermans]

Om steam-updates te kunnen cachen en lokaal te serveren halen we wat trucjes uit met de DNS records van steam. Tevens verplichten we de bezoekers om gebruik te maken van onze interne DNS servers.

In ons netwerk draait centraal een steamcache ( elders al verklaard ). Deze server ontvangt de omgeleide requests en zal op zijn beurt 1-malig de steam packages downloaden en serveert deze vervolgens vanaf de lokale diskarray naar onze eindgebruikers. De steamcache heeft een flinke bandbreedte ten opzichte van onze internetverbinding.

Als zodadelijk onverhoopt toch Red Dead Redemption 2 voor pc ge-released word tijdens Tweakers Gaming live, dan hoeven we dit spel dus maar 1 keer over onze internetverbinding binnen te halen. Hierna kan iedereen met maximale bandbreedte de game dus zelf installeren en binnenhalen . Nee, ik doe nergens toezeggingen over, ik ben maar een simpele netwerkman

[xSNAKEX]

Maken jullie gebruik van Squid om dit te bereiken, of gebruiken jullie hier iets anders voor?

[Beuker]

Check ff https://github.com/steamcache/steamcache

Hier zie je dat het nginx is onder de motorkap.

[LocoRoco]

Waarom EX3300's en geen EX3400's? Wanneer een van de voedingen de geest geeft kan de RPS (welke niet op het diagram staat, maar waar ik wel van uit ga dat die aanwezig is) in case of reboot niet dat member opstarten.

[Miepermans]

De keuze voor 3300's heeft vooral te maken met de mega interesse in het 3400 platform, Aangezien wij ook maar afhankelijk zijn van de Juniper, en er in een dergelijk netwerk best grote getallen aan switches gaan zitten kiezen we vaak voor de voorlaatste hardware generatie. Zo kunnen klanten hun PoC's gewoon voortzetten met de allernieuwste Juniper Networks apparatuur.

Oh, en bijna vergeten, nee we hebben geen RPS. Als er uitval van een switch is hebben we altijd onze Backup RE nog. Vervolgens zullen we naar de tafel rij toe lopen om de spanning aldaar weer te herstellen samen met het stroomteam.

[Reactie gewijzigd door Miepermans op 26 juli 2024 09:58]

[LocoRoco]

Dank voor de onderbouwing!

[ik222]

De internetverbinding bestaat uit een lichtpad naar de AMS-IX

Ik mag hopen dat de provider die de internetverbinding levert ook aangesloten is op in elk geval transits en eventueel andere internet exchanges Anders is toch nog een flink stuk van het internet onbereikbaar op de LAN party.

[Miepermans]

Jazeker, Eventinfra(AS64404) heeft diverse transits naar meerdere peering partijen. De uplink van Eventinfra is op dit moment meerdere 10Gbit/sec feeds.

[ik222]

Mooi, daar ging ik ook vanuit

Vond het alleen wel grappig hoe het in dit artikel staat. Overal in de media hoor je vaak AMS-IX noemen alsof daar "het internet" vandaan komt. Op zich snap ik dat vaak ook nog wel maar ik had van Tweakers.net juist wel iets verwacht dat technisch ook correct / volledig was

[Jolke]

Fijn, zo krijgt men een idee hoe je dit professioneel aanpakt - stukken beter zo te zien dan het bij menig LAN-partij thuis gaat.

Klasse, Tweakers, zo'n kijkje in de (netwerk)keuken!