Het Olympische computernetwerk ontrafeld

Van InfoWorld krijgen we een kijkje achter de technische schermen van de Olympische Spelen, die deze zomer in Griekenland zullen worden gehouden. Softwarematig wordt vooral gebruik gemaakt van het Information Diffusion System (IDS) en Atos Origins Games Management System, een applicatiesuite die werkt als een soort Enterprise Resources Planning-programma. Het GMS is werkzaam op Windows 2000-servers, een upgrade ten opzichte van Salt Lake City 2002 waar gebruik werd gemaakt van NT4-configuraties. Het IDS verzamelt alle uitslagen van de diverse sportwedstrijden en geeft deze vrij aan persbureaus. Via de Olympische partner Xerox zullen deze uitslagen ook schriftelijk worden uitgedeeld aan correspondenten in Athene. Verder zal het systeem ook een live feed beschikbaar stellen voor tv- en radiostations.

Claude Philipps van Atos Origin is de IT-leider van dit sportevenement, die uitlegt dat er nog steeds getest wordt met het netwerk op de verschillende locaties. Philipps was ook al werkzaam tijdens de Spelen van 2000 in Sydney. Hij zegt dat redundantie een belangrijk punt is in de organisatie van een dergelijke omgeving, omdat er niets van de show verloren mag gaan als er ergens een onverwacht defect optreedt. Om deze reden houdt de organisatie dan ook een week lang oefening, waarin geprobeerd wordt om alle problemen na te bootsen die zouden kunnen gebeuren zodat het personeel hierop is voorbereid. Behalve redundantie is ook snelheid van belang; het doel is om de uitslagen 0,3 seconden na het einde van een wedstrijd bij de commentator op het scherm te hebben staan, samen met statistieken en wetenswaardigheden van de spelers.

Atos maakt gebruik van drie LAN-opstellingen: een voor grotere gebieden zoals het Olympisch stadion, een voor gemiddelde evenementgebieden zoals de bak bij paardensport en een voor kleinere gebieden. Om de verschillende Olympische terreinen te verbinden wordt een Synchronous Digital Hierarchy-netwerk (SDH) gebruikt die bestaat uit twee STM-1-ringen. Deze worden geleverd door de Hellenic Telecommunications Organization en hebben een snelheid van 155Mbps. Uitslagen en andere data uit het GMS worden opgeslagen in twee datacentra, een nabij het Olympisch stadion in Marousi en de tweede honderden kilometers daar vandaan in een ander aardbevingsgebied. De datacentra rusten direct op de SDH-ringen, een verbinding die wordt gemaakt via een redundant paar Cisco 7200-routers.

Reacties (56)

[Anoniem: 12453]

Ik hoop voor Atos Origin dat ze het tot een goed einde weten te brengen.

Het is voor de reputatie van een ICT dienstverlener in ieder geval niet goed als sportuitslagen lang op zich laten wachten en het duidelijk zichtbaar is dat er achter de schermen het een en ander mankeert aan de informatiesystemen.

IBM heeft namelijk al eerder de ICT bij de olympische spelen gedaan en daar ging het een en ander fout. Dat heeft tot een aantal hardnekkige geruchten en achterklap geleid naderhand wat vast en zeker invloed zal hebben op de omzet.

[Anoniem: 37180]

Klopt, dat was tijdens de Olympische Spelen van Atlanta en draaide uit op een enorm drama voor IBM. Het was een project waarbij o.a. Lotus Notes grootschalig werd ingezet. Journalisten konden geen mail meer versturen en ontvangen, scores waren incorrect en kwamen pas heel laat, of helemaal niet door etc. etc.

Uiteindelijk was dit ook een van de redenen dat IBM eruit gegooid is: http://www.forbes.com/2000/08/23/feat.html%20

Andere leuke quote:

IBM learned that the hard way when the 1996 Atlanta Olympics turned into a public relations disaster. Dubbed the Glitch Games, IBM's complex system for reporting results broke down in the first two days, resulting in huge delays. The system became riddled with bizarre statistical errors such as 95-year-old or 50-centimetre-tall boxers. Many journalists ditched the system in favour of the old-fashioned fax.

http://www.theage.com.au/articles/2004/01/26/1074965468457.html?from=s toryrhs&oneclick=true

[Anoniem: 66085]

Als ik dit zo lees dan denk ik dat er helemaal geen videobeeld over het netwerk gaan, maar alleen achergrond informatie van spelers en wedstijdresultaten.
En een backbone van 155 MB/ps is wel wat aan de hogekant, daar in tegen willen ze wel dat informatie binnen 0.3 seconde bij alle commentatoren aanwezig is. Dit zorgt er natuurlijk wel voor behoorlijke belastingspieken in het netwerk.

Vergeet niet dat de resultaten die worden verzonden niet alleen wie er gewonnen heeft en met welke tijd maar een helereeks aan gegevens bevatten om maar een voorbeeld tegeven. Bij 2 km hardlopen worden van alle ronde de doorkomsttijden van alle deelnemers meegestuurd met daarnaast nog een helezooi extra informatie ik noem maar iets als windsnelheid en windrichting.

[/usr/local/dick]

Volgens mij hebben ze op de diverse locaties alleen een TMX staan daar kan alleen STM1 mee vervoerd worden.
Maarja er staat wel "twee ringen", dus ik gok dat de TMX-en dubbel opgehangen zijn.
TMX is goedkoper dan een complete ADM4/16 op een locatie te hangen - wat ook niet echt nodig is want er zal wel niet vertakt worden binnen een locatie.

[it0]

Ok 2km hardlopen dat is gemiddeld met 8 deelnemers?

Omdat bij te houden zou je aan een unsigned word (2 bytes) voldoende hebben maar laten we uitgaan van een unsigned long (8 bytes)

8x8=64 bytes

Deelnemer ID = unsigned int =4 bytes

8x4=32 bytes

Windsnelheid + richting = 2+2 bytes

Nu zit je met een totaal op 100 bytes (ongecomprimeerd) meeste bits staan toch op nul dus kan zeker met de helft gecomprimeerd worden (zonder latency).

Ben toch benieuwd waar die zware load vandaan komt?

Logischer lijkt mij dat die infrastructuur er is voor mail e.d. om informatie terug te krijgen naar de redactie? hoewel dat ook niet echt hoeft alle beelden komen tenslotte via de satelliet binnen....

[Anoniem: 116213]

@Zr40

Verder zal het systeem ook een live feed beschikbaar stellen voor tv- en radiostations

Tevens staat er in het artikel dat ook statistieken en andere wetenswaardigheden van de spelers vermeld worden. En dan ook meenemend dat er vaak meerdere evenementen per dag aan de gang zijn.

Vooral het feit dat er live video feeds worden gebruikt, dan lijkt een 155Mbps netwerk zelfs wat aan de kleine kant.

Het gaat namelijk bij dit soort evenementen niet om honderden computers, maar duizenden, alleen al voor alle sportverslaggevers vanuit de hele wereld. Een land als Amerika alleen heeft vaak al meer dan 100 verslaggevers van de pers rondlopen.

Dus eigenlijk is het een knap staaltje werk, waarbij zeker gebruik zal worden gemaakt van compressie.

Het feit dat Win2k servers zijn gebruikt en geen Win2k3, ligt volgens mij aan het feit dat dit soort projecten al jaren van te voren worden voorbereid, vaak direct nadat een land de uitreiking heeft gewonnen. En rond 1998 won Griekenland de organisatie voor deze spelen.

[edit]
Zr40, Zolang we niet alle exact details weten blijft het gissen, ik probeerde alleen je vraag te beantwoorden, waarom 155Mbps eventueel nodig was.

[n4m3l355]

hdtv is op top een stream van 18mbyte.
dan zouden ze 8 cams tegelijk kunnen draaien zonder dat ze er ook maar iets van gaan merken qua lagg.
dus ik denk dat 't nog steeds overkill is
ik denk eerder dat voor deze optie gekozen is ivm lange afstanden die overbrugt moet worden. cat5/6 gaat tot max 100m zonder repeaters. en repeaters komen de ping ook niet echt tengoede. ik ben niet bekend met deze techniek maar denkelijk functioneerd deze dus beter over langere afstanden. tevens zal dit ook een keuze zijn geweest ivm de combinatie cisco switches/routers die ze gebruiken

ff mbit naar mbyte gecorrigeerd ><

[Zr40]

Kan iemand me uitleggen waar deze 155Mbps aan bandbreedte voor gebruikt wordt? Uitslagen, statistieken en wetenswaardigheden binnen 0,3 sec op het scherm hebben staan vereist, zelfs als deze data naar honderden computers tegelijk verstuurd zou worden, nog niet eens de volledige bandbreedte van een 10mbit netwerk!

[edit]
Videostreams naar buiten hebben binnen het lokale netwerk ook niet veel bandbreedte nodig, omdat die (waarschijnlijk) via een aparte server gestreamed worden. Deze server hangt natuurlijk niet midden in het LAN

[Eelke Spaak]

Over elke lijn, zeker netwerkverbindingen over iets langere afstand, kan ruis ontstaan. Wanneer je veel last hebt van een ruis op een 10 mbit lijntje hou je niet zo veel meer over. Beter is het dan om 155 mbit maximum te hebben, zodat je ook met ruis en storing nog genoeg bandbreedte overhebt.

[Anoniem: 51954]

Ruis Op me werk hebben wij een glasvezel in gebruik van 8500km (!) Het enigste wat erg jammer is is de snelheid van het licht wat resulteerd in een vertraging van ongeveer 300ms.

[Zucht]

een vertraging van ongeveer 300ms.

Wat dacht je van ongeveer 30 ms?

[eamelink]

In een glasfiber heeft licht maar een snelheid van ongeveer 2/3e c

Dus dat is dan al ruim 40ms

Overigens komt bij lange fibers de latency natuurlijk door de versterkers die her en der onderweg zitten

[DaRealRenzel]

Snelheid van het licht is een constante factor. Probleem waar jij last van hebt heet demping en daarom staan er versterkers tussen, en die brengen de latency er in. De snelheid van het licht in een glaskabel is altijd 300.000km./sec

[Ids Lupo]

De SDH standaard is gedefinieerd op 155 Mbps (b dus cctje ). Op deze snelweg kun je invoegen met verschillende snelheden; vanaf de verschillende evenementen zal dit gedaan worden.

[Anoniem: 61323]

Vooral verschilende technologien zijn hierbij een belangrijk punt, en dat kan over SHD. Denk aan beveiligingscamera's en eigen draadloze communicatie pop's voor het laten communiceren van (beveiligings)medewerkers tussen de locaties onafhankelijk van het GSM netwerk.

Anders dan dat zijn STM1's al vrij low-end, dus ze hebben wel naar de kosten gekeken Waarschijnlijk huren ze het glas, of een kleurtje op het glas. Of ze hebben alles uitbesteed aan die locale isp... (lijkt me niet slim als je daar de mensen kent )

[DaRealRenzel]

Quote:

geleverd door Hellenic Telecommunications Organization

/unquote.

Dus zeg maar de griekse KPN levert de lijn.. Da's niet zomaar een ISP'tje, da's meer de grapjurk die de kabel self heeft gelegd...

Denk echter eerder dat ze een kleurtje op bestaand glas gebruiken

[Anoniem: 41820]

Dat dient om tijdens de saaie evenementen pron te leechen

[Anoniem: 54820]

Een Time To Fix in de SLA van 10 minuten, Vind het nogal wat.Vvooral als je met meerdere partijen werkt (Telecom die b.v. de STM's doet...) Natuurlijk ligt de 2e STM klaar om ingezet te worden maar dan nog. 10 minuten is niet veel.

Al met al een best prestige project...

[Anoniem: 61323]

De 2e STM1 ring zit gewoon al in de router, en hoeft niet fysiek omgestoken te worden. Dit gaat automatisch zonder dat je het merkt...

Als er dus wel wat mis gaat... dan heb je een probleem meestal En dan is 10 minuten erg weinig... diagnose stellen, oplossing bedenken (met continuiteit van de rest van het systeem in achterhoofd), oplossing uitvoeren.

[Anoniem: 54820]

Heb zelf (helaas) erg veel slechte ervaringen als het om de griekse telecom gaat. Nu staat er natuurlijk erg veel druk achter met deze spelen waarvoor ze nu wel hard kunnen rennen. Maar mede ivm deze spelen heb ik al de nodige woorden achter de rug met de Telecom's aldaar.

[Anoniem: 111970]

Dat computernetwerk is wel leuk... maar hoe zit het met het verslaan van de Olympische Spelen via internet ?

Ook Internet moet eraan geloven. In de Verenigde Staten zijn de afgelopen maanden honderden sites voor de rechter gesleept omdat zij onterecht gebruik maakten van symbolen als de Olympische ringen of verwezen naar de Zomerspelen. Atleten mogen zelfs geen dagboek op Internet bijhouden waarin zij verslag doen van hun belevenissen in Sydney. Als deelnemer hebben zij daarvoor zelfs moeten tekenen.

- http://www.nrc.nl/W2/Lab/Olympischespelen/dagboek1609.html

[Anoniem: 37180]

Beetje domme reaktie. Windows 2000 en 2003 b.t.w. zijn zeer stabiele besturingssystemen waarmee je de grootste workloads aankan (zoals hier en tijdens de vorige Olympishce Spelen door Atos bewezen wordt)

[Anoniem: 42600]

Wat ik bedoel te zeggen is dat Atos beter zou moeten weten en ook een andere OS had kunnen gebruiken dan het Windows platform.
Er zijn immers OS-en (Unix / Linux) die wel in staat zijn om volledig redundant te draaien in een cluster en daardoor dus erg stabiel zijn.

Ze borduren nu voor op een vorige ervaring (NT 4) wat niet persé slecht is natuurlijk en ook kwa kosten wel te begrijpen is.

Je kunt thuis dus best een Windows 2000 server hebben draaien die retestabiel is maar als het om een grote operatie als de Olympische spelen gaat zou ik erg toch even anders tegenaan kijken.

[Anoniem: 25556]

Dat zegt meer over jouw kennis van de betrokken OS-sen, dan over de OS-sen zelf.

Wat ik bedoel te zeggen is dat Atos beter zou moeten weten en ook een andere OS had kunnen gebruiken dan het Windows platform.

Heb je daar enige vorm van onderbouwing voor? windows draait prima in clusters en stabiel.

Bijvoorbeeld linux had ook prima gekund hoor, daar niet van, maar zeggen dat windows voor dit soort taken niet geschikt is, is bewijzen dat je er geen verstand van hebt, nofi.

[ILUsion]

Ik ben ook geen voorstander van Windows, maar uiteindelijk zullen ze wel met voldoende kennis gekozen hebben. Daarnaast is het niet eventjes overstappen van Windows NT naar Unix/Linux/... omdat je dan helemaal ander personeel het onderhoud moet laten doen OF het personeel moet laten omscholen voor Unix.

[nAFutro]

Wat hebben ze nou aan een OS als ze de applicaties die gemaakt zijn voor de spelen niet kunnen gebruiken?

[Battle Bunny]

Beetje onzin reactie. Ik heb het ook niet zo op Microsoft, maar Win2K is gewoon retestabiel, mits je geen debiele drivers gebruikt.

[Anoniem: 14038]

Gewoon de server even optillen tijdens het rebooten. Dan is hij nog steeds 'up'.

[Ro-Maniak2]

Mja, daar ben ik het geheel mee eens: mijn server draait, behalve als ik hem zelf moet neerhalen, eindeloos. Uptimes van een jaar mee gehaald. Beetje een flameïge reactie...

[Unipuma]

Een uptime van een jaar?

Dan moet je wel heel erg hebben achtergelopen met je security updates.

[Battle Bunny]

Als zo´n server géén Outlook Express en IE draait, ook nog eens geen IIS en daarbij nog eens een virusscanner heeft draaien plus een een aantal poorten dicht (netBIOS e.d.), zijn die patches dan nodig? Lijkt me niet. Als geen enkele client kan verbinden (server doet bijv. alleen MsSQL) dan kun je zo´n bak echt wel secure houden zonder updates. Het hangt er maar net vanaf hoeveel werk je er van te voren in wilt steken.

[VisionMaster]

@unipuma:
Niet iedere update vereist een reboot ...

[Unipuma]

Hmm, nu begin ik dus erg nieuwsgierig te worden...

De server heeft geen NetBios, dus hij is niet bedoelt als fileserver. (Immers, voor Windows Filesharing moet NetBios over TCP-IP op z'n minst aanstaan)
De server draait geen IIS, dus hij is ook niet bedoelt als FTP, Web of mailserver.
Alle poorten van MS SQL staan dicht, of althans, geen client kan connecten met de server, dus hij is ook geen database server (want wat heb je aan een database als je geen verbinding kunt maken met de data die erin zit)

Uhmm... wat voor server is het dan?

(Immers, als je Apache, MySQL of iets dergelijks gaat draaien, is Win2K server wel een erg dure oplossing om als platform te kiezen. Sorry als dit overkomt als een flame, maar ik ben echt benieuwd waarom je nog voor windows als OS zou kiezen, als je juist al die server software die je noemt uitschakelt)

[Uberprutser]

Ze bedoelen denk ik dat ze al lange ervaring met Win 2K server hebben...

[Anoniem: 118453]

Heren,

Tweakers we maken er toch weer een rommeltje van

Wat is een snelheid van 10mbit/s dit is 0.01bit/s zal wel 10Mbit/s moeten zijn. Of hebben ze in Griekenland ook snail net.

Ruis op een SDH glas verbinding ik hoop het niet. Misschien demping van het licht. Maar daar zijn versterkers voor. Ruis op glas nee dus.

155MBps staat voor 155 Mega Byte dit is 1240 Mega bit dit is geen standaard snelheid. Moet dus 155Mbit/s zijn.

De volgende snelheden zijn er:
155Mbit/s = STM-1
625Mbit/s = STM-4
2.5Gbit/s = STM-16

De hersteltijd van SDH ligt rond de 50ms. Dit is met APS zeker haalbaar en dus niet 10 minuten. Een hersteltijd van 10minuten voor een modern SDH netwerk is zeer triest.

Ping tijden zijn voor video niet zo intersant. Als de delay maar constant is. De "live" beelden die wij thuis zien hebben zeker al een vertragen van 30-60 seconden door de satelliet link die er tussen zit.

[TrailBlazer]

Plus in Amerika de Janet Jackson Vertraging maar dat is weer wat anders.

[Bigs]

Stel je es niet zo aan

[Anoniem: 82070]

In Reactie op Ron.IT:

Die Live feeds word denk ik mee bedoeld een soort RSS achtig geheel zodat radio en tv stations dat kunnen gebruiken voor bijv. een scroll balk onder in beeld of op hun internet pagina's.

[Anoniem: 30881]

Toch denk ik dat 155 Mbps wat veel is voor een scrollbalk op je radio.....

[Arno]

Er is best wat verschil tussen RSS en RDS, de eerste is een nieuwsfeed, de tweede is het info systeem op je radio.

[Anoniem: 58853]

Impressing als ze het allemaal aan het lopen houden. En dat het een prestige project is... Dat geloof ik graag. Als iemand vraagt waar ik werk en ik zeg Atos dan weet 90% van de mensen niet bij welk bedrijf ik werk. Dan vertel ik maar dat ze naar de Olympische Spelen moeten kijken en op moeten letten op de honderden borden en het visjes logo wat waarschijnlijk vaak in beeld gaat komen. Go Atos