Astron verbetert radiotelescopen

Hoe verwerk je 10Tbit/s?

Lofar: Europees sensornetwerk

Ondanks de upgrade hebben de grote schotels van de WSRT hun beperkingen. "Voor lagere frequenties zijn schotels helemaal geen goed instrument. Als je grotere golflengtes wilt opvangen, kun je dat beter met een omvangrijke hoeveelheid simpele dipoolantennes doen." Aan het woord is Gert Kruithof. Hij is hoofd Research & Development bij Astron. Juist die lagere frequenties zijn volgens hem steeds interessanter geworden voor de astronomie, omdat die iets vertellen over de begintijd van het heelal.

In plaats van enkele schotels wilde Astron daarom voor de opvolger van de WSRT een netwerk van kleinere antennes plaatsen. Het probleem was dat het tot eind jaren negentig, begin 2000 duurde voordat de ict ver genoeg gevorderd was om dit mogelijk te maken. "Door al die signalen krijg je ineens gigantisch veel data", vertelt Kruithof. Het antennenetwerk werd Lofar, de Low Frequency Array, die inmiddels uit meer dan honderdduizend antennes, verspreid over Europa bestaat en daarmee de grootste in zijn soort is.

Land art in Exloo

De basis van Lofar is een opvallende verschijning in het Drentse landschap. Bij Exloo liggen op een ronde terp groepjes 'tegels' verspreid in het gras. Het lijkt meer om land art te gaan dan om een wetenschappelijk instrument.

Er zijn twee soorten tegels: de netjes gerangschikte vlakken met high band antennas, die radiogolven tussen 110 en 250MHz opvangen, en de verspreide sprieten met low band antennas, die voor de frequenties tussen 10 en 90MHz bedoeld zijn. Ter vergelijking: de WSRT-schotels met Apertif richten zich op de hogere radiofrequenties tussen 1130 en 1750MHz.

Links de zwarte behuizing van de high band antennas, in het midden de hba's zelf, rechts de low band dipoolantennas

De groepjes antennes zijn onderverdeeld in stations waar de signalen samenkomen. In Exloo gaat het om 6 stations met 25.000 antennes, maar Lofar bestaat uit veel meer stations. Die zijn niet alleen verspreid in het noorden van Nederland, maar ook ver daarbuiten. Er liggen stations tot aan Ierland, het Verenigd Koninkrijk, Zweden, Duitsland, Frankrijk, Polen en, binnenkort, Italië aan toe. In totaal zijn er 24 corestations rond Exloo, 14 in de rest van het noorden van Nederland en 13 verspreid over Europa.

Net als bij de WSRT gedragen de meer dan honderdduizend antennes zich als een grote telescoop. Dit gebeurt op basis van het phased array-principe. Kruithof: "Schotels laat je een kant uitkijken met behulp van mechanica. Elke antenne van Lofar ziet daarentegen de hele hemel. Als je met al die antennes naar een bepaald punt wilt kijken, moet je het instrument als het ware met software kantelen. Dat doe je door de signalen van de afzonderlijke antennes ten opzichte van elkaar te vertragen." Door delays in het signaal te verwerken en zo te compenseren voor de verschillende tijden waarop de radiogolven van een bron binnenkomen, kunnen ze toch op hetzelfde moment op één punt samenkomen. Dit is gezien de omvang van Lofar niet eenvoudig; er moet niet alleen rekening gehouden worden met de afstand tussen de antennes, maar ook met de rotatie van de aarde en het gekromde aardoppervlak.

Astron heeft Lofar zelf ontworpen, ontwikkeld en beheerd, en heeft hierbij gespecialiseerde kennis opgedaan. "Wij hebben een stuk van het spectrum genomen en weten inmiddels als geen ander hoe we daar instrumenten voor moeten maken", vertelt Kruithof. Hij toont hoe de technici in Dwingeloo over een eigen werkplaats, 'dode' of anechoïsche kamer, kooi van Faraday en andere faciliteiten beschikken om zelf de onderdelen van die instrumenten te kunnen maken en verbeteren. Zo is Astron bezig met fotonica, het via licht versturen van signalen op componentniveau. Fotonische signaalverwerking met lichtbundels kan volgens Kruithof veel efficiënter dan verwerking met elektronische signalen. Door op termijn hiervan gebruik te maken kunnen het datatransport en de verwerking aanzienlijk sneller worden, waar Astron veel baat bij kan hebben.

Elke Lofar-antenne levert immers ongeveer 5Gbit/s aan data. In totaal leveren de honderdduizend antennes dus 500Tbit/s aan data. "Er is geen manier waarop we zulke grote hoeveelheden data zinvol kunnen opslaan en terug kunnen halen", volgens Kruithof. "We zijn gedwongen een deel van de signaalverwerking te doen terwijl het signaal binnenkomt."

Die eerste verwerking gebeurt bij de rf-beamformer, die het ruwe observatiesignaal van zestien antennes bundelt. Die bundels gaan naar de Lofar-stations. De systeemkasten van die stations bevatten elektronica als correlators en beamformers waarmee de datahoeveelheid wordt teruggebracht. Alle stations zijn onderdeel van een wide area network, en via glasvezel verbonden met 10Gbit/s-ethernet.

De signalen van al die stations komen samen bij het Cobalt-systeem voor het verder correleren en reduceren van data. Cobalt staat voor Correlator and beamforming application platform for the Lofar telescope en bestaat uit tien computing nodes. Elke node is gebaseerd op een Dell T620-workstation en voorzien van twee Nvidia K10-accelerators, twee Intel X520 10GbE-netwerkkaarten en twee Mellanox ConnectX-3 fdr-kaarten.

Vervolgens worden de gegevens weggeschreven naar de Central Processing Facility in Groningen. Deze bestaat uit twee rekenclusters, die de hoeveelheid data nog eens terugbrengen. Het voornaamste systeem is het Lofar Phase 4-cluster, met vijftig nodes met Intel Xeon E5-2680 v3-processors met twaalf cores, 256GB ram, twee 10GbE-interfaces en een fdr-infiniband-aansluiting.

De nodes slaan de gegevens op een LustreFS-systeem van twee petabyte op, maar voor de opslag op lange termijn dient het Long Term Archive. Dit archief is verspreid over een aantal datacenters in Europa en SURFSara neemt het grootste deel voor zijn rekening. De opslag vindt op tapes plaats en wetenschappers kunnen hieruit de observatiegegevens opvragen die ze nodig hebben voor hun onderzoek. Het LTA ontvangt de data met 1,5GB/s en schrijft per jaar zes petabyte weg. Sinds 2012, toen LTA van start ging, is bijna dertig petabyte aan Lofar-data opgeslagen.

• Volgende pagina 4. De extreme i/o van UniBoards