Astron: betere radiotelescopen, veel meer data

Inleiding: een schotel op de heide

Wie het Drentse Dwingelderveld op de fiets doorkruist, kan de grote schotelantenne in de bosrand langs het heideveld nauwelijks missen. Dit is de imposante Dwingeloo Radiotelescoop uit 1956, destijds met zijn diameter van vijfentwintig meter de grootste radiotelescoop van de wereld. Het was deze telescoop die Nederlandse astronomen in navolging van Jan Hendrik Oort, bekend van de Oortwolk, in staat stelde om met behulp van de 21cm-lijn hoeveelheden waterstof in de Melkweg in kaart te brengen en zo voor het eerst het bestaan van de spiraalarmen van het sterrenstelsel aan te tonen. Met de telescoop zijn ook twee sterrenstelsels ontdekt: Dwingeloo 1 en 2. De Dwingeloo Radiotelescoop werkt nog steeds. Hij wordt onderhouden door de stichting Camras voor onder andere excursies.

Vlak achter de stalen constructie bevindt zich Astron, het Nederlands instituut voor radioastronomie. De schotel in zijn achtertuin gebruikt het instituut niet meer voor wetenschappelijke doeleinden. Astron richt zich voornamelijk op drie projecten: de Westerbork Synthese Radio Telescoop of WSRT, de Low Frequency Array of Lofar en de toekomstige Square Kilometre Array of SKA.

Astron Dingeloo Radiotelescoop

Afbeelding: Camras

Met de radiotelescopen meet het instituut radiogolven, het deel van het spectrum met golflengten van een decimeter tot 10 meter. Dat kan gewoon in Nederland. Net als het optische deel van het spectrum dringen radiogolven wel door de atmosfeer, maar de ionosfeerlaag zorgt voor een zelfde effect als het twinkelen van sterren. Daarnaast zorgt bijvoorbeeld onweer en telecomverkeer, zoals straks 5g, voor verstoringen die van invloed kunnen zijn. De astronomische wetenschap wil natuurlijk zoveel mogelijk weten via alle frequenties, maar het radiospectrum is daarbij een belangrijk deel. Het doel van al die waarnemingen is het heelal beter begrijpen.

Astron heeft wereldwijd een leidende positie opgebouwd met zijn expertise op het gebied van radiotelescopie. In Drenthe zitten astronomen en technici onder één dak. Het lukt hen met nieuwe technieken om steeds meer data te verzamelen, maar daarbij zien ze zich met een groeiend probleem geconfronteerd; al die data moet verwerkt worden.

Meer schotels, meer antennes, meer data

In de jaren zestig vroegen wetenschappers aan Astron om een opvolger van de Dwingeloo Radiotelescoop. Daarbij bedacht het instituut dat hoe groter het schoteloppervlak is waarmee je de radiogolven opvangt, hoe meer je van het heelal kan waarnemen, met meer detail. Nog grotere schotels maken is echter niet praktisch maar je kunt er wel meer van plaatsen. De opvolger, de Westerbork Synthese Radio Telescoop, of WSRT, bestaat dan ook uit veertien schotels van 25 meter die op een lijn van 2,7 kilometer zijn gepositioneerd. De signalen van de schotels worden met behulp van apertuursynthese gecombineerd, zodat een denkbeeldige schotel met een diameter van 2,7 kilometer ontstaat. WSRT is in 1970 geopend en staat deels op de plek van voormalig Kamp Westerbork. In tegenstelling tot Dwingeloo is de Westerbork-telescoop nog steeds in gebruik door wetenschappers. Sterker nog: hij krijgt een omvangrijke upgrade waarmee hij nog jaren vooruit kan.

WesterBork Synthesis Radio Telescope

Apertif: van een naar veertig beeldbundels

De upgrade van de aloude Westerbork Synthese Radio Telescoop heeft de naam Apertif gekregen, van 'aperture in focus'. Twaalf van de veertien schotels krijgen hierbij een nieuw instrument, bestaande uit 121 Vivaldi-antennes, gerangschikt in een rooster van elf bij elf. Deze instrumenten zijn geplaatst op de plek waar eerst een enkel ontvangstelement zat, in het brandpunt van de schotel, met de nieuwe antennes op de schotel gericht.

Het doel van Apertif is om stukken hemel sneller te kunnen observeren en het gezichtsveld wordt hierdoor met een factor veertig vergroot. "Waar een WSRT-schotel nu een stukje hemel ter grootte van een volle maan in één keer kan meten, is dat straks een blikveld van veertig volle manen. De observatiesnelheid neemt met de upgrade met een factor zeventien toe", vertelt Boudewijn Hut. Hij is verantwoordelijk voor het Apertif-project. "Wetenschappelijke projecten die tot nu toe zo'n lange observatietijd vergden dat onderzoekers er niet eens aan begonnen, komen straks binnen handbereik." Alleen de Australische Askap-telescoop is wereldwijd van gelijkwaardige technologie voorzien.

Astron WSRT Apertif

De antennes zijn afzonderlijk niet heel gevoelig, maar het geheel kan door bundelvorming toch waarnemingen met veel detail opleveren. De inputs van de 121 antennes krijgen hiervoor een gewicht toegekend om een beam te vormen. Door de gewichten anders te verdelen, zijn verschillende gevoelige beams te maken, met een maximum van veertig. "Er komt daardoor veertig keer zoveel data uit, dus ook Westerbork wordt nu een data-intensieve telescoop."

De beamformer van een schotel ontvangt in totaal 10Tbit/s aan ruwe data van de 121 antennes, via coaxkabels. Omdat zoveel data niet behapbaar is, reduceert de beamformer de hoeveelheid data tot 3,5Tbit/s, onder andere door een stukje van de bandbreedte af te kappen, van 400 naar 300MHz. De beamformer stuurt 3,5Tbit/s uit naar de correlator, die voor een volgende datareductiestap zorgt. Hier komen de signalen van de verschillende schotels samen, waarbij de correlator de bundels integreert. Uiteindelijk blijft er zo'n 20Gbit/s over. De correlator stuurt dit signaal naar de datawriter, die het wegschrijft naar een bestand. "Dat kun je specificeren van tien tot dertig seconden", vertelt Hut.

Astron WSRT Apertif beam

De astronoom heeft het druk, want de deadline waarop het systeem moet functioneren, nadert. "Alle Westerbork-schotels zijn inmiddels van Apertif-hardware voorzien en het systeem begint nu met het maken van plaatjes op basis van verschillende beams. De uitdaging ligt nu bij de software: hoe bestuur je het systeem en hoe verwerk je de data?" Op 13 september wil Astron Apertif officieel in gebruik nemen.

Voorbeeld van een multi-beam-afbeelding met door Apertif waargenomen radiobronnen

Lofar: Europees sensornetwerk

Ondanks de upgrade hebben de grote schotels van de WSRT hun beperkingen. "Voor lagere frequenties zijn schotels helemaal geen goed instrument. Als je grotere golflengtes wilt opvangen, kun je dat beter met een omvangrijke hoeveelheid simpele dipoolantennes doen." Aan het woord is Gert Kruithof. Hij is hoofd Research & Development bij Astron. Juist die lagere frequenties zijn volgens hem steeds interessanter geworden voor de astronomie, omdat die iets vertellen over de begintijd van het heelal.

In plaats van enkele schotels wilde Astron daarom voor de opvolger van de WSRT een netwerk van kleinere antennes plaatsen. Het probleem was dat het tot eind jaren negentig, begin 2000 duurde voordat de ict ver genoeg gevorderd was om dit mogelijk te maken. "Door al die signalen krijg je ineens gigantisch veel data", vertelt Kruithof. Het antennenetwerk werd Lofar, de Low Frequency Array, die inmiddels uit meer dan honderdduizend antennes, verspreid over Europa bestaat en daarmee de grootste in zijn soort is.

Astron Lofar Europa

Land art in Exloo

De basis van Lofar is een opvallende verschijning in het Drentse landschap. Bij Exloo liggen op een ronde terp groepjes 'tegels' verspreid in het gras. Het lijkt meer om land art te gaan dan om een wetenschappelijk instrument.

Er zijn twee soorten tegels: de netjes gerangschikte vlakken met high band antennas, die radiogolven tussen 110 en 250MHz opvangen, en de verspreide sprieten met low band antennas, die voor de frequenties tussen 10 en 90MHz bedoeld zijn. Ter vergelijking: de WSRT-schotels met Apertif richten zich op de hogere radiofrequenties tussen 1130 en 1750MHz.

Links de zwarte behuizing van de high band antennas, in het midden de hba's zelf, rechts de low band dipoolantennas

De groepjes antennes zijn onderverdeeld in stations waar de signalen samenkomen. In Exloo gaat het om 6 stations met 25.000 antennes, maar Lofar bestaat uit veel meer stations. Die zijn niet alleen verspreid in het noorden van Nederland, maar ook ver daarbuiten. Er liggen stations tot aan Ierland, het Verenigd Koninkrijk, Zweden, Duitsland, Frankrijk, Polen en, binnenkort, Italië aan toe. In totaal zijn er 24 corestations rond Exloo, 14 in de rest van het noorden van Nederland en 13 verspreid over Europa.

Net als bij de WSRT gedragen de meer dan honderdduizend antennes zich als een grote telescoop. Dit gebeurt op basis van het phased array-principe. Kruithof: "Schotels laat je een kant uitkijken met behulp van mechanica. Elke antenne van Lofar ziet daarentegen de hele hemel. Als je met al die antennes naar een bepaald punt wilt kijken, moet je het instrument als het ware met software kantelen. Dat doe je door de signalen van de afzonderlijke antennes ten opzichte van elkaar te vertragen." Door delays in het signaal te verwerken en zo te compenseren voor de verschillende tijden waarop de radiogolven van een bron binnenkomen, kunnen ze toch op hetzelfde moment op één punt samenkomen. Dit is gezien de omvang van Lofar niet eenvoudig; er moet niet alleen rekening gehouden worden met de afstand tussen de antennes, maar ook met de rotatie van de aarde en het gekromde aardoppervlak.

Lofar Phased Array

Astron heeft Lofar zelf ontworpen, ontwikkeld en beheerd, en heeft hierbij gespecialiseerde kennis opgedaan. "Wij hebben een stuk van het spectrum genomen en weten inmiddels als geen ander hoe we daar instrumenten voor moeten maken", vertelt Kruithof. Hij toont hoe de technici in Dwingeloo over een eigen werkplaats, 'dode' of anechoïsche kamer, kooi van Faraday en andere faciliteiten beschikken om zelf de onderdelen van die instrumenten te kunnen maken en verbeteren. Zo is Astron bezig met fotonica, het via licht versturen van signalen op componentniveau. Fotonische signaalverwerking met lichtbundels kan volgens Kruithof veel efficiënter dan verwerking met elektronische signalen. Door op termijn hiervan gebruik te maken kunnen het datatransport en de verwerking aanzienlijk sneller worden, waar Astron veel baat bij kan hebben.

Elke Lofar-antenne levert immers ongeveer 5Gbit/s aan data. In totaal leveren de honderdduizend antennes dus 500Tbit/s aan data. "Er is geen manier waarop we zulke grote hoeveelheden data zinvol kunnen opslaan en terug kunnen halen", volgens Kruithof. "We zijn gedwongen een deel van de signaalverwerking te doen terwijl het signaal binnenkomt."

Die eerste verwerking gebeurt bij de rf-beamformer, die het ruwe observatiesignaal van zestien antennes bundelt. Die bundels gaan naar de Lofar-stations. De systeemkasten van die stations bevatten elektronica als correlators en beamformers waarmee de datahoeveelheid wordt teruggebracht. Alle stations zijn onderdeel van een wide area network, en via glasvezel verbonden met 10Gbit/s-ethernet.

De signalen van al die stations komen samen bij het Cobalt-systeem voor het verder correleren en reduceren van data. Cobalt staat voor Correlator and beamforming application platform for the Lofar telescope en bestaat uit tien computing nodes. Elke node is gebaseerd op een Dell T620-workstation en voorzien van twee Nvidia K10-accelerators, twee Intel X520 10GbE-netwerkkaarten en twee Mellanox ConnectX-3 fdr-kaarten.

Vervolgens worden de gegevens weggeschreven naar de Central Processing Facility in Groningen. Deze bestaat uit twee rekenclusters, die de hoeveelheid data nog eens terugbrengen. Het voornaamste systeem is het Lofar Phase 4-cluster, met vijftig nodes met Intel Xeon E5-2680 v3-processors met twaalf cores, 256GB ram, twee 10GbE-interfaces en een fdr-infiniband-aansluiting.

De nodes slaan de gegevens op een LustreFS-systeem van twee petabyte op, maar voor de opslag op lange termijn dient het Long Term Archive. Dit archief is verspreid over een aantal datacenters in Europa en SURFSara neemt het grootste deel voor zijn rekening. De opslag vindt op tapes plaats en wetenschappers kunnen hieruit de observatiegegevens opvragen die ze nodig hebben voor hun onderzoek. Het LTA ontvangt de data met 1,5GB/s en schrijft per jaar zes petabyte weg. Sinds 2012, toen LTA van start ging, is bijna dertig petabyte aan Lofar-data opgeslagen.

De extreme i/o van UniBoards

De hoeveelheden data die Astron te verstouwen krijgt, zijn zo groot, dat er geen hardware te koop is die precies op de wensen van het instituut aansluit. In Drenthe ontwerpen ze dan ook een deel van de systemen zelf. De belangrijkste systemen zijn de UniBoards. Dit zijn computingborden die zijn uitgerust met fpga's en die volledig gericht zijn op het verwerken van streaming astronomische data. Verantwoordelijk voor de UniBoards is Gijs Schoonderbeek, instrument engineer bij Astron, die trots de verschillende iteraties van de borden toont.

Astron begon in 2009 met de ontwikkeling van de eerste generatie UniBoards. "We zochten een balans tussen prestaties en efficiëntie. Daarnaast moesten ze betaalbaar zijn en flexibel ingezet kunnen worden", vertelt Schoonderbeek. De eerste versie van een UniBoard had acht passief gekoelde Altera Stratix 4-fpga's en twaalf 10Gbit/s-modules met sfp+-formfactor voor de i/o, die aangevuld konden worden met nog eens twaalf 10GBit/s-transceivers, voor een totale bandbreedte van 240Gbit/s. Elke fpga kan over 8GB ddr3 1066MT/s beschikken. Vier UniBoards zijn in een 19"-UniRack te plaatsen, legt Schoonderbeek uit.

Astron gebruikt de UniBoards voor de dataverwerking van de WSRT-schotels na de Apertif-upgrade. Tijdens dat project werd al gekeken naar een opvolger, onder andere vanwege zorgen of ddr3 wel toereikend was. Daar kwam UniBoard 2 uitrollen. Dit computingboard heeft vier op 20nm geproduceerde Intel Arria 10-fpga's, waardoor de verwerkingskracht ten opzichte van de eerste UniBoard toeneemt van 2,1Tmac/s naar 3,6Tmac/s, waarbij mac staat voor multiply and accumulate.

Het was de bedoeling dat het bord ook te upgraden zou worden met op 14nm geproduceerde Stratix 10-chips, waardoor de rekenkracht van een bord zelfs op 28Tmac/s uit zou kunnen komen, maar deze upgrade is niet van de grond gekomen.

De fpga's die nu gebruikt worden, zijn watergekoeld om efficiënt te voorkomen dat de behuizing te warm wordt. Schoonderbeek verklapt dat de specifieke toepassingen van Astron interessant zijn voor hardwaremakers en hij daarom in een vroeg stadium over engineeringsamples van chipmakers kon beschikken. Zo kon hij ook al aan de slag met hybrid memory cubes, hoewel hij het werken met doorsnee ram makkelijker vindt. UniBoard 2 kan met zijn grote hoeveelheid 10Gbit/s-aansluitingen met qsfp-formfactor een onwaarschijnlijke doorvoer van meer dan 3Tbit/s verwerken.

Het recentste in Dwingeloo ontworpen bord, Gemini, is ontworpen door ASTRON en het Australische CSIRO. Hiervoor heeft Schoonderbeek de overstap naar Xilinx gemaakt, namelijk de Virtex UltraScale+-fpga. Deze sloot beter aan bij zijn wensen voor een compacter bord met hoge i/o-eigenschappen. Astron maakt voor Gemini gebruik van 25Gbit/s-transceivers voor een totale doorvoer van maximaal 1,3Tbit/s. Het Gemini-bord levert verder 3,4Tmac/s, minder dan UniBoard 2, maar wel met slechts een enkele fpga. De Xilinx is wel een 130W-chip. Na wat experimenteren is voor een groot aluminium waterblok met meanderende kanaaltjes gekozen om vrijwel het hele bord te koelen.

De omvang en de koeling zijn belangrijk, omdat Gemini onderdeel wordt van een supercomputer met 288 van dergelijke borden, die in Australië komt te staan. Schoonderbeek: "De supercomputer moet straks in totaal 5,8Tbit/s aan data verwerken. Ik maak dan altijd de vergelijking met de Amsterdam Internet Exchange, die gemiddeld 3,4Tbit/s verwerkt, met pieken van 5Tbit/s."

Square Kilometre Array gaat voor exabytes zorgen

De supercomputer is onderdeel van een ambitieus internationaal project waarbij Astron een belangrijke rol speelt: de Square Kilometre Array of SKA. Dit moet de grootste en gevoeligste radiotelescoop ter wereld worden, die de hemel sneller en gedetailleerder kan observeren dan tot nu toe mogelijk was. Het ontwerp is gebaseerd op zowel WSRT als Lofar. In Zuid-Afrika moet SKA-Mid verschijnen, die uit zo'n tweehonderd schotels met diameters van vijftien en twaalf meter bestaat. Deze telescoop richt zich op de frequenties tussen 350MHz en 14GHz. Hij zal naar verwachting een output van 2Tbit/s hebben en jaarlijks 62 exabytes opleveren.

In de outback van West-Australië is het de bedoeling dat SKA-Low zijn plek vindt. Dit is een Lofar-variant, maar dan met meer dipoolantennes: ongeveer 130.000. SKA-Low moet 135 keer sneller worden dan Lofar en 8 keer zo gevoelig. De antennes van SKA-Low vangen frequenties tussen 50 en 350MHz op en leveren misschien wel 157Tbit/s aan ruwe data en 4,9 zettabyte per jaar aan opslag op. Aan SKA doen tal van landen mee, zoals China, India, het Verenigd Koninkrijk, Spanje en Zweden. Het hoofdkantoor komt in het Verenigd Koninkrijk te staan, maar het is de bedoeling dat in Nederland het Science Data Centre verschijnt, dat zich kan buigen over de uitdagingen op het gebied van big data en high performance computing.

ARTS: gpu-cluster zoekt radioflitsen

Ook in eigen huis heeft Astron nog plannen genoeg. Zo is er het ARTS-project, wat staat voor Apertif Radio Transient System. "Hele kortdurende evenementen willen we ook graag zien. Dat is nu ook een van de hot topics in de astronomie", vertelt astronoom Boudewijn Hut. Astron koppelt hiervoor WSRT met de Apertif aan een speciale back-end, bestaande uit UniBoard 2-systemen en een cluster van tweehonderd Nvidia GTX 1080 Ti-videokaarten.

"ARTS kan straks zien dat er bijvoorbeeld in dat streepje aan de hemel iets is gebeurd. Het geeft dan een seintje aan Lofar of andere radiotelescopen ter wereld. Omdat die lagere frequenties in kaart brengen, komt het signaal later aan. Je hebt dan bijvoorbeeld vijf minuten om met die andere telescopen extra bundels en antennes te richten op het gebied waar het korte evenement heeft plaatsgevonden." Het gaat dan onder andere om radioflitsen, die zelden waargenomen zijn, omdat ze zo kort duren.

Astronomen willen graag meer weten over hoe dit soort fast radio bursts ontstaan, of de oorsprong ligt bij de rotatie van neutronensterren, zwarte gaten of andere oorzaken. ARTS schrijft de dataset omtrent een dergelijk evenement weg, waarna de gpu's van de videokaarten gaan rekenen om de flitsen te onderscheiden van achtergrondruis. Dankzij machinelearning moet het cluster steeds beter worden in het analyseren van de data.

Tot slot

Dankzij de upgrade van WSRT, de uitbreiding van Lofar en de bouw van SKA moeten radiotelescopen nieuwe impulsen geven aan sterrenkundig onderzoek. De data die ze opleveren, kan wetenschappers meer vertellen over wanneer de eerste sterrenstelsels werden gevormd en hoe dat in zijn werk ging, welke invloed magneetvelden hadden op het vroege heelal, over zwaartekrachtgolven en donkere energie. Dat gebeurt steeds meer door meetgegevens van verschillende frequentiegebieden te combineren.

astronomie

Astron kijkt ook naar de inzet van zijn telescopen op gebieden waar ze eigenlijk niet voor gemaakt zijn. Een groeiend onderzoeksveld is bijvoorbeeld ruimteweer. De zon en zijn atmosfeer hebben invloed op de ruimte rond de aarde. De magnetische deeltjes van hevige zonnewind kunnen onder bepaalde omstandigheden interactie aangaan met het aardmagnetisch veld en zo magnetische stormen veroorzaken, die elektriciteits- en communicatienetwerken op aarde kunnen verstoren. Erupties van radiogolven van de zon kunnen daarnaast radars in de war brengen. Lofar kan die golven monitoren, maar ook de dichtheid en snelheid van de zonnewind meten. Nu de wereld steeds meer afhankelijk is geworden van elektriciteit, communicatie en satellieten, is er groeiende interesse in het monitoren van de zonneactiviteit, waarbij radiotelescopen wellicht een belangrijke rol kunnen spelen.