De software van de SKA-radiotelescoop - Exabytes verwerken

In de woestijnen van Zuid-Afrika en Australië verschijnen over enkele jaren 130.000 kleine antennes en bijna 200 grote schotelantennes die gezamenlijk de grootste en gevoeligste radiotelescoop tot nu toe gaan vormen. In de zomer van vorig jaar is definitief groen licht gegeven voor de bouw van de SKA-telescoop en daarmee is de constructiefase ingegaan. Nederland speelt een belangrijke rol bij de totstandkoming. Het in Drenthe gevestigde Astron heeft veel ervaring met zijn vergelijkbare telescope array Lofar. Mede door die ervaring heeft Astron samen met partners een van de eerste contracten voor SKA in de wacht gesleept, voor de ontwikkeling van de software.

Stephan Wijnholds Astron — Stefan Wijnholds, Astron

Die software is uitermate belangrijk. Hij verwerkt de gigantische hoeveelheden data van de SKA-telescoop en moet uiteindelijk de afbeeldingen opleveren die ons meer informatie geven over het heelal. SKA gaat de wetenschap helpen enkele van de grote astronomische vraagstukken te beantwoorden zoals de aard van zwaartekrachtgolven, het ontstaan van grote magnetische velden en de omstandigheden tijdens het vroege heelal. Ook is SKA in staat de zwakke radiosignalen te detecteren op frequenties die wijzen op de aanwezigheid van aminozuren. Dit helpt astrobiologen bij hun zoektocht naar buitenaards leven. We spraken met Stefan Wijnholds, de software-engineer die het team leidt dat de SKA-software gaat bouwen, over de uitdagingen bij het ontwikkelen van de software. "Als je exabytes per dag moet verwerken, heb je wel een heel grote buffer nodig."

Wijnholds deed onderzoek naar instrumenten van het Herschel Space Observatory en was betrokken bij de bouw van Lofar. Hij is gespecialiseerd in phased array radio telescopes en niet alleen onderzoeker bij Astron, maar sinds 2016 ook professor bij de Zuid-Afrikaanse Universiteit van Stellenbosch. Om een grote oppervlakte voor de ontvangst van radiosignalen te beslaan, bestaan radiotelescopen op basis van phased arrays uit grote hoeveelheden antennes, die met software op een bepaald deel van de hemel gericht kunnen worden. De signalen die de telescopen meten, leveren enorme hoeveelheden data op, die gebruikt kan worden voor het maken van afbeeldingen.

De grote uitdaging hierbij is hoe om te gaan met de datatsunami die deze telescopen opleveren. Wijnholds werkt bij Astron aan oplossingen voor dit bigdataprobleem. Hoewel het pas sinds eind 2021 zeker is dat Astron en partners als TriOpSys, CGI space en S&T de software gaan maken, is Wijnholds al langer bezig met hoe de software de data van SKA moet gaan verwerken.

Hoelang zijn jullie al bezig met de voorbereidingen?

"Ruim twee jaar ben ik al product owner van het team dat aan de SKA-software werkt. Tussen de ontwikkel- en productiefase is de softwareontwikkeling al opgezet. In het begin is vooral tijd gestoken in het formeren van de eerste teams en het opstellen van een roadmap."

Bij de SKA Observatory-organisatie zijn instituten betrokken van vijftien landen, waaronder China, het Verenigd Koninkrijk, Duitsland en Frankrijk. Waarom is voor jullie voorstel voor de softwareontwikkeling gekozen?

"Een van de doelen van de voorbereidingsperiode was om een aantal teams op te stellen dat ervaring kon opdoen en zich kon verbeteren in termen van voorspelbaarheid in het opleveren van features. Die voorspelbaarheid was belangrijk om het contract toegekend te krijgen. Bij Astron hebben we Lofar als telescoop en die heeft wat type dataverwerking betreft veel gelijkenissen met SKA Low, het deel van de SKA-telescoop dat zich op de lagere frequenties richt. Dat brengt veel relevante ervaring met zich mee en die combineren we met de scrum- en developmentexpertise van onze partners. "

Een SKA, twee telescopen, veel antennes

SKA gaat feitelijk uit twee telescopen bestaan: SKA Low in Australië en SKA Mid in Zuid-Afrika. De eerste richt zich op de lage frequenties, de tweede op de hoge. Samen kunnen ze een frequentiebereik van 50MHz tot 5,4GHz observeren, wat overeenkomt met golflengten van 6m tot en met 5,5cm. Als de individuele telescopen van de SKA samengevoegd zouden worden in een enkele schoteltelescoop, zou dat volgens de oorspronkelijke plannen vergelijkbaar zijn met een schotelantenne die een vierkante kilometer zou beslaan. Vandaar het acroniem SKA, wat staat voor Square Kilometre Array. De resolutie is afhankelijk van de maximale afstand tussen de afzonderlijke antennes.

	Lofar	SKA Low	SKA Mid
Locatie	Europa	Australië	Zuid-Afrika
Richt zich op	Noordelijk halfrond	Zuidelijk halfrond	Zuidelijk halfrond
Antennes	~100.000 antennes	131.072 dipoolantennes	197 schotelantennes
Frequentiegebied	10MHz - 90MHz 110MHz - 250MHz	50MHz - 350MHz	350MHz - 5,4GHz (doel: 24GHz)
Datadoorvoer	∼10 terabit/s ruwe data 200 gigabit/s	∼ 1,3 petabit/s ruwe data 7,2 terabit/s	∼ 16 terabit/s ruwe data 8,8 terabit/s

Hoe gaan de teams te werk bij het ontwikkelen van de software?

"We werken op basis van SAFe, dus een scaled agile-manier van werken. Diverse scrumteams werken naar een enkel product toe. In totaal gaat het om zo'n vijftien teams die aan de software werken.

Waar we ons op richten, is het ontwikkelen van de bouwstenen waarmee je de dataverwerking kunt doen. Het gaat dan om functies die een bepaalde inputdata hebben, daar een bepaalde verwerking op uitvoeren en daarmee een nieuw tussenproduct of eindproduct opleveren dat voor de astronomen interessant is. Er komt een execution framework. Daarmee kun je als operator van de telescoop zeggen: 'Ik heb hier zo'n type pijplijn voor nodig en daarom wil ik dit blokje, dat blokje en zo'n blokje op de data uit laten voeren.' Dat framework gaat configureren en blokjes toewijzen aan stukken hardware voor de uitvoering. Wij richten ons dus op die blokjes die op de data zelf werken."

Dat klinkt vrij abstract. Kun je voorbeelden geven? Wat zijn en doen die blokjes?

"Je begint met een kwaliteitsinspectie. Er kan tijdens de observatie bijvoorbeeld net een vliegtuig zijn overgevlogen dat met de luchtverkeersleiding praatte. Dat geeft stoorsignalen in de data. Vervolgens is zo'n stuk elektronica dat in het veld staat, nooit 100 procent stabiel. Denk aan temperatuurwijzigingen en dat soort dingen. Daar moet je op finetunen. Dat is het ijken of kalibreren van de telescoop. Als dat gedaan is, kun je beginnen met het reconstrueren van het eerste beeld. Dat is niet direct perfect; daar moeten verschillende iteraties overheen om er een scherp beeld uit te krijgen. Dat zijn verschillende processtappen waar wij de software voor bouwen."

SKA Observatie vs Lofar — Niet alleen is SKA gevoeliger dan Lofar en alternatieve radiotelescopen, ook de observatie is aanzienlijk sneller.
De afkorting uGMRT staat voor de upgraded Giant Metrewave Radio Telescope in India, JVLA voor de Jansky Very Large Array in de Verenigde Staten.

De telescopen vangen straks radiosignalen op en die worden omgezet in data. Hoe verloopt het traject van de data verder? We hebben het over plekken in de woestijn. Wordt het daar eerst opgeslagen of meteen verzonden? En waarnaartoe?

"Vanuit de woestijn komen links naar lokale rekencentra, maar lokaal is een relatief begrip. Voor Zuid-Afrika zal dat in Kaapstad zijn, voor Australië in Perth. Daar is voor mensen wat makkelijker bij te komen. De verbindingen met de SKA Data Centres verlopen via glasvezel. Voor SKA Low is er nog een tussenstukje. Bij SKA Mid zit de digitalisatie heel dicht op de schotel zelf; dat gebeurt bij wijze van spreken in de voet. Bij SKA Low vindt de digitalisatie op een locatie in de woestijn plaats, maar bij het traject daarvoor verloopt het signaal via RF over Fiber, oftewel een analoog signaal door de optische kabels in plaats van bits. Stel dat je het signaal in dat stadium al zou digitaliseren, met een 12bit-ad-omzetter. Dan heb je het over 800 miljoen samples per seconde, per antenne. Dan kom je in de orde van tien gigabits per antenne. Dan kun je het beter analoog doorsturen.

Op die locaties komt zo verschrikkelijk veel data binnen, dan heb je het over het equivalent van exabytes per seconde. Om dat zo energie-efficiënt mogelijk te verwerken, heb je dedicated hardware nodig, zoals fpga's. We hebben voorgesteld om daar de door Astron ontwikkelde Uniboard^2 voor te gebruiken, maar er is uiteindelijk voor een andere oplossing gekozen. In de woestijn vindt met behulp van de gespecialiseerde hardware eerst filtering plaats. We gaan groepjes antennes richten op een stukje van de hemel. Dan proberen we de rest alvast zoveel mogelijk te filteren. Met die bundelvorming kun je data reduceren."

SKA dataflow

"In de datacenters in Kaapstad en Perth vindt de dataverwerking plaats waar wij de software voor schrijven. Aan het begin van de keten hebben we het nog over i/o en heel simpele operaties die met hoge snelheid uitgevoerd moeten worden. Zoals het verwijderen van verstoringen door interferentie. Dat zijn algoritmen die kijken naar blokken data, het voortschrijdend gemiddelde van de data berekenen en kijken of er punten in zitten die meer dan vijf standaarddeviaties verwijderd zijn van het gemiddelde. Je wilt niet dat je kalibratie en imaging een verkeerde afslag nemen door die RF-interferentie. Gaandeweg de keten neemt de datarate af, maar de complexiteit toe. Het doel is om aan het eind een aantal standaard dataproducten op te leveren. Die worden in een archief geplaatst dat astronomen wereldwijd kunnen gebruiken voor hun wetenschap. Ook dan praat je nog steeds over enorme datavolumes."

Een blik op het verleden

Anders dan optische telescopen werken radiotelescopen niet met zichtbaar licht, maar met radiogolven uit het elektromagnetische frequentiespectrum. Dat zijn golven met frequenties van 30MHz tot 40GHz, wat overeenkomt met golflengten van 10m tot 7mm. De radiotelescopen hebben geen last van visuele verstoring zoals wolken, maar moeten wel rekening houden met verstoring van RF-bronnen, zoals radiocommunicatie en de zon. Het voordeel is dat ze radiogolven van bronnen op miljoenen lichtjaren afstand kunnen meten en zo in feite een blik op het verre verleden kunnen richten. Zo hopen wetenschappers met SKA inzichten te krijgen rond de formatie en evolutie van sterren en sterrenstelsels na de oerknal. De radiotelescoop gaat echter gebruikt worden voor onderzoek in tal van wetenschappelijke richtingen, zoals onderzoek naar zwaartekracht en naar de aanwezigheid van complexe moleculen in het heelal, als bouwstenen voor leven.

Links de Melkweg weergegeven op basis van optische golflengtes, in het midden de weergave op basis van de 21cm-golflengtelijn, oftewel een frequentie van 1420MHz. Waterstofatomen kunnen in zeer zeldzame gevallen energie vrijgeven in de vorm van radiostraling op deze frequentie. De som daarvan vormt een meetbaar radiosignaal. De SKA-telescoop kan dit soort beelden sneller en met hogere resolutie opleveren. Rechts een samengestelde afbeelding met verschillende frequenties, waarbij de krachtigste radiofrequenties rood zijn gekleurd. Bron: SKA/NASA

Zo'n dataproduct, dan gaat het onder andere over afbeeldingen?

"Ja dan heb je het bijvoorbeeld over een 'plaatje' van de hemel. We zijn toe aan het werken naar afbeeldingen van 30.000 bij 30.000 of 100.000 bij 100.000 pixels. Maar je hebt niet een enkel plaatje, je hebt er meerdere voor verschillende frequenties. Je krijgt als het ware een datakubus van aantal pixels bij aantal pixels bij aantal frequenties. Als een wetenschapper zegt: 'Ik wil een analyse van iedere 1MHz' en je hebt 300MHz bandbreedte, dan heb je dus 300 van dat soort plaatjes van elk 10 gigapixel."

Hoe komen de wetenschappers uiteindelijk aan die afbeeldingen?

"Het idee is dat dit proces gefaciliteerd wordt door regionale centra van SKA. Daar kunnen ze verzoeken indienen voor data-analyse van dat soort kubussen. Het plan is dat er in Nederland ook zo'n regionaal centrum komt. Dat zou dan bij SURFsara kunnen; die hebben ervaring met de benodigde rekenclusters."

Welke uitdagingen op softwaregebied komen erbij kijken om dat mogelijk te maken?

"De uitdaging is de schaalbaarheid. De data moet in near real time verwerkt worden. Je kunt wel een buffer tussen de telescopen en de datacentra zetten, maar als je exabytes per dag moet verwerken, heb je een heel grote buffer nodig en ook die loopt weer vol als je niet in een vergelijkbaar tempo data uit die buffer haalt om dat te verwerken. Er komen in de datacentra dus clusters met flink wat nodes met bijvoorbeeld accelerators om de data geparallelliseerd te verwerken. Je kunt zo elke frequentie afzonderlijk verwerken, wat een natuurlijke manier van parallellisatie is, maar uiteindelijk wil je ook data van verschillende frequenties kunnen combineren. Dan moet dat dus weer op een of andere manier samenkomen. De uitdaging is om dat allemaal goed te orkestreren."

Astron demonstreerde vorig jaar het samenstellen van 64 polygone delen om efficiënt tot een afbeelding met een resolutie van 100k bij 100k en een omvang van 40GB te komen. Correcties op basis van deze facetprocessing omzeilen geheugenlimieten en maken parallellisatie van verwerking mogelijk. In het midden de afbeelding op basis van Lofar-data, rechts een sterk uitvergroot detail

Hoe zit het met compressie om het behapbaar te houden? Zijn daar mogelijkheden voor?

"We zitten er wel aan te denken om bepaalde compressietechnieken toe te passen. Voor bepaalde stukken van de verwerking is de i/o de beperkende factor. Door optimalisaties met gpu-borden kunnen we bepaalde operaties zo snel uitvoeren dat we data soms niet snel genoeg de computer in kunnen duwen om die gpu bezig te houden. Datacompressie kan dan een heel handige techniek zijn. We zijn bezig met een nieuwe compressietechniek die de wetenschappelijke kwaliteit van de data behoudt en publiceren daar binnenkort een paper over."

Jullie hebben de nodige ervaring met Lofar. SKA is een maatje groter. In hoeverre kunnen jullie van die ervaring gebruikmaken?

"Bij Lofar hadden we de filosofie: we gaan compacte bouwsteentjes bouwen en die rijgen we met een taal van een hoger niveau aan elkaar, als een soort flowdiagram. Daarmee haalden we niet de prestaties waarop we gehoopt hadden. Dan krijg je forking in de flow van je data en we hebben gemerkt dat execution frameworks het daar best moeilijk mee kunnen krijgen, wat scheduling betreft. We hebben tegen SKA gezegd: je moet niet te veel intelligentie in zo'n framework willen stoppen. Er moet meer intelligentie in de componenten teruggeduwd worden. Accepteer dan dat de individuele bouwblokjes best fors kunnen worden en dat je daar de nodige resources van de nodes aan moet toewijzen."

Vanwege de vereiste near-realtime verwerking van de data bij SKA, kan de datapijplijn niet te complex worden, met zijvertakkingen. De keuze is daarom gevallen op een nagenoeg lineaire keten tot de uiteindelijke afbeeldingen.

Wat die nodes betreft: de ontwikkelingen op hardwaregebied gaan razendsnel. Hoe houden jullie daar rekening mee met softwareontwikkeling?

"SKA heeft een ontwikkelpad waarbij in de loop van een aantal jaren al die hardware in het veld gezet gaat worden. Het gaat om duizenden antennes; die zet je niet in een dag neer. In 2024 zetten ze de eerste stations neer, daarna volgt een pauze om te kunnen kijken of de hardware naar verwachting functioneert. Dan moet dus wel al de eerste data verwerkt worden, maar het gaat dan nog om 50 stations van de uiteindelijke 512. In 2025 tot 2027 komt de overige 90 procent erbij. Aangezien de ruwe data van de telescoop schaalt met het kwadraat van het aantal antennes, gaat dat aan het eind exponentieel omhoog. Dat is wat we het spannendste moment vinden. We testen onze ideeën over de schaalbaarheid van de software met de clusters die er nu zijn. Details over de uiteindelijke hardware hebben we nog niet, want die wordt pas op het allerlaatste moment aangeschaft. SKA doet wel aan hardware-exploratie. Als Mellanox bijvoorbeeld met een nieuwe switch komt, proberen collega's die zo snel mogelijk op hun bureau te krijgen."

De omstandigheden in Zuid-Afrika en Australië zijn ook anders dan hier. In hoeverre lopen jullie daartegenaan?

"In een woestijn is de temperatuurfluctuatie groter dan in Nederland. In Australië worden de kabels op de grond gelegd, omdat het moeilijk is ze te begraven in de rotsachtige bodem. Bij Lofar zijn alle kabels juist vanwege de thermische stabiliteit begraven. Daar zit een verschil en we moeten nog zien welk effect dat gaat hebben. Bij Lofar hebben we twee typen antennes neergezet die samen de hele frequentieband waarop Lofar meet, kunnen observeren. Bij SKA gaan ze gebruikmaken van antennes die een groot aantal frequenties tegelijk kunnen meten. Dat brengt weer zijn eigen complicaties met zich mee wat antennegedrag betreft. Dus daarmee moeten we ook ervaring opdoen. Dan zul je zien dat je die bouwsteentjes, met kennis van het systeem, weer een beetje moet aanpassen."

Exabytes vanuit de woestijn verwerken

Hoe de data van de Square Kilometer Array verwerkt gaat worden

Een SKA, twee telescopen, veel antennes

Een blik op het verleden

Lees meer

Astron verbetert radiotelescopen

IT-banen

Reacties (15)

Sorteer op:

Weergave: