KNMI neemt gedeelde supercomputer voor weersverwachtingen in gebruik - update

Het Koninklijk Nederlands Meteorologisch Instituut neemt een nieuwe gedeelde supercomputer in gebruik die mogelijk sneller weersverwachtingen kan maken. De supercomputer maakt vier biljard berekeningen per seconde en produceert ieder uur een weersverwachting.

Dankzij de verbeterde rekencapaciteit kan het KNMI naar eigen zeggen sneller weersverwachtingen genereren. Daarnaast kan de supercomputer volgens het KNMI 'op een hoger detailniveau voor een veel groter gebied dan voorheen' berekeningen maken. Voorheen werd het betreffende gebied in rasters van 2,5 kilometer verdeeld, nu is dat 2 kilometer. De atmosfeer is daarbij in dertig procent meer lagen opgedeeld, ofwel negentig niveaus. "Dit zijn resolutieverbeteringen die zich vertalen in een betere weergave van de meteorologische parameters in het hele domein."

Het weerinstituut deelt de rekenkracht van de verbeterde computer met de nationale meteorologische instituten van Ierland, Denemarken en IJsland. Het samenwerkingsverband heet United Weather Centres West. De supercomputer bestaat uit twee delen: een voor operationele weersverwachtingen en een voor klimaatonderzoek. Het systeem staat in IJsland en draait op stroom opgewekt met waterkracht en geothermische energie. De supercomputer had al in 2023 in gebruik genomen moeten worden. Het is niet duidelijk waarom de ingebruikname van het systeem vertraging opliep.

Het KNMI maakt net als de andere weerinstituten weersverwachtingen op basis van algoritmes en daadwerkelijke meetresultaten. Het systeem verwerkt tien miljoen weerwaarnemingen per dag. Het gaat daarbij om weersinformatie van satellieten, weerballonnen, radars, sensors en grondstations.

KNMI UWC-WestKNMI UWC-WestKNMI UWC-West

Update, dinsdag: Enkele feitelijke onjuistheden over de prestaties van de supercomputer zijn gecorrigeerd.

Door Yannick Spinner

Redacteur

23-09-2024 • 16:39

71

Submitter: MartineEekhof

Reacties (71)

71
69
29
6
0
24
Wijzig sortering
De eerste producten die door de nieuwe supercomputers worden gemaakt zijn in maart al gelanceerd:
https://www.knmidata.nl/a...2024/open-data-maart-2024

Naast de verbetering in het het raster en het aantal niveaus is er nog een grote verbetering:
Eerder kwam er elke 3 uur of elke 6 uur een nieuw bestand beschikbaar, nu is dat elk uur.
Die data van dit HARMONIE model is ook wat je ziet als je Buienradar op 24-uurs en 48-uurs zet (volgens mij is Buienradar echter nog niet over op de nieuwe versie van HARMONIE waar het in dit nieuwsbericht over gaat).
Wordt de weersvoorspelling er beter van ? Want ik heb het idee dat het de laatste jaren alleen maar slechter is geworden ipv beter.

Je hebt elke 12 uur een vooruitzichten model, de zgn pluim samen gesteld uit ECMWS en GFS , er zijn ook andere modellen maar dit is de meest populaire geloof ik, maar het valt op dat die vaak s'morgens aan de lage kant zitten en bijv. s'ávonds dan weer te hoog en zo blijft het dan een beetje heen en waar gaan.

En ik lees mee op weerwoord maar de juiste interpretatie is ook een ding, de ene weerman of vrouw is de andere niet en vaak zit er al verschil in de voorspellingen.
Volgens deze link is de betrouwbaarheid van het weerbericht echter vooruit gegaan; in de jaren 90 was het voor 1 dag ongeveer accuraat, toen dat artikel geschreven was was het 2 dagen. De precisie van de 5 dagen voorspelling is nu ook zo precies als de 3 dagen voorspeling van 20 jaar geleden.

Maar dat zijn citaten, ik heb hier geen bronnen voor. Dat gezegd hebbende, het is een bron, geen persoonlijke anecdote / observatie.
Het enige wat mij interesseert is of het regent of niet. Helaas zit ik ondanks de “buienalarms” toch met enige regelmaat in de regen.
Dat komt doordat Buienalarm en buienradar er een extra filter overheen gooien.
De ongefilterde kaart gaf vaker aan dat er een bui kwam, maar dan kon het ook wel eens wezen dat het 1 of 2 druppels waren.
Deze kaart kon je ook inzien via de app Radargram, alleen is deze sinds juli uit de lucht.
Het komt ook doordat Buienradar en Buienalarm buien die lokaal ontstaan vaak niet kunnen laten zien in hun voorspellingen.
Overigens komt de basis van hun voorspellingen van de knmi en kan je deze zelf ook gewoon downloaden om een app als radargram mee te maken.
Misschien heb je er al van gehoord maar hier is moopmoop op dit moment denk ik toch echt de beste in. Vooral uit ervaring zijn zij op kleine gridscale heel goed in Nederland.
Daarnaast vind ik buienalarm ook erg goed maar 'spontaan' opkomende buien of net van richting veranderde buien blijven altijd lastig natuurlijk.
Daar heb je deze app voor

https://www.tuinadvies.nl...oads/1565_1273229488b.jpg

[Reactie gewijzigd door leploep op 24 september 2024 14:10]

Ja, voorspellingen worden beter.
Oude supercomputer in De Bilt deed de komende 48 uur, periode erna aangevuld met ECMWF (niet ECMWS).
Het nieuwe systeem doet tot 60 uur vooruit, met hogere resolutie. En daarna aangevuld met het ECMWF model.

En daarna zijn de berekeningen veel vaker te maken per dag, dus de frequentie van updates neemt toe.

Kijk ook voor details op de aankondiging 3 jaar geleden met infographics:
https://www.knmi.nl/over-...r-betere-weersverwachting

Vergeet niet dat als de resolutie 2 keer zo hoog wordt, er 16 keer zoveel berekeningen nodig zijn om de waardes per cel in de tijdlijn goed te kunnen uitrekenen.

[Reactie gewijzigd door AceAceAce op 23 september 2024 17:49]

Wordt de weersvoorspelling er beter van ?
Het Koninklijk Nederlands Meteorologisch Instituut neemt een nieuwe gedeelde supercomputer in gebruik die mogelijk sneller weersverwachtingen kan maken.
Men heeft zich al ingedekt, zo te lezen :+
"Beter" is ook wel een ruim begrip en open voor interpretatie.
De weersvoorspelling anno 2024 is absoluut beter dan die in de jaren ‘90.

Nu is de resolutie eentje die van uur tot uur redelijk klopt voor de stad waar ik woon.

In de jaren ‘90 had je op zijn best een algemeen weerbericht voor de hele dag voor je regio “aan het einde van de dag buien in het midden van het land”. Die klopte ook maar iets van 80%. En meer dan 3 dagen vooruit kon niet.

[Reactie gewijzigd door Keypunchie op 23 september 2024 17:32]

Misschien zijn de verwachtingen van de consumenten over de weersvoorspellingen ook omhoog gegaan, dat valt het resultaat vaker tegen.
Zou dan zeker eens kijken op noodweer.be die weten de modellen over het algemeen vrij goed te interpreteren.
Weersverwachting. Geen meteoroloog zal het woord weersvoorspelling gebruiken. Het valt immers niet of slecht te voorspellen.
De laatste (zeg 2) jaren is mijn ervaring dat de vooruitzichten er veel vaker naast zitten dan voorheen. Bij ons in de regio dan, wellicht heeft dat er mee te maken.. Bij sommige voorspellingen voor de korte termijn (een halve dag of dag vantevoren) heb je dan al het gevoel dat het niet kàn kloppen en zie daar. Ik begreep van een student meteorologie dat men steeds meer AI gebruikt wordt door de bureau's. Is dat de oorzaak?
Kom je de laatste twee jaar misschien vaker buiten, of kijk je vaker op de weer-app voordat je naar buiten gaat?
De keren dat de voorspelling juist was blijven je niet zo bij. De keren dat de voorspelling niet juist was blijven je wel bij, omdat je daar aan ergert. Dus wanneer je vaker dan voorheen in een situatie komt om de voorspelling te 'controleren' of vaker naar voorspellingen kijkt, kan je makkelijk de indruk krijgen dat het nu vaker onjuist is dan voorheen.
Ehm nee, ik kom net zo vaak buiten als voorheen... :)
Ik heb precies hetzelfde, voornamelijk Weater Pro (de app) is veel minder precies.
Tijdens vakanties gaf hij een aantal jaren geleden per dal aan hoe het weer werd, als we op de app zagen dat het 2 dalen verderop mooi was gingen we er naar toe en was het inderdaad mooier.
De laatste paar jaar klopt er niks meer van en moet je op een webcam kijken hoe het weer in de verschillende dalen is en dat komt dan meestal niet overeen met wat de app aangeeft. (eerst dus wel)

In NL dezelfde ervaringen...
Ik vind dit een grappige reactie. Je ging een keer op vakantie en toen was het mooi weer toen ze zeiden dat het mooi weer werd. Maar nu gebeurde het tegenovergestelde. Ergo, de weersverachtingen in het algeheel zijn significant minder betrouwbaarder geworden in tegenstelling tot elke verwachting van technologische vooruitgang.
Nee ik kom elk jaar meerdere keren per jaar in Zwitserland, dus geen N=1
(staat er ook: vakantieS)

[Reactie gewijzigd door Chickendorp op 25 september 2024 09:40]

"De weersvoorspellingen zijn minder betrouwbaar geworden" is zo'n dingetje die je in je jeugd gezegd hoort worden door wijze oude mannen. Vervolgens wordt je een paar jaar ouder en realiseer je je wat voor dwaze oude mannen met dit soort praat aan komen zetten en voor je het weet hebben ze "gelijk" en komt hetzelfde gebrabbel uit jouw eigen keel.

Sorry, maar in welk opzicht zouden de weersvoorspelling mogelijk minder accuraat kunnen worden?
Als ik op iOS de weer-app open, Buienradar of Weeronline geen enkel beeld is hetzelfde en de laatste maanden zitten ze er allemaal naast.
Is deze info beschikbaar, en of wordt deze gebruikt voor de "buienradars" of heb je geen directe toegang als consument.
Ongeveer alle data van het KNMI is openbaar toegankelijk: https://dataplatform.knmi.nl/
Om de data direct leesbaar te maken gebruik ik Xygrib.
De gribfiles zelf kun je bijvoorbeeld vinden bij https://www.euroszeilen.utwente.nl/weer/grib/
Je vindt daar ook een linkje naar Xygrip.

Het harmoniemodel is zeer bruikbaar gebleken. Enig nadeel is dat het slechts 54 uur vooruit kijkt.

Tot voorkort moesten we 6 uur wachten op een nieuwe run. Sinds een paar weken is er elk uur een update.

[Reactie gewijzigd door Ovni op 23 september 2024 17:31]

De “buienradars” zijn daadwerkelijk radars 😊
ik bedoelde de commerciële naam.
Het KNMI heeft overigens binnenkort een opendag:
https://www.knmi.nl/open-dag-2024
Het is 5 en 6 oktober weekend van de wetenschap. Veel instellingen zoals onderzoeksinstituten zijn dan geopend voor het publiek.

Op het Utrecht Science Park zijn de instituten van bijvoorbeeld de KNAW op zondag 6 oktober open. Het KNMI is dus 5 oktober geopend en UMC en UNI volgens mij 5 en 6 maar durf dit niet met zekerheid te zeggen. Ook het PMC is 6 oktober geopend.

Voor meer info:

https://weekendvandeweten...ots/utrecht-science-park/

Betreft het weer. Als de wind meerdere dagen vanaf land komt met name oost en noord oost is het veel makkelijker te voorspellen dan vanaf zee. Helemaal tegenwoordig.

Maar als hij constant loopt te draaien of en vooral vanaf zee komt. Dan hang je echt.

Ik weet wel zeker dat het weer beter te voorspellen is. Vraag is meer is het weer zelf niet meer veranderd?

[Reactie gewijzigd door rob12424 op 23 september 2024 18:43]

En gaan de weersvoorspellingen hiermee dan kloppen ? Toch niet.

Het weer blijft maar zo voorspelbaar zoals het altijd geweest is en geen computer die dit "alsnog" accuraat kan voorspellen .. :)

Best raar dat men 50 jaar geleden meer accuraat het weer kon voorspellen dan nu met de talloze zware investeringen die men de laatste 10 jaar al heeft gedaan.
Kijk je naar de daadwerkelijke voorspelling, of naar wat apps zoals Buienradar laten zien? Buienradar toont namelijk maar één van de mogelijke uitkomsten en projecteert dat zonder verdere duiding op een kaartje. Het maakt voor hen ook niet uit of een voorspelling wel of niet klopt, het gaat hen er om dat je die app opent zodat je hun reclame te zien krijgt.
Het maakt voor hen ook niet uit of een voorspelling wel of niet klopt, het gaat hen er om dat je die app opent zodat je hun reclame te zien krijgt.
Heel basaal klopt dat, als je iets beter nadenkt klopt dat van geen kanten. Als de output van de app niet betrouwbaar is zullen gebruikers de app ook niet openen.

Dus ja het maakt buienradar absoluut uit of wat ze laten zien klopt of niet. Anders openen mensen hun app niet of die van een ander...
Het maakt voor hen ook niet uit of een voorspelling wel of niet klopt, het gaat hen er om dat je die app opent zodat je hun reclame te zien krijgt.
En als het maar vaak genoeg niet klopt, opent niemand meer de app en krijg je niet alleen de reclame niet meer te zien, maar verdient buienradar er ook niets meer aan en houdt het op te bestaan.

Of te wel, enigszins zou er her en der wel wat van kloppen anders hadden ze geen 18 jaar bestaan.
De meeste tijd zullen mensen de app pas massaal openen als het net begint met regenen. Aan de hand daarvan kan je dus aan de volgende gebruikers op dezelfde locatie ook vertellen dat het regent waardoor zij het idee hebben dat de app juist voorspelt.

Overigens gebruikt Buienradar volgens dit artikel data van neerslagradars en "voorspellen" ze verdere neerslag door het verwachte pad van een wolk min of meer te projecteren over de kaart, er vanuit gaande dat het blijft regenen. Ze zullen vast wel meer doen om bijvoorbeeld uit te rekenen wanneer een wolk "op" is ofzo, maar kort gezegd voorspellen ze dus vaker regen dan dat het daadwerkelijk gaat regenen. Opzich is dat ook niet erg, want je kunt maar beter een regenjas bij je hebben als je de deur uit gaat en 'm niet nodig hebben dan andersom, maar het zorgt er dus ook voor dat mensen terug blijven komen naar de app want die ene keer dat ze niet kijken en het tóch regent zal je beter onthouden dan de tien keer dat je voor niks een jas aan trok.
Is dat zo of denk je dat dat zo is?
Als je het zelf aan den lijve ondervind dan is dat zo, overwegend droog en zonnig vandaag .. vervolgens komt je in een resem stortbuien en een ijswind terecht. Vroeger klopte het tenminste ongeveer, kwam je tenminste nog ergens droog toe als ze zeiden dat het droog ging blijven.
Zijn er ook bronnen die die stelling onderbouwen? Ik bedoel eens dat de weersvoorspellingen niet helemaal precies zijn, zeker niet als je meer dan een week vooruit kijkt, maar we hebben het over een enorm complex systeem.

D'r was wel een interessant onderzoek waar ze AI erop loslaten, input zijn de variabelen die gemeten worden, leermodel zijn die variabelen en het weer over X dagen. De eerste resultaten waren veelbelovend, maar de vraag is of het schaalt naar in dit geval 10 miljoen waarnemingen per dag. Als er zoveel nodig zijn.
Je komt toch dagelijks buiten, als ze zeggen opklaringen en zonnig en het is bewolkt en regent .. dan klopt het toch niet. Je kan eens mis zijn, maar geen 250 dagen per jaar. Zoals ik reeds zei : Het weer blijft maar zo voorspelbaar zoals het altijd geweest is en geen computer die dit "alsnog" accuraat kan voorspellen .. :)
Hier zie je een voorbeeld hoe voorspellingen uit verschillende modellen (Harmonie, HIRLAM, ECMWF) vergeleken worden met daadwerkelijke in-situ metingen om te sturen en om eventueel van model te veranderen voor een bepaald werkveld, in dit geval voor Rijkswaterstaat en waterstanden:
https://open.rijkswaterst...ie-harmonie-operationele/
Hiervoor zijn drie verschillende meteorologische modellen als aandrijfkracht gebruikt: HIRLAM, HARMONIE en ECMWF. De resultaten van berekende waterstanden zijn vergeleken met de gemeten waarden.
De weervoorspellingen worden maar marginaal beter met veel meer rekenkracht. Niet-lineariteit is een van de oorzaken dat piepkleine verschillen in de beginwaarden een erg groot verschil op termijn veroorzaken, zie Wikipedia: Chaostheorie
Best raar dat men 50 jaar geleden meer accuraat het weer kon voorspellen dan nu met de talloze zware investeringen die men de laatste 10 jaar al heeft gedaan.
Kun je hiervan een informatiebron geven? Marginaal beter is nog steeds niet slechter.
Ben benieuwd hoe het staat met de AI weersvoorspellingen. Dat zou accurater zijn en supercomputers overbodig maken.

[Reactie gewijzigd door drakiesoft op 23 september 2024 18:22]

weersvoorspellingen zijn nooit 'accuraat' geweest, er zijn altijd wel detailverschillen, zelfs op de dag zelf. er is vaak genoeg zwaar onweer voorspeld, en dan kwam het er niet van omdat er een parameter een lagere of hogere waarde had dan berekend. sneeuw is ook een goed voorbeeld waar modellen moeite mee kunnen hebben, soms wordt hele fijne sneeuw bijvoorbeeld niet opgepikt door de weermodellen.

je kan de berekeningen als een leidraad gebruiken terwijl je de huidige situatie in de gaten houdt, nowcasten wordt dat genoemd.

wat helpt in dit geval is dat het nieuwste harmoniemodel sneller kansberekeningen kan maken die dichter bij een realistische voorspelling kunnen liggen, waardoor bijvoorbeeld op een meer betrouwbare basis waarschuwingen uitgegeven kunnen worden, zeker nu elk uur een run wordt uitgevoerd.

lang verhaal kort, het is de investeringen meer dan waard (geweest).
Wat jij nu dus eigenlijk zegt is dat het vroeger aan de weerman lag en de computer dit nu van de weerman overneemt of moet overnemen .. vroeger had de juiste man op de juiste plaats inzicht, ervaring en kennis van zaken om de juiste conclusie te trekken. Nu hebben ze daar een supercomputer voor nodig, maar als ze het dan alsnog verkeerd overbrengen of die computer helemaal verkeerd is. Ik ben niet overtuigd dat als het weermodel vroeger tot voor 90% klopte in hun voorspellingen en ze er nu voor nog geen 50% op zijn we er op achteruit gegaan zijn met hun voorspellingscomputers.

[Reactie gewijzigd door MPIU8686 op 23 september 2024 21:38]

waar lees jij dat ik zeg dat weermodellen de weermannen overnemen? 8)7

[Reactie gewijzigd door Fiets97 op 24 september 2024 13:04]

Best raar dat jij met die stelling komt.
Ook best raar dat jij denkt dat dat zo is want weersvoorspellingen zijn echt een heel stuk beter geworden. Mag ook wel want het is echt big business tegenwoordig.
Als er toch een manier zou zijn om te kwantificeren hoe accuraat voorspellingen nu zijn vs die van 50 jaar geleden... O wacht, dat is heel makkelijk en de voorspellingen nu zijn ongelooflijk veel beter dan die van 50 jaar geleden.
Best raar dat men 50 jaar geleden meer accuraat het weer kon voorspellen dan nu met de talloze zware investeringen die men de laatste 10 jaar al heeft gedaan.
Vroeger beter dan nu? Je begint op mijn opa te lijken. Die had ook last van een selectief geheugen.
Vroeger had je een algemeen weerbericht op het journaal of in de krant. Dan kreeg je te horen/ lezen dat het morgen zonnig, regenachtig of wisselvallig zou worden. Vooral wisselvallig klopte altijd, want dat kon van alles betekenen tussen de hele dag zon en de hele dag regen. Was het licht bewolkt, dan had je het idee dat het klopte en was je blij dat het niet regende, was het zwaar bewolkt met af en toe wat regen, dan had je ook het idee dat het klopte en was je blij dat het niet de hele dag regende.
Nu kijk je constant op je telefoon in een weer-app om te kijken of je nú de deur uit kan zonder jas of paraplu. 9 van de 10 keer zal het kloppen en vergeet je dat je naar het weer gekeken hebt. Die ene keer dat het niet klopt blijft je bij, omdat je natgeregend bent of juist de hele dag voor niets met een paraplu gezeuld hebt of omdat je uit je t-shirt waaide of juist in je jas liep te zeten. Dát zijn de keren die je bijblijven en war je je aan ergert. En daardoor lijkt alsof er tegenwoordig zo weinig van klopt.

Vroeger vertrouwde je op een blijk naar buiten of je wel of niet een paraplu mee moest nemen, en had je het fout dan was het je eigen schuld en niets om je verder druk over te maken. Nu vertrouw je op je app, zelfs wanneer er donkere regenwolken in de lucht hangen en is het de schuld van de app wanneer je nat wordt en ga je je daar enorm aan ergeren.
Ik zie dat ik dit beter als eigen bijdrage neer kan zetten en niet als reactie op een bijdrage. Meteorologen maken geen weersvoorspelling maar een weersverwachting. Dat is een wezenlijk verschil. Om het op ons werk te betrekken: een statement in je code die net zoveel anders is dan wat je bedoelt zorgt voor software die niet werkt....
Wat? Geen AI? Verbazingwekkend dat de term geen enkele keer voorkwam in het artikel.

Ohja wacht, het weer is een serieus iets. Zeker voor de lucht en scheepvaart. Kijken wel een keer uit door AI leuzen te gooien die zeer zeker de modellen veel inaccurater maken.

Zo zie je maar dat het vooralsnog een inaccurate toy is.

[Reactie gewijzigd door Marctraider op 23 september 2024 18:35]

De vooruitgang op het gebied van weer- en klimaatonderzoek, AI, big data en computertechnologie maakt onze samenwerking noodzakelijker dan ooit.
Uit de link in het artikel😊
Misschien is het wel slimmer dat er 1 weer bericht voor meerdere partijen wordt gemaakt, dan hoeft het systeem niet opnieuw voor IEDERE weerdiensten berekenen... (!!!!!!!!!)
Dat zal ongetwijfeld ten grondslag liggen aan het gezamenlijke gebruik door meerdere meteorologische diensten. Dan kun je voor het hele gebied hetzelfde raster gebruiken, en elk land gebruikt dan een deel van de resultaten daarvan.
Ik weet niet of dit direct in het artikel stond maar ik gok dat ze dat sowieso niet doen. Maar afhankelijk van wat klanten willen moet er toch een nieuwe berekening worden gedaan als ze denken dat dat een beter resultaat geeft en het het geld waard is.
Het is niet dat ze voor elke partij een totaal nieuwe simulatie beginnen natuurlijk.
Dit klinkt heel mooi, maar die oneindige progressiecirkel in het logo van het DMI uit Denemarken op het apparaat zorgt bij mij intern wel voor enige stapelwolken achter een front met mogelijke storing die bij verdere uitbreiding de overhand kan krijgen.

Verder vind ik het jammer dat dit klinkt als informatie uit de brochure voor consumenten. Wat zit er achter die 6 miljaar regels met code? Voxels? Octree's om de voxels in bedwang te houden? Hoe komt de data uit alle sensoren bij elkaar?

Hoewel het zonder twijfel nieuws is om vrolijk van te worden, samenwerken is tenslotte vaak goed, zou ik ook wat meer willen weten over waar de data in deze cloudformatie op drijft :)
Jammer dat ze geen recente weer app hebben van het KNMI. De oude wordt niet meer onderhouden sinds 2022.
Technisch gezien kun je de PWA 'installeren in ieder geval op android, maar dat is natuurlijk gewoon een browser instance die alleen die pagina opent.
Toch vind ik een goede website nog steeds beter dan een slechte app en vaak is er dan meer werk in gestopt omdat het op desktop ook goed moet werken.

Op dit item kan niet meer gereageerd worden.