Google toont AI-model dat 'ongekend nauwkeurige' weersvoorspellingen kan doen

Google DeepMind introduceert GraphCast. Dit AI-model kan volgens de techgigant in minder dan een minuut een 'ongekend accurate' weersvoorspelling doen voor de komende tien dagen. DeepMind heeft de code van het GraphCast-model open source gemaakt.

GraphCast kan volgens Google-dochter DeepMind snelle weersvoorspellingen op de middellange termijn doen met een 'ongekende nauwkeurigheid'. De techgigant deelt in een collegiaal getoetst rapport op Science details over het AI-model, dat volgens Google DeepMind in veel gevallen sneller en accurater is dan het HRES-systeem van het Europees Centrum voor Weersverwachtingen op Middellange Termijn, ook wel het ECMWF.

Het deeplearningmodel kan volgens zijn makers nauwkeurige weersverwachtingen van de komende tien dagen genereren. GraphCast kan ook eerder waarschuwen voor extreme weersomstandigheden, zo claimt Google. Het model kan nauwkeuriger het pad van cyclonen volgen, 'atmosferische rivieren identificeren' die verband houden met overstromingsrisico's en het begin van extreme temperaturen voorspellen.

Tot op heden worden weersverwachtingen vooral uitgerekend door middel van numerical weather prediction. Weersvoorspellingen daarmee beginnen met 'zorgvuldig gedefinieerde natuurkundige vergelijkingen', schrijft Google. Die vergelijkingen worden vervolgens vertaald in algoritmes die worden gedraaid op supercomputers.

Het GraphCast-model is getraind op 'decennia aan historische weerdata'. Het model heeft volgens de makers de oorzaak-en-gevolgrelaties geleerd die bepalen hoe het weer zich ontwikkelt. Het model is getraind op de ERA5-dataset van het ECMWF, die is gebaseerd op weerobservaties als satellietbeelden, radars en weerstations. Traditionelere numerical weather predictions worden in die dataset gebruikt om eventuele gaten op te vullen wanneer voor bepaalde perioden waar observaties incompleet zijn, schrijft Google.

GraphCast doet volgens Google voorspellingen op basis van twee datasets: de weersomstandigheden van zes uur geleden, en de huidige weersomstandigheden. Op basis daarvan wordt het weer voor de komende zes uur voorspeld. Deze voorspelling kan vervolgens met nog eens zes uur worden doorgezet, en zo verder. Dat kan nauwkeurige resultaten opleveren tot tien dagen in de toekomst.

De werking van GraphCast. Bron: Google DeepMind

GraphCast doet voorspellingen op een resolutie van 0,25x0,25 graden in de lengte- en breedtegraad. Dat komt neer op 28x28km op de evenaar. In totaal biedt het model daarmee meer dan een miljoen rasterpunten op aarde. Van ieder rasterpunt worden vijf variabelen op het oppervlak voorspeld, waaronder de temperatuur, windsnelheid en -richting en de gemiddelde druk op zeeniveau. Er worden op ieder punt ook zes atmosferische variabelen voorspeld op 37 verschillende hoogteniveau's.

Het GraphCast-model was bij meer dan 90 procent van de 1380 testvariabelen nauwkeuriger dan het eerdergenoemde HRES-systeem van het Europese weercentrum, zo claimt Google DeepMind. Wanneer de test werd beperkt tot de troposfeer, was GraphCast in 99,7 procent van de gevallen nauwkeuriger bij het voorspellen van toekomstige weersomstandigheden.

Google DeepMind zegt daarnaast dat een GraphCast-voorspelling van tien dagen binnen een minuut gegenereerd kan worden op een enkel Google Cloud TPU v4-systeem. Een traditionele tiendaagse weersvoorspelling genereren op een supercomputer met honderden systemen kan urenlang duren. DeepMind heeft de code van GraphCast open source beschikbaar gesteld en op GitHub gepubliceerd. Het ECMWF-weercentrum in Europa doet al experimenten met het model.

GraphCast tegenover het HRES-systeem bij het voorspellen van extreme weersomstandigheden. Bron: Google Deepmind

Reacties (66)

[rodie83]

Is er iemand met kennis van het vakgebied die kan vertellen hoe 'big' dit is?

[Wouterbmol]

Hoi, ik zit in dit vakgebied (PhD student aan de Wageningen Universiteit op het gebied van atmospheric science).

In het kort, dit is 'big', aangezien veel van het werk in dit vakgebied wordt gemotiveerd vanuit het idee dat we de atmosfeer beter willen begrijpen zodat we weer- en klimaatmodellen kunnen verbeteren. Met nieuwe technieken zoals Google hier demonstreert (ze zijn niet de enige of eerste), is de tussenstap van begrip misschien niet nodig, en dat kan mogelijk invloed gaan hebben op welke vraagstukken we ons gaan focussen.

"Ongekend nauwkeurig" is wel een beetje overdreven vind ik. Het 'beste' weermodel, die van de Europese 'ECMWF', heeft nu ook een 'AI' versie draaien parallel aan het fysische model, genaamd 'AIFS'. De AI versie, net als GraphCast van Google, heeft veel beperkingen, en eigenlijk praktisch nog weinig nut. De indrukwekkende resultaten die oa Google geboekt heeft met GraphCast zijn vooral voor grootschalige patronen over de tijdschaal van een week, terwijl het weer wat wij ervaren (regen, wind, zonneschijn, mist, onweer, etc) helemaal niet in het model zitten. In zekere zin is het wel opvallend dat het zo goed werkt dus, en er wordt serieus naar gekeken hoe dit praktischer te maken.

De kracht van de AI modellen zit hem in de ongekende snelheid waarmee een verwachting gemaakt kan worden. Waar een 'normaal' fysisch weermodel uren doet over een verwachting maken op een supercomputer, rolt het AI model er in no-time op een GPU eenzelfde verwachting uit. Hiermee kan je bijvoorbeeld 100x een modelsimulatie draaien, en daarmee veel sneller de onzekerheid van de verwachting inschatten. Dit heet 'ensemble' forecasting.

In ieder geval hebben we nu een nieuw type weermodel, en de precieze plek die deze gaat krijgen in de maatschappij of wetenschap moet nog blijken. Vooralsnog is het experimenteel, en hoogstens complementair. Ik ben wel optimistisch dat het een bijdrage gaat leveren aan de kwaliteit van weersverwachtingen op ten duur. En voor specifieke toepassing zoals de eerder genoemde ensemble forecasting is het wellicht nu al waardevol.

[MarbHarmsen]

Ik ben niet gespecialiseerd in atmosferische modellen, maar ik werk aan mijn PhD in het gebied van numerieke methoden voor werktuigbouwkundige problemen. Een groot deel van mijn onderzoek richt zich op het toepassen van Machine Learning (ML) op differentiaalvergelijkingen, die ook worden gebruikt in 'weer' modellen.

Hoewel de ontwikkelingen zeker boeiend zijn, ben ik het eens met @Wouterbmol dat Google het groter doet lijken dan het in werkelijkheid is. Tijdens de USNCCM-conferentie afgelopen zomer, gericht op dit vakgebied, waren er ook presentaties van andere onderzoeksgroepen, zoals "Neural Operators for Accelerating Scientific Simulations" en "Machine Learning our Way to More Accurate Weather Forecasts and More Interactive Climate Projections". Het artikel van Google presenteert een evolutie ipv revolutie, hoewel dat niet betekent dat het niet indrukwekkend is.

Het model voorspelt overigens niet direct het 'weer', maar levert grove voorspellingen van temperatuur, wind, enzovoort op mondiale schaal. Deze informatie kan vervolgens als input dienen voor nauwkeurigere modellen die zich richten op kleinere gebieden en tijdsperioden.

Al met al gaan de ontwikkelingen razendsnel, en het is verbazingwekkend hoe effectief zowel traditionele als AI-modellen zijn geworden in het voorspellen van het weer, gezien de complexiteit van dit vakgebied.

Meer de diepte in
Vanuit mijn professionele standpunt maak ik me wel zorgen over het gebruik van AI bij het modelleren van natuurkundige problemen. Onlangs kwam ik artikelen tegen waarin een zeer complex model werd opgebouwd met behulp van PINNs (een soort neurale netwerken), wat op het eerste gezicht indrukwekkend leek. Bij nader inzien bleek echter dat sommige delen efficiënter opgelost hadden kunnen worden met traditionele methoden. In het model was bijvoorbeeld een tweede-orde tensor opgenomen die divergence-free (solenoidal) moest zijn, en de afwijking daarvan werd toegevoegd aan de loss-functie. Hierdoor werd het neurale netwerk getraind om een divergence-free veld te produceren. Het creëren van zo'n veld kan ook worden bereikt met behulp van een potentiaal vergelijking. In 2D kun je bijvoorbeeld het neurale netwerk een scalaire veld laten produceren en vervolgens alleen de tweede partiële afgeleiden gebruiken. Op die manier verkrijg je altijd een divergence-free veld, zonder specifieke training. Het zou wenselijk zijn als de makers van ML-implementaties hun basiskennis van differentiaalvergelijkingen niet vergeten en ML-technieken alleen toepassen waar ze werkelijk meerwaarde bieden, in plaats van ze blindelings op alles toe te passen. Zo hadden de schrijvers van het artikel best PINNs kunnen gebruiken, met loss functies op de andere differentiaalvergelijkingen die een rol speelde, terwijl ze het solenoidal veld automatisch goed produceerde i.p.v. trainde.

Met mijn beperkte kennis van weermodellen is het moeilijk te beoordelen of dit bij het atmosferische model van Google het geval is. Ik vermoed dat dit soort weermodellen voorbeelden zijn waar machine learning-technieken daadwerkelijk voordelen kunnen opleveren. Dergelijke medium-range globale weermodellen zijn niet gebaseerd op fundamentele natuurkundige vergelijkingen omdat dat qua rekenkracht onpraktisch zou zijn. Ze vallen onder de noemer "reduced order", waarbij bepaalde aspecten van de natuurkunde verwaarloosd worden om een model te creëren dat eenvoudig genoeg is om nauwkeurig te zijn en tegelijkertijd haalbaar qua rekenkracht. Dit reduceren wordt traditioneel door wetenschappers gedaan via bijvoorbeeld POD, maar ik kan me voorstellen dat ML-techniquen ook goed zijn in het maken van dat soort beslissingen (in mijn vakgebied gebruiken mensen bijvoorbeeld manifold-learning).

[.ScorpionSquad]

Ik zit zelf niet in dit specifieke vakgebied, maar heb er wel enkele presentaties over bijgewoond bij het KNMI. De ontwikkeling is bekend, de resultaten zijn ook zeker mooi, maar men moet niet vergeten hoe het geheel getraind is en wat de beperkingen zijn.

Zoals al genoemd is het ML-model afhankelijk van vooraf gegenereerde en geassembleerde data zonder gaten erin, namelijk de ERA5 dataset. Een NWP model kan puur op basis van een gegeven initial state vanuit observaties een voorspelling genereren, dat is wel even wat anders dan de ERA5 data goed doortrekken richting de toekomst.

Een ander feit is dat de modellen getraind worden op het minimiseren van de RMSE (Root Mean Square Error). Met andere woorden, ze willen zo min mogelijk fouten maken in hun voorspellingen op hun grid. Dit heeft voor voorspellingen in de toekomst met name het gevolg dat er veel 'smoothing' plaatsvindt, want als je geen harde statements maakt maak je ook weinig fouten.

Voor klimaatmodellen hebben we er overigens weinig aan, omdat er geen volledige data beschikbaar is voor een volledige circulatie van de oceaan. Daar hebben we het over tijdschalen van 1000+ jaar terwijl er maar zo'n 100 jaar aan data beschikbaar is. Wat dat betreft is er gewoon echt te weinig data om een dergelijk model op te trainen en zelfs al zou het kunnen, dan vraag ik me af of een ESM initialiseren en laten draaien niet alsnog veel efficiënter is. Dat zal echt nog wel een aantal ajar duren voordat machine learning daar voeten aan de grond krijgt.

TLDR; zeker interessant en indrukwekkend, maar staat ook nog echt in de kinderschoenen en er zijn nog wel een aantal doorbraken nodig voordat dit de state of the art NWP en klimaatmodellen overbodig gaat maken.

[tw_gotcha]

bovendien zijn die 1000 jaar niet erg nuttig gezien de verandering van de laatste 50 jaar en de totaal onverwachtte feedback loops die er zijn. bovendien is een klimaat model slecht in weersvoorspelling

[SuperDre]

Juist zijn die van de afgelopen 1000 jaar wel belangrijk want daaruit valt een hoop te halen,JUIST omdat je precies het verloop en verandering in acht neemt.

[doltishDuke]

Veel weer is toch echt wel afhankelijk van lokale factoren. Bergketens, bos, grote watervlaktes. Die eerste veranderen we gelukkig niet zoveel aan maar die laatste twee wel.

Ik heb me er niet in verdiept dus weet zo niet of het weermodel algemeen gedrag van het weer heeft geleerd, of specifiek de relaties tussen locaties. In dat laatste geval kan het met name aan de kustgebieden (zoals West Europa) nog wel eens gaan afwijken op grond van al die oude data.

[Reactie gewijzigd door doltishDuke op 22 juli 2024 14:28]

[tw_gotcha]

de oudtse metingen in Nederland zijn begin 18e eeuw, en in de werreld een paar honderd jaar eerder (renaissance) maar dat zijn enkele puntwaarnemingen. we kunnen natuurlijk 1000 jaar terug rmodelleren en dan dat caliberren met waarnemingen in Gletsjers en van plant materiaal, maar dat is maar heel indicatief en vaak alleen van temperatuur en een beetje CO2. Het referentie kader voor veranderingen wordt vaak rodn 1900 gelegd, daarvoor heeft weinig zin.

[cariolive23]

Ach, we hebben in die periode ook nog een kleine ijstijd gehad. Het verschil is nu wel veel groter, maar veranderingen zijn er vaker geweest. Met alle gevolgen van dien.

[xChOasx]

[… wow …]

En jij zit niet in dit vakgebied ?

[.ScorpionSquad]

Nee, ik ben maar een afstudeerstudent en mijn onderzoek focust op de analyse van klimaatmodeldata rondom Antarctica. Maar ik ben wel regelmatig bij de presentaties van de vakgroep weer en klimaatmodellen van het KNMI.

[droofx]

Vreemd dat men met zo weinig inzicht toch uitspraken doet over klimaatverandering bij elke overstroming, bosbrand of hittegolf in het nieuws op tv

[Superstoned]

Dat gebeurt dan ook niet op basis van ai maar klimaat modellen -natuurkundige berekeningen, en observaties die wel heel ver terug gaan maar veel gaten hebben. Het is alsnog twijfelachtig - veel klimaatwetenschappers vinden dit soort uitspraken ook niet betrouwbaar. Je kunt berekenen dat er meer stormen en extreme events komen en dat het gemiddeld warmer en droger wordt maar van een individuele storm min je alleen zeggen dat die zonder klimaatverandering eens in de 100 jaar voorkwam terwijl we het nu elke 5 jaar kunnen verwachten…

Maar misschien zijn er soms dingen we wel met zekerheid te zeggen, ik weet hier ook zelf weinig van, anders dan wat ik lees…

[droofx]

Op verkeerde gereageerd

[Reactie gewijzigd door droofx op 22 juli 2024 14:28]

[rodie83]

Thanks voor de toelichting!

[fpepping]

Ikzelf vind dit niet zo big. Het Nederlands Beyond Weather is hier al een tijdje mee bezig en heeft hier al dienstverlending omheen ontwikkeld. Het Nederlands Whiffle doet iets vergelijkbaars op de kortere termijn voorspelling. Daarnaast promoveerd atmosfeerwetenschapper Chiem van Straaten aan de VU op dit onderwerp.

De nieuwswaarde zit hem er in dat Google dit nu ook heeft gedaan denk ik. Het zal in de detail wellicht anders werken. Het princiepe is hetzelfde.

[eurob]

AI vervangt geen banen maar tasks. Een radioloog maakt niet alleen scans, vele andere taken zoals patient care, operaties, uitleg procedures, en nog veel meer, maken deel uit van die rol.
Het is wel evident dat een radioloog die AI gebruikt om het werk te optimaliseren wel een edge heeft over collega's die het niet gebruiken.

https://hbr.org/2018/03/a...wont-replace-radiologists

[SuperDre]

AI gaat wel degelijk banen vervangen, zeker AI icm androids. Ook die radioloog zal zijn/haar baan kwijt raken. Patient wordt gescanned, AI geeft duidelijk aan wat er aan de hand is, waarschijnlijk nog patientvriendelijker dan menig dokter, uiteindelijk zal de operatie volledig door robots uitgevoerd worden en is het misschien meer een kwestie van lopende band.

[Terrestrial]

Dat gaat niet gebeuren, de effectiviteit van AI technologie wordt enorm overdreven en gehypet. Hoe hard men ook "traint" (informatie toevoegt) de fouten zullen er nooit 100% uitgehaald kunnen worden, dat is niet mogelijk met de huidige stand der technologie.

[SuperDre]

Het gaat wel degelijk gebeuren. Mensen maken veel meer fouten, ze vergeten zaken, zijn moe, onder invloed etc.
Ik zei ook niet dat het op dit moment zou gebeuren, maar binnen 10-20 jaar heb ik al zeker meer vertrouwen in AI/robotica voor gezondheidszorg dan in mensen. Dat het tegengewerkt wordt door degene wiens baan het vervangt is ook een zekerheid, die gaan proberen dit te ondermijnen om zo lang mogelijk nog te kunnen blijven werken.

[Terrestrial]

Vergeet het maar, en dat komt omdat een computer geen bewustzijn heeft, niet echt leert en dus ook niet kan anticiperen. Je kunt situaties programmeren (data met veel parameters toevoegen) want dat is eigenlijk wat men doet. Men past het model zo aan tot dat het gewenst reageert en zo meer menselijk lijkt. Maar zo'n model blijft altijd fouten maken en beseft ook niet dat het fout is. Bedrijven zagen meteen de dollar tekens verschijnen om banen te vervangen maar komen van een koude kermis thuis.

Het probleem is dat je niet alles met software kunt oplossen. De hardware zal waarschijnlijk radicaal moeten veranderen, en dan bedoel ik tot het principe van de logische schakelingen aan toe. (de basis) dat is mijn glazenbol voorspelling.

Maar dat moet allemaal eerst nog "even" ontdekt worden. We weten te weinig over het menselijk brein om dit te vertalen naar techniek en ik denk ook niet dat dit binnen 10-20 jaar lukt.

[SuperDre]

De mens is ook niets meer dan een biologische computer. AI obv neurale netwerken leren EXACT zoals mensen ook leren. Bewustzijn is ook niet iets speciaals, maar komt ook door niets anders dan verbindingen in ons neurale netwerk. En DAT maakt ongecontroleerde AI juist ook zo gevaarlijk.

[kabelmannetje]

Fantastisch. Eindelijk veel meer vrije tijd om de dingen te doen waar je echt gelukkig van wordt.

[SuperDre]

Mits de maatschappij daar dus wel wat aan doet, want stel dat het je morgen ineens je baan kwijt bent zonder dat er een 'basisinkomen' is, dan kun je weinig met je vrije tijd omdat je geen geld hebt, wat weer tot erger kan leiden. De maatschappij zal dus snel moeten veranderen hoe men over geld denkt en omgaat, is het eigenlijk al te laat voor. Maar hee, misschien dat AI dat voor ons wel op een positieve manier kan oplossen.

[phvdijk]

Betaald worden om niets te doen? Vergeet dat maar hoor.

[JurGor]

Betaald worden om te consumeren. Zonder consumptie geen economie.

[divvid]

AI in mijn vak heeft vooralsnog alleen maar meer en interessanter werk opgeleverd, met name op de vraagstukken waarin AI slecht is ( intrinsiek begrip dus)

[Sinester]

iedereen thuis zitten dat volle pot betaald wordt, dat gebeurt al binnen de 10 jaar.

Heerlijk, voor mij part begint dat morgen al

De wereld veranderd nou eenmaal, kan je beter gewoon in mee groeien dan het proberen tegen te houden

[Appel-Banaan]

Ik merk dat er vaak zorgen zijn over AI en banenverlies, maar het lijkt erop dat er soms een misverstand is over wat AI echt inhoudt. AI is een mooi buzzword wat door de meeste mensen verkeerd geïnterpreteerd wordt. Ja, AI is gemaakt voor het nabootsen van menselijke intelligentie, maar AI kan niet zomaar alle taken overnemen.

Waar jij zegt dat AI banen gaat vervangen, is wat je eigenlijk bedoelt dat automatisering dat gaat doen. Het is met AI namelijk wel mogelijk om steeds complexere taken te automatiseren. Maar volgens mij heeft automatisering al sinds het begin der tijd banen vervangen (denk alleen al aan het wiel) en zorgt er ook altijd voor dat er banen bijkomen (denk aan chauffeurs)

Elke (technologische) vooruitgang betekend dat er iets veranderd. Denk aan de komst van Google. Toen zei iedereen dat mensen 'dommer' zouden worden omdat je toch alles opzoekt. Misschien zit er een kern van waarheid in, omdat je niet alle kennis direct paraat hoeft te hebben, maar mensen zijn er echt niet dommer van geworden (de meeste dan).

[djwice]

Nou, dat mogen ze dan snel in gaan zetten, de weersvoorspellingen van Google in Delft waren de afgelopen tijd grofweg fout.

28km x 28km is zeer groot (=784km² wat betekend dat Nederland uit ongeveer 54 punten bestaat in het model).

In Delft hebben we al dat het ene deel echte plensbuien heeft en de andere kant geen spatje heeft gevoeld. Delft is ongeveer 24km². Dus nog minder groot dan de (vierkants)wortel uit het gebied waarop het nieuwe model nauwkeurig is.

Ook Den Haag is ruim 7.5x kleiner dan de door Google gebruikte nauwkeurigheid. En Amsterdam past bijna 4x in het vakje.

Ik verwacht dat het huidige model voor Nederland dus niet goed toepasbaar zal zijn.

[Reactie gewijzigd door djwice op 22 juli 2024 14:28]

[bilgy_no1]

Het huidige ECMWF model heeft een resolutie van 18 km voor de ensemble verwachting en 9 km voor de 'high resolution' modellen. Dat is dus iets gedetailleerder.

UKMO heeft een global model met een resolutie
van 10 km. Maar dit zijn allemaal globale modellen om de grote weerpatronen door te rekenen. En dat is ook waar dit google model een aanvulling op is.

Voor de lokale voorspellingen worden regionale gebruikt met een hogere resolutie. UKMO heeft dan bijvoorbeeld een model met 2 km. En er is ook een EURO1k model met zelfs maar 1 km resolutie. Dit soort zeer gedetailleerde modellen zijn er hoofdzakelijk voor professionele diensten.

[MeteoVir]

Het huidige ECMWF ensemble is per 27 juni gelijk getrokken in resolutie aan de gewone 'deterministische' run. Bij ons op het KNMI gebruiken we Harmonie op 2.5 km, over enige tijd op 2 km met uurlijkse ensemble-updates.

[GoodGuy]

Dat grid is op de evenaar 28x28km. In Nederland zal het dus kleiner zijn (in oost-west richting).

Maar zelfs met 54 punten in Nederland lijkt het me al vrij bruikbaar. Op een typisch weerbericht plaatje (bij het journaal) zie je toch een stuk minder dan 54 temperaturen aangegeven.

[tw_gotcha]

dat plaatje is zwaar gegeneraliseerd om het begrijpelijk te maken voor publiek. De grote weerpatronen. De neerslagradar van de Bilt heeft 1 km2 resolutie.

[langestefan]

Heel gaaf. Heeft iemand een idee hoeveel geheugen de inference vraagt? In de paper lees ik:

To fit long trajectories (12 autoregressive steps) into the 32GB of a Cloud TPU v4 device, we use
several strategies to reduce the memory footprint of our model. First, we use batch parallelism to
distribute data across 32 TPU devices (i.e., one data point per device).

En:

With 36.7 million parameters, GraphCast is a relatively small model by modern ML standards,
chosen to keep the memory footprint tractable.

Volgens mij is er potentie om dit lokaal te draaien...

[djwice]

Een TPU v4 heeft 4096 tensor cores.
Je gebruikt er 32 met elk 32GB geheugen.
En die draaien een minuut voor een tegel van 784km².

Nemen we aan dat je een RTX 4090 hebt, dan heb je 512 Tensor cores. Nemen we aan dat die even efficiënt draaien, dan komen we uit op 1*8*32 minuten voor je voorspelling voor de komende 6 uur.

Je hebt na je berekening van 4,5 uur in het meest positieve geval 1,5 uur vooruit voorspelt op je 4090 RTX.

Ik verwacht dus dat het model nog iets te groot is voor thuisgebruik. Verkleinen van de tegel - als dat kan - zal het wellicht kunnen verbeteren.

[langestefan]

Dat klopt niet. Uit de paper:

Here we introduce a new MLWP approach for global medium-range weather forecasting called
“GraphCast”, which produces an accurate 10-day forecast in under a minute on a single Google Cloud TPU v4 device, and supports applications including predicting tropical cyclone tracks, atmospheric rivers, and extreme temperatures.

GraphCast takes as input the two most recent states of Earth’s weather—the current time and six hours earlier—and predicts the next state of the weather six hours ahead. A single weather state is represented by a 0.25° latitude/longitude grid (721 × 1440), which corresponds to roughly 28 × 28 kilometer resolution at the equator (Figure 1a), where each grid point represents a set of surface and atmospheric variables (listed in Table 1).

Like traditional NWP systems, GraphCast is autoregressive: it can be “rolled out” by feeding its own predictions back in as input, to generate an arbitrarily long trajectory of weather states (Figure 1b–c).

Je krijg dus in 1 minuut voor 10 dagen aan weer data voor de hele aarde, met een resolutie van 28x28 km. En volgens mij hebben ze het hier over het grote model, niet over het kleine model welke nog sneller zal zijn neem ik aan.

[Reactie gewijzigd door langestefan op 22 juli 2024 14:28]

[djwice]

Oh, dat veranderd de zaak 10 dagen in stappen van 6 uur voor de hele wereld op slechts 4192 Tensor Cores in een minuut klinkt als heel goed thuis te doen in een paar minuten, mits je genoeg geheugen hebt en genoeg tensor cores.

Met de nieuwe PCI moederborden kan je GPU ook direct bij je (tragere) RAM geheugen als je zou willen. Moet je denk ik wel die hele 32GB als één RAM module extra beschikbaar hebben.
(Ik kan slecht het geheugen van de RAM modules toewijzen op mijn mobo, nog niet getest of ik er een model in kan laden).

[Reactie gewijzigd door djwice op 22 juli 2024 14:28]

[djwice]

Gaaf de GitHub link (zie nu pas dat ie ook in het artikel staat) kunnen we het zelf uitproberen:
https://github.com/google-deepmind/graphcast

[langestefan]

Ik zit meer te denken aan CPU only, en dan eens in de zoveel tijd even een lokale weersvoorspelling maken voor home assistant. Zal wel ambitieus zijn, maar wellicht met het kleine model en een beperkt aantal dagen dat je het nog binnen een x aantal minuten kan houden.

[Mic2000]

Zolang het berekenen langer duurt dan de duur van de voorspelling kan je beter gewoon naar buiten kijken

[gerwim]

GraphCast gebruikt nog steeds de output van de data die door supercomputers wordt gegenereerd. Het is dus geen vervanging, maar een aanvulling.

[mvrhrln]

ik lees toch:

"GraphCast doet volgens Google voorspellingen op basis van twee datasets: de weersomstandigheden van zes uur geleden, en de huidige weersomstandigheden."

Dus ze gebruiken dan toch geen "oude" voorspellingen, maar metingen ?

afijn, minder ernaast zitten dan de std app van de iPhone zou haalbaar moeten zijn

[Reactie gewijzigd door mvrhrln op 22 juli 2024 14:28]

[Wouterbmol]

Wat ze doen is de beste schatting van de staat van de atmosfeer gebruiken als startpunt van het model op twee momenten, 6 uur geleden en 'nu'. Deze staat van de atmosfeer wordt vanuit een fysisch weermodel berekent, dat is heel complex.

Mocht je interesse hebben, dan kan je een avondtje zoet zijn met de volgende keywords: "ECMWF IFS data assimilation" of "4D-var".

[KWOAD]

Ik denk dat Gerwin refereert aan het feit dat de 12-uursprognose de 6-uurs gebruikt, en de 18-uurs weer de 12-uurs.

[whersmy]

Eindelijk geen natgeregende collega’s die beduusd een call beginnen, omdat de weer-app zei dat ze wel konden fietsen?

[Admiral Freebee]

Dat dan weer niet want dit model beweert niet tot op dat niveau van detail voorspellingen te kunnen doen. Eerder een regenkans voor het gebied waar je je in bevindt. De app waar je naar verwijst gebruikt een extrapolatie van hoe snel een bui zich naar jou toe beweegt en dat gaat wel eens mis want een bui kan weer verdwijnen of net ergens ontstaan en hop, daar is je natte pak

[whersmy]

Dank voor de uitleg

[Scriptkid]

Snap niet dat we daar super computers voor nodig hebben en complexe modelen.

Eeuwen geleden hadden we al super accurate weer stationds die beter werkte dan die modellen

https://www.weerstationha...Besteweerstationterwereld

[the_stickie]

Een weerstation doet waarnemingen, geen voorspellingen...

[Mr. Smith]

Een weerstation doet waarnemingen, geen voorspellingen...

Kleine aanvulling.

Uit eigen ervaring:
Op het weerstation maakte de waarnemer de waarnemingen (toendertijd synop + metar + klimu)
De forecaster maakte met de gemaakte waarnemingen de VERWACHTING.

Niemand kan een VOORSPELLING maken.

[Geegees]

'Een voorspelling of prognose is een beschrijving van het te verwachten toekomstige gedrag van een object, fenomeen of verschijnsel.'
Wat is er afwijkend in het geval van het weer? Want ik zie niet zo'n stellige afscheiding tussen 'verwachting' en 'voorspelling' als jullie, blijkbaar..

[Jeroen73]

Voorspellen heeft in het Nederlands iets magisch terwijl verwachten enige onderbouwende gedachten suggereert. Ik voorspel overigens gewoon kl0tenweer voor komende week

[Met]

En er wordt weersverwachtingen gemaakt. En er worden geen weersvoorspellingen gedaan.

[super-joost]

Enkhuizer Almanak, eat your heart out

[Okkebv]

Voor een accurate voorspelling dat het morgen regent, overmorgen ook en de dag daarna ook, dat is niet heel erg moeilijk...

[Verwijderd]

Dus de Pelleboer's van deze wereld kunnen ook vrezen voor hun baan ?

[Gullfisk]

Pelleboer... Hoeveel mensen zullen nu nog begrijpen wat je bedoelt

[droofx]

Veel denk ik, bekender dan je denkt

[Mitsuko]

Dat is een toepassing van AI waar ik helemaal in kan komen!