De klimaatverandering begrijpen met High Performance Computing en Machine Learning

Technologie speelt voor wetenschappers een sleutelrol bij het begrijpen en ontwarren van ingewikkelde milieu-problemen. High Power Computing, Machine Learning en gebruik van de cloud maken het mogelijk om enorme hoeveelheden data op te slaan en te verwerken tegen significant lagere kosten.    

Sinds velen van ons dankzij de COVID-pandemie aan huis gekluisterd zijn, is ons alledaagse gedrag grotendeels tot stilstand gekomen. De onmiddellijke effecten zijn zichtbaar, aangezien steden, wegen en openbare ruimtes leeg zijn gestroomd. Artikelen over de vermenging van natuur en de bebouwde wereld hebben het publiek wereldwijd verbaasd; coyotes die nonchalant door de straten van San Francisco (en langs de Golden Gate Bridge) slenteren, de kanalen van Venetië die wemelen van de vis en de Himalaya die voor het eerst in drie decennia zichtbaar is vanuit India. En dit zijn slechts enkele van de beroemde voorbeelden. Maar, met tragische bosbranden die de Pacifische kust verwoesten en een recordbrekend Atlantisch orkaanseizoen in 2020, voelen velen nu ook een grote drang om zich in te zetten voor het milieu.

Dit zijn slechts enkele voorbeelden van het uitdagende en complexe probleem waar wetenschappers zich al jaren over buigen: klimaatverandering. Nu meer dan ooit kan technologie een sleutelrol spelen voor wetenschappers bij het begrijpen en ontwarren van het ingewikkelde web van oorzaak en gevolg, dat zich over de hele planeet ontvouwt.  

De wetenschap van klimaatverandering

In het verleden vereiste het bestuderen van klimaatverandering veel handmatig werk. Deze methoden omvatten onder andere differentiaalvergelijkingen, calculus, de chaostheorie en het vlindereffect; allen van nut om de veranderingen in onze omgeving, en de mogelijke oorzaken of gevolgen die aan deze effecten bijdragen, te begrijpen. Naast deze methoden hebben cellular automaton-methoden ook bijgedragen aan het modelleren van complexe systemen zoals vloeistofdynamica.

Voor al deze methoden, voornamelijk wanneer ze worden gebruikt in de context van klimaatwetenschap, is een enorme hoeveelheid data nodig. Het verzamelen van deze informatie en het labelen van een hoogwaardige dataset was in sommige gevallen een ongrijpbare of overweldigende klus. Soms waren deze gegevens relatief statisch, zoals de oppervlaktetemperaturen van de oceaan, en soms juist dynamischer, zoals veranderingen in de oceaanstroming. Dit resulteerde in nog meer interessante en mogelijk waardevolle inzichten aan het onderzoek.

Het opslaan van deze enorme hoeveelheid data was echter onbetaalbaar; alleen voor de best gefinancierde organisaties en instellingen was dit mogelijk. En dat was nog maar het begin. Het opslaan van deze data van hoge kwaliteit was namelijk niet alleen prijzig, maar ook ongelooflijk rekenintensief.

Het democratiseren van High Performance Computing in de cloud

Om grote wetenschappelijke en technische problemen op te kunnen lossen, zoals het voorspellen van het weer of het modelleren van oceaanstromingen, moeten onderzoekers enorme rekenkracht gebruiken. Dergelijke enorme hoeveelheden computergebruik zijn onbereikbaar voor de meeste organisaties. Zelfs voor degenen die de middelen hebben om het zich te veroorloven, vereiste het on-premise uitvoeren van High Performance Computing (HPC) clusters aanzienlijke investeringen vooraf, lange inkoopcycli en regelmatige hardware-vernieuwingen om veroudering te voorkomen. Maar tegenwoordig kan wat voorheen enkel beschikbaar was voor overheidslaboratoria en geselecteerde academische organisaties, dankzij het configureren van parallelle computing clusters op aanvraag met de cloud ook aan een breder publiek worden vrijgegeven.

Echter dacht men een aantal jaar geleden nog dat de cloud alleen geschikt was om ‘beschamend parallelle’ werklasten uit te voeren. Het zou dan dus niet geschikt zijn voor de vele ‘nauw gekoppelde’ codes, zoals weer-modellering, en andere gebieden van klimaatonderzoek die afhankelijk zijn van snelle, efficiënte communicatie tussen reken-knooppunten. Deze toepassingen vereisen over het algemeen dat lokaal berekende data wereldwijd worden gedistribueerd (via de HPC-clusterverbinding). Deze gegevens zouden vervolgens worden herberekend totdat er aan een bepaald convergentiecriterium werd voldaan.

Vandaag de dag is dit niet meer het geval. Met gedistribueerde high-performance computing in de cloud zijn onderzoekers in staat het tempo van klimaatwetenschap te versnellen met behulp van een breed scala aan voor computing geoptimaliseerde en versnelde EC2-instanties (bijvoorbeeld C5n- en P3dn-instanties).  Deze EC2-instanties kunnen worden opgeschaald naar duizenden kernen met netwerkinterfaces zoals de Elastic Fabric Adapter. Deze EC2 Spot-instances, waarmee klanten kunnen profiteren van ongebruikte EC2-capaciteit in de AWS-cloud met tot wel 90% korting, zorgen ervoor dat onderzoek binnen de klimaatwetenschap toegankelijker wordt voor innovators en kosten-efficiënter voor mensen die dit al doen.

Een goed voorbeeld hiervan is Maxar Technologies, een ruimtetechnologie bedrijf dat gespecialiseerd is in productiecommunicatie,  het observeren van de aarde en het onderhoud van satellieten, satellietproducten en aanverwante diensten in de ruimte. Zij gebruiken AWS om weersvoorspellingen 58 procent sneller te leveren dan de supercomputer van NOAA. Waar weersvoorspelling-modellen traditioneel worden uitgevoerd op grote, on-premise, krachtige computers, heeft Maxar een reeks architecturen ontwikkeld die zich in de AWS Cloud bevinden en waarmee wetenschappers weersvoorspelling-modellen op een veel behendiger, schaalbaarder manier kunnen uitvoeren.

Machine Learning als wapen tegen klimaatverandering

In combinatie met HPC stelt machine learning (ML) wetenschappers in staat om flexibel naar klimaatgegevens te kijken. Door analyse van gegevens op basis van gebeurtenissen uit het verleden aan te passen kan de toekomst nauwkeuriger gemodelleerd worden. Deze benadering biedt hulp aan onderzoekers die worstelen met de enorme complexiteit van klimaatsystemen. Daarnaast helpt het hen de verbanden tussen de vele subtiele interacties die het weer beïnvloeden beter te begrijpen

ML-modellen kunnen ook nuttig zijn om gaten in de data op te vullen – meervoudige imputatie genoemd – om vergelijkbare data of synthetische data te creëren en de klimaatwetenschap nog verder te versnellen. Kortom, ML kan voorspellingen doen over dingen die onbekend zijn, ons begrip van klimaatwetenschap versnellen en nauwkeuriger modellen produceren.

De snelgroeiende samenwerking tussen ML en klimaatwetenschap is zichtbaar in de onderzoeksinspanningen van wetenschappers aan de Universiteit van Oxford. Twee van deze wetenschappers zijn Philip Stier, een professor in atmosferische fysica, en Duncan Watson-Parris, een postdoctoraal onderzoeker. Stier en Watson-Parris proberen  te begrijpen hoe aerosolen wolken beïnvloeden – op wat voor soort wolken ze invloed hebben. Daarnaast onderzoeken ze in welke regio’s deze veranderingen plaatsvinden, hoe vaak ze voorkomen en, net zo belangrijk, in welke regio’s ze niet voorkomen),.

Scheepssporen

Een manier waarop ze deze hoeveelheden bepalen, is via ‘scheepssporen’ – deze ontstaan wanneer wolken verhelderen door de aerosolen die door een schip worden uitgestoten terwijl het onder een wolkendek vaart. Hoewel er normaal gesproken veel variabiliteit is in de invloed van aerosolen, worden ‘scheepssporen’ gevormd door een specifieke bron van vervuiling in een ruimte met weinig andere vervuiling. De invloed van een bepaalde hoeveelheid vervuiling op de ontwikkeling en evolutie van wolkveranderingen kan zo beter gedetecteerd worden.

Met behulp van satellietbeelden en duizenden met de hand gelogde exemplaren van scheepssporen, trainen ze ML-modellen om scheepssporen te vinden in andere satellietbeelden.  Vervolgens kan dit goed gedefinieerde scenario gebruikt worden om een wereldwijd gemiddeld effect te creëren en op te schalen, voorbij de ‘scheepssporen’. Stier en Watson-Parris gebruiken ook machine learning-technieken om de effecten van open celstructuur in wolken te detecteren en te begrijpen.

De toekomst van klimaatwetenschap ligt in de cloud

Bij het vergelijken van de klimaatimpact van datacenters, zijn de voordelen van cloudproviders versus on-premises evident bij het gebruik van hulpbronnen, energie-efficiëntie en energiemix.

Een doorsnee grootschalige cloudprovider bereikt ongeveer 65 procent servergebruik, versus 15% on-premise. Dit betekent dat wanneer bedrijven naar de cloud verhuizen, ze doorgaans minder dan een kwart van de servers nodig hebben dan dat ze on-premise zouden doen. Daarnaast is een typisch on-premise datacenter 29 procent minder efficiënt in het gebruik van stroom in vergelijking met een typische grootschalige cloudprovider met geoptimaliseerde apparatuur. Naast het feit dat grote cloudproviders minder, maar zuiniger servers nodig hebben, gebruiken ze een energiemix die 28 procent minder koolstofintensief is dan het wereldwijde gemiddelde. Zo kunnen cloudgebruikers uiteindelijk een vermindering van de koolstofemissies van 88 procent opleveren.

Klimaatverandering is een van de meest hardnekkige problemen van deze tijd. Als we geen zinvolle oplossingen vinden, kan dit gevolgen hebben voor de toekomst van onszelf en die van onze kinderen. Om verandering op dit gebied tot stand te brengen, is een collectieve inspanning vereist van de academische wereld, de overheid, het bedrijfsleven, non-profitorganisaties en de samenleving. Het vereist vindingrijkheid, innovatie en schaal. Krachtige computers en machine learning in de cloud zullen de sleutel zijn tot het ontgrendelen van wetenschappelijke inzichten in het begrijpen en bestrijden van klimaatverandering.

Over de auteur: Werner Vogels is Vice President & Chief Technology Officer bij Amazon.com