ECMWF beschleunigt mit W&B die Forschung zum maschinellen Lernen in der Wettervorhersage
„W&B hat uns geholfen, viele verschiedene Ansätze auszuprobieren und zu verstehen, welche Ideen und welche Änderungen zu Verbesserungen geführt haben.“
Matthew Chantry
Koordinator für maschinelles Lernen
Maschinelles Lernen beim ECMWF
Das Wetter ist ein komplexes Puzzle mit vielen sich verändernden Teilen – es kann ganz schön schwierig sein, es im Auge zu behalten. Und wenn es darum geht, eine zuverlässige Vorhersage zu erstellen, ist das eine ganz andere Sache.
Das Europäische Zentrum für mittelfristige Wettervorhersage (EZMW) gilt als das genaueste globale Wettermodell und erforscht seit einigen Jahren maschinelles Lernen in der Wettervorhersage. Ein wichtiger Meilenstein wurde Anfang dieses Jahres erreicht, als das EZMW modernes maschinelles Lernen operativ einsetzte und neuronale Netzwerke zur Überwachung von Beobachtungen verwendete.
Da das ECMWF seine Forschungen zur Anwendung von ML zur Verbesserung der Wettervorhersage fortsetzt, besteht ein Bedarf an ständigem Experimentieren und Iteration. Bei mehreren gleichzeitig laufenden Experimenten ist es unerlässlich, Tools zu verwenden, mit denen die Ergebnisse verschiedener Durchläufe effektiv verfolgt, verglichen und analysiert werden können. Weights & Biases erwies sich mit seinen robusten Experimentverfolgungsfunktionen und umfangreichen, interaktiven Visualisierungen als die Plattform der Wahl und unterstützt das Team bei der datengesteuerten Entscheidungsfindung und Modelloptimierung.
Ein verteiltes ML-Team
„Wir sind uns durchaus bewusst, dass das, was wir hier unternehmen, mehr als nur eine Steigerung der Komplexität bedeutet und eine viel größere Zahl von Mitarbeitern erfordert“, sagte Matthew Chantry, Koordinator für maschinelles Lernen beim ECMWF. „Hier arbeiten nicht nur ein oder zwei Personen gemeinsam an einem Projekt, sondern eher zehn oder sogar mehr, die an einer Codebasis zusammenarbeiten, um Modelle zu trainieren, Ergebnisse zu vergleichen und zu entscheiden, was als nächstes zu tun ist.“
Neben der Leitung eines wachsenden ML-Teams muss das ECMWF auch mit der Tatsache umgehen, dass seine ML-Ingenieure über die gesamte Organisation verteilt sind. Jeder Praktiker ist in verschiedene Gruppen eingebunden, um das Fachwissen und die Kenntnisse verschiedener Disziplinen zu nutzen. Darüber hinaus ist das Team auch über mehrere Länder und Zeitzonen verteilt. Die Herausforderung besteht dann darin, die Abstimmung zu erleichtern und sicherzustellen, dass alle auf dem gleichen Stand sind und zusammenarbeiten.
Weights & Biases wurde für eine nahtlose Zusammenarbeit entwickelt und dient als zentrale Stelle zur Konsolidierung der ML-Bemühungen und Projekterkenntnisse des gesamten Teams. Alles vom neuesten Git-Commit über Hyperparameter, Modellgewichte bis hin zu Metriken wird in einem gemeinsamen Arbeitsbereich gespeichert. Dies bietet Einblick in die Arbeit aller und erleichtert die Iteration früherer Experimente, was zu einer besseren Modellleistung, höherer Genauigkeit und zuverlässigeren Ergebnissen führt. Durch die Nutzung von W&B als einziger Quelle der Wahrheit kann das ML-Team bei ECMWF vertrauensvoll gemeinsam und autonom arbeiten.
AIFS
Aufbauend auf mehreren namhaften Unternehmen, die schnelle Fortschritte bei ML-basierten Wettervorhersagen machen, hat das ECMWF sein erstes vollständig auf ML basierendes Vorhersagesystem eingeführt , dessen Live-Vorhersagen auf seiner Website verfügbar sind. Das Artificial Intelligence/Integrated Forecasting System (AIFS) wurde als Ergänzung zum bestehenden Integrated Forecasting System (IFS) des ECMWF entwickelt und zielt darauf ab, die ML-Anwendungen der Organisation auf die Erdsystemmodellierung auszuweiten. Obwohl sich das Modell noch in der Alpha-Phase befindet, hat es bereits eine Auflösung von ungefähr einem Grad (111 km) und kann Vorhersagen für Wind, Temperatur, Luftfeuchtigkeit, Geopotential und mehr treffen.
„W&B hat bei der Unterstützung der Arbeit rund um AIFS eine entscheidende Rolle gespielt“, sagte Chantry. „Wir können verschiedene Medientypen protokollieren und Diagramme für eine Reihe von Prognosen erstellen. Dies erleichtert das Vergleichen und Gegenüberstellen von Ergebnissen, stellt sicher, dass keine falschen Muster vorhanden sind, und identifiziert die besten Modelle.“
Beispielkarten der tatsächlichen Erdfeuchtigkeit und der AIFS-Vorhersage, während des Trainings in W&B protokolliert, um die räumliche Konsistenz des Modells zu bewerten.
Die Entwicklung des AIFS erfordert iterative Arbeit – das heißt Experimente, und zwar jede Menge. Um den Überblick über die Modellentwicklungsbemühungen zu behalten, verlässt sich das Team auf W&B. Mithilfe des W&B-Dashboards kann ECMWF Experimente in Echtzeit organisieren und visualisieren und die Daten und Ergebnisse an einem praktischen Ort speichern. Mit einer Aufzeichnung dessen, was funktioniert hat und was nicht, kann das Team seinen Prozess beschleunigen, die besten Modelle in Produktion zu bringen.
„W&B hat uns geholfen, viele verschiedene Ansätze auszuprobieren und zu verstehen, welche Ideen und welche Änderungen zu Verbesserungen geführt haben“, sagte Chantry.
Die Zukunft der Erdsystemvorhersage
Heute gilt das Vorhersagesystem des ECMWF als eines der besten der Welt. Die Integration maschinellen Lernens in seine Arbeit stellt einen bedeutenden Fortschritt auf dem Weg des ECMWF dar, genauere Vorhersagen der Wetterphänomene zu liefern, die uns am meisten betreffen.
Während das Team weiterhin potenzielle Bereiche des maschinellen Lernens in der Wettervorhersage erforscht, ist es von entscheidender Bedeutung, über Tools zu verfügen, die schnelle Iteration und Experimente unterstützen. Durch die Nutzung der in W&B integrierten Kollaborationsfunktionen, anpassbaren Visualisierungen und umfassenden Modelltrainingsaufzeichnungen beschleunigt ECMWF das Innovationstempo erheblich.
„W&B ermutigt uns, mehr zu experimentieren, und wir können viel schneller von der Idee zum Test gelangen“, sagte Chantry.