Einführung in die Ensemble-Auswertung

Einf¨ uhrung in die Ensemble-Auswertung

Vorlesung zum Umgang mit dem FreVast-System Phase 3 — Auswertung

Kurseinheit 25

FreVast Team

https://vast.klimod.de/portal/

5. April 2017

Einf¨uhrung in die Ensemble-Auswertung 2/11 Inhalt der Kurseinheit

1

Inhalt der Kurseinheit

2

Lernziele

3

Motivation - Unsicherheiten in der Vorhersage

4

Absch¨ atzung der Vorhersageunsicherheit

5

Generierung von Ensembles

6

Interpretation von Ensembles

7

Ensemble-Mean und arithmetisches Mittel

8

Varianz und Standardabweichung

9

Signifikanztest

Einf¨uhrung in die Ensemble-Auswertung 3/11 Lernziele

In dieser Kurseinheit bekommen Sie eine ¨ Uberblick,

I

wie die Unsicherheiten in der Vorhersage mit Hilfe eines Ensembles gesch¨ atzt werden.

I

wie Ensembles generiert werden k¨ onnen.

I

welche M¨ oglichkeiten es gibt, Ensembles auszuwerten.

Einf¨uhrung in die Ensemble-Auswertung 4/11 Motivation - Unsicherheiten in der Vorhersage

Um eine perfekte Wetter- oder Klimavorhersage zu erstellen, m¨ usste jeder beteiligte Prozess im Modell perfekt modelliert sein.

Das ist aus unterschiedlichen Gr¨ unden jedoch nicht m¨ oglich, z.B.

Ungenauigkeiten in den Ausgangsdaten auch in deren

raumzeitlicher Aufl¨ osung, Parametrisierungen (Vereinfachungen) von Prozessen, Grenzen der Modellaufl¨ osung, etc.

Daher ist in der Realit¨ at jede Vorhersage mit gewissen Unsicherheiten verkn¨ upft.

Quelle: S. Theis, C. Gebhardt. (2009). Grundlagen der Ensembletechnik und Wahrscheinlichkeitsaussagen.promet, 35(1-3), 104-110.

Einf¨uhrung in die Ensemble-Auswertung 5/11 Absch¨atzung der Vorhersageunsicherheit

Wie anf¨allig ist eine Modellvorhersage f¨ur Ungenauigkeiten in den Ausgangsdaten und in der Berechnung?

Die Unsicherheiten k¨onnen nur abgesch¨atzt werden. Diese Absch¨atzung beruht darauf, dass mehrere Vorhersagen berechnet werden, die auf unterschiedlichen Konfigurationen des Modells beruhen. So k¨onnen z.B.

entweder die Ausgangsdaten und/oder die Parametrisierungen des/der Modelle gest¨ort werden.

Die Gesamtheit dieser Vorhersagen werdenEnsemblevorhersagen genannt. Das gesamte Ensemble stellt dabei eine Stichprobe der m¨oglichen Vorhersagen dar. Eine einzelne Vorhersage heißtEnsemble Member.

Die Vorhersageunsicherheit kann anhand der Streuung der Ensemble Member, dem sog. Ensemble Spread, abgesch¨atzt werden.

Quelle: S. Theis, C. Gebhardt. (2009). Grundlagen der Ensembletechnik und Wahrscheinlichkeitsaussagen.promet, 35(1-3), 104-110.

Einf¨uhrung in die Ensemble-Auswertung 6/11 Generierung von Ensembles

Es gibt unterschiedliche M¨ oglichkeiten ein Ensemble zu erzeugen:

I Single-Model-Ensemble:

Berechnung von Vorhersagevariationen eines einzigen Modells.

z.B. durch Variation der Anfangsbedingungen oder der Modellparametrisierungen.

I Multi-Model-Ensemble:

Vorhersagen verschiedener Modelle f¨ ur das selbe Gebiet und den selben Zeitraum werden zu einem Ensemble

zusammengesetzt.

I Mischformen:

Mischung aus Single- und Multi-Model-Ensemble

Quelle: S. Theis, C. Gebhardt. (2009). Grundlagen der Ensembletechnik und Wahrscheinlichkeitsaussagen.promet, 35(1-3), 104-110.

Einf¨uhrung in die Ensemble-Auswertung 7/11 Interpretation von Ensembles

Es gibt verschiedene M¨oglichkeiten Ensembles auszuwerten und zu interpretieren. Die folgende Liste ist nicht vollst¨andig, soll aber einen ersten ¨Uberblick verschaffen:

I Ensemble-Mittel (ensemble mean): V.a. im Vergleich zum Klimamittel oder einem Referenzmittel betrachten.

I Standardabweichung: Spiegelt die Streuung der Vorhersage wider

I Schwellwertabsch¨atzung/Quantile: z.B. oberes/unteres 10%-Band

I Cluster-Analyse: V.a. bestimmte Str¨omungsmuster und ihr Anteil am Gesamtensemble (in %)

I Extreme Forecast Index des ECMWF (European Centre for Medium-Range Weather Forecasts): Vergleich zwischen

Ensemble-Spread mit klimatologischem Spread berechnet aus 50 Jahren EZ-Modellprognosen, Extremwertabsch¨atzung f¨ur Parameter wie B¨oen, Niederschlag, Temperatur, etc.

Einf¨uhrung in die Ensemble-Auswertung 8/11 Ensemble-Mean und arithmetisches Mittel

F¨ur eine Zufallsvariablex ist dasEnsemble-MeanX definiert als:

X := lim

N→∞

1 N

N

X

n=1

xn

wobeixn dern-te Ensemble-Member ist. Beachten Sie, dass man unendlich viele Realisierungen br¨auchte um das Ensemble-Mean zu berechnen.

Daher wird dasarithmetische Mittelµals Sch¨atzer des echten Ensemble-Means benutzt.

µ:= 1 N

N

X

n=1

xn

wobeiN die Gr¨oße das Datensatzes ist.

Einf¨uhrung in die Ensemble-Auswertung 9/11 Varianz und Standardabweichung

Das Quadrat der Fluktuationen um das Ensemble-Mean wird Varianz genannt. DieVarianzVar[x] ist definiert als

Var[x] := lim

N→∞

1 N

N

X

n=1

(xn−X)²

DieStandardabweichungσ_x ist definiert as die Wurzel der Varianz: σ_x :=p

Var[x]

Beachten Sie, dass die Varianz und die Standardabweichung ebenso wie das Ensemble-Mean unendlich viele Realisierungen br¨auchten. Analog k¨onnen die beiden Gr¨oßen ebenfalls ¨uber eine endliche AnzahlN gesch¨atzt werden:

s= v u u t 1 N

N

X

n=1

(x_n−X)²

Wobeis gesch¨atzte Standardabweichung genannt wird wird.

Einf¨uhrung in die Ensemble-Auswertung 9/11 Varianz und Standardabweichung

Das Quadrat der Fluktuationen um das Ensemble-Mean wird Varianz genannt. DieVarianzVar[x] ist definiert als

Var[x] := lim

N→∞

1 N

N

X

n=1

(xn−X)²

DieStandardabweichungσ_x ist definiert as die Wurzel der Varianz:

σ_x :=p Var[x]

Beachten Sie, dass die Varianz und die Standardabweichung ebenso wie das Ensemble-Mean unendlich viele Realisierungen br¨auchten. Analog k¨onnen die beiden Gr¨oßen ebenfalls ¨uber eine endliche AnzahlN gesch¨atzt werden:

s= v u u t 1 N

N

X

n=1

(x_n−X)²

Wobeis gesch¨atzte Standardabweichung genannt wird wird.

Einf¨uhrung in die Ensemble-Auswertung 9/11 Varianz und Standardabweichung

Das Quadrat der Fluktuationen um das Ensemble-Mean wird Varianz genannt. DieVarianzVar[x] ist definiert als

Var[x] := lim

N→∞

1 N

N

X

n=1

(xn−X)²

DieStandardabweichungσ_x ist definiert as die Wurzel der Varianz:

σ_x :=p Var[x]

Beachten Sie, dass die Varianz und die Standardabweichung ebenso wie das Ensemble-Mean unendlich viele Realisierungen br¨auchten. Analog k¨onnen die beiden Gr¨oßen ebenfalls ¨uber eine endliche AnzahlN gesch¨atzt werden:

s= v u u t 1 N

N

X

n=1

(x_n−X)²

Wobeis gesch¨atzte Standardabweichung genannt wird wird.

Einf¨uhrung in die Ensemble-Auswertung 10/11 Signifikanztest

Wie kann die Signifikanz getestet werden?

Ein t-Test kann genutzt werden um abzusch¨atzen ob zwei Datens¨atze signifikant verschieden sind oder nicht. Dazu geht man folgendermaßen vor:

1. Formulieren Sie eine NullhypotheseH₀und eine alternative HypotheseH_a. Beispiel:

I H0: Die MitteltemperaturenTm,ref des Referenzlaufs undTm,highdes HIGH-Experiments sind im Mittel gleich.

I Ha(einseitig):T_m,highist im HIGH-Experiment h¨oher.

I Ha(zweiseitig): Tm,ref ist verschieden vonTm,high.

2. Legen Sie ein Signifikanzlevel fest: z.B.α= 0.05, d.h. dass die Wahrscheinlichkeit, die Nullhypothese f¨alschlicherweise zu verwerfen falls sie doch richtig ist, liegt bei 5%.

3. Bestimmen Sie Mean (arithmethisches Mittel)µ1, µ2und (gesch¨atzte) Standardabweichungs1,s2 beider Datens¨atze .

Einf¨uhrung in die Ensemble-Auswertung 11/11 Signifikanztest

4. Berechnen Sie die gewichtete VarianzVar_d beider Datens¨atze als:

Vard= s

(N₁−1)s₁+ (N₂−1)s₂ N1+N2−2

wobeiN1,N2die Anzahl der Daten aus Datensatz 1 bzw. 2 ist; und s1,s2die gesch¨atzten Standardabweichungen der beiden Datens¨atze.

5. Man nimmt an, dass die Daten unter der Nullhypothese t-verteilt sind mitf =N1+N2−2 Freiheitsgraden. Der t-Score (oder Pr¨ufwert) berechnet sich als

t=

r N₁N₂ N1+N2

µ₁−µ₂ Vard

6. Zum Signifikanzniveau αwirdH0 zugunsten vonHa abgelehnt, falls der berechnete t-Score gr¨oßer ist als der t-Werttα,f. Dieser t-Wert tα,f kann unter Angabe von αund der Anzahl der Freiheitsgrade (f =N1+N2−2) aus einer t-Tabelle abgelesen werden.