Korrelierte FehlerinWasserdampfschätzungenausSatellitendaten

Korrelierte Fehler

Wasserdampfschätzungenin Satellitendatenaus

Ralf Lindau

Kriging für CM-SAF

Tägliche Wasserdampfschätzungen aus Satellitenbeobachtung werden „gekrigt“ um:

- Datenlücken zu füllen.

- zu jedem (täglichen, globalen) Feuchtefeld ein Fehlerfeld zur Verfügung zu haben.

Kriging-Ansatz

• Es gibt n Beobachtungen xi an den Orten Pi.

• Mache eine Vorhersage x0 für den Ort P0 .

• Konstruiere die Vorhersage aus einem gewichteten Mittel der Beobachtungen xi.

• Berücksichtige dabei die Fehler xi.

• Bestimme die Gewichte i.

 

1

2

1

0  



 



   

 

 

m t

n i

i i

i x x

x 

Matrix und Input

Korrela

tionslänge

Var / n

Neue Aufgaben in 2010

1. Bisher: Erst Schichten integrieren, dann TPW kriggen Jetzt: Erst Schichten kriggen, dann integrieren

Wie lautet dann der Fehler?

2. Bisher: Inputfehler statistisch abgeleitet.

Jetzt: Gegebene Satellitenfehler nutzen.

3. Berücksichtigung horizontaler Fehlerkovarianzen in der Kovarianzmatrix beim Kriging

Fehlerfortpflanzung



 g

dp w q^{i i}

Fehlerfortpflanzung:  ^{2 2} _i²

i

q q w w 

 







 

  _^_q^w_i ^{ dp}_gⁱ

Die partiellen Ableitungen von w eingesetzt:

 ^{2 i 2} q_i ²

g

w dp  



 



 

 

Wenn alle Schichten gleiche Massen (dp) umfassten, gälte:

n dp_i  p⁰

 ^{w 2 } _g^p₂⁰_n²₂ ^qi²

Wenn alle Fehler gleich wären, gälte:

 ^q

p ²  ²

Definition Gesamtwasserdampfgehalt

FFF;-)

Fehler für abhängige Schichten

Jeweils zwei Schichten sind abhängig.  







 ^{u nu}

i

i i i n

i

i i

g dp q f g

dp w q

1 1

Diese zwei Schichten sind gleich mächtig:

 



 ^nu 

i

i i i

g dp q w f

1

1

 ^{2 2} _i²

i

q q w w 

 







 

 

     ²

1 2

2 2

2 1

i n

i

i

i q

g dp

w  ^u  f 

 



Alle Schichten gleich mächtig:      ²

1

2 2

2 2 2 0

1 _i

n

i

i q

g f n

w  p ^u  

 



Alle f_i=1    







 ^nu

i

qi

g n w p

1 2 2

2 2 2 4 0

Alle q_i gleich:

 ^{2 4} _{2 2}⁰²  q ² g

n p w  n^u 



n=2n_u

 



 



 ^nu

i

i i

i g

dp f q

w

1

1

   

nu

q g

w p

2 2

2

2  0 



Ansatz

Wir vermuten, dass nicht alle Schichten unabhängig sind.

Unterstellt man dennoch 42 unabhängige Schichten, liefert Var/n zu kleine Fehler.

Der Unterschätzungsfaktor zeigt, wieviele Schichten in Wahrheit abhängig sind.

Err(sum(lpw))

Err(sum(lpw))Err(tpw)

Quotient der Varianzen

1.0 mm

2.0 mm

Fazit 1

Diagnose: Die Fehlervarianz von sum(lpw) wird im Mittel um den Faktor 4 unterschätzt.

Grund: die 42 Schichten sind eben nicht unabhängig.

Interpretation des Faktors: Die wahre vertikale Auflösung ist um den Faktor 2 (über Land) bis 7 (über warmen Ozean) kleiner als die nominelle (42 Schichten)

Aufgabe 2

Bisher wurde der Beobachtungsfehler der Inputdaten statistisch bestimmt.

Erweiterung des Kriging-Programms, sodass auch explizite Fehlerangaben zur Bestimmung des Inputfehlers genutzt werden können (wenn sie, wie bei IASI mitgeliefert werden).

Wasserdampf aus IASI

IASI: Infrared Atmospheric Vertical Sounder (METOP)

90 Levels (bis 0.5 hPa also etwa 50 km) Beispiel:

29. August 2008

Level 85 = 899.69 hPa

Keine Messungen wegen:

 Gebirgen

 Wolken

 Nur einer täglichen Beobachtung (um Vergleich neu/alt zu ermöglichen)

2 Arten von Inputfehlern

Klassische Fehlerschätzung: Var / n Im globalen Mittel 0.752 g/kg

Explizit durch den Algorithmus mitgelieferter Fehler

Im globalen Mittel 1.886 g/kg

Kriging-Ergebnisse

Input

Ergebnis mit klassischem Fehlerinput

Kriging-Fehler

KlassischExplizit

0.752 g/kg

1.886 g/kg

0.577 g/kg

0.791 g/kg

Kriging-Fehler

^x₀^xi    ^xi^xj  ^c

i n

 1

 Annahmen:

Alle Gewichte gleich Alle Kovarianzen gleich

Lokale Varianz Information Redundanz Input-Fehler

  _   _   _ ^{ }

  













 ⁿ

i n j

n i

i i i i j

i j i n

i

i

kr x x x x x x x x

1 1 1

1

0 0

0

2 2     



1 1

1

Übergang Input- Outputfehler

Version _in[g/kg] _in _in² _in² / n 1 - c _kr² _kr _kr[g/kg]

Klassich 0.752 0.554 0.307 0.03 0.15 0.18 0.425 0.557

Explizit 1.886 1.390 1.933 0.19 0.15 0.34 0.586 0.796

2 2 2

2 1 2 1 1

2

1 _in

kr c n n

n n n c

n 

    

Input Output

c nⁱⁿ

kr

2

2 1 

   

Outputfehler = Datenkonfiguration + Inputfehler

Aufgabe 3

Fehlerkovarianzen z.B. [x1 x2]

verschwinden bei unabhängigen Daten.

Satellitendaten sind nicht unabhängig, denn sie beruhen auf einem einzigen Retrieval.

Überschätzt das Retrieval an einem Ort, so neigt es auch in der Nachbarschaft zur Überschätzung, weil die physikalischen Bedingungen ähnlich (schwierig) sind.

Monatliche Mittel

ATOVS

IASI

Spezifische Feuchte in 700 hPa August 2009

90 km horizonale Auflösung

IASI global 20% niedriger als ATOVS Wolkenproblem des reinen

Infrarotsensors an der ITCZ im Vergleich zu ATOVS

(Mikrowelle AMSU + Infrarot HIRS)?

Aber auch Minima über kalten Ozeanströmungen flacher.

Tägliche Mittel

ATOVS

IASI

29. August 2008 (Partytime)

Tägliche Anomalien

ATOVS

IASI

Tägliche Anomalien (ungekrigt)

ATOVS

IASI

Bei 90 km Auflöung bleiben ATOVS Daten (2 Satelliten) gerade noch flächendeckend.

IASI hat das n_min=2 Problem und das Wolkenproblem.

Methode (1/2)

D = ((x₁ + x₁) – (x₂ + x₂))²

S = (x₁ + x₁)² + (x₂ + x₂)²

D = 2 Var – 2 Cov + Err1 + Err2 - 2 ErrCov

S = 2 Var + Err1 + Err2

S – D = 2 Cov + 2 ErrCov

Methode (2/2)

S = 2 Var + Err1 + Err2 S – D = 2 Cov + 2 ErrCov

Intern: S_int = 2 Var + 2 Err1 S_int – D_int = 2 Cov + 2 ErrCov Extern: S_ext= 2 Var + Err1 + Err2 S_ext – D_ext = 2 Cov

2 Gleichungen, 3 Unbekannte 2 Gleichungen, 2 Unbekannte Zusätzliches Wissen: Var = Cov(0)

Berechnung

S_ext – D_ext = 2 Cov

S_int – D_int = 2 Cov + 2 ErrCov S_int = 2 Var + 2 Err1 S_ext = 2 Var + Err1 + Err2

Gesamtvarianz ungleich 1 ?

1 1

2 





  

n

x x xx

n

 n

1

^xx  ⁿ

n

) 1 ( 

^xx  ^{k n}

k n

  n

n kn

n k kn

xx x

Var ^{k n} 1

1 ) 1 ( 1

 



 

 

Jeder der n Tageswerte wurde mit dem Mittelwert und der Stdabw des Monats an diesem Ort normiert.

An jedem Ort haben die normierten Werte die

Stdabw. 1 und den Mittelwert 0.

Für die Kovarianzfunktion wird über k Orte aufsummiert.

k: etwa 10000 globale Gitterpunkte n: etwa 30 Tage im Monat

Änderungen

Var wurde bisher überschätzt Err1 wurde bisher unterschätzt Cov wurde überschätzt

Ecv wurde bisher Null gesetzt (also deutlich unterschätzt)

bisher

richtig

Anwendung

Diagonale Off-Diagonale Vektor

Man wollte: Var + Err Cov Cov

Man macht: Var + Err Cov + Ecv Cov + Ecv

Richtig ist: Var + Err Cov + Ecv Cov

Kriging Resultate

Die resultierenden Feuchtefelder sind nahezu identisch

Ohne Berücksichtigung der Fehlerkovarianzen

Mit Berücksichtigung der Fehlerkovarianzen

Kriging Fehler

Ohne Berücksichtigung der Fehlerkovarianzen (0.400 g/kg global)

Aber die Fehlerfelder

unterscheiden sich deutlich.

Schluß jetzt

Aufgabe 1

• Umkehrung Integration/Kriging ist installiert.

• Jeweils 2 (Land) bis 7 (Ozean) ATOVS-Wasserdampfschichten sind abhängig.

´

Aufgabe 2

• Die Möglichkeit explizite Fehlerangaben des Retrievals zu nutzen, ist installiert.

• IASI-Fehlerangaben sind deutlich größer als die bisherige statistische Schätzung.

• Änderungen des Outputfehlers bleiben dennoch begrenzt, da Konfigurationseffekte dominieren.

Aufgabe 3

• Ein Verfahren, Fehlerkovarianzen zu bestimmen wurde entwickelt und angewandt.

• ATOVS Feuchteschätzungen weisen wie erwartet große horizontale Fehlerkovarianzen auf.

• Die resultierenden Fehler müssen deshalb deutlich (Faktor 2) nach oben korrigiert werden.