Institut für Physik

Institut für Physik

Physikalisches Grundpraktikum

Regressionsanalyse: Anpassung von Modellfunktionen an Messwerte und

Extraktion physikalisch relevanter

Größen/Parameter

Notwendige Vorbemerkungen I

Datenanalyse:

oft Erhebung von Daten, die einen bestimmten bzw. vermuteten funktionalen Zusammenhang zwischen den gemessenen Variablen (Eingangsgröße x, Aus- gangsgröße y) aufweisen

Mathematiker vermuten, Physiker wissen (bzw. glauben zu wissen)….

Regressionsanalyse:

statistisches Analyseverfahren zur Feststellung funktionaler Beziehungen zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen

Anmerkungen:

Nur im einfachsten Fall ist das Modell eine Gerade y = a·x + b !

Grundsätzlich sollte man den Typ der Modellfunktion y = f(x) immer vorher festlegen und auch gute Gründe haben, eine bestimmte Funktion zur „Kurven- anpassung“ zu verwenden!

Die hochproblematische Vorgehensweise, alle möglichen Funktionen „auf Verdacht“ durchzuprobieren und dann die "beste" auszuwählen, liefert häufig (z.B.

bedingt durch „Ausreißer“) unbrauchbare Approximationen bzw. wissenschaftlich falsche (unsinnige) Ergebnisinterpretationen!

Ein tiefer gehendes Verständnis erfordert eine kritische und intensive Auseinandersetzung mit mathematisch-statistischen Begriffen und Methoden; für die uns hier aber leider nur (viel zu) wenig Zeit zur Verfügung steht! → CP, SP

Notwendige Vorbemerkungen II

Es gibt verschiedene Kenngrößen der Statistik, um die Beziehung zwischen zwei Variablen zu beschreiben.

Kovarianz: ungeeignet, abhängig von Skalierung!

Pearsonscher Korrelationskoeffizient als Maß für (lineare!) Korrelation:

Bedeutung der Korrelation oft überbewertet: Ein hoher Korrelationskoeffizient bedeutet nicht immer eine hohe Korrelation!

Fatale Wirkung eines einzigen

„Ausreißers“!

Karl Pearson (1857-1936)

Notwendige Vorbemerkungen III

Bedeutung der Korrelation oft überbewertet: Ein kleiner Korrelationskoeffizient bedeutet notwendigerweise auch nicht, dass es keinerlei Beziehung zwischen zwei Variablen gibt!

Eine Korrelation zwischen zwei Variablen zu beobachten, kann sehr leicht dazu verleiten, eine kausale Beziehung zwischen diesen Variablen zu sehen.

Oft ist allerdings kein kausaler Zusammenhang vorhanden, wie im folgenden Beispiel:

Die Schuhgröße ist zum Kalziumgehalt der Knochen korreliert. (Kinder haben weniger Kalzium in den Knochen als Erwachsene und natürlich ist die Schuhgröße von Kindern i.d.R. auch viel kleiner als die von Erwachsenen…..)

unkorrelierter Datensatz offensichtlicher Zusammenhang

Eine Datenvisualisierung in grafischer Form ist sinnvoll!

Notwendige Vorbemerkungen IV

Berechnung eines Regressionsmodells:

Brauchen objektives Maß für die Zuverlässigkeit!

Bestimmtheitsmaß (engl. coefficient of determination, auch goodness of fit):

Bestimmung der Verkleinerung des Vorhersagefehlers der Ausgangsgröße y, wenn man die Information aus den Werten der Eingangsgröße x in das Modell aufnimmt

definiert die Größe der Streuung von y, die durch x erklärt werden kann (Für die einfache lineare Regression ist das Bestimmtheitsmaß das Quadrat des Korrelationskoeffizienten)

Kritikpunkte:

zeigt zwar die Qualität der linearen Approximation, jedoch nicht, ob das Modell richtig spezifiziert wurde (Modelle, die mittels kleinster Quadrate geschätzt wurden, werden die höchsten r² erhalten)

sagt nichts über die statistische Signifikanz des ermittelten Zusammenhangs und der einzelnen Regressoren aus (zusätzlicher Signifikanztest notwendig)

hohe Empfindlichkeit gegenüber (linearen) Trends

→ Residuenanalyse, Signifikanztest (insbes. Χ²-Test) und Visualisierung Brauchbare Online-Bücher zum Nachschlagen und Lesen:

http://www.statistics4u.info/fundstat_germ/index.html

http://de.wikibooks.org/wiki/Mathematik:_Statistik:_Regressionsanalyse http://de.wikibooks.org/wiki/Mathematik:_Numerik

   

  



1

2 1

2 1

2

2  























 mit Mittelwert y und Schätzwert y r

y y

y y y

y r

B _{n i}

i i

n

i

i i n

i

i )

)

Problemstellung

Vollständige Messung:

Eingangsgröße x; Ausgangsgröße y

Erfassung einer endlichen Menge von Messwertepaaren {x_i,y_i = f(xi)}, einschließlich der vorhandenen Messunsicherheiten Δx_i ^und Δy_i

(die auch abgeschätzt sein können)

Untersuchung/Ermittlung der

Modellfunktion bzw. physikalischen Gesetzmäßigkeit y = f(x) als Hypothese

Prüfung einer Hypothese y = f(x) ist bekannt

mit physikalisch relevanten Parametern

Aufstellung einer Hypothese y = f(x) ist unbekannt

mit Parametern unbekannter Bedeutung

Ermittlung aller Parameter mit zugehörigen Unsicherheiten;

Extraktion physikalisch relevanter Parameter/Größen

Ermittlung von Parametern mit zugehörigen Unsicherheiten;

Prüfung auf physikalisch relevante Information

Bestätigung oder Verwerfen der Hypothese

A B

Beispiele aus Veröffentlichungen

Quelle: eigene Arbeiten in PHYSICAL REVIEW B

A

A B

Beispiel im Grundpraktikum II

Untersuchung des Verhaltens eines Drehspulmessinstrumentes;

Bestimmung des realen Innenwiderstandes R

;

Prüfung der Gültigkeit von Knotensatz und Maschensatz

Schaltungsaufbau

Eingangsgröße Ausgangsgröße

Erfassung einer Messreihe

Vollständige Datentabelle:

Amperemeter: Messbereich 100 μA, 5 µA Teilung, Genauigkeitsklasse 1,5%

½ Skalenteil Ableseunsicherheit → ΔI ≈ 3 µA Gesamtunsicherheit Dekadenwiderstände:

10 x 10 Ω; 10 x 100 Ω; 10 x 1 kΩ; 10 x 10 kΩ mit jeweils 0,1% Fehlerklasse (größter Teilwiderstand der kaskadierten Dekaden dominiert Messunsicherheit!)

i R_x (Ω) Kombination I (µA) ΔR_x (Ω) ΔI (µA)

1 480 4x100+8x10 30.0 1 3

2 990 9x100+9x10 47.5 1 3

3 1470 1x1k+4x100+7x10 57.0 10 3 4 1970 1x1k+9x100+7x10 65.0 10 3 5 3780 3x1k+7x100+8x10 78.0 10 3 6 4770 4x1k+7x100+7x10 82.0 10 3 7 10100 1x10k+1x100 90.0 100 3 8 13880 1x10k+3x1k+8x100+8x10 92.0 100 3 9 21900 2x10k+1x1k+9x100 95.0 100 3 10 68300 6x10k+8x1k+3x100 97.5 100 3

cov(R_x,I) = 251617.9 und r(R_x,I) = 0.59384881 Syntax in EXCEL: KOVAR(x;y) und PEARSON(x;y)

Bestenfalls Tendenz erkennbar, aber Beziehung zwischen R_x und I ?

0 50 100

0 20000 40000 60000

Dekadenwiderstandswert R_x (Ω)

Stromstärke I (µA)

Grafische Darstellung

„Streudiagramm“ mit Messunsicherheiten („Fehlerkreuzen“) der Einzelpunkte:

Funktionale Beziehung (svw. physikalische Gesetzmäßigkeit) I = f(R) zwischen Stromstärke und Widerstand gesucht!

?

Einfachster (aber völlig unsinniger) Ansatz

Regression mithilfe eines Polynoms der Ordnung N-1 bei einer Anzahl von N Stützstellen: „mathematisch exakte“ Lösung möglich (Regressionspolynom „trifft“ alle Stützstellen exakt)

-200 -100 0 100 200

0 25 50

Widerstand R (kW)

S tr om s tä rk e I ( µ A )

Anpassung für 10 Stützstellen mit Polynom 9. Grades:

"exakte" Beschreibung mit Bestimmtheitsmaß R² = 1

„Oszillatorisches“ Verhalten von Polyno- men hoher Ordnung; Sinn und physika- lische Relevanz dieser Modellfunktion ist äußerst fragwürdig! Völliger Quatsch!

→ „…Physiker wissen…“









0

) (

N

i

i

i

R

a R

I

„Erraten“ der Abhängigkeit I = f(R)

Linearisierung der empirischen Versuchsdaten durch geeignete Skalierung oder Koordi- natentransformation:

R → R^-1 und I → I^-1(meist nicht einfach erkennbar bzw. elementar!) Hypothese über die Modellfunktion:

I^-1 ~ R^-1 bzw. I^-1 = a∙R^-1 + b; b mit Einheit (A^-1), a mit Einheit (V·A^-2) Aufgaben:

Numerische Bestimmung der Modellparameter a und b (einschließlich Unsicherheiten), Validierung des Modells (mathematisch-statistische Beurteilung der „Güte“, Betrachtung der physikalischen Relevanz!)

0 0.01 0.02 0.03

0 0.0005 0.001 0.0015 0.002

Leitfähigkeit G = R^-1 (S) Inverse Stromstärke I-1 (106 A-1 )

"steilste" Gerade

"flachste" Gerade

"beste" (ausgleichende) Gerade

I I I   



 



1 1₂

R R R 



 



 1 1₂

Einfaches grafisches Verfahren möglich für eine grobe Abschätzung:

Die ausgleichende Gerade muss durch den Schwerpunkt der Punktwolke verlaufen, ihre Lage ist abersehr subjektiv!

Transformation der Messreihe

Veränderte Datentabelle:

i R_x^-1 (Ω^-1) I^-1 (µA^-1) ΔR_x^-1 (Ω^-1) ΔI^-1 (µA^-1) 1 0.002083333 0.033333333 4.34028E-06 0.003333333 2 0.001010101 0.021052632 1.0203E-06 0.00132964 3 0.000680272 0.01754386 4.6277E-06 0.000923361 4 0.000507614 0.015384615 2.57672E-06 0.000710059 5 0.00026455 0.012820513 6.99868E-07 0.000493097 6 0.000209644 0.012195122 4.39504E-07 0.000446163 7 9.90099E-05 0.011111111 9.80296E-07 0.00037037 8 7.20461E-05 0.010869565 5.19064E-07 0.000354442 9 4.56621E-05 0.010526316 2.08503E-07 0.00033241 10 1.46413E-05 0.01025641 2.14367E-08 0.000315582

r(R_x^-1,I^-1) = 0.999831421 ≈ 1 Klare positive lineare Korrelation!

→ Beziehung zwischen R_x^-1 und I^-1 existent;

wahrscheinlich linear mit positivem Anstieg

Hier nur aus Bequemlichkeit nicht sachgerecht gerundet…

Ableitung der Abhängigkeit I

= f(R

)

Die folgerichtige Anwendung von

• Knotensatz,

• Maschensatz und

• Ohmschem Gesetz

liefert eine physikalisch begründete Modellfunktion (Gesetzmäßigkeit) I^-1 = f(R^-1).

Die bisher noch unbekannten Parameter „Steigung“ und

„Achsenabschnitt“ haben eine reale physikalische Bedeutung.

I_A^-1

R_x^-1 I₀^-1

~ R_AI₀^-1

Visualisierung

0 0.01 0.02 0.03 0.04

0 0.0005 0.001 0.0015 0.002

Widerstand Rx-1

(Ω^-1) Stromstärke I-1 (µA-1 )

Das sieht erst einmal ganz gut aus – der lineare Zusammen- hang ist offensichtlich. Aber wo/wie muss denn nun die

„ausgleichende“ Gerade wirklich liegen?

Problemstellung der linearen Regression

Eingangsgröße x Ausgangsgröße y „Messpunkt“ (x_i; y_i)

„Schätzpunkt“ (x_i; ŷ_i)

Messunsicherheiten hier noch unberücksichtigt!

Funktion y = f(x) = a∙x+b mit den Parametern a und b für „beste Beschreibung“ gesucht:

Was heißt „beste Beschreibung“? Offensichtlich für die geringste (mittlere) Abweichung der ausgleichenden Geraden von den Messwerten!

Residuum als „Vorhersagefehler“: ε_i = y_i – ŷ_i = y_i – (a∙x_i+b)

Bedingung ∑ ε_i = 0 hinreichend und sinnvoll? Nein!!! Keine eindeutige Lösung…

Idee von Laplace mit ∑│ε_i│= min. sehr „unhandlich“….

→ Methode der kleinsten Quadrate nach C.F. Gauß (mit 18 J. schon!): ∑ ε_i² = min.

Lösungsverfahren für lineare Regression

Annahmen bzw. Voraussetzungen:

•Zusammenhang zwischen x und y ist linear (Unterscheidung zwischen linearen, krummlinigen bzw. kurvilinearen und nichtlinearen Zusammenhängen; kurvilineare Zusammenhänge in lineare transformierbar, nichtlineare nicht!)

•einzelne Messungen voneinander unabhängig; zeitlicher Trend während der Messun- gen oder eine gemeinsame Korrelation mit dritter Variabler nicht existent

•Eigenschaft der „Homoskedastizität“ (gut an Residuen sichtbar): Werte der Ausgangs- größe y sind für jede Eingangsgröße x „normal verteilt“ (Gauß); die zugehörige Standardabweichung s_y ist von x unabhängig bzw. konstant und x ist „fehlerfrei“ (gilt beides „streng genommen“ nicht!) → wird gern „stillschweigend“ übergangen

Berechnung:

Berücksichtigung von s_y als (konstanter) „Störgröße“

Minimierung der Summe der „Fehlerquadrate“

liefert lineares Gleichungssystem in a und b (vgl. lineare Algebra) Berechnung und Lösung im „blauen Skript“ (Nachlesen!)

Wichtiger allgemeingültiger Hinweis:

Eine „Gewichtung“ ist bei konstantem s_y zwar für die numerischen Werte von a und b wirkungslos – aber nicht für ihre Unsicherheiten (Standardabweichungen) s_a und s_b!!!

s

b x a

y ˆ    

 

 

0 0

2

min

2

 

 

















  

b und S

a S

s b x

a y

S

i

y i

i i



Empfohlene Software: QtiPlot (Klon von Origin)

QtiPlot

freies Open-Source-Programm (nur Quellcode ist unter GPL) zur Analyse und Visualisierung von Daten, Download für Windows unter dem Linkhttp://gpr.physik.hu-berlin.de/Downloads/qtiplot_0.9.7.10.exe

Ergebnis-Logbuch

Daten-Tabelle

Grafik-Bereich Expliziter Hinweis:

Kompilierte Version (s.u.) nur für unsere Lehrzwecke am Institut, Weitergabe untersagt!

Einfache lineare Regression ohne Gewichtung

Lineare Regression unter Benutzung der Funktion: A*x+B Gewichtete Methode: Keine Gewichtung

A = 1,1159438274418e+01 +/- 7,2455141488475e-02 B = 9,9442771110361e-03 +/- 5,7107581116260e-05 Chi^2/doF = 1,9557210267963e-08

R^2 = 0,9996628700799 In QtiPlot: Analyse…. Linearer Fit

Lineare Regression mit Gewichtung

In QtiPlot: Analyse…. FitWizard (eigene benutzerdefinierte Funktion!)

Non-linear Fit unter Benutzung der Funktion: A*x+B

Gewichtete Methode: Instrumentell, unter Benutzung der Fehlerbalkendaten A = 1,1264035976323e+01 +/- 2,1219731727827e-01

B = 9,8082798103206e-03 +/- 2,3689024437229e-04 Chi^2/doF = 7,0641315409879e-02

R^2 = 0,9984878394574

Bedeutung/Wirkung der Gewichtung

Vergleich zeigt:

„Gewichtung“ (d.h. Berücksichtigung von variablen s_y) berücksichtigt Messpunkte unterschiedlicher Messunsicherheit entsprechend bei der Anpassung

→ Gerade mit anderen Parametern (andere Lage), Anpassung ohne Gewichtung liefert i.a.

falsche Ergebnisse

→ Vergrößerung der Unsicherheiten der Parameter durch die Gewichtung, Anpassung ohne Gewichtung liefert unrealistische Unsicherheiten

→ Veränderung der Werte für R² und χ²(statistische Wirkung der Gewichtung)

Gewichtung Parameter Wert Unsicherheit

nein

Anstieg A 11,16 0,07

Achsenabschnitt B 0,009944 0,00006 Chi^2/doF = 1,9557210267963e-08

R^2 = 0,9996628700799

ja

Anstieg A 11,3 0,2

Achsenabschnitt B 0,00981 0,00024 Chi^2/doF = 7,0641315409879e-02

R^2 = 0,9984878394574

Weitere Anmerkungen zu „Fehlerbalken“

Standardabweichungen (Unsicherheiten) s_i

In der Praxis „echte“ Statistik meist nicht üblich bzw. viel zu aufwändig (im Grund- praktikum ohnehin!) - deshalb eher grobe Abschätzung „nach oben“ als pythagoräische Summe von unkorrelierten systematischen und zufälligen Messunsicherheiten („kombinierte Standardabweichung) als i.a. „Überschätzung“

Residuenanalyse in grafischer Form:

Bestätigt die Überschätzung und zeigt kein „Muster“!

-0.004 -0.002 0 0.002 0.004

0 0.001 0.002

Eingangsgröße x Abweichung der Ausgangsgröße Abschätzung

Residuum

Endergebnis der Regression

Feststellungen:

offensichtlich Modellfunktion bzw. physikalische Gesetzmäßigkeit anhand der Messdaten bestätigt

ausgleichende Funktion beschreibt charakteristischen Verlauf innerhalb der Grenzen der Messunsicherheiten hinreichend „exakt“ („Fehlerkreuze werden alle geschnitten; vgl. statistische Sicherheit bei Annahme der Gültigkeit der Normalverteilung für die Unsicherheiten der Messwerte)

Residuen (Abweichung zwischen Messwert und Prognose lt. Modellfunktion) sind alle geringer als die abgeschätzte Unsicherheit; Abschätzung „nach oben“ also realistisch

kritische Messgröße ist hier die Stromstärke, nicht der Widerstand

0 50 100

0 25 50

Widerstand R

(kW)

S tr o m s tä rk e I ( µ A )

1

0





R R I I

A

Institut für Physik

Physikalisches Grundpraktikum

Regressionsanalyse:

Fortsetzung und „Demystifizierung“ von

numerischen Anpassungsergebnissen

Rückgriff

Unter den Annahmen bzw. Voraussetzungen:

„streuende“ Werte der Ausgangsgröße y sind für jede (festgehaltene) Eingangsgröße x normal verteilt (Gauß); zugehörige Standardabweichungen s_y sind für jeden Wert von von x voneinander unabhängig (also auch wieder Zufallsvariablen)

s

b x a

y ˆ    

Homoskedastizität Heteroskedastizität Abweichungen der Datenpunkte von der Modelfunktion (hier Gerade):

als Störterme bzw. Residuen bezeichnet, wahrscheinlichkeitstheoretisch jeweils Zufalls- variablen

aber Heteroskedastizität: einfache Kleinstquadratmethode liefert nicht effizienteste Schätzwerte (d.h. kleinstmögliche Varianz bzw. Standardabweichung) für die Regres- sionsparameter

Ausweg: Normierung der Daten bzw. Varianzen → Gewichtung mit (variablen) s_y^-2 im linearen Gleichungssystem für die Regressionsparameter (s. Skript!)

Residuenbetrachtung

Standardabweichungen (Unsicherheiten) s_i

In der Praxis „echte“ Statistik meist nicht üblich bzw. viel zu aufwändig - deshalb eher grobe Abschätzung „nach oben“ als pythagoräische Summe von unkorrelierten systematischen und zufälligen Messunsicherheiten („kombinierte Standardabweichung“) Residuenanalyse in grafischer Form:

Offene Probleme:

•Sind die Residuen im statistischen Sinne tatsächlich „zufällig“ verteilt?

•Welche Wahrscheinlichkeitsdichte beschreibt adäquat die (renormierte) Residuen- verteilung am besten? Ist das eine Gaußsche Normalverteilung (als Hypothese)?

•Wie kann man das testen und quantitativ „messen“? → χ²-Test

-0.004 -0.002 0 0.002 0.004

0 0.001 0.002

Eingangsgröße x Abweichung der Ausgangsgröße Abschätzung

Residuum

Überlegungen zum χ

-Test

Motivation:

Vergleich empirischer Daten mit einer angenommenen (theoretischen) Wahrscheinlich- keitsverteilung und Bestimmung der zugehörigen Verteilungsparameter

Hier ganz konkret:

empirische Daten = renormierte Residuen

theoretische Verteilung = Gaußsche Normalverteilung (Mittelwert 0?) als zu überprüfende sog. Nullhypothese

Einfachste Möglichkeit zur Überprüfung:

grafischer „Vergleich“ eines Häufigkeits-Histogramms der renormierten Residuen mit einer angepassten Verteilung, die aus der Gaußschen Normalverteilung berechnet wurde

Schon ähnlich gezeigt:

„Suggestivfrage“:

Ist dieses einfache „Verfahren“ genügend zuverlässig und aussagekräftig?

Überlegungen zum χ

-Test

Probleme:

i.a. doch viel zu wenig Datenpunkte bzw. Residuen für ein Histogramm visueller Vergleich nur erster Anhaltspunkt und nicht wirklich objektiv

fehlende statistische Rechtfertigung und fehlendes quantitatives Maß für die Richtigkeit der Nullhypothese

Schlussfolgerung:

→ objektive quantitative Prüfgröße, die den Grad der Übereinstimmung zwischen empirischer und theoretischer (parametrischer) Verteilung beziffert

→ χ2-Test als statistisch begründeter Verteilungs- oder Anpassungstest

Grundlagen zum χ

-Test

Definition der Prüfgröße χ²

misst die Größe der Abweichung von der Nullhypothese

k(x_j) als empirisch ermittelte absolute Häufigkeiten und

h_j=n∙P_jals theoretisch zu erwartende Häufigkeiten gemäß der Wahrscheinlichkeitsdichte

unmittelbare Folgerungen aus der Nullhypothese:

→ wenn beide Verteilungen identisch, dann auftretende Differenzen durch rein zufällige Abweichungen (d.h. bei Wiederholung von Messreihen unterschiedliche Werte von χ²)

→ weichen empirische Häufigkeiten k(x_j) „zu stark“ von den mit h_j=n∙P_j zu erwartenden ab, so wird die Nullhypothese abgelehnt werden müssen

Wahrscheinlichkeitsdichtefunktion f(χ²) der χ²-Werte:

nicht analytisch berechenbar, nur mit numerischen Methoden zu ermitteln und i.a.

tabellarisch angegeben

 











j j

j j

p

n P

P n x

k

1

2

2

( )



 

 







 

 





2

2

) exp (

2 ) 1

( )

( s

x x

s x

f x

P 

Wahrscheinlichkeitsdichte f(χ

)

Wahrscheinlichkeitsdichtefunktion f(χ²) für verschiedene Freiheitsgrade f

Wahrscheinlichkeitsdichtefunktion f(χ²) hat nur einen einzigen Parameter:

Anzahl der Freiheitsgrade

N als Klassenanzahl

r als Anzahl von Parametern der theoretischen Verteilung

Mittelwert und Varianz

Konvergenz für wachsende f gegen die Gaußsche Normalverteilung mit Parametern wie oben

Additivität: zwei unabhängige Größen χ²-verteilt (jeweils mit den Freiheits- graden f₁ und f₂) → Summe beider Größen χ²-verteilt mit dem Freiheits- grad f₁+f₂

r N

f   1 

 f



s

 2  f

Irrtumswahrscheinlichkeit α

Zuordnung zwischen (vorgegebenem) Freiheitsgrad f und einer bestimmten Irrtums- wahrscheinlichkeit α (nur mit numerischen Verfahren bestimmbar, tabelliert)

→ statistische Betrachtungsweise: keine einfachen „Ja/Nein-Aussagen“, sondern stets Wahrscheinlichkeitsaussagen!

Definition mit

 

2









d f

p







 f

0,99 0,975 0,95 0,90 0,70 0,50 0,30

1 1,57(-4) 0,82(-4) 3,93(-3) 0,016 0,148 0,455 1,07

2 0,020 0,051 0,103 0,211 0,713 1,39 2,41

3 0,115 0,216 0,352 0,584 1,42 2,37 3,67

4 0,297 0,484 0,711 1,06 2,19 3,36 4,88

5 0,554 0,831 1,15 1,61 3,00 4,35 6,06

Aussagekraft des Chi^2/doF-Wertes

Annahmen für „exakte“ statistische Behandlung

• Null-Hypothese für die gewählte Modellfunktion ist „mit hoher Wahrscheinlichkeit“

richtig

• alle Residuen, d.h. die Abweichungen zwischen Messwerten und Prognose- werten (anhand der Modellfunktion), sind rein zufälliger Art und genügen einer Gaußschen Normalverteilung

• Zahl der Freiheitsgrade (degree of freedom: doF) mit N als Anzahl der Stützstellen und r als Anzahl von Parametern der Modellfunktion

• Unsicherheiten der einzelnen Messwerte (in Form der Fehlerbalken bzw. Fehler- kreuze) sind tatsächlich realistisch bestimmt und voneinander statistisch unab- hängig (unkorreliert!)

• Anpassung erfolgt mit Gewichtung nach den Messunsicherheiten

Wichtige „Faustregeln“ (Mitteilung ohne Beweis, Überprüfung in Praxis!)

r N

f   1 

Befund mögliche Ursachen

Chi^2/doF >> 1 • falsche oder ungenügende Modellfunktion

• unterbestimmte bzw. unterschätzte Unsicherheiten

• signifikante „Ausreißer“ in der Datenpunktwolke

Chi^2/doF << 1 • „überbestimmte“ Modellfunktion (zu viele Parameter)

• überbestimmte bzw. überschätzte Unsicherheiten Chi^2/doF ≈ 1 • korrekte Modellfunktion

• realistisch beurteilte Unsicherheiten

Vorsätzlich „unrichtiges“ Modell

Wir irren uns hier mit einer um Größenordnungen höheren Wahrscheinlichkeit!

→ Hypothese ist „mit hoher Wahrscheinlichkeit“ falsch für Normalverteilung und folgerichtig auch für die gewählte Modellfunktion (wie zu erwarten!)

0.0000 0.0005 0.0010 0.0015 0.0020

0.00 0.01 0.02 0.03 0.04 0.05 0.06 0.07

Modell: Ursprungsgerade Chi^2 = 350.58953 R^2 = -14.37778 a = 33.1

UNSINNIG! ITERATION NICHT KONVERGENT!

Ausgangsgröße y

Eingangsgröße x

„Subtileres“ Beispiel: Beugung am Gitter

k g

k

 )   

sin(

Beziehung zwischen Gitterperiode g, Wellenlänge λ und Beugungsordnung k (↑ Wellenoptik im 3. Fachsemester)

Oberflächliche Auswertung der Beugung am Gitter

-0.6 -0.4 -0.2 0 0.2 0.4 0.6

-10 -5 0 5 10

Beugungsordnung k

Beugungswinkel sin (αk') Lineare Regression mit sin(αk') = k∙g^-1∙546,074 nm g = (10,0010 ± 0,0017) µm

χ² = 82,13778 R² = 0,99994

Auf den „ersten flüchtigen Blick“ ein wunderschönes Ergebnis:

g liegt sehr nahe am Referenzwert und hat eine sehr kleine Unsicherheit Bestimmtheitsmaß R² liegt sehr dicht am Idealwert

Ausgleichsgerade liegt praktisch ideal

→ Aber der Wert von χ² „stimmt den aufmerksamen Physiker sehr misstrauisch“!

Nähere Betrachtung

In dieser Darstellung wird das bestehende Problem schon viel deutlicher – der Unterschied zeigt sich mit zunehmender Beugungsordnung k. Man erhält man für beide Seiten „ganz unerwartet“ deutlich verschiedene Ergebnisse für den Anstieg der Ursprungsgeraden! Woran liegt es, dass das verwendete Modell so unbefriedigend ist?

0 0.2 0.4

0 5 10

Beugungsordnung k Beugungswinkel sin (αk) linke Seite

rechte Seite

Lineare Regression für linke Seite:

sin(αk') = 0.054965 k R² = 0.999991

Lineare Regression für rechte Seite:

sin(αk') = 0.054239 k R² = 0.999992

Neue Überlegungen zum Modell

Im vorhandenen experimentellen Aufbau ist es praktisch unmöglich, das Beugungsgitter so auszurichten, dass die Gitterebene exakt senkrecht zur optischen Achse steht. Durch die Verkippung werden alle Beugungsordnungen systematisch versetzt.

Gitternormale g

optische Achse

Gittersubstrat (Glas) Gitter

virtuelles Gitter

β

0. Ordnung 1. Ordnung

-1. Ordnung

k g

k

 

 )  sin( )   sin(

Neues Modell:

nach Bragg

Neues Zwischenergebnis

k g

k

 

 )  sin( )   sin(

Neues Modell:

g b

k

 k   

 ) sin(

Vereinfachung wegen konstantem Winkel β zu:

Numerische Resultate:

χ² = 15,62443 R² = 0,99998

b = (-0,00193 ± 0,00008) g = (10,0008 ± 0,0024) µm

Auf die grafische Darstellung wurde hier (ausnahmsweise) verzichtet…

Dieses Ergebnis ist wegen der erheblichen Reduzierung von χ² qualitativ deutlich besser bzw. erheblich vertrauenswürdiger – auch wenn g etwas

„unsicherer“ geworden ist (alles im Vergleich zum ersten Ergebnis).

Der letzte „Feinschliff“ des Modells

Gitternormale g

optische Achse

Gittersubstrat (Glas) Gitter

virtuelles Gitter

β

0. Ordnung 1. Ordnung

-1. Ordnung

Berücksichtigung des Parallelversatzes für die 0. Beugungsordnung:

  _



 



  



  





arcsin sin

k g

  ^{ }

k g

k

 



   sin  

sin

Das Endergebnis

0.7 0.9 1.1 1.3 1.5 1.7 1.9

-10 -5 0 5 10

Beugungsordnung k Scheinbarer Beugungswinkel αk'

-0.0006 -0.0003 0

0.0003 0.0006

Residuum

Messwerte Anpassung Residuen

Güte der Anpassung R²= 1

Standardabweichung der Anpassung σ_n= 0,00029

Chi-Quadrat-Test χ²= 1,18916

Neigungswinkel der Gitternormalen β = (0,026 ± 0,001) = (1,51 ± 0,06)°

Scheinbarer Winkel der Nullposition α₀= (1,2730 ± 0,0011) = (72,94 ± 0,06)°

Gitterkonstante g = (10,0053 ± 0,0017) µm

Mathematiker vermuten, Physiker wissen (bzw. glauben zu wissen)….

Konfidenz- und Prädiktionsintervalle

Wenn man das Konfidenzintervall für eine Regressionsgerade grafisch darstellt, erhält man dafür einen hyperbolischen Verlauf: Das Konfidenzintervall hängt ganz offensichtlich vom x-Wert ab. Je weiter er sich vom Schwerpunkt der „Datenpunkt- wolke“ entfernt, desto breiter wird der „Konfidenzschlauch“ (begrenzt durch innere blaue Kurven). Damit ist auch klar, warum eine Extrapolation stets unsicherer ist als eine Interpolation. Allgemein kann die „Schlauchbreite“ auch noch lokal variieren;

insbesondere bei sehr inhomogen über x verteilten Datenpunkten!

(Für beliebige Anpassungen mit anderen Funktionen gilt sinngemäß dasselbe.)

svw. Prädiktions- bzw. Vorhersage-Intervall

Konfidenz = Vertrauen

Ein anderes schönes Beispiel:

Brechung an einem Prisma

Metalldampflampe Vgl. Versuche „O9 Reflexion und Brechung“ bzw. „O3 Prismenspektrometer“

Spektralzerlegung von weißem

polychromatischem Licht

natürliches Tageslicht

Glühlampe

Wellenlänge (nm)

Optische Dispersion: n = n (λ)

allg. Beziehung

minimale Ablenkung

Bessere Lösung, da nur eine Messgröße (außer ε)!

Möglichst präzise Winkelmessung erforderlich!

Orientierungsdarstellung n = n(λ)

1.70 1.71 1.72 1.73 1.74 1.75 1.76 1.77

400 450 500 550 600 650 700

Wellenlänge (nm)

Brechungsindex n

Eingezeichnete Kurve nur zur Orientierung!

4 min

min

10 8 ) ( )

( )

(   ^



 



  

 

 ^u

u n n n

u

% 05 . 7 0 . 1

10 8 )

( ⁴

 





n n u

Anpassung n = n(λ)

Physikalisch begründete

benutzerdefinierte Funktion

auszuwählen!

Anpassung n = n(λ) mit Gewichtung

Vergleich mit Referenzwerten

1.61 1.62 1.63 1.64 1.65

400 450 500 550 600 650 700

Wellenlänge  (nm)

Brechungsindex n Referenzdaten

Messdaten

Sellmeier-Modellfunktion (ein Term) Messergebnisse an Flintglas SCHOTT F2

Manipuliert oder mit Sachargumenten überzeugt

worden?

Vollständige Gewichtung:

mit Unsicherheiten behaftete Eingangs- und Ausgangsgrößen

Bisherige Betrachtungen:

für die Regression mit Gewichtung y = f(x) nur die Unsicherheiten der Ausgangsgröße s_y berücksichtigt

Eingangsgröße hat aber (objektiv bedingt) ebenso eine Unsicherheit s_x (nur in ganz seltenen Fällen nicht), die nicht „ad hoc“ vernachlässigt werden darf

(Feststellungen gelten für die allermeisten verfügbaren Software-Lösungen zur Regressionsrechnung, auch für QtiPlot und ORIGIN™!)

Problem:

Wie wirkt sich eine Unsicherheit s_x auf die Ausgangsgröße y aus und wie kann man das in der Regressionsanalyse berücksichtigen?

Lösungsansatz:

bekannte und physikalisch begründete funktionale Abhängigkeit y = f(x)

„Störung“ der Eingangsgröße x um δx → „Störung“ der Ausgangsgröße y um δy gemäß der Beziehung δy = f‘(x)∙δx

Mit der (hypothetischen) Annahme, dass y „fehlerfrei“ bzw. „beliebig genau und sicher“ gemessen werden könnte: Allein aus der Unsicherheit s_x von x folgt über den eindeutigen kausalen Zusammenhang y = f(x) eine Unsicherheit in y von f‘(x)∙s_x !

Vollständige Gewichtung:

mit Unsicherheiten behaftete Eingangs- und Ausgangsgrößen

Weitere Annahme:

Die beiden Größen x und y werden z.B. mit verschiedenen Messgeräten oder Messmethoden erfasst. Dann gibt es gute Gründe dafür, ihre jeweiligen (ursprüng- lichen) Messunsicherheiten als unkorrelierte Größen anzusehen!

Folgerung:

Zur Messunsicherheit s_y der Ausgangsgröße kann pythagoräisch ein Beitrag der Form f‘(x)∙s_x addiert werden, so dass sich daraus eine „resultierende“ (kombinierte) Unsicherheit ergibt. Diese Größe kann zur (vollständigen) Gewichtung in der Regression eingesetzt werden.

Anmerkung:

Beim Geradenausgleich y = a∙x+b ist selbstverständlich f‘(x) = a

Problematisch ist aber, dass uns f‘(x) nicht „ad hoc“ bekannt ist, sondern erst mithilfe der Regression berechnet wird…

Idee:

Wir machen eine erste Abschätzung für f‘(x), berechnen die s_y‘ und gehen damit in die Regression (0. Iterationsschritt). Den so verbesserten Wert von f‘(x) verwenden wir im nächsten Iterationsschritt für dieselbe Prozedur usw. usf. Und die Abbruchbedingung?

Sehr „kitzlig“ wird es für nichtlineare Funktionen y = f(x), weil mehr zu berechnen ist…

 

 ^{' ( )} 

'

y

s f x s

s   

Iterationsprozedur

Datenvorbereitung:

Eingabe von x und y (ggf. Linearisierung) Berechnung von s_x und s_y

Vorgabe der parametrischen Modellfunktion f(x)

Erste Schätzung für Parameter und f‘(x)

Berechnung der s_y‘

Regression mit Gewichtung nach den s_y‘

Neuberechnung von f‘(x) entsprechend den verbesserten Parametern

Überprüfung der Abbruchbedingung

(zweckmäßig: Veränderung der Unsicherheiten von Parametern)

Abbruch bei „Erfolg“

Schleife

Konvergenzverhalten?!

Manueller Test für die Geradenanpassung

0 10 20 30 40 50

0 50 100

Eingangsgröße x

Ausgangsgröße y

Hier „gutartiges“ Konvergenzverhalten zu beobachten gewesen:

Abbruchbedingung (unveränderte 2. signifikante Ziffer der Unsicherheit im Anstieg) bereits nach 4 Iterationsschritten erfüllt!

schwarz: Fehlerbalken für ursprüngliche Unsicherheiten rot: Fehlerbalken mit Beitrag der a∙s_x

Fazit des Problems

Die uns unmittelbar zur Verfügung stehende Software leistet diese Form der Gewichtung nicht. Auch eine entsprechende kommerzielle Lösung ist nicht bekannt.

Eine fertige Lösung existiert derzeit (noch) nicht und erfordert einen ganz erheblichen Arbeitsaufwand für die Programmierung.

In Einzelfällen kann auf diese spezielle Gewichtung u.U. ganz verzichtet werden, weil die Eingangsgrößen x „fehlerfrei“ bzw. „sicher“ sind (z.B.

Ganzzahligkeit bei Beugungsordnungen) oder auch dann, wenn die Bedingung s

>>f‘(x)∙s

erfüllt ist (sehr schwache Abhängigkeit f(x)).

Im Grundpraktikum werden wir uns mit der Gewichtung nach den Unsicherheiten der Ausgangsgrößen begnügen müssen.

Dieses numerische Problem bleibt ggf. der LV CP I+II vorbehalten.