H¨ohereMathematikIIWS2002/2003 05101520 t -20-1001020y
10 20 30 40
z Abb.53:
-und
-KoordinatealsFunktionvon
DamitwirddasVerhaltendesLORENZ-Systemsklar:Wirhabenzwei Ebenen,diejeweilseinenSattelpunktenthalten;kommteineL¨osungin dieN¨aheeinessolchenSattelpunkts,wirdsievonderentsprechenden Ebeneneingefangenundgehtdortspiralf¨ormignachaußen.Wennsie sichhinreichendweitvomSattelpunktentfernthat,sinddieVorausset- zungenf¨urdieobigeLinearisierungnichtmehrgegeben;dieL¨osung kanndaherderEbenenentkommen,wirdaber¨uberkurzoderlangvon derEbenendesanderenSattelpunktseingefangenundsoweiter.Ab- bildung53zeigtdiesesVerhaltenetwasklareralsAbbildung49:Hier sinddiedie
-unddie
-KoordinatederL¨osungskurve¨uberderZeit aufgetragen.
Kapitel 5 Optimierung, F ehlerr echnung und Statistik
InderSchulewerdenAbleitungenhaupts¨achlichbenutzt,umdieEx- tremwerteeinerFunktionzubestimmen;einGesichtspunkt,derimletz- tenSemesterbeiderDifferentialrechnungmehrererVer¨anderlicherkeine Rollespielte.IndiesemletztenKapitelderVorlesungsolldiesnach- geholtwerden,wobeiinsbesonderedieAnwendungenaufdieFehler- undAusgleichsrechnungwichtigeBeispieleliefern.Zuderenbesse- renVerst¨andnissollenaucheinigeGrundbegriffederStatistiker¨ortert werden.§ 1: Extr ema v on Funktionen mehr er er V er ¨anderlicher
a)DereindimensionaleFall ErinnernwirunsandieSchule:WenndiestetigdifferenzierbareFunk- tion:(
)
imPunkt
0
(
)einExtremumannimmt,ver- schwindetdortdieAbleitung
(
0).DerGrundistklar:NachDefinition derDifferenzierbarkeitist (
0+
)=
(
0)+
(
0)+
(
); falls
(
0)nichtverschwindet,ist
(
0+
)f¨urkleine
mitdemselben Vorzeichenwie
(
0)gr¨oßerundf¨ursolchemitentgegengesetztem Vorzeichenkleinerals
(
0).In
0kann
somitwedereinMaximum nocheinMinimumannehmen. DieUmkehrunggiltnicht:StandardbeispielistdieFunktion
(
)=
3 , f¨urdie
(0)verschwindet,ohnedaßimNullpunkteinMaximumoder Minimumw¨are.
H¨ohereMathematikIIWS2002/2003 F¨urzweimalstetigdifferenzierbareFunktionengibtesbekanntlichauch einehinreichendeBedingungsowiedieM¨oglichkeit,MaximaundMini- mavoneinanderzuunterscheiden:Falls
(
0)verschwindetund
(
0) negativist,hat
imPunkt
0einMaximum;beipositivem
(
0)liegt einMinimumvor.AuchhierfolgtallessofortausderDefinitionder zweimaligenDifferenzierbarkeit:Wegen (
0+
)=
(
0)+
(
0)+
2 2
(
0)+
(
2 ) =
(
0)+
2 2
(
0)+
(
2 ) siehtderGraphvon
indiesenF¨alleninderunmittelbarenUmgebung von
0auswieeinenachuntenbzw.obenge¨offneteParabel. b)VerallgemeinerungaufsMehrdimensionale NunbetrachtenwireinestetigdifferenzierbareFunktion
:
auf eineroffenenTeilmenge
.DannbedeutetDifferenzierbarkeit bekanntlich,daßesinjedemPunkt
0
einenVektor (
0)=grad
(
0)
gibt,denGradienten,sodaßf¨urhinreichendkleineVektoren
gilt (
0+
)=
(
)+grad
(
0)
+
. Hiermußalsof¨urjedenExtremwertgrad
(
0)gleichdemNullvektor sein,dennsetztmanf¨ur
einkleinesVielfaches
grad
(
0)des Gradientenein,w¨aresonst (
0+)=
(
)+
grad
(
0)
grad
(
0)
+
!
!
f¨urkleinepositive
gr¨oßerals
(
0)undf¨urkleinenegative
kleiner. DieFrage,welcheNullstellendesGradientenwirklichExtremwerten entsprechen,istschwieriger;inderPraxiswirdesoftameinfachsten sein,sichdieUmgebungdesbetreffendenPunktesmitirgendwelchen adhoc-Methodengenaueranzusehenunddannzuentscheiden. KlassischesBeispieleinesPunkts,indemderGradientverschwindet, ohnedaßeinExtremwertvorliegt,istderinAbbildung54gezeigte
Kap.5:Optimierung,FehlerrechnungundStatistik
" -3-2-10123x
-3 -2 -1 0 1 2 3
y
-8-6-4-202468 Abb.54:GraphderFunktion
# (
$&%
)=
$2'
2 Sattelpunkt,hierdargestelltalsFunktionswert¨uberdemPunkt(0
0)f¨ur dieFunktion
(
)=
2(
2 . F¨urzweifachstetigdifferenzierbareFunktionenkannmangenauwieim eindimensionalenFalleinhinreichendesKriteriumfinden,dasnurvon derzweitenAbleitungimPunkt
0abh¨angt: DiezweiteAbleitungvon
)2 (
)imPunkt
0
istbekannt- lichgegebendurchdieHESSE-Matrix
*,+
(
0)=
- ...!./
02
+ 012 1
02
+ 01 1
01 2
222
02
+ 01 1
013 02
+ 01 1
01 2
02
+ 012 2
222
02
+ 01 2
013
. . . . . .
. ..
. . .
02
+ 01 1
013
02
+ 01 2
013
222
02
+ 0123
4 555!56
undzweimaligeDifferenzierbarkeitbedeutet,daß (
0+)=
(
0)+grad
(
0)
+1 2
7
*,+
(
0)
+
2
istf¨urkleine
. Wenngrad
(
0)verschwindet,h¨angtalsodasVerhaltenvon
inder Umgebungvon
0abvonderquadratischenForm
98
7
*,+
(
0)
.
: H¨ohereMathematikIIWS2002/2003 Definition:a)EineMatrix
;
< heißtpositivdefinit,wennf¨ur alleVektoren
>=
? =
0aus
gilt: 7
>=
; (
0)
=
@ 0. b)
; heißtnegativdefinit,wennf¨uralle
>=
? =
0aus
gilt: 7
>=
; (
0)
=
A 0. c)
; heißtindefinit,wennesVektoren
=
>B
gibtmit 7=
; (
0)
=
@ 0und
7B
; (
0)
B
A 0. MitdieserTerminologieistdasfolgendeLemmaklar: Lemma:WenndiedifferenzierbareFunktion
)1 (
)imPunkt 0
einlokalesExtremumhat,istdortihrGradientgleichdem Nullvektor. Fallsumgekehrtf¨ur
)2 (
)derGradientimPunkt
verschwindet,gilt: a)FallsdieHESSE-Matrix
*,+
(
0)positivdefinitist,hat
imPunkt
0 einMinimum. b)Falls
*C+
(
0)negativdefinitist,hat
imPunkt
0einMaximum. c)Falls
*,+
(
0)indefinitist,hat
imPunkt
0keinExtremum. Damitunsdasetwasn¨utzt,brauchenwirjetztnurnocheinKriterium, mitdemwirfeststellenk¨onnen,welcheDefinitheitseigenschaftendie HESSE-Matrixhat.Dazuerinnernwirunsdaran,daßdieHESSE-Matrix symmetrischist,unddaßnachKapitel4,
D 2d)jedesymmetrischeMatrix diagonalisierbarist. F¨ureineDiagonalmatrix
; mitEintr¨agen
E 1
222
E undeinenVektor
>=
mitKomponenten
= 1
222
= wirdobigequadratischeFormzu (
= 1
= 2
222
=)
- ../
E 10
2220 0
E 2
2220 . . . . . .
. ..
. . .
00
222
E
4 556
- ../
= 1 = 2 . . . =
4 556
=
E 1
=2 1+
+
E
=2 ; eineDiagonalmatrixistalsogenaudannpositivdefinit,wennalleDia- gonaleintr¨agepositivsindundgenaudannnegativdefinit,wennsiealle
Kap.5:Optimierung,FehlerrechnungundStatistik
F negativsind.FallsessowohlpositivealsauchnegativeDiagonaleintr¨age gibt,istdieMatrixindefinit. Nunistesf¨urdenWertebereicheinerFunktionirrelevant,bez¨uglichwel- chesKoordinatensystemswirdieArgumenteausdr¨ucken;wirk¨onnen einesymmetrischeMatrixalsobez¨uglicheinerBasisausEigenvektoren betrachten,wosiezurDiagonalmatrixwirdmitdenEigenwertenals Eintr¨agen.Dahergilt: Lemma:EinesymmetrischeMatrixistgenaudannpositivdefinit,wenn alleihreEigenwertepositivsindundgenaudannnegativdefinit,wenn alleihreEigenwertenegativsind.Fallsessowohlpositivealsauch negativeEigenwertegibt,istsieindefinit. DadieDeterminanteeinerMatrixgleichdemProduktihrerEigenwerte ist,folgt,daßeineMatrixnurdannpositivdefinitseinkann,wenn ihreDeterminantepositivist;f¨urnegativdefinite
GHG -Matrizenmuß dieDeterminantebeigeradem
G ebenfallspositivsein,beiungeradem negativ. F¨ursymmetrische2
H 2-Matrizenl¨aßtsichdarausleichteinnotwendiges undhinreichendesKriteriummachen:DascharakteristischePolynom von ; =
I J
K mitEigenwerten
E 1und
E 2ist E2((+
J )
E +(
J (
2 )=(
E (
E 1)(
E (
E 2); daherist E 1+
E 2=+
J . (InderTatrechnetmanaufgenaudiegleicheWeiseleichtnach,daßf¨ur jede
G
HG -MatrixdieSummeder
G EigenwertegleichderSummeder G Diagonaleintr¨ageist,diesogenannteSpurderMatrix.) Wenndet
; =
J (
2 positivist,habennichtnur
E 1und
E 2,sondernauch und
J dasselbeVorzeichen,dassomitgleichdemvon+
J =
E 1+
E 2 ist.Alsoist
; genaudannpositivdefinit,wenndet
;@ 0und
@ 0
L H¨ohereMathematikIIWS2002/2003 ist,negativdefinit,wenndet
;@ 0und
A 0ist,undindefinitwenn det
;A 0ist.(Anstellevonk¨onntehiernat¨urlich¨uberallauch
J stehen.) BeispielsweiseistdieMatrix
I 12 25
K positivdefinit,dennsiehat DeterminanteeinsundpositiveDiagonaleintr¨age.ImobigenBeispiel desSattelpunktsmit
(
)=
2(
2 ist
*,+
(0
0)=
I 20 0
(2
K offensichtlichindefinit,wasmannichtnurandernegativenDetermi- nantensieht.
§ 2: Maxima und Minima unter Nebenbedingungen
BeieinemrealenphysikalischenodertechnischenProzeßk¨onnensich dieVariablenseltenfreiimgesamten
bewegen:Physikalischsinnvoll istmeistnureinebeschr¨ankteTeilmenge.ImGegensatzzurDimensi- oneins,wodieseTeilmengepraktischimmereinIntervallist,gibtes aberimMehrdimensionalenkeinenGrund,warumdieseTeilmengeof- fenoderzumindestderAbschlußeineroffenenTeilmengeseinsollte: Im
3 kannmansichbeispielsweiseauchinteressierenf¨urdasMaxi- mumoderMinimumderLadungsdichteaufeinerKugeloberfl¨acheoder dieelektrischeFeldst¨arkeoderTemperaturverteilungaufderInnenhaut einesReaktordruckbeh¨alters. DieseMaximaoderMinimasindimallgemeinenkeinelokalenMaxima oderMinimaderbetrachtetenFunktion:WennmandiejeweiligeFl¨ache verl¨aßt,l¨aßtsichderFunktionswertselbstf¨ureinensolchenExtremwert meistnoch–jenachRichtung–sowohlvergr¨oßernalsauchverkleinern. Dementsprechendk¨onnendieMethoden,diewirin
D 1diskutierthaben, solcheExtremwerte¨ublicherweisenichtfinden;wirbrauchenweitere Werkzeuge,dieindiesemParagraphenbereitgestelltwerdensollen. DieSituation,umdieeshiergeht,isttypischerweisediefolgende:Ge- gebenisteineFunktion
:
,m¨oglicherweiseauchnuraufeiner Teilmenge
definiert,derenExtremwertenichtauf
oder
Kap.5:Optimierung,FehlerrechnungundStatistik
gesuchtwerden,sondernnuraufeinerTeilmenge,diebeispielsweise durchdasVerschwindeneinerweiterenFunktion
M :
gegeben ist.Fallswirunsf¨urExtremwerteaufeinerKugelvomRadius
N umden Nullpunktinteressieren,w¨arediesetwadieFunktion M :
O3
(
)
8
2 +
2 +
2(
N2. Einem¨oglicheStrategiezurL¨osungsolcherProblemebestehtdarin,die Gleichung
M =0nacheinerderVariablenaufzul¨osen,diesedannin
einzusetzenundsodanneinegew¨ohnlicheExtremwertaufgabezul¨osen. DieseAufl¨osungistexplizitnurinsehreinfachenF¨allenm¨oglich,aber selbstwennwirnurwissen,daßeinesolcheAufl¨osungexistiert,k¨onnen wirdochdamitargumentierenundKriterienableiten. UnterMaximaundMinimasollenhierlokaleExtremaverstandenwer- den,sodaßwirdie¨ublichenKriterienanwendenk¨onnen: Definition:Wirsagen,dieFunktion
:
aufeinerTeilmenge P
habeimPunkt
Q
einlokales
O Maximum Minimum
R unterder Nebenbedinung
M =0,wobei
M :
eineweitereFunktionist,wenn M (
Q )=0istundeseineUmgebung
S von
Q gibt,sodaßf¨uralle
S gilt:Ist
M (
)=0,soist
(
)
O>TVU
R (
Q ). AlsEinstiegsbeispielbetrachtenwireinebeliebteSchulbuchaufgabezur Minimumsbestimmung:EineKonservendosesollbeieinemvorgegebe- nenVolumenvon100
WX3 m¨oglichstwenigBlechben¨otigen,d.h.ihre Oberfl¨achesollminimalsein. DieOberfl¨acheeinesZylindersderH¨ohe
miteinerGrundfl¨achevom Radius
N ist (
N
)=2
YN2 +2
YN
; dieNebenbedingungf¨urdasVolumen
Z =
YN2
besagt,daß M (
N
)=
YN2
(100=0 seinsoll.
[ H¨ohereMathematikIIWS2002/2003 Hierl¨aßtsichnat¨urlichdieNebenbedingungsofortnach
aufl¨osen: =100 YN2, undwirm¨ussennurnochdieFunktion \ (
N )=
I N100 Y
N2
K =2
YN2 +200 N minimieren.F¨urdieseist \
(
N )=4
YN(200 N2, unddiesverschwindetgenaudann,wenn 4
YN3 =200oder
N =3
] 50 Y ist. IndiesemeinfachenFallkannmansolcheAufgabenalsozur¨uckf¨uhren aufgew¨ohnlicheExtremwertaufgaben,indemmandieNebenbedingung nacheinerderVariablenaufl¨ostunddiesedannin
einsetzt;inanderen F¨allenkannmangelegentlichdieNebendedingungdurchgeeignetePa- rameterwahloderWahleinesangepaßtenKoordinatensystemsber¨uck- sichtigen.Imallgemeinenwirdaberbeidesnichtm¨oglichsein,sodaß wirandereMethodenbrauchen. 12345r0246810 h100120140160180200 z Abb.55:Oberfl¨acheeinerKonservendosemitfestemVolumen
Kap.5:Optimierung,FehlerrechnungundStatistik
[^ UnserbisherigeTheorief¨urlokaleExtremaistindieserSituationnicht anwendbar,denndielokalenExtremavon
werdennurindenseltensten F¨allendieNebenbedingung
M =0erf¨ullen;imobigenBeispielzeigt Abbildung55dieNebenbedingungalsengschraffierteFl¨achedargestellt undderGraphvon
alsweiterschraffierte;wiemansieht,l¨aßtsich derWertvon
problemlosverkleinern,wennmannurdieFl¨ache
M =0 verl¨aßt,undinderTatistauchohnejedeMathematiksofortklar,daßman mitwenigerBlechauskommt,wennmandieKonservendoseeinfach schm¨aleroderk¨urzermacht. DieGrundideef¨ureinalternativesVerfahrenwirdklarbeiderBetrach- tungderNiveaulinieninAbbildung56:DieNiveaulinief¨ur
M =0ist gestrichelteingezeichnet,verschiedeneNiveaulinienvon
alsdurchge- zogeneKurven. 02468
10 h 12345r Abb.56:Niveaulinienf¨urOberfl¨acheundVolumen Wiemansieht,schneideneinigedieserNiveauliniendiegestrichelte Kurve¨uberhauptnicht:WennmanzuwenigBlechhat,kannmankeine Dosemit100
WX3 Inhaltzusammenl¨oten.WennesdagegengenugBlech gibt,gibtesgleichzweiSchnittpunkte:DieDosekannentwedereher h¨oherodereherbreitergemachtwerden.IneinemsolchenFallkannman dieNiveauliniedurcheinezueinemetwasniedrigerenNiveauersetzen,
[ H¨ohereMathematikIIWS2002/2003 dieimallgemeinenauchwiederSchnittpunktehabenwird,sodaßdas Niveaunochnichtminimalseinkann.ErstwennmanimMinimumist, fallendiebeidenSchnittpunktezusammen;wennmannundasNiveau nochweitererniedrigt,gibteskeineSchnittpunktemehr. DasomitimMinimumzweiSchnittpunktezusammenfallen,ber¨uhren sichdortdieNiveaulinienvon
undvon
M ,d.h.siehabeneinege- meinsameTangente.DaderGradient,wiewirwissen,senkrechtaufder TangentenderNiveauliniensteht(dieRichtungsableitungentlangeiner Niveaulinieistschließlichnull),sindsomitdieGradientenvon
und
M imMinimumzueinanderparallel,d.h.dereineisteinVielfachesdes anderen. DiesgiltnichtnurimvorliegendenBeispiel,sondernallgemein: Satz:
P
seieineoffeneMengeund
M
)1 (
)seienstetig differenzierbareFunktionenauf
.Falls
imPunkt
Q
einEx- tremumhatunterderNebenbedinung
M (
)=0,sosindgrad
(
Q )und grad
M (
Q )linearabh¨angig. Beweis:DieGrundideeisteinfach:AuchwennwirdieNebenbedingung nichtexplizitnacheinerderVariablenaufl¨osenk¨onnen,sagtunsderSatz ¨uberimpliziteFunktioneninvielenF¨allendennoch,daßzumindestlokal eineAufl¨osungexistiert.DieseAufl¨osungkennenwirzwarnicht,aber wirk¨onnenmitihrargumentierenund,zumindestformal,auchrechnen. Fallsgrad
M (
Q )derNullvektorist,gibtesnichtsmehrzubeweisen,denn jedeMenge,diedenNullvektorenth¨alt,istlinearabh¨angig. Wirk¨onnendaherannehmen,daßgrad
M (
Q )mindestenseinevonNull verschiedeneKomponentehat,unddurchUmnummerierenderKoor- dinatenk¨onnenwiro.B.d.A.annehmen,daßdiesdie
G -teKomponente ist,d.h.
M13(
Q )
? =0. DanngibtesnachdemSatz¨uberimpliziteFunktionen([HMI],Kap.2, D 3d)eineUmgebung
S von(1
222
_
1)undeineFunktion
:
S
mit
(1
222
_
1)=
,sodaß M
1
222
_1
(
1
222
_1)
=0f¨uralle(
1
222
_1)
S .
Kap.5:Optimierung,FehlerrechnungundStatistik
[` Nachdem
in
Q einlokalesExtremumunterderNebenbedinung
M =0 hat,nimmtdieFunktion \ (
1
222
_
1)= def
1
222
_
1
(
1
222
_
1)
in(1
222_1)einlokalesExtremumim¨ublichenSinnean,d.h.der Gradientvon
\ verschwindetdort. NachderKettenregelistf¨ur
a =1
222
G(1 \
1b
(1
222_1)=
1b
(
Q )+
13(
Q )
1b
(1
222_1), undnachdemSatz¨uberimpliziteFunktionenist
1b
=
(
M 1b
cM 13,d.h. \ 1b(1
222_1)=
1b(
Q )
(
13(
Q )
M1b(
Q ) M 13(
Q ). DadielinkeSeiteverschwindet,giltdasselbeauchf¨urdierechte.Die rechteSeiteistimGegensatzzurlinkenauchf¨ur
a =
G definiertund verschwindetaustrivialenGr¨unden;alsoistf¨uralle
a
1b
(
Q )
(
13(
Q ) M13(
Q )
M 1b
(
Q )=0 oder,andersausgedr¨uckt, grad
(
Q )
(
13(
Q ) M13(
Q )grad
M (
Q )=
0. DamitsinddiebeidenGradienteninderTatlinearabh¨angig. FallsderGradientvon
M imPunkt
Q nichtverschwindet,gibtessomit eineZahl
E
,sodaß grad
(
Q )
(
E grad
M (
Q )=
0 ist,n¨amlich E =
13(
Q ) M 13(
Q ). DieseZahlbezeichnetmanalsLAGRANGEschenMultiplikator;mitsei- nerinhaltlichenInterpretationwerdenwirunsinK¨urzebesch¨aftigen.
[ H¨ohereMathematikIIWS2002/2003 JOSEPH-LOUISLAGRANGE(1736–1813)wurdealsGIU- SEPPELODOVICOLAGRANGIAinTuringeborenund studiertedortzun¨achstLatein.ErsteinealteArbeit vonHALLEY¨uberalgebraischeMethodeninderOp- tikweckteseinInteresseanderMathematik,woraus einausgedehnterBriefwechselmitEULERentstand. IneinemBriefvom12.August1755berichteteer diesemunteranderem¨uberseineMethodezurBe- rechnungvonMaximaundMinima;1756wurdeer, aufEULERsVorschlag,MitgliedderBerlinerAkade- mie;zehnJahresp¨aterzogernachBerlinundwurde dortEULERsNachfolgeralsmathemascherDirektorder Akademie.1787wechselteerandiePariserAcad´emiedesSciences,woerbiszuseinem TodbliebundunteranderemanderEinf¨uhrungdesmetrischenSystemsbeteiligtwar. SeineArbeitenumspannenweiteTeilederAnalysis,AlgebraundGeometrie. ZurpraktischenBestimmungvonExtremwertenunterNebenbedingun- gengehtmanwiefolgtvor:
¨ Uber diePunkte,indenenderGradient von
M verschwindet,machtobigerSatzkeineverwertbareAussage;die- sePunktem¨ussenalsovorabberechnetunduntersuchtwerden. Danachm¨ussendiePunktegefundenwerden,indenenesein
E
gibt,sodaß 1 1(
)
(
EM 1 1(
)=0
. . .
13(
)
(
EM 13(
)=0 M (
)=0 ist.DiesisteinSystemvon
G +1Gleichungenf¨urdie
G +1Unbe- kannten,allerdingsistdiesesGleichungssystemnurseltenlinearund damitoftnichtmitbekanntenMethodenl¨osbar.Manchmalkannman dasGleichungssystemdurchgeeigneteUmformungenundFallunter- scheidungenvollst¨andigl¨osen,inanderenF¨allenhelfennurdieaus derNumerikbekanntenN¨aherungsverfahrenwieetwadieMethodevon NEWTON-RAPHSON. FallsalleGleichungenPolynomgleichungensind(oderdurchEinf¨uhrunggeeigneter zus¨atzlicherVariablenaufPolynomgleichungenzur¨uckgef¨uhrtwerdenk¨onnen),kann manimFalleeinerendlichenL¨osungsmengedieseauchexaktbestimmen:Genauwie derGAUSS-AlgorithmuszurL¨osungeineslinearenGleichungssystemsdiesesaufeine
Kap.5:Optimierung,FehlerrechnungundStatistik
[" Treppengestaltbringt,ausdermandieL¨osungeneinfachermittelnkann,gibtesinder ComputeralgebraeinenAlgorithmus,derdasselbef¨urbeliebigeSystemevonPolynom- gleichungenversucht;dieGleichungen,diedieserAlgorithmusliefert,bezeichnetman alsGR¨OBNER-BasisoderStandardbasis.ZumVerst¨andnisdiesesAlgorithmus,denman alseineArtSyntheseausEUKLIDischenAlgorithmusundGAUSS-Algorithmusansehen kann,sindKenntnissederkommutativenAlgebraerforderlich,f¨urdiedieZeitindieser Vorlesungnichtausreicht;beieinigenImplementierungenwerdenzus¨atzlichauchnoch AlgorithmenausderInformatikeingesetzt,dietypischerweisenichtinGrundvorlesungen behandeltwerden.Deshalbseihiernurdaraufhingewiesen,daßdieg¨angigenuniversel- lenComputeralgebrasystemewieMaple,Mathematica,MuPadallesamtentsprechende Routinenenthalten,mitdenenmanauchdannexperimentierenkann,wennmandieda- hinterstehendeTheorienichtversteht. AlsBeispiel,wiegelegentlichaucheinnichtlinearesGleichungssystem elementargel¨ostwerdenkann,betrachtenwireineAnwendungaus denWirtschaftswissenschaften:DieGesamtproduktioneinesUnterneh- mensodereinesStaatsinAbh¨angigkeitvon
G eingesetztenRessourcen 1
222
wirdoftmodelliertdurcheinesogenannteCOBB-DOUGLAS- FunktionderForm d (
1
222
)=
e
f 1 1
222
f3 , benanntnachdenbeidenWissenschaftlern,diediesesModell1928 f¨urdieamerikanischeGesamtproduktioninAbh¨angigkeitvonKapi- talundArbeitindenJahren1899bis1922entwickelten.(Siefan- den
dg 101
;3
h 4
i1
h 4 mit
; =AnzahlderBesch¨aftigtenund i =Kapitaleinsatz.) BetrachtenwirstattdessendieProduktioneinesWirtschaftsgutsauszwei Resourcen
gem¨aßderFunktion (
)=
d (
)=
1
h 21
h 4 . FallswirderEinfachheithalberannehmen,daßdieKostenproEinheit f¨ur
und
gleichsindunddieGesamtkostenh¨ochstensgleichzw¨olf seind¨urfen,m¨ussenwir
maximierenunterderNebenbedingung +
j 12. Nunistaber
einemonotonwachsendeFunktionsowohlvon
als auchvon
,d.h.diemaximaleProduktionwirdsicherlicherreichtin einemPunkt,f¨urden
+
=12ist,dennf¨urjedenanderenPunkt
[: H¨ohereMathematikIIWS2002/2003 (
)mit
+
A 12ist
(
)
A
(
12
(
).Daherk¨onnenwirdie NebenbedingungindergewohntenForm M (
)=
+
(12=0 schreiben.DieseNebenbedingungsowiediezumaximierendeFunktion sindinAbbildung57dargestellt. 024681012 x024681012 y
01
23
4
5
6 z Abb.57:MaximierungeinerProduktionsfunktionbeifestemKapitaleinsatz AbleitungbeiderFunktionenzeigt,daß grad
M =
I 1 1
K undgrad
=
I 1
h 4
c 2
1
h 2 1
h 2
c 4
3
h 4
K ist;daszul¨osendeGleichungssystemwirdalsozu 1
h 4 2
1
h 2
(
E =0 1
h 2 4
3
h 4
(
E =0 +
(12=0
. (DieNennerbrauchenunsnichtzust¨oren,dennda
(0
)=
(
0)=0 ist,kommenL¨osungenmit
=0oder
=0f¨urdasMaximumohnehin nichtinFrage;wirk¨onnensiealsogetrostausschließen.)
Kap.5:Optimierung,FehlerrechnungundStatistik
[
F AlsAnsatzzueinerm¨oglichenL¨osungk¨onnenwirausnutzen,daß
E in denbeidenerstenGleichungenisoliertsteht;wennwirdanachaufl¨osen undgleichsetzen,erhaltenwirdieGleichung 1
h 4 2
1
h 2=
1
h 2 4
3
h 4. MultiplikationmitdemHauptnennermachtdaraus 4
1
h 43
h 4 =2
1
h 21
h 2 oder2
=
. EinsetzenindiedritteGleichungergibt3
=12,alsoist =4und
=8; derMaximalwertvon
ist (8
4)=81
h 241
h 4 =2
k 2
k 2=4. AuchdenLAGRANGEschenMultiplikator
E k¨onnenwirnochausrech- nen: E =
1
h 4 2
1
h 2=41
h 4 2
81
h 2=
k 2 2
2
k 2=1 4. DieBerechnungvon
E warf¨urdieBestimmungdesOptimumseigentlich ¨uberfl¨ussig;
E istnureineHilfsgr¨oßezurBerechnungdesExtremums. Wirwollenunsalsn¨achstes¨uberlegen,daßwir
E auchinhaltlichinter- pretierenk¨onnen:DazubetrachtenwireineNebenbedingung M (
1
222
)=
W mitvariablerrechterSeite
W undeinExtremumderFunktion (
1
222
). DiesesExtremumwirdnat¨urlichvon
W abh¨angen;wirschreibenesin derForm 1(
W )
222
(
W )
undnehmenan,daßdieFunktionen
l(
W )stetigdifferenzierbarseien. (EininteressierterLeserkannsichanhanddesSatzes¨uberimplizite Funktionen¨uberlegen,welcheBedingungen
und
M erf¨ullenm¨ussen,
[L H¨ohereMathematikIIWS2002/2003 damitdiesgarantiertist.)DerOptimalwertvon
inAbh¨angigkeitvon
W istdann \ (
W )= def
1(
W )
222
(
W )
. NachderKettenregelaus[HMI],Kapitel2,
D 3c)ist \
(
W )=
nm
l =1
o ol
Jl(
W ) JW. Genausok¨onnenwir p (
W )= def
M
1(
W )
222
(
W )
betrachtenunderhalten p
(
W )=
nm
l =1
oM ol
Jl(
W ) JW. Da
1(
W )
222
(
W )
einOptimumist,sinddortdieGradientenvon und
M(
W proportionalmitProportionalit¨atsfaktor
E .Dawirbeider Gradientenbildungnurnachden
lableiten,vondenendierechteSeite
W nichtabh¨angt,istderGradientvon
M(
W gleichdemvon
M selbst,d.h. o ol=
E
oM olf¨uralle
a . Somitist
\
(
W )=
E
p
(
W ).DaderPunkt
1(
W )
222
(
W )
dieNebenbe- dingungmitrechterSeite
W erf¨ullt,istaber
p (
W )=
W unddamit
p
(
W )
q 1. Alsoist
E =
\
(
W )dieWachstumsratef¨urdasOptimumbei
¨ Anderung
derrechtenSeitederNebenbedingung. ImobigenBeispielsteigtalsodieMaximalmenge
(
),diemitKa- pitaleinsatz12produziertwerdenkann,f¨urkleines
ungef¨ahrum
c 4, wennwirdenKapitaleinsatzauf12+
erh¨ohen.DieErh¨ohungdes Kapitaleinsatzeslohntsich,wennf¨urdasfertigeProdukteinPreispro Einheiterzieltwerdenkann,dergr¨oßeristalsvier. Alsletzteswollenwirunsnoch¨uberlegen,waspassiert,wennwirnicht nureine,sondernmehrereNebenbedingungenerf¨ullenm¨ussen.Esgeht
Kap.5:Optimierung,FehlerrechnungundStatistik
[
alsowiederdarum,eineFunktion
1
222
)zuoptimieren,jetzt aberunterdenNebenbedingungen M 1(
1
222
)
r 0
222
Mts
(
1
222
)
r 0. (Esgen¨ugt,Bedingungenmit
r zubetrachten,denndurchMultiplika- tionmitminusEinskannmanjedeUngleichungmit
j ineinemit
r ¨uberf¨uhren.AuchGleichungen
Ml=0kannmanzumindestformaldurch diebeidenUngleichungen
Ml
r 0und
(
Ml
r 0ausdr¨ucken.) DiewichtigstenBeispielesolcherOptimierungsaufgabensinddieF¨alle mitlinearenFunktionen
und
Ml;hierredetmanvonlinearenProgram- men.(DasWortProgrammeindiesemZusammenhanghatnat¨urlich nichtsmitComputerprogrammenzutun.)DaswichtigsteVerfahrenzur L¨osungsolcherAufgaben,derSimplex-Algorithmus,wirdinderVor- lesungNumerikIbehandelt,sodaßwirunshieraufdienichtlineare Programmierungbeschr¨ankenk¨onnen. Man¨uberlegtsichleicht,daßimlinearenFalldieNebenbedingungen ein(endlichesoderunendliches)Polyederim
definierenundeine lineareFunktion,sosieeinendlichesMaximumoderMinumumhat, diesesaufdemRanddiesesPolyedersannimmt,unddortsogarineiner Ecke,Manmußdaher ”nur“dieEckendiesesPolyedersuntersuchen –derenAnzahlallerdingsexponentiellmitderAnzahlderVariablen w¨achst.Trotzdemf¨uhrtderSimplex-AlgorithmusselbstimFallvon ZehntausendenvonVariablenimallgemeinenrechtschnellansZiel, sodaßdastheoretischeProblemderexponentiellenKomplexit¨atim schlimmstenFallf¨urpraktischeAnwendungenkeineBedeutunghat. BeinichtlinearenFunktionenistdieSituationkomplizierter,dennnun kannesauchimInnernExtremageben:DieFunktion (
)=
u
_
12_
v2 mitderNebenbedingung
2 +
2
j 1 etwanimmtihrMaximumimPunkt(0
0)an;aufdemRanddesEinheits- kreisesliegennurdieMinima.ImallgemeinenFalleinesnichtlinearen ProgrammskanneinOptimumalsoentwederganzimInnernliegenoder abereinebeliebigeTeilmengederNebenbedingungenexakterf¨ullen. FallswiresmitinnerenPunktezutunhaben,sinddieselokaleMaxima oderMinimaohneNebenbedingungen,undwirhabenunsbereitsin
D 1
[[ H¨ohereMathematikIIWS2002/2003 ¨uberlegt,wiemandiesebestimmt:InjedemsolchenPunktverschwindet derGradientderzuoptimierendenFunktion. ImFalleeinereinzigenGleichungalsNebenbedingungistderGradient von
linearabh¨angigvomGradientenderNebenbedingung;dader NullvektorvonjedemanderenVektorlinearabh¨angigist,schließtdies auchdenFallderOptimabeiinnerenPunktenmitein.Dienaheliegende VerallgemeinerungaufdenFallmehrererNebenbedingungenistdaher der Satz:DieFunktion
:
auf
P
habeimPunkt
Q
ein ExtremumunterdenNebenbedingungen M 1(
Q )
r 0
M 2(
Q )
r 0
222
M s(
Q )
r 0. Dannsinddie
N +1Vektoren grad
(
Q )grad
M 1(
Q )grad
M 2(
Q )
222grad
Ms(
Q ) linearabh¨angig. DerBeweiserfordertkeinewesentlichneuenIdeengegen¨uberdemFall einereinzigenNebenbedingungundseidahernurkurzskizziert:Falls dieGradientender
MlimPunkt
Q bereitsuntereinanderlinearabh¨angig sind,gibtesnichtsmehrzubeweisen;nehmenwiralsoan,sieseien linearunabh¨angig.Danngibtes(mindestens)
N verschiedeneVariablen w 1bis
wyx
,sodaß oMl owb(
Q )
? =0 ist.AlsokannnachdemSatz¨uberimpliziteFunktionenjedeNebenbe- dingungzurEliminationeineranderenVariablenbenutztwerden,und imwesentlichendieselbeRechnungwieimFalleinerNebenbedingung zeigtdieBehauptung. DielineareAbh¨angigkeitderVektoren grad
(
Q )grad
M 1(
Q )grad
M 2(
Q )
222grad
Ms(
Q ) bezeichnetmanalsKUHN-TUCKER-Bedingung;sieisteineoffensicht- licheVerallgemeinerungderBedingungvonLAGRANGE,istallerdings
Kap.5:Optimierung,FehlerrechnungundStatistik
"^ deutlichj¨unger:Sieerschien1951ineinergemeinsamenArbeitvon H.W.KUHNundA.W.TUCKER,vierJahre,nachdemG.DANTZIG denSimplex-Algorithmusentwickelthatte,undfastzweihundertJahre, nachdemLAGRANGEseineMultiplikatorenzurBestimmungvonExtre- mauntereinerNebenbedingungeingef¨uhrthatte.
§ 3: Numerische V erfahr en
Wiewirgesehenhaben,f¨uhrtdieMethodederLAGRANGEschenMulti- plikatorenimallgemeinenaufnichtlineareGleichungssysteme,dienur ineinfachenF¨allenexplizitl¨osbarsind.InallenanderenF¨allenmußman mitnumerischenMethodenarbeiten,unddabietetsichan,dasProblem vonvornhereinohnedenUmweg¨uberLAGRANGEscheMultiplikatoren Extremanumerischzubearbeiten. a)DieGradientenmethode F¨ureinedifferenzierbareFunktionauf
P
ist (
+
)=
(
)+grad
(
)
+
; wennwireinMaximum(oderMinimum)von
ansteuernwollen,liegt esdahernahe,
sozuw¨ahlen,daßsichderFunktionswertm¨oglichst starkvergr¨oßert(oderverkleinert). NachderCAUCHY-SCHWARZschenUngleichungist
grad
(
)
&
j
z grad
(
)
z
{{{
{{{
; wirerhaltenalsodiemaximalm¨oglicheVer¨anderungbeivorgegebener L¨angevon
&
genaudann,wenn
&
parallelzumGradientenist. DamitbietetsichfolgendeStrategiean:Wirw¨ahlenirgendeinenAus- gangspunkt
0undberechnendortdenGradienten
(
0).Weiterge- benunseineL¨ange
| 0f¨urdenVektorvor,dievonderL¨angedes Gradientenabh¨angenkannoderauchnicht.Dannsetzenwirbeider SuchenacheinemMaximum 0=
| 0z (
0)
z
(
0);
"^ H¨ohereMathematikIIWS2002/2003 beiderSuchenachMinimanehmenwirdasNegativedavon. Alsn¨achstesbetrachtenwirdenPunkt 1= def
0+
0, berechnendortdenGradienten
(
0),setzenmitgeeignetem
| 1 1=
}
| 1z (
1)
z
(
1) (+f¨urMaxima,
(f¨urMinima)zurDefinitiondesn¨achstenPunkts 2= def
1+
1 undsoweiter.InjedemSchritterh¨ohen(odererniedrigen)wirdenFunk- tionswertsoweitwieesmitdervorgegebenenL¨ange
| lnurm¨oglichist inderHoffnung,soirgendwannaufeinMaximum(oderMinimum)zu stoßen.Diesesk¨onnenwirerreichen,wennwiramRanddesDefiniti- onsbereichsvon
angelangtsind,oderaberwennwirineinemPunkt sind,indemderGradientverschwindet:Vondortausgehtesmitdiesem Verfahrennichtmehrweiter. DawirmiteinemnumerischenVerfahrennureinverschwindendgeringe Chancehaben,exaktineinemExtremumzuenden,zeigtsichhierauch dieNotwendigkeiteinerintelligentenWahlderSchrittweiten
| l:Wenn diesezugroßsind,kannespassieren,daßwirendlosumeinExtremum herumoszillieren. Theoretischistauchm¨oglich,daßwirineinemSattelpunktlanden, aberwennmansich¨uberlegt,wiedieGradienteninderUmgebung einesSattelpunktesaussehen,wirdschnellklar,daßdiesnursehrselten passiert. Abbildung58zeigteineinfachesBeispielf¨ureinenmitderGradienten- methodezur¨uckgelegtenWeg;hierwurdeinjedemSchritt I l~
l
K =01
(
l
l) gesetzt.DerWeggehtoffensichtlichrechtzielstrebigaufdasMaximum zu.
Kap.5:Optimierung,FehlerrechnungundStatistik
"^ -2 -1 0 1 2-1.5-1-0.500.511.5
0
0.5
1
1.5
2 Abb.58:EineAnwendungderGradientenmethode Abbildung59zeigtdasselbeBildineinenetwasgr¨oßerenZusammen- hang;hiersehenwir,daßunserStrebennachkurzfristigenGewinnen langfristigwohldochnichtsoerfolgreichwar:WennwirvomStart- punktausnachrechtsindiekleineMuldeabgestiegenw¨aren,h¨atten wiraufdemgegen¨uberliegendenHangdeutlichgr¨oßereFunktionswerte erreichtalsimlokalenMaximum,indemwirschließlichgelandetsind. Diesisteingrunds¨atzlichesProblemvonGradientenverfahren:Falls mansieinderN¨ahedes(absoluten)Optimumsstartenl¨aßt,f¨uhrensie schnellundzuverl¨assigansZiel,ansonstenaberistdieGefahrsehrgroß, daßmanineinemnurlokalenOptimumsteckenbleibt. Umvondortwiederweiterzukommen,gibtesverschiedeneStrategien. Eineanschaulichrechtklareistdiesogenannte ”Tunnelung“.DerName entstandausderBetrachtungvonMinimisierungsproblemen;nehmen wiralsoan,wirwollendasMinimumderFunktion
(
)ineinem gewissenBereichfindenundeinGradientenverfahrenhatunsineinen Punkt
gef¨uhrt,vondemausesnichtmehrweiterkommt.Umzu sehen,ob
=
(
)wirklichderkleinsteWertist,den
imbetrach- tetenBereichannehmenkann,versuchenwir,eineweitereL¨osungder Gleichung (
)=
