Nichtglatte Optimierung

Zentrum Mathematik
Technische Universitat Munchen
Prof. Dr. Michael Ulbrich
Dr. Moritz Simon
Sommersemester 2011

Ubungsblatt
6
Nichtglatte Optimierung
1. Motivation für Bundle-Verfahren 2. Ordnung: Sei xk ∈ Rn und γk > 0.
(a) Sei f : Rn → R stetig dierenzierbar. Zeigen Sie, dass sk = −γk ∇f(xk ) die
eindeutige Losung des folgenden euklidischen Problems ist:
minn ∇f(xk )T s +
s∈R
1
ksk2
2γk
(b) Sei zudem Hk ∈ Rn×n symmetrisch positiv denitiv (\spd"). Zeigen Sie allk
gemeiner, dass sk = −γk H−1
ost:
k ∇f(x ) folgendes Problem eindeutig l
minn ∇f(xk )T s +
s∈R
1 T
s Hk s
2γk
(c) Sei nun f : Rn → R konvex. Erortern Sie, warum es im Zusammenhang mit
Bundle-Verfahren vorteilhaft sein konnte, das Problem
k
min fse
Jk (x + s) +
s∈Rn
1 T
s Hk s
2γk
zur Schrittberechnung zu verwenden; dabei versucht man die spd-Matrix Hk
derart zu wahlen, dass sie das globale Krummungsverhalten von f in einer
Umgebung der Iterierten xk moglichst gut approximiert.
2. Eigenwert-Optimierung: In den Anwendungen tritt oft das Problem auf, den
groten Eigenwert einer symmetrischen Matrix zu minimieren. Dazu betrachten
wir die Funktion
λmax : S n×n → R, A 7→ max vT Av
kvk=1
bzgl. der euklidischen Norm. Ferner vereinbaren wir gema X • Y :=
das \Frobenius-Skalarprodukt" zweier Matrizen X, Y ∈ Rn×n .
Pn
i,j=1
xij yij
(a) Begrunden Sie, dass die Funktion λmax konvex ist.
(b) Zeigen Sie, dass fur alle v ∈ Rn und A ∈ S n×n folgendes gilt:
vvT • A = vT Av ≤ λmax (A) kvk2
(c) Sei q ein normierter Eigenvektor zum Eigenwert λmax (A). Zeigen Sie, dass
dann qqT ein \Frobenius-Subgradient" von λmax in A ist:
λmax (B) − λmax (A) ≥ qqT • (B − A) ∀ B ∈ S n×n
(d) Seien nun Ai ∈ S n×n fur i = 0, . . . , m. Bestimmen Sie zu jedem t ∈ Rm einen
Subgradienten g(t) ∈ Rm der konvexen Verkettung
f : Rm → R,
t 7→ λmax A0 +
Pm
i=1 ti Ai
.
3. Verallgemeinerte Differentiale: F
ur lokal Lipschitz-stetige F : U →
◦
n
U = U ⊆ R existiert in jedem x ∈ U das Bouligand-Subdifferential
∂B F(x) := M ∈ Rm×n ∃ (xk ) ⊂ Ud : xk → x, F 0 (xk ) → M ,
Rm mit
wobei Ud ⊆ U die Menge der Dierenzierbarkeitspunkte von F bezeichnet. Das
verallgemeinerte Clarke-Differential ist dann ∂cl F(x) := conv ∂B F(x).
Fur konvexe Funktionen f : U → R gilt tatsachlich ∂cl f(x) = ∂f(x)T , wobei die
Transposition elementweise zu lesen ist. Dies wollen wir abschlieend an der konkaven NCP-Funktion
p
φ(a, b) ≡ a + b −
a2 + b2
von Fischer und Burmeister (daher \FB-Funktion") illustrieren.
(a) Zeigen Sie, dass φ : R2 → R eine NCP-Funktion ist:
φ(a, b) = 0
⇐⇒
a, b ≥ 0 und ab = 0.
(b) Berechnen Sie das Subdierential ∂f(a, b) von f := −φ fur alle a, b ∈ R.
(c) Bestimmen Sie ferner das Bouligand-Subdierential ∂B φ der FB-Funktion
und daraus das zugehorige Clarke-Dierential ∂cl φ.
Zur Erinnerung: Die Semestralklausur ndet am 18. August 2011 von 10:00 bis 11:00
im MI HS 2 statt. Wir wunschen Ihnen viel Erfolg bei Ihrer Vorbereitung!
,