Kondisi Yang Cukup untuk Solusi Optimal Lokal dan Global

Tes untuk turunan kedua pada kalkulus berdasarkan pernyataan berikut. Jika sebuah fungsi 𝑓 dua
kali diturunka𝑛 saat 𝑥0 , maka aproksimasi kuadratik polinomial taylor dari 𝑓 saat 𝑥0 diberikan oleh:

(𝑥0 )
𝑃2 (𝑥) = 𝑓(𝑥0 ) + 𝑓 ′(𝑥0 ) (𝑥 − 𝑥0 ) + 𝑓" (𝑥 − 𝑥0 )2 (6.27)
2

Saat 𝑓(𝑥0 ) = 0

(𝑥0 )
𝑓(𝑥) ≈ 𝑓(𝑥0 ) + 𝑓" 2
(𝑥 − 𝑥0 )2 𝑢𝑛𝑡𝑢𝑘 𝑥 ≈ 𝑥0 (6.28)

Nilai 𝑓"(𝑥0 ) menunjukkan apakah nilai-nilai lokal berada di dekat 𝑥0 . Jika grafik 𝑓 adalah parabola
terbuka keatas, maka 𝑥0 adalah minimum lokal. Jika grafik 𝑓merupakan parabola terbuka kebawah
maka 𝑥0 adalah nilai maksimum lokal. Tentunya, kedua kasus ini berhubungan dengan konveks dan
konkav pada saat 𝑥0 . Jika 𝑓"(𝑥0 ) = 0, maka tidak ada kesimpulan yang dapat mengenai titik kritis,
artinya diperlukan penyelidikan yang lainnya.

6.4.1 Fungsi Kuadrat

Karena fungsi kuadrat memegang kunci untuk tes turunan kedua, kami menyelidiki analognya yang
berdimensi lebih tinggi. Di ℝ𝑛 , fungsi jenis ini dikenal sebagai bentuk kuadrat. Sebelum
mendefinisikan istilah ini, kita ingat bahwa matriks simetris A harus memenuhi 𝐴𝑡 = 𝐴.

Definisi 6.4.1

Bentuk kuadratik di ℝ𝑛 adalah fungsi 𝑓: ℝ𝑛 → ℝ direpresentasikan sebagai 𝑓(𝑥) = 𝑥 𝑡 𝐴𝑥, untuk

beberapa n oleh n matriks simetris A.

Kami biasanya mengaitkan A sebagai matriks yang terkait dengan bentuk kuadratik. Ketika 𝑛 = 1,
kuantitas ini hanyalah koefisien dari fungsi daya kuadrat 𝑓(𝑥) = 𝑎𝑥 2 .

Hal ini karena matriks, A, terkait dengan bentuk kuadratik adalah simetris bahwa gradien f
mengambil bentuk yang sangat sederhana. Yaitu, 𝛻𝑓(𝑥) = 2𝐴𝑥. Kami akan sering menggunakan
fakta ini selama diskusi selanjutnya.

Gambar 6.8-6.10 mengilustrasikan tiga bentuk kuadrat yang berbeda yang memiliki domain ℝ2 .
Amati bagaimana bentuk mereka berbeda.

6.4. Sufficient Conditions for Local and Global Optimal Solutions 213

FIGURE 6.9: Quadratic form f (x1, x2) = − 2x21+ 2x1x2 − 3x21

6.4.2 Bentuk Kuadrat Pasti Positif

Contoh yang ditunjukkan pada Gambar 6.8-6.10 mengilustrasikan tiga tipe dasar bentuk kuadratik
memiliki domain R2: paraboloids membuka, paraboloids membuka ke bawah, dan permukaan
berbentuk sadel. Trikotomi ini meluas kedimensi yang lebih tinggi dan dijelaskan dengan cara
berikut.
Definisi 6.4.2. Bentuk kuadrat f pada Rn adalah pasti positif jika dan hanya jika

f (x)> 0 untuk setiap x, 0.

Bentuk kuadrat pasti negatif jika dan hanya jika

f (x) <0 untuk setiap x, 0 atau, ekuivalen, jika isf positif pasti.

Akhirnya, f tidak pasti jika f (x) positif untuk beberapa pilihan x dan negatif untuk pilihan lain.

6.4. Sufficient Conditions for Local and Global Optimal Solutions

Menentukan apakah bentuk kuadrat tertentu positif pasti, negatif pasti, atau tidak terbatas hanya
menggunakan Definisi 6.4.2 dapat membuktikan cukup menantang. Untungnya, ada cara alternatif,
yang mengkapitalisasi fakta bahwa setiap bentuk kuadrat ditentukan sepenuhnya oleh simetris
persegi matriks. Teorema berikut, yang bukti yang kami abaikan tetapi yang dapat ditemukan dalam
berbagai sumber, menggunakan nilai eigen sebagai alat untuk mengklasifikasikan kuadrat bentuk
[15], [6]. Ingat bahwa nilai eigen dari matriks n-oleh-n A adalah skalar, λ, Memuaskan Ax = λx untuk
beberapa vektor tak nol x ∈ Rn. Untuk matriks simetris, semua nilai eigen bernilai nyata. (Lihat
Lampiran ??.)

Teorema 6.4.1. Misalkan A adalah n simetris oleh matriks yang bernilai real entri dan itu

f: Rn → R adalah bentuk kuadrat yang diberikan oleh

f (x) = xtAx.

Maka f adalah positif pasti (resp. Negative definite) jika dan hanya jika semua nilai eigen A positif
(resp. negatif).

Waypoint 6.4.1. Tentukan nilai eigen dari orang-orang yang terkait dengan bentuk kuadratik dalam
Gambar 6.8 dan 6.9. Gunakan hasil Anda untuk mengklasifikasikan masing-masing sebagai definitif
definitif atau negatif positif.

Teorema 6.4.1 tidak lengkap dalam hal mengklasifikasikan semua bentuk kuadrat. SEBUAH sedikit
modifikasi dari Definition 6.4.2 menghindari masalah ini. Yakni, kita rileks

kondisi ketimpangan yang ketat dan menentukan bentuk kuadrat f menjadi positif semidefinite jika
dan hanya jika

f (x) ≥ 0 untuk setiap x, 0.

Amodifikasi dari pernyataan teorema sebelumnya yang mengklasifikasikan kuadratik formas

semidefinite positif jika semua nilai eigen tidak negatif. Gagasan tentang semidefinite negatif
didefinisikan secara analog. Akhirnya kami katakan bahwa kuadratnya formof f tidak pasti jika tidak
semidefinit positif atau negatif, yang berarti ia memiliki nilai eigen positif dan negatif.

Dengan satu alat tambahan lainnya, kita akan menemukan bagaimana ketiga jenis ini bentuk kuadrat
memegang kunci untuk membangun versi dimensi tinggi kami tes turunan kedua.
6.4.4 UsingMaple ToClassifyCritical Points for theUnconstrained NLP

Lembar kerja berikut, ClassifyingCriticalPoints.mw, menunjukkan caranya berbagai perintah maple

digabungkan untuk menentukan dan mengklasifikasikan kritis titik dari ConPro Manufacturing
Company NLP yang tidak dibatasi

> with(VectorCalculus):with(LinearAlgebra):
> f:=(x1,x2)->1400*x1ˆ(1/2)*x2ˆ(1/3)-350*x1-200*x2;
# Enter function to maximized.
f := (x1, x2)→ 1400√x1x1/3
2− 350x1 − 200x2
> Delf:=unapply(Gradient(f(x1,x2),[x1,x2]),[x1,x2]):
# Create the gradient function of f.
> solve({Delf(x1,x2)[1]=0,Delf(x1,x2)[2]=0},{x1,x2});
# Determine the critical point by solving a system of two equations
in x1 and x2. These are formed by setting each component of the
gradient of f equal to 0.
{x1 = 784/9, x2 = 2744/27}
> evalf(%);
# Determine floating point approximation of critical point.
{x1 = 87.1111, x2 = 101.6296}
6.4. Sufficient Conditions for Local and Global Optimal Solutions 225
> subs(%,f(x1,x2));
# Determine objective value at critical point.

6.4.5 The Zero-SumMatrix Game, Revisited

Kami mengakhiri bagian ini dengan meninjau kembali topik permainan matriks dari
Bagian 4.1. Melakukan hal itu akan menggambarkan hubungan antara titik-titik pelana
dan dualitas teori.

Ingat dari Bagian 4.1 Permainan matriks zero-sum Steve dan Ed yang melibatkan
Matriks pembayaran 3-oleh-3

(6.51)

Dalam permainan ini, di setiap permainan, Ed mengambil kolom dan, secara bersamaan, Steve
memilih satu baris. Jumlah dolar ai, j dalam entri yang dihasilkan kemudian pergi ke Ed jika itu
positif dan untuk Steve jika negatif. Dari Waypoint 4.1.3 kita tahu bahwa strategi campuran
Nash keseimbangan untuk permainan menghasilkan Ed dan Steve strategi keseimbangan
ekuilibrium, x0 dan y0, masing-masing, bersama dengan yang sesuai

pendapatan. Untuk Ed, x0 = yang menunjukkan dia harus memilih

 yang menunjukkan dia harus memilih kolom satu dengan probabilitas 3 28, kolom dua dengan
probabilitas 9 28, dan kolom tiga dengan probabilitas 47 Demikian pula, strategi campuran seimbang
Steve

dari y0 =

1/2 5/14 1/7

Saya mendikte dia harus memilih satu baris sampai tiga dengan probabilitas masing-masing, 1

2, 5

14, dan 17 Nilai gim yang sesuai strategi ini sama dengan 13

14 Ini mewakili jumlah rata-rata Edwins (dan Steve kalah) ketika setiap pemain mengikuti
strategi gabungan keseimbangannya. Karena ini Nilai permainan dan strategi keseimbangan
merupakan strategi campuran Nash kesetimbangan, kita tahu bahwa Ed tidak dapat
meningkatkan penghasilan rata-rata dari 13 14 dengan menyimpang dari strategi campuran
ekuilibriumnya sementara Steve terus ikuti miliknya. Demikian juga, kita tahu bahwa Steve tidak
dapat mengurangi kerugiannya 13 14 dengan menyimpang dari strategi campuran
ekuilibriumnya sementara Ed terus berlanjut ikuti miliknya.

Dalam Bagian 4.1, kami menentukan strategi gabungan seimbang dari Equilibrium, x0, adalah
solusi dari LP berikut:

(6.52)

(Ingat bahwa e menunjukkan vektor 3-oleh-1 dari 1s.) Strategi keseimbangan seimbang Steve,
y0, adalah solusi dari LP ganda yang sesuai dengan LP (6.52):

(Catatan: Notasi dalam formulasi LP ganda ini sedikit berbeda dari itu digunakan dalam Bagian
4.1.5. Di sini kita menganggap bahwa y adalah vektor kolom, sebagai lawan ke vektor baris, di
R3.) Permainan matriks zero-sum ini juga dapat dijelaskan menggunakan hasil dari ini bagian.
Pertimbangkan produk matriks ytAx. Sejak x1 + x2 + x3 = 1dan y1 + y2 + y3 = 1, produk ini
mendefinisikan fungsi f: R4 → R sebagai berikut:

(6.54)

Waypoint 6.4.5. Tunjukkan bahwa f dalam (6.54) memiliki satu titik kritis, sebuah pelana titik, di

dimana f (x1,0, x2,0, y1,0, y2,0) =

13

14

. Ini menunjukkan bagaimana campuran strategi Nash ekuilibrium dari permainan zero-
summatrix sesuai dengan titik pelana dari satu fungsi, yang dibentuk menggunakan hasil
matriks dan outputnya pada titik sadel adalah nilai permainan. Bahwa hasil ini berlaku umum
adalah kasus khusus hasil klasik dari teori permainan, yang dikenal sebagai Teorema von
Neumann Minimax.

Kami menyimpulkan bagian ini dengan mencatat bahwa, sementara pemain tidak dapat
meningkatkan posisinya dengan secara sepihak menyimpang dari strategi gabungan
ekuilibriumnya, itu dimungkinkan bagi kedua pemain untuk secara bersamaan menyimpang dari
keseimbangan mereka strategi campuran dan untuk satu atau lainnya untuk mendapatkan
keuntungan sebagai hasilnya. Latihan (8) mengilustrasikan fenomena ini.

1. Tentukan aproksimasi kuadrat,

. Plot aproksimasi ini bersama dengan fungsi f.

2. Ingat Program Pelatihan Pentatlon Pam, Latihan 2, dari Bagian 6.1. Ketika dinyatakan sebagai
masalah maksimalisasi, tujuan terwakili oleh fungsi f: S → R, di mana S = R31= {(x1, x2, x3) | x1,
x2, x3 ≥ 0} dan di mana

3. Dalam rumus ini, x1, x2, dan x3 menunjukkan jumlah jam setiap minggu

Pam mengabdikan untuk angkat berat, lari jarak jauh, dan latihan kecepatan. Nilai f (x1, x2, x3)
mewakili bagian dari total pentathlon Pam skor karena penampilannya dalam lari 800 meter
dan tembakan. Tunjukkan bahwa fungsi f sangat cembung pada S dengan menetapkan bahwa
Hessian pasti positif di sana. (Petunjuk: Ekspresikan theHessian dalam formulir Hf (x) = φ (x) A,
di mana φ adalah fungsi positif yang didefinisikan pada S dan di mana A adalah matriks pasti
positif angka. Kemudian setiap nilai eigen dari Hf (x) adalah produk dari φ (x) dan nilai eigen dari
A.) 3. Hitung semua poin penting dari masing-masing fungsi berikut ini domain yang dinyatakan
S. Tentukan apakah fungsi cembung, cekung, atau tidak pada S dan kemudian
mengklasifikasikan setiap titik kritis sebagai lokal atau global minimum, maksimum lokal atau
global, atau titik sadel.

Suppose that f : Rn → R is the general quadratic mapping defined by di mana A adalah matriks
nonsingular, n-oleh-n, b di Rn, dan c adalah nyata jumlah. Tunjukkan bahwa x = A − 1b adalah
satu-satunya titik kritis dari f dan itu titik kritis ini adalah minimum global (resp. Global
maksimum) jika A adalahpositif yang pasti (resp. negative definite). Gunakan hasil ini untuk
menentukan minimum global f dalam (6,55) ketika A =

"

5. Persamaan umum bidang di R3 diberikan oleh ntx = d, di mana n adalah

vektor tetap di R3 (vektor normal), x =

Tentukan rumus dalam hal n untuk titik, x0, pada bidang ini paling dekat dengan asalnya.
Kemudian temukan titik pada bidang x1 + 2x2 + 3x3 = 1

yang paling dekat dengan asal.