Fundamentos de

Otimizao Irrestrita
EEL 6000 - Mtodos Numricos de Otimizao
Laboratrio de Planejamento de Sistemas de Energia Eltrica
Centro Tecnolgico Departamento de Engenharia Eltrica
Tel. +55 (48) 331.9731/9933 Fax +55 (48) 331.7538
Homepage: htto://www.labplan.ufsc.br
Prof.: Erlon Cristian Finardi, D. Eng.
erlon.finardi@ufsc.br
Tcnicas para a Operao de SEE 2
2 EEL6000 Mtodos Numricos de Otimizao
Introduo
Problemas irrestritos
Minimizar a funo objetivo, que funo de variveis reais, sem
nenhuma restrio nestas variveis
Formulao
em que xe9
n
um vetor com n > 1 componentes e f:9
n
9
uma funo suave
min ( )
x
f x
Caractersticas
No est disponvel uma perspectiva global de f(x)
Toda a informao dada pelos valores de f(x), e (talvez) as suas
derivadas, em um conjunto de pontos x
0
, x
1
, x
2
,...
Algoritmos escolhem esses pontos e procuram identificar uma
soluo sem muito custo computacional
Frequentemente, a informao sobre f(x) no barata
interessante buscar essa informao o menor nmero de vezes
possvel
Tcnicas para a Operao de SEE 3
3 EEL6000 Mtodos Numricos de Otimizao
Exemplo
Conhecimento da aplicao
sinal exponencial e oscilatrio
- -
f = + +
2
3
4
1 2 5 6
( )
( ; ) cos( )
k t
k
t k k k e k k t
Escolher k
1
,...,k
6
tal que |(.)
seja mais prximo possvel de
y
i
Modelo de otimizao
incgnitas k=(k
1
,...,k
6
)
T
e desvios r
j
(k)=y
j
|(t
j
;k), j=1,...,m

=
=

6
2
1
min ( ) ( )
m
j
k
j
f k r k Mnimos Quadrados
Tcnicas para a Operao de SEE 4
4 EEL6000 Mtodos Numricos de Otimizao
O que uma Soluo?
Um ponto x* um ponto de mnimo global se
f(x*) s f (x) para x
Um ponto x* um ponto de mnimo local se
existe uma vizinhana N de x* tal f(x*) s f (x)
para x e N
Ponto de mnimo local fraco
Um ponto x* um ponto de mnimo local estrito
se existe uma vizinhana N de x* tal f(x*) < f (x)
para x e N, com x = x*
Ponto de mnimo local forte
Tcnicas para a Operao de SEE 5
5 EEL6000 Mtodos Numricos de Otimizao
Exemplos
Para f(x) = 2 cada ponto x um ponto de mnimo
global e local fraco
Por sua vez, f(x) = (x2)
4
possui um ponto de
mnimo global e local forte em x = 2
Muitos mnimos locais
Difcil encontrar o mnimo
global para tais funes
As vezes tem-se
informaes sobre
comportamento global
de f(x)
Importante caso: anlise
da convexidade de f(x)
Tcnicas para a Operao de SEE 6
6 EEL6000 Mtodos Numricos de Otimizao
Identificando um Mnimo Local...(1)
Condies Necessrias de 1

Ordem
Se x* um ponto de mnimo local e f(x*) diferencivel em uma
vizinhana de x*, ento Vf(x*)=0
Condio pode ser explicada com f(x*+p)=f(x*)+Vf(x*)
T
p. O vetor
Vf(x) fornece a direo de maior variao de f(x). Se Vf(x*) = 0
ento a taxa de variao da funo em qualquer direo p nula
Um mnimo local deve ser um ponto estacionrio de f(x)
Tcnicas para a Operao de SEE 7
7 EEL6000 Mtodos Numricos de Otimizao
Condies Necessrias de 2

Ordem
Se x* um ponto de mnimo local de f(x) e V
2
f(x)
contnua em uma vizinhana de x*, ento Vf(x*) = 0 e
V
2
f(x*) semidefinida positiva
Considere f(x*+p)=f(x*)+Vf(x*)
T
p+0,5p
T
V
2
f(x*)p.
Dado que Vf(x*) = 0, ento p
T
V
2
f(x*)p > 0
Condies Suficientes de 2

Ordem
Suponha que V
2
f(x) contnua em uma vizinhana de
x* e que Vf(x*) = 0 e V
2
f(x*) definida positiva -
p
T
V
2
f(x*)p > 0. Ento, x* um mnimo local estrito
de f(x)
Identificando um Mnimo Local...(2)
Anlise de Convexidade
Parte I: Funes
Tcnicas para a Operao de SEE 9
9 EEL6000 Mtodos Numricos de Otimizao
Definio de Matrizes
Uma matriz Ae9
nxn
simtrica se A=A
T
Uma matriz simtrica A definida positiva se
0 ,
T n
x Ax x > "
A matriz simtrica semidefinida positiva se a
relao acima atendida em x
T
Ax > 0 para
xe9
n
Uma matriz simtrica definida positiva possui
todos os autovalores positivos (reais)
Uma matriz semidefinida positiva possui pelo
menos um autovalor nulo e os demais so positivos
Tcnicas para a Operao de SEE 10
10 EEL6000 Mtodos Numricos de Otimizao
Conjuntos Convexos
Convexos No-Convexos
Um subconjunto C do 9
n

convexo se
Operaes que mantm a
convexidade
interseco, multiplicao por
escalar, soma de vetores, etc.
( ) , , , ( , ) x y C x y C o + o e e oe 1 0 1
Tcnicas para a Operao de SEE 11
11 EEL6000 Mtodos Numricos de Otimizao
Funes Convexas
Seja C um conjunto convexo do 9
n
. Uma funo
f: C 9 convexa se
Se f uma funo convexa, ento todos os
conjuntos {x eC |f(x) s a}, onde a um escalar,
so convexos
( ( ) ) ( ) ( ) ( ), , f x y f x f y x y C o + o so + o e 1 1
Tcnicas para a Operao de SEE 12
12 EEL6000 Mtodos Numricos de Otimizao
Teorema
Se f(x) tem primeira e segunda derivadas
parciais contnuas, ento os seguintes itens
so equivalentes
f(x) convexa
Para quaisquer dois pontos tem-se
A matriz de derivada parcial de segunda ordem semidefinida
positiva para todos os pontos de x
( ) ( ) ( )( )
t
f y f x f x y x > + V
Tcnicas para a Operao de SEE 13
13 EEL6000 Mtodos Numricos de Otimizao
Teorema Ilustrao
Tcnicas para a Operao de SEE 14
14 EEL6000 Mtodos Numricos de Otimizao
Identificando a Convexidade - I
2
( ) f x x =
-10 -8 -6 -4 -2 0 2 4 6 8 10
0
10
20
30
40
50
60
70
80
90
100
2
( ) f x x =
candidato
2 0 0
df
x x
dx
= = =
2
2
2 0
f
x
c
= >
c
Condio 1 ordem
(necessria)
Condio 2 ordem
(suficiente)
Matriz Hessiana definida positiva para qualquer valor de x
Funo estritamente convexa: (nico) ponto de mnimo local e global
Tcnicas para a Operao de SEE 15
15 EEL6000 Mtodos Numricos de Otimizao
Definio da Matriz Hessiana depende de x (Funo Indefinida)
Condies de 1 e 2 ordem so verificadas
Contudo, ponto candidato no um mnimo
3
( ) f x x =
-10 -8 -6 -4 -2 0 2 4 6 8 10
-1000
-800
-600
-400
-200
0
200
400
600
800
1000
2
2
0 DP
6 0 SPD
0 DN
x
f
x x
x
x
>

c

= =

c

<

Condio 1 ordem
(necessria)
Condio 2 ordem
(necessria)
candidato 2
3 0 0
df
x x
dx
= = =
Identificando a Convexidade - II
Tcnicas para a Operao de SEE 16
16 EEL6000 Mtodos Numricos de Otimizao
Identificando a Convexidade - III
Definio da Matriz Hessiana depende de x (Funo Convexa)
Condies de 1 e 2 ordem so verificadas
Ponto candidato um mnimo global
2
2
2
0 DP
12
0 SDP
x
f
x
x
x
=
c
=

=
c

Condio 1 ordem
(necessria)
Condio 2 ordem
(necessria)
candidato 3
4 0 0
df
x x
dx
= = =
4
( ) f x x =
-10 -8 -6 -4 -2 0 2 4 6 8 10
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
Tcnicas para a Operao de SEE 17
17 EEL6000 Mtodos Numricos de Otimizao
Auto Valores e Formas Quadrticas
2 2
1 2 1 1 2 2 1 2
4 4 3 2 ( , ) f x x x x x x x x = + + + +
Tcnicas para a Operao de SEE 18
18 EEL6000 Mtodos Numricos de Otimizao
8 4
1
0
2 4 6
( ) ' ' , f x x Hx b x c H b c
( (
= + + = = =
( (

1
, e
2
Curvas de Nvel
Tcnicas para a Operao de SEE 19
19 EEL6000 Mtodos Numricos de Otimizao
Auto Valores e Formas Quadrticas
2 1
2
2 2 1
2
1 2 1
2 3 4 4 ) , ( x x x x x x x x f + + + + =
Funo quadrtica com Hessiana DP possui um (nico) ponto de
mnimo
Condio 1 ordem
(necessria)
ponto candidato
(
=
(

0,0625
0,375
x
Hessiana
Definida
Positiva - DP
autovalores
2
1 2
8 4
( , )
4 6
xx
f x x
(
V =
(

1
2
2,877
11,123
=
=
+ +
( (
V = =
( (
+ +

1 2
1 2
1 2
8 4 1 0
( , )
4 6 2 0
x x
f x x
x x
Tcnicas para a Operao de SEE 20
20 EEL6000 Mtodos Numricos de Otimizao
Auto Valores e Formas Quadrticas
2 1
2
2 2 1
2
1 2 1
2 4 6 2 ) , ( x x x x x x x x f + + + + =
Tcnicas para a Operao de SEE 21
21 EEL6000 Mtodos Numricos de Otimizao
Curvas de Nvel
4 6
1
0
2 6 2
( ) ' ' , f x x Hx b x c H b c
( (
= + + = = =
( (

4
, e
2
Tcnicas para a Operao de SEE 22
22 EEL6000 Mtodos Numricos de Otimizao
Auto Valores e Formas
Quadrticas
Matriz
Hessiana
Indefinida
autovalores
2
1 2
4 6
( , )
6 2
xx
f x x
(
V =
(

Condio 1 ordem
(necessria)
ponto candidato
Funo quadrtica indefinida (i.e., Hessiana no SDP ou DP) no
possui um ponto de mnimo (limitado)
2 1
2
2 2 1
2
1 2 1
2 4 6 2 ) , ( x x x x x x x x f + + + + =
1
2
3,083
9,083
=
=
+ +
( (
V = =
( (
+ +

1 2
1 2
1 2
4 6 4 0
( , )
6 2 2 0
x x
f x x
x x
0,143
0,571
x

(
=
(

Tcnicas para a Operao de SEE 23
23 EEL6000 Mtodos Numricos de Otimizao
Funes de Ordem Superior
2 2
2 1
2
2
2
1 2 1
) 7 ( ) 11 ( ) , ( + + + = x x x x x x f
Tcnicas para a Operao de SEE 24
24 EEL6000 Mtodos Numricos de Otimizao
Curvas de Nvel
Tcnicas para a Operao de SEE 25
25 EEL6000 Mtodos Numricos de Otimizao
Auto Valores e Convexidade
Condio de primeira ordem
2 2
1 1 2 1 2
2 2
2 1 2 2 1
0
4 ( 11) 2( 7)
( )
0
2( 11) 4 ( 7)
x x x x x
f x
x x x x x
( + + +
(
V = =
(
(
+ + +


Fornece o seguinte ponto estacionrio x
c
=[3,2]'
Matriz Hessiana
2
1 2 1 2 2
2
1 2 2 1
12 4 42 4( )
( )
4( ) 12 4 26
xx
x x x x
f x
x x x x
( + +
V =
(
+ +

em x
c
possui autovalores
1
=25,71 e
2
=82,28 ( DP)
Portanto, x
c
um ponto de mnimo local
Mnimo global s pode ser encontrado por investigao de
todos os pontos estacionrios
Condio de otimalidade (forte - suficiente) de segunda
ordem atendida
OBRIGADO!
Prof. Erlon Cristian Finardi
erlon.finardi@ufsc.br