Professional Documents
Culture Documents
Prambule
1.1
Dfinitions prliminaires
Soit f : U R une fonction de n variables (x1 , x2 , ..., xn ) valeurs relles dont lensemble de dfinition U constitue un sous-ensemble de Rn . On supposera toujours que f
est continue et deux fois diffrentiable.
f (x1 ,x2 ,...,xn)
);
xi
2 f (x1 ,x2 ,...,xn)
)
xi xj
on note fij
Dterminant dune matrice : Le dterminant dune matrice est dfini par induction :
Une matrice (1,1) est juste un scalaire
a. Le dterminant de cette matrice est gal a.
!
a b
a b
Matrice (2,2) : soit M =
. Le dterminant de M scrit
= ad bc.
c d
c d
a b c
det(M )
f
i
d f
d e
b
+c
g i
g h
Mineurs principaux dune matrice : Soit M une matrice carr symtrique de dimension (n, n). Un mineur principal dordre k est le dterminant de la sous-matrice de M
dordre k obtenue en supprimant n k lignes et les n k colonnes correspondantes dans
M.
a12 a13
a22 a23
a32 a33
a
11
et
a21
a12
a32
Mineurs principaux diagonaux dune matrice : Soit M une matrice carr symtrique de dimension (n, n). Le mineur principal diagonal dordre k (not Dk ) de la matrice
M est le dterminant de la matrice de taille (k, k) obtenue en liminant les n k dernires
lignes et n k dernires colonnes de la matrice M . Une matrice carr dordre n admet n
mineurs principaux diagonaux.
N.B. : Le mineur principal diagonal dordre k dune matrice est lun de ses mineurs
principaux dordre k.
a12 a13
a22 a23
a32 a33
H(x1 , x2 , ..., xn ) =
f11
f21
..
.
f12
f12
..
..
.
.
fn2
fn1
f1n
f2n
..
.
fnn
H(x1 , x2 , ..., xn ) =
0
f1
f2
..
.
f1
f11
f21
..
.
fn fn1
f2
f12
f12
..
..
.
.
fn2
fn
f1n
f2n
..
.
fnn
JG (x1 , x2 , ..., xn ) =
1.2
g1
e
x1 (x)
g2
e)
(
x
x1
..
.
gm
e
x1 (x)
g1
e
x2 (x)
g2
e)
(
x
x2
..
.
..
.
g1
e
x2 (x)
g1
e
xn (x)
g2
e)
(
x
xn
..
.
gm
e
xn (x)
Matrice dfinie positive : Soit M une matrice carre symtrique. Soit A un vecteur
colonne quelconque. On note A sa transpose. M est dite dfinie positive si et seulement
si :
A M A > 0 A 6= 0
N.B. :
Les lments diagonaux aii dune matrice dfinie positive sont tous > 0.
Matrice semi-dfinie positive : Soit M une matrice carre symtrique. Soit A un vecteur colonne quelconque. On note A sa transpose. Une matrice M est dite semi-dfinie
positive si et seulement si :
A M A > 0 A
3
N.B. :
Les lments diagonaux aii dune matrice semi-dfinie positive sont tous 0.
Matrice dfinie ngative : Soit M une matrice carre symtrique. Soit A un vecteur
colonne quelconque. On note A sa transpose. M est dite dfinie ngative si et seulement
si :
A M A < 0 A 6= 0
N.B. :
Les lments diagonaux aii dune matrice dfinie ngative sont tous < 0.
Matrice semi-dfinie ngative : Soit M une matrice carre symtrique. Soit A un vecteur colonne quelconque. On note A sa transpose. M est dite semi-dfinie ngative si et
seulement si :
A M A 6 0 A
N.B. :
Les lments diagonaux aii dune matrice semi-dfinie ngative sont tous 0.
1.3
Ensembles convexes
1.4
f (1 )x + y 6 (1 )f (x) + f (y)
f est strictement convexe sur S ssi :
x
-3
-2
-1
Courbes de niveau
4
2.
4
3
1
1
5.
1.
y 2
6
4
2 f x,y
0
-2
2
x
3.
5.
4.
0
0
00
3
x
x
-3
-2
-1
Courbes de niveau
4
2.
f x,y
4
3
y
5.
0
1.
6
4
2
1
3.
5.
4.
0
0
00
3
x
fxx
fxy
fxz
2 2 2
2 0 6
fzx
fzy
fzz
Noter quici, la matrice hessienne est indpendante de ses arguments x, y et z (ce nest
pas toujours le cas). Les mineurs principaux diagonaux de H sont D1 = 2 > 0, D2 =
4 > 0 et D3 = 8 > 0, donc H est dfinie positive, donc f est strictement convexe.
1.5
Fonctions quasi-concaves : Une fonction valeurs relles f dfinie sur Rn est dite
quasi-concave ssi ses contours suprieurs forment des ensembles convexes, c.--d. ssi lene Rn : f (x
e) > c} est convexe pour toutes les valeurs de c.
semble P = {x
Une telle dfinition ne donne pas une reprsentation trs intuitive de la notion de
quasi-concavit dune fonction. Pour se faire une ide de ce que recouvre ce concept, il est
important davoir en tte un ou deux exemples de fonctions quasi-concaves.
Dans le cas une variable, on pensera la fonction f reprsente la figure 6. Elle
nest clairement pas convexe, puisquon peut trouver deux points de cette fonction unis par
un segment passant au-dessus de la courbe. En revanche, cest une fonction quasi-concave,
car lensemble des valeurs x telles que f (x) > c est un ensemble convexe. Cet ensemble
correspond en effet au segment en gras sur le graphique. Quelle que soit la valeur de c, ce
segment est est constitu dun seul tenant.
A linverse, la fonction f une variable reprsente la figure 7 nest pas quasi-concave
car ses contours suprieurs ne sont pas convexes.
Figure 6: Fonction (strictement) quasi-concave f (x, y) = exp (x2 ). La fonction est quasi
concave car lensemble des valeurs x telles que f (x) > c est un ensemble (ici un segment)
(strictement) convexe.
f x
1
0.8
0.6
0.4
0.2
x
-3
-2
-1
Figure 7: Fonction qui nest pas quasi-concave car lensemble des valeurs x telles que
f (x) > c est un ensemble (constitu ici de la runion de deux segments) non convexe.
f
x
1
0.8
0.6
0.4
0.2
x
-3
-2
-1
Figure 8: Fonction (strictement) quasi-concave f (x, y) = exp (x 2)2 (y 2)2 . Reprsentation en 3 dimensions et courbes de niveau.
Reprsentation de la fonction en 3D
Courbes de niveau
3.5
0.1
4
3
2.5
2
0.3 0.5
0.4 0.2
1
0.75
0.5 f x,y
0.25
0
1.5
1
y 2
1
1
0.5
2
x
0
0
00
0.5
1.5
2.5
3.5
Contre-exemple 2
La figure 10 montre le graphique dune fonction quasi-convexe dans le cas une seule
variable. Bien que cette fonction ne soit pas convexe, ses contours infrieurs sont convexes.
Elle est donc bien quasi-convexe.
Figure 10: Fonction (strictement) quasi-convexe f (x, y) = 1 exp (x2 ). La fonction est
quasi-concave car lensemble des valeurs x telles que f (x) 6 c est un ensemble (ici un
segment) convexe.
f x
1
0.8
0.6
0.4
0.2
x
-3
-2
-1
11
Courbes de niveau
3.5
0.9
1
2.5
0.75
f x,y
4
3
y
0.7 0.5
0.6 0.8
0.5
0.25
1.5
0
1
2
2
0.5
1
1
x
0
0
00
0.5
1.5
2.5
3.5
Proprits importantes :
f concave (resp. convexe) f quasi-concave (resp. quasi-convexe) (attention : la rciproque nest pas vraie).
f quasi-concave (f ) quasi-convexe.
La somme de deux fonctions quasi-concaves (resp. quasi-convexes) nest pas ncessairement une fonction quasi-concave (resp. quasi-convexe).
Toute transformation monotone dune fonction concave (resp. convexe) est une fonction
quasi-concave (resp. quasi-convexe) : si f est une fonction
concave (resp. convexe) et
g est une fonction monotone, alors la fonction g f (x) est quasi concave (resp. quasiconvexe).
Caractrisation :
f quasi-concave les mineurs principaux diagonaux Dk de la matrice hessienne borde
de f alternent en signe partir de k = 3, avec Dk > 0 pour k impair et Dk 6 0 (k pair)
e Rn (attention : la rciproque nest pas ncessairement vraie).
x
Les mineurs principaux diagonaux Dk de la matrice hessienne borde de f alternent en
e Rn f
signe partir de k = 2, avec Dk > 0 pour k impair et Dk < 0 (k pair) x
quasi-concave.
f quasi-convexe les mineurs principaux diagonaux Dk de la matrice hessienne borde
e Rn (attention : la rciproque nest pas
de f sont tous 6 0 partir de k = 3 x
ncessairement vraie).
Les mineurs principaux diagonaux Dk de la matrice hessienne borde de f sont tous < 0
e Rn f quasi-convexe.
partir de k = 2 x
Exemple : Trouver une condition suffisante sur x et y permettant daffirmer que la
fonction f (xy) = xy est quasi-concave.
12
0 fx
fy
0 y x
x 1 0
fy fxy
fyy
13
2.1
Notations
Un programme doptimisation scrit typiquement sous la forme (avec s.c. pour sous
contraintes ) :
max
f (x1 , x2 , ..., xn )
P x1 ,x2,...,xn
s.c.
contrainte(j) j = 1, ..., m
sil sagit dun programme de maximisation sous contraintes et sous la forme :
min
P x1 ,x2 ,...,xn
s.c.
f (x1 , x2 , ..., xn )
contrainte(j) j = 1, ..., m
2.2
Dfinitions
Maximum, minimum :
e qui rsout le programme P est un maximum de la fonction f sous les
La valeur x
contraintes du programme.
e qui rsout le programme P est un minimum de la fonction f sous les
La valeur x
contraintes du programme.
Optimum local :
La variable x est un maximum local dune fonction f dfinie sur lensemble convexe S
> 0 tel que f (x) 6 f (x ) x S et |x x | 6
La variable x est un minimum local dune fonction f dfinie sur lensemble convexe S
> 0 tel que f (x) > f (x ) x S et |x x | 6
Optimum global :
La variable x est un maximum global dune fonction f dfinie sur lensemble convexe
S f (x) 6 f (x ) x S
La variable x est un minimum global dune fonction f dfinie sur lensemble convexe
S f (x) > f (x ) x S
La figure 12 montre le graphique dune fonction f comportant un maximum local et
un maximum global.
14
2.3
Remarques
e)
f (x
contraintes
e))
g (f (x
contraintes
Transformation des programmes de minimisation : tout programme de minimisation peut aisment tre transform en programme de maximisation en remplaant la fonction objectif f par son oppose f :
min
e
x
s.c.
max
ex
s.c.
contraintes
e)
f (x
e)
f (x
contraintes
N.B. : Dans les sections qui suivent, on crira tous les programmes doptimisation
comme des programmes de maximisation sous contraintes. On prcisera, en cas de besoin, comment adapter la mthode de rsolution au cas des programmes de minimisation
sous contraintes.
15
3.1
On commence par envisager le cas dune fonction f une seule variable que lon maximise sans contrainte.
On considre le programme de maximisation P suivant :
P : max f (x)
x
Solution :
CPO : x est une solution du programme P f (x ) = 0, soit 2(x 2) = 0 x = 2
CSO : f (x) = 2 < 0 x, donc x est un maximum global
Ccl : x = 2 est le maximum global de f .
16
3.2
max
x1 ,x2 ,...,xn
f (x1 , x2 , ..., xn )
e vrifie :
de maximisation P, alors x
e )
f (x
= 0 i = 1, ..., n
xi
Solution :
CPO : Si (x , y ) est une solution du programme P alors :
fx (x , y ) = 0 3(y ) 3(x )2 = 0
fy (x , y ) = 0 3(x ) 3(y )2 = 0
(x , y ) est donc tel que x = (y )2 = (x )4 . Il y a deux solutions possibles : (0, 0) et (1, 1).
CSO : la matrice hessienne de f value en tout point (x, y) scrit :
6x
3
3
6y
H(x, y) =
on a donc :
H(0, 0) =
0 3
3 0
et
17
H(1, 1) =
6 3
3 6
4.1
e)
f (x
e) = c
g(x
e , )
L(x
=0
e )
e )
f (x
g(x
.
=0
xi
xi
xi
e , )
L(
x
e ) = c
= 0 g(x
18
i = 1, ..., n
g
x1
g
x2
g
x1
2L
x21
2L
x1 x2
g
x2
2L
x1 x2
2L
x22
g
xn
2L
x1 xn
2L
x2 xn
e) =
H L (x
..
.
..
.
..
.
..
.
g
xn
2L
x1 xn
2L
x2 xn
..
.
2L
x2n
Solution :
max
P x,y
s.c.
f (x, y) = xy
x+y =6
=0
y = 0
=0
x = 0
= 0 x + y 6 = 0
19
0 gx
gy
0 1 1
= 1 0 1
H L (x, y) = gx fxx fxy
1 1 0
gy fxy fyy
Le mineur principal dordre 3 de cette matrice value en (3, 3) est gal 2 > 0. Il
est donc du mme signe que (1)n , puisque n = 2. Par consquent, le point (3, 3) est
un maximum local. En revanche, la fonction f ntant pas concave (elle est seulement
quasi-concave), la condition suffisante pour que (x , y ) soit un maximum global nest
pas vrifie.
Cc : Le programme P admet un maximum local en (3, 3).
4.2
Cas m contraintes
e)
f (x
e) = cj
gj (x
j = 1, ..., m
m
X
j=1
e) cj )
j (gj (x
20
Conditions du premier ordre : On suppose que la contrainte de qualification est ve = (x1 , x2 , ..., xn ) est une solution du programme de maximisation
rifie. Si le vecteur x
f tel que x
e vrifie les n + m conditions suivantes :
P, alors il existe un unique vecteur
e )
e ,
L(x
=0
xi
f )
e ,
L(x
=0
m
e ) X
e )
f (x
gj (x
j .
=0
xi
xi
j=1
i = 1, ..., n
e ) = cj
gj (x
j = 1, ..., m
Matrice hessienne borde du Lagrangien dans le cas m contraintes : On appelle matrice hessienne borde du Lagrangien H L dans le cas m contraintes la matrice
hessienne du Lagrangien (drives partielles secondes de L par rapport xi borde par les
e:
drives partielles premires des m fonctions contraintes gj , value au point x
e) =
H L (x
0
0
..
.
0
0
..
.
..
.
0
0
..
.
g1
x1
g2
x1
g1
x2
g2
x2
..
.
g1
xn
g2
xn
g1
x1
g1
x2
g2
x1
g2
x2
gm
x1
gm
x2
gm
x1
2L
x21
2L
x1 x2
gm
x2
2L
x1 x2
2L
x22
gm
xn
2L
x1 xn
2L
x2 xn
g1
xn
g1
xn
gm
xn
2L
x1 xn
2L
x2 xn
..
.
..
.
..
.
..
.
..
.
..
.
..
.
..
.
..
.
..
.
..
.
2L
x2n
x2 + y 2 + z 2
x + 2y + z = 1
2x y 3z = 4
21
Solution :
Le Lagrangien associ ce programme scrit :
L(x, y, z, 1 , 2 ) = x2 + y 2 + z 2 1 (x + 2y + z 1) 2 (2x y 3z 4)
Condition de qualification des contraintes : Soient g1 (x, y, z) = x + 2y + z 1 et
g2 (x, y, z) = 2x y 3z 4. La matrice jacobienne JG des fonctions contraintes value
au point (x, y, z) scrit :
g1
x
JG (x, y, z)
g2
x
g1
y
g2
y
g1
z
g2 =
z
1 2
1
2 1 3
=0
=0
=0
=0
=0
2x 1 22
2y 21 + 2
2z 21 + 32
x + 2y + z
2x y 3z
=0
=0
=0
=1
=4
16 1 11 52 54
, ,
, , )
15 3 15 75 75
CSO : La fonction f tant une somme de fonctions convexes, elle est convexe quelles que
soient les valeurs de 1 et 2 . Par consquent, (x , y , z , 1 , 2 ) est un maximum global.
1 11 52 54
Ccl : Le programme P admet un maximum global en ( 16
15 , 3 , 15 , 75 , 75 ).
Optimisation sous contraintes prenant la forme dinquations : les conditions de Kuhn et Tucker
On considre le programme de maximisation P suivant :
max
P ex
s.c.
e)
f (x
e) 6 cj
gj (x
j = 1, ..., m
22
m
X
j=1
e) cj )
j (gj (x
1 2
m
Conditions de qualification des contraintes : Pour pouvoir utiliser le Lagrangien
dans la rsolution dun programme doptimisation sous contraintes prenant la forme dinquations, il suffit que lune des conditions suivantes soit vrifie :
f . On suppose sans perte de
(a) Soit s 6 m le nombre de contraintes satures loptimum x
gnralit quil sagit des s premires contraintes gj , j = 1, ..., s. Si la matrice jacobienne
de ces s fonctions contraintes, note JG et de taille (s, n), est de rang s lorsquelle est
e , alors la condition de qualification des contraintes est vrifie.
value loptimum x
(b) Les fonctions contraintes gj , j = 1, ..., s sont toutes linaires.
e du programme
Les conditions du premier ordre que doit vrifier toute solution x
P sont lgrement modifies par rapport au cas prcdent (contraintes prenant la forme
dquations) et portent le nom de conditions de Kuhn et Tucker . Elles ont notamment
pour proprit que le multiplicateur de Lagrange j associ la contrainte j est nul lorsque
cette contrainte nest pas sature lquilibre.
e)
e ,
L(x
=0
xi
f )
e ,
L(x
>0
j > 0
m
e ) X gj (x
e )
f (x
j .
=0
xi
xi
j=1
e ) 6 cj
gj (x
j > 0
e ) = cj
j (gj (x ) cj ) = 0 j = 0 ou gj (x
i = 1, ..., n
j = 1, ..., m
j = 1, ..., m
j = 1, ..., m
e ) = cj simultanment.
N.B. : ces conditions nexcluent pas la possibilit que j = 0 et gj (x
23
Dans les cas 2 et 3, si lune des drives partielles de f (notes fi ) est nulle au point
e peut tre ou ne pas tre un maximum (ou un minimum) global. Pour le savoir,
alors x
e et de la comparer la valeur prise par f
il peut tre utile de calculer la valeur de f en x
pour dautres points vrifiant les conditions du premier ordre.
e ,
x
e)
f (x
e) > cj
gj (x
j = 1, ..., m
Pour pouvoir appliquer les conditions de Kuhn et Tucker voques ci-dessus, il suffit
de transformer le programme P en un programme de maximisation P :
max
P ex
s.c.
e)
f (x
e) 6 cj
gj (x
e = f (x
e, )
e)
L(x
e) +
= f (x
24
m
X
j=1
m
X
j=1
j = 1, ..., m
e) + cj )
j (gj (x
e) cj )
j (gj (x
Solution :
max
x,y
P s.c.
(x 4)2 (y 4)2
x+y 64
x + 3y 6 9
=0
=0
>0
>0
=0
>0
>0
=0
2(x 4) 1 2
2(y 4) 1 32
x + y
1 (x + y 4)
x + 3y
2 (x + 3y 9)
=0
=0
64
>0
=0
69
>0
=0
Pour dterminer les solutions de ce systme, il faut envisager successivement tous les cas
de figure possibles portant sur la saturation des contraintes et procder par limination :
Cas 1 : (x + y = 4) et (x + 3y = 9) (les deux contraintes sont satures
loptimum). Dans ce cas, on a x = 32 et y = 52 . Alors, les deux premires quations
se rcrivent :
5 1 2 = 0
3 1 32 = 0
qui implique que 1 = 6 et 2 = 1, ce qui viole la condition 2 > 0.
Cas 2 : (x + y = 4) et (x + 3y < 9), donc 2 = 0 (seule la premire contrainte
est sature loptimum). Alors, les deux premires quations impliquent que x =
y = 2 et 1 = 4. Toutes les conditions sont satisfaites, donc (x , y , 1 , 2 ) =
(2, 2, 4, 0) est une solution possible.
Cas 3 : (x + y < 4) et (x + 3y = 9), donc 1 = 0 (seule la seconde contrainte est
sature loptimum). Alors, les deux premires quations impliquent que x = 12
5
et y = 11
5 , ce qui viole la condition x + y < 4.
Cas 4 : (x + y < 4) et (x + 3y < 9), donc 1 = 2 = 0 (aucune des deux
contraintes nest sature loptimum). Alors, les deux premires quations
impliquent que x = y = 4, ce qui viole la condition x + y < 4.
CSO : la fonction f est concave et les deux contraintes sont linaires. Par consquent,
(x , y , 1 , 2 ) est un maximum global.
CCl : Le programme P admet un maximum global en (2, 2, 4, 0).
25
Optimisation sous contraintes prenant la forme dinquations incluant des contraintes de non-ngativit
Dans de nombreuses application conomiques, les programmes doptimisation considrs imposent que les variables considres ne puissent pas tre ngatives (le travail ou le
capital dans la fonction de production, par exemple).
On considre le programme de maximisation P suivant :
P
max
x1 ,x2 ,...,xn
s.c.
e)
f (x
e) 6 cj
gj (x
xi > 0
j = 1, ..., m
i = 1, ..., n
n
X
i=1
e) cj )
(gj (x
On remarquera que ce Lagrangien ne contient pas explicitement les contraintes de nonngativit xi > 0, i = 1, ..., n.
Condition de qualification des contraintes : Ce sont les mmes que dans le cas des
programmes doptimisation sous contraintes prenant la forme dinquations.
Conditions du premier ordre (Kuhn et Tucker) : On suppose que la contrainte de
e = (x1 , x2 , ..., xn ) est une solution du programme
qualification est vrifie. Si le vecteur x
f tel que x
e vrifie les 3(n + m)
de maximisation P, alors il existe un unique vecteur
conditions suivantes :
e )
e ,
M(x
60
xi
xi > 0
e )
e ,
M(x
xi .
=0
xi
f )
e ,
M(x
>0
j > 0
(g (x
j e ) cj ) = 0
j
m
e ) X
e )
f (x
gj (x
j .
60
xi
xi
j=1
xi > 0
xi = 0 ou
e)
e ,
M(x
e ) 6 cj
gj (x
xi
j > 0
e ) = cj
j = 0 ou gj (x
26
=0
i = 1, ..., n
i = 1, ..., n
i = 1, ..., n
j = 1, ..., m
j = 1, ..., m
j = 1, ..., m
Solution :
xy
x+y 66
x >0
y >0
60
>0
x . M
x = 0
M
y 6 0
y > 0
y . M
y = 0
L
> 0
> 0
M
. = 0
x (y )
y (x )
x + y
(x + y 6)
60
>0
=0
60
>0
=0
66
>0
=0
Pour dterminer les solutions de ce systme, il faut thoriquement passer en revue tous
les cas de figures possibles portant sur la saturation des contraintes (sur x,y et x+ y 6),
ce qui fait 9 combinaisons diffrentes. En ralit, on peut aboutir la solution trs
rapidement en procdant comme suit :
27
28