Cap01 - Programación Dinámica

Ingeniera Civil Industrial
Programacin Dinmica
1
Programacin Dinmica (PD)
Tcnica cuantitativa de toma de decisiones
desarrollada por Bellman y Dantzig en 1957
Se basa en una estructura de optimalidad que
tiene un conjunto de: una poltica ptima
consiste de subpolticas ptimas.
(Recursividad).
PD: Tcnica matemtica que resuelve una
serie de decisiones secuenciales, cada una de
las cuales afecta las decisiones futuras.
2
Agenda
Problema de la Diligencia
Caractersticas de la Programacin Dinmica
Elementos Bsicos
Programacin Dinmica Determinstica
Programacin Dinmica Probabilstica
3
Un vendedor mtico de los EE.UU. debe viajar hacia el
oeste a travs de tierras hostiles, utilizando como
medio de transporte una diligencia.
An cuando su punto de partida y destino son fijos,
tiene un nmero considerable de opciones para elegir
qu estados recorrer en su ruta.
El vendedor ofrece seguros de vida a los pasajeros de
las diligencias.
El vendedor necesita determinar cual ser la ruta ms
segura para disminuir sus costos de pliza de seguro.
Los territorios y costos de pliza en cada recorrido se
observan en la figura a continuacin.
4
Estado
Costo del
recorrido
Cul ruta (conjunto de caminos) minimiza el costo total de la pliza?
1
2
2
3
3
3
3
3
3
4
4
4
4
4
4
1
6
7
6
5
6
10
9
8
3
2 5
4 7
1
5
1
2
2
3
3
3
3
3
3
4
4
4
4
4
4
1
6
7
6
5
6
10
9
8
3
2 5
4 7
1
Solucin 1: seleccionar el
camino ms barato ofrecido
en cada etapa sucesiva
1-2-6-9-10 -> Costo total de 13
sacrificando un poco en una etapa
es posible obtener ahorros
mayores de all en adelante.
1-4-6 es globalmente ms barata
que 1-2-6
pero
Solucin 2: por tanteos,
pero
el nmero de rutas es muy
grande (1x3x3x2x1=18)
6
Solucin 3:
PROGRAMACIN
DINMICA
Parte de una pequea porcin del problema y encuentra la solucin
ptima para ese problema ms pequeo. Entonces gradualmente
agranda el problema, hallando la solucin ptima en curso a partir de la
anterior, hasta que se resuelve por completo el problema original.
De Atrs hacia delante: Etapa 4 resolver primero
7
Mtodo de Solucin
Variable de decisin,
estado inmediato en la
etapa n
Etapa, subproblema que
estamos resolviendo
(n=1,2,3,4) .
n
Estado
s
) , (
n n
x s f
Costo total de la mejor poltica
global para las etapas
restantes, dado que el
vendedor se encuentra en el
nodo S (listo para inicial la
etapa n) y se selecciona a X
n
como destino inmediato.
10 ; 1
4 4 3 2 1
= x x x x x
( S ), ( S ), ( S ), ( S )
1 2 3 4
* * * *
*
n
( S ) = Min
X
n
( S, X
n
) = ( S, X
n
)
n
} {
n
*
n
X
n
( S
0
,X
n
)
n
( S
1
,X
n
)
n
Costo del estado S a X
n
Funcin Recursiva:
8
Mtodo de Solucin
ETAPA 4 ; n = 4
S X
4
8 3 10
9 4 10
(S)
4
*
*
ETAPA 3 ; n = 3
S 8 9 X
3
5 1 + 3 = 4 4 + 4 = 8 4 8
6 6 + 3 = 9 3 + 4 = 7 7 9
7 3 + 3 = 6 3 + 4 = 7 6 8
X
3
(S,X
3
) = C
SX
+ (X
3
)
3
*
*
3 4
(S)
3
*
9
Mtodo de Solucin
ETAPA 2 ; n = 2
S 5 6 7 X
2

2 7 + 4 = 11 4 + 7 = 11 6 + 6 = 12 11 5 6
3 4 + 6 = 10
4
X
2
(S,X
2
) = C
SX
+ (X
3
)
2
*
2 3
*
(S)
2
*
ETAPA 1 ; n = 1
S 2 3 4 X
1

1 2 + 11 = 13 4 + 7 = 11 3 + 8 = 11 11 3 4
X
1
(S,X
1
) = C
1X
+ (X
1
)
1
*
1 2
*
(S)
1
*
Identifiquemos
la solucin
optima.
}
1 3 5 8 10
1 4 5 8 10
1 4 6 9 10
El problema de la diligencia es
un diseo conceptual, para dar
una interpretacin fsica literal
de los problemas de PD.
10
Caractersticas de PD
Caracterstica fundamental: Procesos
multietapa de toma de decisiones.
Propiedades:
Slo un nmero reducido de variables se debe
conocer en cualquier etapa con el fin de describir
al problema.
El resultado de una decisin en cualquier etapa
altera los valores numricos de un nmero
reducido de variables relevantes al problema.
11
Elementos bsicos de PD
El problema puede dividirse en etapas, con una
decisin de la poltica requerida en cada etapa.
Cada etapa tiene un cierto nmero de estados
asociados a ella. En general los estados son de diversas
condiciones posibles, en las que el sistema podra estar
en esa etapa del problema. Puede ser finito o infinito.
El valor asociado al estado no pude depender de
decisiones de la misma etapa no de futuras decisiones.
El estado representa una foto del sistema. Una
evaluacin en un instante de tiempo.
12
La decisin debe corresponder a la poltica del estado
vigente y no del futuro.
El efecto de la decisin de una poltica en cada etapa
es: transformar el estado actual en un estado
asociado con la etapa siguiente. El estado resultante
podra ser probable distribucin.
Dado el estado actual, una poltica ptima para las
etapas restantes es independiente de la poltica
adoptada en las etapas previas (n-1, n, n+1).
El procedimiento de resolucin empieza por hallar la
poltica ptima para cada estado de la ltima etapa.
13
Se dispone de una relacin recursiva que identifica la poltica ptima para cada
estado en la etapa n, dada la poltica ptima para cada estado en la etapa (n+1).
Usando esta relacin recursiva, el procedimiento de resolucin se mueve hacia
atrs, etapa por etapa - hallando en cada ocasin la poltica ptima para cada
estado de esa etapa - hasta que se encuentra la poltica ptima cuando se parte de
la etapa inicial.
( S ) = Mx Min ( S, X
n
)
*
n
n
{ }
X
n
( S ) = Min C
SXn
+ ( X
n
)
* *
X
n
{ }
n +1 n
..
Estado posible de la
etapa Actual (n)
Resultado de la
poltica ptima en
la etapa siguiente
(n+1)
= ) , (
n n
x s f
) (
*
s f
n
*
n
x
2
x
1
x
3
x
s
14
Programacin Dinmica
Determinstica
Ejercicio 1: distribucin de fresas
Un propietario de una cadena de tres
supermercados compr cinco cargas de fresas
frescas. La distribucin de probabilidad estimada
para las ventas potenciales de las fresas antes de
que se echen a perder difiere entre los tres
supermercados.
El propietario quiere saber cmo debe asignar las
cinco cargas a las tiendas para maximizar la
ganancia esperada.
Por razones administrativas, no quiere dividir las
cargas entre las tiendas. Sin embargo, est de
acuerdo en asignar cero cargas a cualquiera de
ellas. La siguiente tabla proporciona la ganancia
estimada en cada tienda al asignar distintas
cantidades de cargas:
N de
cargas
Tienda
1 2 3
0 0 0 0
1 5 6 4
2 9 11 9
3 14 15 13
4 17 19 18
5 21 22 20
15
Ejercicio 1:
N de
cargas
Tienda
1 2 3
0 0 0 0
1 5 6 4
2 9 11 9
3 14 15 13
4 17 19 18
5 21 22 20
16
Programacin Dinmica
Determinstica
Ejercicio 1:
Etapas: supermercados a abastecer (n=1,2,3)
x
n
: nmero de cargas asignadas a la etapa n, x
n
{0,1,2,3,4,5}
Estado: nmero de cargas disponibles para el supermercado n
s
n+1
= s
n
- x
n
Decisiones: cantidad de cargas asignadas al supermercado n
Funcin recursiva:
*
*
17
Programacin Dinmica
Determinstica
Ejercicio 1:
Etapa 3, n=3, s
4
=0
s
3
x
3
0 0 0
1 4 1
2 9 2
3 13 3
4 18 4
5 20 5
*
18
Programacin Dinmica
Determinstica
Ejercicio 1:
Etapa 2, n=2
s
2
/x
2
0 1 2 3 4 5 f
*
2
(s) x*
2
0 0 0 0
1 0+4=4 6+0=6 6 1
2 0+9=9 6+4=10 11+0=11 11 2
3 0+13=13 6+9=15 11+4=15 15+0=15 15 123
4 0+18=18 6+13=19 11+9=20 15+4=19 19+0=19 20 2
5 0+20=20 6+18=24 11+13=24 15+9=24 19+4=23 22+0=22 24 123
19
Programacin Dinmica
Determinstica
Ejercicio 1:
Etapa 1, n=1
s
1
/x
1
0 1 2 3 4 5 f
1
*
(s
1
) x
*
1
5 0+24=24 5+20=25 9+15=24 14+11=25 17+6=23 21+0=21 25 13
x
n
1 2 2
x
n
3 2 0
Super 1 Super 2 Super 3
2

a
l
t
e
r
n
a
t
i
v
a
s
20
Programacin Dinmica
Determinstica
Ejercicio 2: Inventario revisin peridica
Una compaa sabe que la demanda durante cada uno de los prximos cuatro
meses es como se indica: mes 1, 1 unidad; mes 2, 3 unidades; mes 3, 2
unidades; mes 4, 4 unidades.
Durante un mes en el cual se producen algunas unidades, se incurre en un
costo preliminar de 3US$. Adems, hay un costo variable de 1 dlar por cada
unidad que se fabrica. Al final de cada mes, se genera un costo de
almacenamiento de 50 centavos por cada unidad disponible.
Las limitaciones en la capacidad permiten producir durante cada mes un
mximo de 5 unidades. Las dimensiones de la bodega de la compaa
restringen el inventario final de cada mes a 4 unidades, cuando mucho.
Suponga que se dispone de 0 unidades al principio del primer mes.
La empresa desea determinar un plan de produccin que cumpla con toda la
demanda a tiempo y minimice la suma del costo de produccin y del costo de
almacenamiento durante los cuatro meses.
21
Programacin Dinmica
Determinstica
Ejercicio 2
Etapa: meses a satisfacer, n={1,2,3,4,5}
x
n
: cantidad a producir en el mes n, x
n
{0,1,2,3,4,5}
Estado: stock inicial en el mes n
s
n
: stock inicial en el mes n, s
n
{0,1,2,3,4}
Funcin recursiva:
*
Decisin: cantidad de unidades a producir en el mes n
d
n
: demanda del mes n, d
n
={1,2,3,4}
s
1
=0
s
5
=0
s
n+1
=s
n
+x
n
-d
n
22
Programacin Dinmica
Determinstica
Ejercicio 2
Etapa 4, n=4, d
4
=4, s
5
=0
s
4
\ x
4
0 1 2 3 4 5
0 7
1 6
2 5
3 4
4 0
s
5
=s
4
+x
4
-d
4
s
4
+x
4
= 4
* *
s
4
f
4
(s
4
) x
4
0 7 4
1 6 3
2 5 2
3 4 1
4 0 0
*
23
Programacin Dinmica
Determinstica
Ejercicio 2
Etapa 3, n=3, d
3
=2
f
3
*(s
3
) x*
3
s
3
\x
3
0 1 2 3 4 5
0 5+7 =12 6.5+6=12.5 8+5=13 9.5+4=13.5 12 2
1 4+7=11 5.5+6=11.5 7+5=12 8.5+4=12.5 10+0=10 10 5
2 0+7=7 4.5+6=10.5 6+5=11 7.5+4=11.5 9+0=9 7 0
3 0.5+6=6.5 5+5=10 6.5+4=10.5 8+0=8 6.5 0
4 1+5=6 5.5+4=9.5 7+0=7 6 0
s
4
= s
3
+x
3
-d
3
0<s
4
<4
*
*
s
4
f
4
(s
4
) x
4
0 7 4
1 6 3
2 5 2
3 4 1
4 0 0
24
Programacin Dinmica
Determinstica
Ejercicio 2
Etapa 2, n=2, d
2
=3
f*
2
(s
2
) x*
2
s
2
\x
2
0 1 2 3 4 5
0 6+12=18
7.5+10=17.5
9+7=16 16 5
1 5+12=17
6.5+10 =16.5
8+7=15 9.5+6.5=16 15 4
2 4+12=16
5.5+10=15.5
7+7 = 14 8.5+6.5=15 10+6=16 14 3
3 0+12=12
4.5+10=14.5
6+7=13 7.5+6.5=14 9+6=15 12 0
4
0.5+10=10.5
5+7=12 6.5+6.5=13 8+6=14 10.5 0
*
s
3
=s
2
+x
2
-d
2
0<s
3
<4
25
Programacin Dinmica
Determinstica
s
3
f
3
*
(s
3
) x
3
0 12 2
1 10 5
2 7 0
3 6.5 0
4 0 0
Ejercicio 2
Etapa 1, n=1, d
1
=1, s
1
=0
s
2
=s
1
+x
1
-d
1
0<s
2
<4
*
f
*
1
(s
1
) x
*
1
s
1
\x
1
0 1 2 3 4 5
0 4+16=20 5.5+15=20.5 7+14=21 8.5+12=20.5
10+10.5=20.5
20 1
26
Programacin Dinmica
Determinstica
s
4
f
4
(s
4
) x
4
0 16 5
1 15 4
2 14 3
3 12 0
4 10.5 0
Ejercicio 2
x
n
1 5 0 4
d
n
1 3 2 4
s
n
0 2 0 0
Mes 1 Mes 2 Mes 3 Mes 4
27
Programacin Dinmica
Determinstica
Ejercicio 3: preparando exmenes
Una estudiante universitaria cuenta con siete
das para preparar los exmenes finales de
cuatro cursos y quiere asignar su tiempo de
estudio de la manera ms eficiente posible.
Necesita por lo menos un da para cada curso y
quiere concentrarse slo en un curso cada da
por lo que quiere asignar uno, dos, tres o cuatro
das a cada curso.
Como hace poco tom un curso de investigacin
de operaciones, decide aplicar programacin
dinmica para hacer estas asignaciones que
maximicen el total de puntos obtenidos en los
cuatro cursos. Estima que las distintas opciones
en das de estudio le significaran puntos de
calificacin segn la siguiente tabla:
Das
Puntos de
Calificacin
Estimados
Cursos
1 2 3 4
1 3 5 2 6
2 5 5 4 7
3 6 6 7 9
4 7 9 8 9
28
Programacin Dinmica
Determinstica
Ejercicio 3:
Etapas: cursos n=(1,2,3,4)
x
n
: das estudiando para el curso n, x
n
(1,2,3,4)
Estado: das de estudio disponibles
s
n+1
=s
n
-x
n
Decisiones: cantidad de das de estudio para el curso n
Funcin recursiva:
*
*
29
Programacin Dinmica
Determinstica
Ejercicio 3:
Etapa 4, n=4, s
5
=0
s
4
x
4
1 6 1
2 7 2
3 9 3
4 9 4
*
30
Programacin Dinmica
Determinstica
Das
Puntos de
Calificacin
Estimados
Cursos
1 2 3 4
1 3 5 2 6
2 5 5 4 7
3 6 6 7 9
4 7 9 8 9
Ejercicio 3:
Etapa 3, n=3
s
3
/x
3
1 2 3 4 f
3
(s
3
) x
3
1
2 2+6=8 8 1
3 2+7=9 4+6=10 10 2
4 2+9=11 4+7=11 7+6=13 13 3
5 2+9=11 4+9=13 7+7=14 8+6=14 14 34
31
Programacin Dinmica
Determinstica
s
4
f
4
*
(s
4
) x
4
1 6 1
2 7 2
3 9 3
4 9 4
Ejercicio 3:
Etapa 2, n=2
s
2
/x
2
1 2 3 4 f
2
(s
2
) x
2
1
2
3 5+8=13 13 1
4 5+10=15 5+8=13 15 1
5 5+13=18 5+10=15 6+8=14 18 1
6 5+14=19 5+13=18 6+10=16 9+8=17 19 1
32
Programacin Dinmica
Determinstica
Ejercicio 3:
Etapa 1, n=1
s
1
/x
1
1 2 3 4 f
1
*(s) x
1
7 3+19=22 5+18=23 6+15=21 7+13=20 23 2
x
n
2 1 3 1
Curso 1 Curso 2 Curso 3 Curso 4
33
Programacin Dinmica
Determinstica
Ejercicio 4: consejo mundial de la salud
El consejo mundial de la salud se dedica a mejorar el cuidado
de la salud en los pases subdesarrollados del mundo. Ahora
cuenta con cinco equipos mdicos para asignar entre tres de
esos pases a fin de mejorar su cuidado mdico, su educacin
sanitaria y sus programas de entrenamiento.
Por consiguiente el consejo necesita determinar cuntos
equipos (si resulta conveniente) asignar a cada uno de estos
pases para maximizar la efectividad total de los cinco
equipos. La medida de efectividad que se est usando es:
los aos de vida adicionales del hombre. (Para un pas en
particular, esta medida es igual a la esperanza incrementada
de vida del pas, en aos, multiplicada por su poblacin).
N de
Equipos
Mdicos
Miles de aos
de vida
adicional del
hombre
Pas
1 2 3
0 0 0 0
1 45 20 50
2 70 45 70
3 90 75 80
4 105 110 100
5 120 150 130
Qu es lo que cambia de una etapa a la siguiente,
dado que se han tomado las decisiones en las etapas
previas?
Cmo puede describirse la condicin de la situacin
en la etapa actual?
Qu informacin acerca del estado actual de las cosas
se necesita para determinar la poltica ptima de aqu
en adelante?
34
Programacin Dinmica
Determinstica
Ejercicio 4:
Etapa = Pas; n = 1,2,3
Variable: X
n
= Equipos mdicos asignados en la etapa o pas
Estado: S = Equipos mdicos aun por asignar
N de
Equipos
Mdicos
Miles de aos
de vida
adicional del
hombre
Pas
1 2 3
0 0 0 0
1 45 20 50
2 70 45 70
3 90 75 80
4 105 110 100
5 120 150 130
) (
n n
x P
Aos de vida adicionales del hombre en la etapa
(pas) n si decide asignar X
n
equipos mdicos en este
pas.

=
=
=
=
=
i i
i
n i
i
n i
i i
x x
S x a s
x P Z Max
; 0
.
) (
3
3
No es un modelo en
nuestra actual notacin;
debemos aproximarnos
35
Programacin Dinmica
Determinstica
Ejercicio 4:
36
Programacin Dinmica
Determinstica
Ejercicio 4:
Etapa = Pas; n = 1,2,3
Variable: X
n
= Equipos mdicos asignados en la etapa o pas
Estado: S = Equipos mdicos aun por asignar
N de
Equipos
Mdicos
Miles de aos
de vida
adicional del
hombre
Pas
1 2 3
0 0 0 0
1 45 20 50
2 70 45 70
3 90 75 80
4 105 110 100
5 120 150 130
) (
n n
x P
Aos de vida adicionales del hombre en la etapa
(pas) n si decide asignar X
n
equipos mdicos en este
pas.

=
=
=
=
=
i i
i
n i
i
n i
i i
x x
S x a s
x P Z Max
; 0
.
) (
3
3
No es un modelo en
nuestra actual notacin;
debemos aproximarnos
37
Programacin Dinmica
Determinstica
Ejercicio 4:
(
(
(
(
(
(
(

=
=
+ =

=
+ =
+ =
i i
n n
i
n i
i
n i
i i
n n n n n
x x
x S x a s
x P Z Max
x P x s f
; 0
.
) (
) ( ) , (
3
1
3
1
: ) , (
n n
x s f
Aos de vida adicionales totales,
considerando la mejor poltica para
las etapas restantes y que en la
etapa n, el estado es S y la decisin
tomada fue X
n
.
) (
*
1 n n n
x s f
+
( S, X
n
) = P
n
( X
n
) + ( S - X
n
)
n+1 n
*
La relacin recursiva
38
Programacin Dinmica
Determinstica
Ejercicio 4:
s
*
3
x
0 0 0
1 1 50
2 2 70
3 3 80
4 4 100
5 5 130
) (
*
3
s f
( S, X
n
) = P
n
( X
n
) + ( S - X
n
)
n+1 n
*
N de
Equipos
Mdicos
Miles de aos
de vida
adicional del
hombre
Pas
1 2 3
0 0 0 0
1 45 20 50
2 70 45 70
3 90 75 80
4 105 110 100
5 120 150 130
39
Programacin Dinmica
Determinstica
Ejercicio 4:
( S, X
n
) = P
n
( X
n
) + ( S - X
n
)
n+1 n
*
Miles de aos de vida adicionales
del hombre
N de Equipos Pas
Mdicos 1 2 3
0 0 0 0
1 45 20 50
2 70 45 70
3 90 75 80
4 105 110 100
5 120 150 130
0 1 2 3 4 5
0 0+0=0 0 0
1 0+50=50 20+0=20 50 0
2 0+70=70 20+50=70 45+0=45 70 01
3 0+80=80 20+70=90 45+50=95 75+0=75 95 2
4 0+100=100 20+80=100 45+70=115 75+50=125 110+0=110 125 3
5 0+130=130 20+100=120 45+80=125 75+70=145 110+50=160 150+0=150 160 4
) ( ) ( ) , (
2
*
3 2 2 2 2
x s f x P x s f + =
) (
*
2
s f
*
2
x
40
Programacin Dinmica
Determinstica
Ejercicio 4:
( S, X
n
) = P
n
( X
n
) + ( S - X
n
)
n+1 n
*
Miles de aos de vida adicionales
del hombre
N de Equipos Pas
Mdicos 1 2 3
0 0 0 0
1 45 20 50
2 70 45 70
3 90 75 80
4 105 110 100
5 120 150 130
s
1
x
0 1 2 3 4 5
5 0+160=160 45+125=170 70+95=165 90+70=160 105+50=155 120+0=120 170 1
) ( ) ( ) , (
1
*
2 1 1 1 1
x s f x P x s f + =
) (
*
1
s f
*
1
x
x
n
1 3 1
Pas 1 Pas 2 Pas 3
41
Programacin Dinmica
Determinstica
Ejercicio 5: Volar con seguridad a Marte
Un equipo especial del gobierno est conduciendo la
investigacin sobre cierto problema de ingeniera que debe
resolverse antes de que el hombre pueda volar con seguridad
a Marte. Tres equipos de investigadores estn tratando
actualmente tres procedimientos diferentes para resolver
este problema.
Se ha hecho la estimacin de que bajo las circunstancias
presentes, la probabilidad de que los equipos respectivos -
llammoslos 1, 2 y 3 - no tengan xito es 0.40, 0.60 y 0.80
respectivamente. Por tanto, la probabilidad actual que los
tres equipos fallen es (0.40)(0.60)(0.80)=0.192 (19.2%).
Dado que el objetivo es minimizar esta probabilidad, se ha
tomado la decisin de asignar dos cientficos destacados ms
entre los tres equipos para disminuirlas tanto como sea
posible.
N de
Cientficos
Nuevos
Probabilidad de Falla
Equipo de Investigacin
1 2 3
0 0,40 0,60 0,80
1 0,20 0,40 0,50
2 0,15 0,20 0,30
) (
n n
x P
Probabilidad de falla del equipo n si decide asignar X
n
cientficos

= + +
=
; 0
2 . .
) ( * ) ( * ) (
3 2 1
3 3 2 2 1 1
i
x
x x x a s
x P x P x P Z Min
42
Programacin Dinmica
Determinstica
(
(
(
(
(

=
=
=

+ =
+ =
; 0
. .
) (
* ) ( ) , (
3
1
3
1
i
n
n i
i
i i n i
n n n n
x
x s x a s
x P Z Min
x P x s f
1 ) 0 (
*
4
= f
) , (
n n
x s f
Probabilidad de falla del equipo n , n+1,..3,
considerando la mejor poltica para las etapas
restantes y S, X
n
para la etapa n.
) (
*
1 n n
x s f
+
) ( * ) ( ) , (
*
1 n n n n n n
x s f x P x s f =
+
43
Programacin Dinmica
Determinstica
N de
Cientficos
Nuevos
1 2 3
0 0,40 0,60 0,80
1 0,20 0,40 0,50
2 0,15 0,20 0,30
0 1 2
0 0.6*0.8=0.48 0.48 0
1 0.6*0.5=0.3 0.4*0.8=0.32 0.3 0
2 0.6*0.3=0.18 0.4*0.5=0.2 0.2*0.8=0.16 0.16 2
) ( * ) ( ) , (
2
*
3 2 2 2 2
x s f x P x s f =
) (
*
2
s f
*
2
x
s
2
x
0 0.8 0
1 0.5 1
2 0.3 2
) (
*
3
s f
*
3
x
s
44
Programacin Dinmica
Determinstica
N de
Cientficos
Nuevos
1 2 3
0 0,40 0,60 0,80
1 0,20 0,40 0,50
2 0,15 0,20 0,30
0 1 2
2 0.4*0.16=0.064 0.2*0.3=0.06 0.15*0.48=0.072 0.06 1
) ( * ) ( ) , (
2
*
2 1 1 1 1
x s f x P x s f =
) (
*
1
s f
1
x
s
*
1
x
x
n
1 0 1
Equipo 1 Equipo 2 Equipo 3
45
Programacin Dinmica
Determinstica
Ejercicio 6: Presupuesto Vacacional (dos variables de estado)
La familia de la seora Susana Oria va a salir de vacaciones desde su ciudad natal
Antofagasta. La familia desea visitar K ciudades y dispone de un total de Mdas para
hacerlo, con M K.
La familia desea saber cuantos das permanecer en cada ciudad de modo de maximizar
la satisfaccin total de sus vacaciones sabiendo que para cada ciudad n existe una
funcin de satisfaccin g
n
que es funcin del nmero de das de permanencia.
Adems, la familia dispone de un presupuesto P para el total de sus vacaciones,
sabiendo que por cada da de permanencia en la ciudad n gastarn C
n
.
1.- Plantee un modelo de programacin dinmica para resolver la planificacin de las
vacaciones de la familia.
2.- Resuelva y especifique con cunto dinero termina la familia, suponiendo que K=3,
M=5, presupuesto P=US$ 1200, costos de estada por ciudad c
1
=$ 200, c
2
=$ 300, c
3
=$
100 y que las funciones de beneficio g
n
(x
n
) vienen dadas por:
46
Programacin Dinmica
Determinstica
1.- Formulacin
: Nmero de ciudad (n=1,2K).
: Cantidad de das en la ciudad n.
: Dinero que le queda a la familia antes de ir a la ciudad n.
: Das que le quedan antes de ir a la ciudad n.
: Costo diario de permanencia en la ciudad n.
: Beneficio en la ciudad n al permanecer X
n
das.
n
n
X
n
S
n
H
n
C
( )
n n
g X
Variables de Estado
47
Funcin Objetivo:
1 n n n n
S S C X
+
=
Actualizacin del estado:
Condiciones :
*
S
1
= P
H
1
= M
f
n+1
= 0
H
n+1
> 0
S
n+1
> 0
48
2.-
1 2 3
200, 300, 100, 3, 5
3
C US C US C US K M
n
= = = = =
=
0 1 2 3 4 5
(0-99; 0-5)
(100-1200; 0)
0 - - - - - 0 0
(100-199; 1-5)
(200-1200; 1)
0 1 - - - - 1 1
(200-299; 2-5)
(300-1200; 2)
0 1 3 - - - 3 2
(300-399; 3-5)
(400-1200; 3)
0 1 3 3 - - 3 23
(400-499; 4-5)
(500-1200; 4)
0 1 3 3 2 - 3 23
(500-1200; 5) 0 1 3 3 2 1 3 23
*
3
f
*
3
X
(S
3
;H
3
)
*
49
Ingeniera Civil Industrial Observamos que
f
3
*
(S
3
,H
3
) =
0
1
3
Si S
3
< 100 o H
3
= 0
Si (100 < S
3
< 200 y H
3
> 1)
o (S
3
>100 y H
3
= 1)
De otra manera
50
2 n =
0 1 2 3 4 5
200 0 0 - - - - - 0 0
400 1 0+1=1 1+0=1 - - - - 1 01
600 2 0+3=3 1+1=2 4+0=4 - - - 4 2
800 3 0+3=3 1+3=4 4+1=5 - - - 5 2
1000 4 0+3=3 1+3=4 4+3=7 6+1=7 - - 7 23
1200 5 0+3=3 1+3=4 4+3=7 6+3=9 8+0=8 - 9 3
2
H
2
S
*
2
f
*
2
X
*
51
1 n =
0 1 2 3 4 5
1200 5 0+9=9 1+7=8 2+5=7 3+4=7 4+1=5 5+0=5 9 0
1
H
1
S
*
1
f
*
1
X
Solucin (das en cada ciudad)
Ciu1 Ciu2 Ciu3
0 3 2
La familia queda con presupuesto final: 0*US 200 + 3*US 300 + 2*US 100 = US1.100
*
52
Programacin Dinmica
Probabilstica
Estado y Resultado Indeterminado
El estado de la etapa siguiente no queda
totalmente determinado por el estado y la
decisin en la etapa actual. En su lugar existe
una distribucin de probabilidades para lo que
ser el estado siguiente.
A veces el estado queda determinado, sin
embargo el resultado no, y slo est asociado
a una distribucin de probabilidades.
53
Programacin Dinmica
Probabilstica
Estado Indeterminado
S
n
X
n
Decisin
P
1
P
2
P
N
1
C
1
C
2
C
N
2
N
(1)
*
n+1
(1)
*
n+1
(1)
*
n+1
Etapa n Probabilidad
Contribucin
de la etapa n Etapa n+1
Estado:
(S
n
, X
n
)
n
54
Programacin Dinmica
Probabilstica
Ejercicio 1: Produccin artculo particular
La Ca. Industrial Hir - And - Miss ha recibido un pedido para surtir un
articulo de tipo particular. Sin embargo el cliente ha especificado
requerimientos de calidad tan rigurosos que es posible que el fabricante
tenga que producir ms de un articulo para obtener uno aceptable.
El fabricante estima que cada articulo de este tipo que produce ser
aceptable con probabilidad de y ser defectuoso (sin probabilidad de
reparacin), con probabilidad de .
As, el nmero de artculos aceptables producidos en un lote de tamao L
tendr una distribucin binomial; es decir, la probabilidad de producir cero
artculos aceptable en ese lote es de ()
L
.
55
Programacin Dinmica
Probabilstica
Ejercicio 1: Produccin artculo particular (seguida)
Se estima que los CMg (costos marginales) de produccin son de $ 100 por
artculo (incluso si es defectuoso) y los artculos en exceso no tienen valor.
Adems, debe incurrirse en un costo de preparacin de $ 300, siempre que
se monte el proceso de produccin para este producto. El fabricante slo
tiene tiempo para hacer no ms de tres series de produccin. Si no se ha
obtenido un articulo aceptable al final de la tercera serie de produccin, el
costo para el fabricante por ventas perdidas y en costos de penalizacin sera
de $ 1600.
El objetivo es determinar la poltica referente al tamao del lote para la
serie, o series de produccin requeridos que minimice el costo total
esperado para el fabricante.
56
O bien, K(x
n
) = 3*min(1,x
n
)
57
* *
1 1
*
1
*
4
Por lo tanto para s 1,
1 1
(1, ) ( ) (1) 1 (0)
2 2
1
( ) (1)
2
Donde (1) es igual a 16, el costo terminal por no haber obtenido art culos ace
n n
n
n
x x
n n n n n n
x
n n n
f x K x x f f
K x x f
f
+ +
+
=
(
| | | |
= + + +
(
| |
\ \
(

| |
= + +
|
\
* *
1
0,1,...
ptables
De esta manera, la relaci n recursiva para los clculos de programaci n din mica es
1
(1) ( ) (1)
2
1, 2, 3.
n
n
x
n n n n
x

f mn K x x f
para n
+
=

| |
= + +
`
|
\

)
=
58

3
3
x
s

3
3 3 3 3
1
(1, ) ( ) 16
2
x
f x K x x
| |
= + +
|
\

*
3 3
( ) f s
*
3
x
0 1 2 3 4 5
0 0 - - - - - 0 0
1 16 12 9 8 8 8,5 8 3 o 4

Para n=3

2
2
x
s

2
*
2 2 2 2 3
1
(1, ) ( ) (1)
2
x
f x K x x f
| |
= + +
|
\

*
2 2
( ) f s
*
2
x
0 1 2 3 4
0 0 0 0
1 8 8 7 7 7,5 7 2 o 3

Para n=2
59
Para n=1
1
1
x
s

1
*
1 1 1 1 2
1
(1, ) ( ) (1)
2
x
f x K x x f
| |
= + +
|
\

*
1 1
( ) f s
*
1
x
0 1 2 3 4
1 7 7,5 6,75 6,875 7,4375 6,75 2

Entonces, la poltica ptima es producir dos artculos en la primera
corrida de produccin; si ninguno es aceptable, debern producirse
dos o tres artculos en la segunda corrida; si ninguno es aceptable,
tendrn que producirse tres o cuatro artculos en la tercera corrida. El
costo total esperado si se sigue esta poltica es de $675.
60
Programacin Dinmica
Probabilstica
Ejercicio 2: Juego popular en las Vegas
Un emprendedor estadstico joven ha desarrollado un sistema para ganar en
un popular juego de las vegas. Sus colegas no creen que esto sea posible, de
modo que hacen una gran apuesta con el que, empezando con tres fichas, no
tendr cinco fichas despus de tres jugadas. Cada jugada comprende la
apuesta de cualquier nmero de fichas.
El estadstico cree que su sistema le dar una probabilidad de 2/3 de ganar
cada jugada.
Suponiendo que el estadstico est en lo correcto, determnese su poltica
optima de cuantas fichas apostar ( de apostar alguna ) en cada una de las
tres jugadas. La decisin de cada jugada debe tomar en cuenta los resultados
de las jugadas anteriores.
El objetivo es maximizar la probabilidad de ganar las apuestas a sus colegas.
61
Formulacin:
Etapas: n-sima jugada del juego (n=1,2,3)
V.E : Fichas que se tienen al inicio de la etapa n.
V.D : Cantidad de fichas que se apuestan en la etapa n.
Probabilidad de terminar las tres jugadas con
cinco fichas o ms.
n
S
n
X
( , )
n n n
f X S =
* *
1 1
1 2
( , ) ( ) ( )
3 3
n n n n n n n n n
f X S f S X f S X
+ +
= + +
62
Procedimiento de solucin:
n=3
Por la relacin recursiva se conducen todos los resultados.
0 0
1 0
2 0
3 2 o ms
4 1 o ms
>=5 1 0
2 / 3
*
3
X
*
3
f
2 / 3
3
S
63
n=2
0 1 2 3 4
0 0 0
1 0 0 0
2 0 1 o 2
3 0, 2 o 3
4 1
>=5 1 1 0
2
S
2
X
2
f
*
2
f
*
2
X
4 / 9 4 / 9
4 / 9 2 / 3 2 / 3 2 / 3
2 / 3 2 / 3 2 / 3 2 / 3 8 / 9
4 / 9
2 / 3
8 / 9
64
n=1
Resultado del problema:
Esta poltica ptima da al joven una probabilidad de 20/27
de ganar la apuesta a sus colegas.
0 1 2 3
3 1
1
S
1
X
1
f
*
1
f
*
1
X
2 / 3 2 0 / 2 7 2 / 3
2 / 3
2 0 / 2 7
*
3
*
2
*
3
*
*
1
2 *
3 *
*
2
2
, 0
, 1
, 2 3
1
2 3 ( 1)
,
, 1 2
1, 2, 3 4 ( 2)
,
si gana X
si gana X
si pierde X o
X
o para X
si gana X
si pierde X o
o para X
si pierde la apuestaesta perdida
=

=

=
=

65
Programacin Dinmica
Probabilstica
Costos inciertos, estado conocido etapa siguiente
Ejercicio 3: Safeco
La cadena de supermercados Safeco compra
a una lechera local, a un precio de 1
dlar/galn, 6 galones de leche.
Cada galn se vende en las tres tiendas de la
cadena a 2 dlares/galn. La lechera
recoge de los supermercados la leche
sobrante a 50 de dlar/galn al trmino del
da.
Desafortunadamente para Safeco, es
incierta la demanda en cada una de las tres
tiendas. Los datos acumulados indican que
la demanda diaria en cada tienda es como
se muestra en la tabla 1.
Safeco desea asignar los 6 galones de leche
a las tres tiendas para maximizar la ganancia
diaria (ingresos menos costos) que da la
leche. Mediante la programacin dinmica
determine cmo debe asignar Safeco los 6
galones de leche entre sus tiendas.
Demanda diaria
Tiendas Galones Probabilidad
Tienda
1
1 0,60
2 0
3 0,40
Tienda
2
1 0,50
2 0,10
3 0,40
Tienda
3
1 0,40
2 0,30
3 0,30
66
Formulacin
67
Formulacin
0 = 0
0 = 0
0 = 0
1 = $2
1 = $2
1 = $2
2 = $3.4
2 = $3.25
2 = $3.1
3 = $4.35
3 = $4.35
3 =$4.2
68
Procedimiento de solucin
Etapa 3:
S
3
X
*
3
f
*
3
0 0 0
1 1 2
2 2 3.4
>=3 3 4.35
S
2
\x
2
0 1 2 3 x
*
2
f
*
2
0 0 - - - 0 0
1 2 2 - - 01 2
2 3.4 4 3.25 - 1 4
3 4.35 5.4 5.25 4.35 1 5.4
4 4.35 6.35 6.65 6.35 2 6.65
5 4.35 6.35 7.6 7.75 3 7.75
6 4.35 6.35 7.6 8.7 3 8.7
Etapa 2:
69
Procedimiento de solucin
Etapa 1:
S
1
\x
1
0 1 2 3 x
*
1
f
*
1
6 8.7 9.75 9.75 9.45 1 o 2 9.75
Por lo tanto, tenemos 2 combinaciones optimas con las cuales podemos maximizar
nuestras ganancias, las cuales se resumen a continuacin,
Tienda 1 Tienda 3 Tienda 2
1 3 2 Caso 1
Caso 2 2 2 2
70

Cap01 - Programación Dinámica

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Cap01 - Programación Dinámica

Uploaded by

Copyright:

Available Formats

Ingeniera Civil Industrial

You might also like