Universit Claude Bernard LYON I Anne universitaire 2007-2008

PROBABILITES

Feuille de TD 3

Lois continues usuelles

Exercice 1. de loi 2. de loi 3. de loi 1 Calculer lesprance et variance de X lorsque X est une variable alatoire uniforme U([a, b]) sur lintervalle [a, b] R ; normale N (m, ) de paramtres m R, > 0 ; exponentielle E() de paramtre > 0.

Exercice 2 Soit X une variable alatoire de loi de Cauchy de paramtre a > 0, X (dx) = (a2a 2 ) dx. +x 1. Pour quels R la variable |X| est-elle intgrable ? 2. Dterminer la fonction caractristique de cette loi, c.-.-d. lesprance de la variable alatoire eitX pour tout t R. Exercice 3 Une variable alatoire positive X est sans mmoire si P(X > t + s|X > t) = P(X > s), t, s 0.

Montrer quune variable alatoire positive dont la loi admet une densit est sans mmoire si, et seulement si elle suit une loi exponentielle. Exercice 4 Soit X une variable alatoire valeurs dans R+ de densit f , et un rel r > 0. Montrer que

E(X r ) =
0

rxr1 P(X > x)dx

(o les deux membres sont nis ou innis).

Obtenir une loi partir dune autre

Exercice 5 Soit X une variable alatoire valeurs dans E R et f : E R une fonction mesurable. On dnit Y = f (X). Y est une variable alatoire (pourquoi ?). 1. On suppose que X admet une densit et que f est injective et C 1 par morceaux. laide dun changement de variable, montrer que la loi de Y admet une densit que lon explicitera. 2. On suppose que la loi de X est uniforme sur [0, 1] et que f (x) = ln x. Quelle est la loi de Y ? 3. On suppose que la loi de X est normale de paramtres m R et > 0. Trouver une fonction f telle que Y = f (X) est une variable alatoire de loi normale de paramtres m = 0 et = 1. Exercice 6 Soit deux variables alatoires X, Y indpendantes, de loi normale N (0, 1). 1. Calculer la loi de la variable X . Y 2. En dduire la loi de Z 1 si Z est une variable alatoire de loi de Cauchy.

Lingalit de Jensen
Exercice 7 Soit f : E R R une fonction convexe dnie sur un intervalle E qui contient les valeurs dune variable alatoire intgrable X. Alors E[(f (X)) ] < donc E[f (X)] a un sens (ventuellement +), et : f (E[X]) E[f (X)]. De plus, si f est strictement convexe, alors f (E[X]) = E[f (X)] implique que X est constante (sur un vnement de mesure 1).

Entropie
Soit (, P(), P) un espace de probabilit ni. Lentropie (dans la base b) de la probabilit P est la valeur Hb (P) := P({}) logb (P({}))

o b > 0 est la base du logarithme (on dnit 0 logb (0) = 0). En thorie de linformation on utilise surtout b = 2, cest lentropie binaire, quon va noter H. Autrement dit, H est lesprance de la variable alatoire Z() = log2 (P({})). On note aussi H(X) lentropie (binaire) de la loi dune variable alatoire nie X. Exercice 8 On considre un jeu X(carte) = de 32 cartes avec la variable alatoire X o a b c d si la carte est noire si la carte est un coeur si la carte est le 7, le 8, le 9 ou le 10 de carreau pour les autres cartes

o a, b, c, d sont quatre nombres dirents. 1. Calculer H(X). 2. Alice et Bob jouent un jeu : Alice tire une carte C et demande Bob de dterminer la valeur de X(C) en ne posant que des questions dont la rponse est oui ou non (donc du type X(C) appartient-il A ? o A est une partie de {a, b, c, d}). Supposons que Bob choisit les questions X(C) = a ?, X(C) = b ?, X(C) = c ?, dans cet ordre. Dterminer la valeur moyenne du nombre de questions que Bob a besoin de poser. (La rponse est H(X). On peut montrer que cest une strategie optimale pour Bob, dans le sens o la valeur moyenne du nombre de questions est minimale.) Exercice 9 Soit maintenant P, P deux probabilits sur . Lentropie relative D(P P ) est lesprance de la variable log2 (P({})) log2 (P ({})) par rapport P, c.-.-d. D(P P ) =

P({}) logb

P({}) P ({})

1. Montrer laide de lingalit de Jensen que D est positive et que D(P P ) = 0 implique P = P . 2. On note u la distribution uniforme sur . Montrer que D(P u) = H(u) H(P). 3. En dduire que lentropie dune probabilit sur prend ses valeurs entre 0 et log2 || et que la probabilit uniforme est lunique point maximal de H.