Loi des grands nombres

Loi des grands nombres

Contexte

On répète $n$ fois, de manière indépendante, une même expérience aléatoire modélisée par une variable $X$ d'espérance $\mu=E(X)$ et d'écart-type $\sigma$. On note $X_1,\dots,X_n$ les résultats et :

$\overline{X_n} = \frac{X_1+X_2+\cdots+X_n}{n}$

la moyenne empirique (moyenne d'échantillon).

Espérance et variance de la moyenne empirique

$E(\overline{X_n}) = \mu, \qquad V(\overline{X_n}) = \frac{\sigma^2}{n}, \qquad \sigma(\overline{X_n}) = \frac{\sigma}{\sqrt{n}}$

L'écart-type de la moyenne décroît en $1/\sqrt{n}$ : c'est pour cela que les sondages gagnent en précision avec la taille de l'échantillon, mais lentement.

Inégalité de Bienaymé-Tchebychev

Pour toute variable $Y$ d'espérance $\mu_Y$ et d'écart-type $\sigma_Y$ :

$P\big(|Y-\mu_Y|\geq \varepsilon\big) \leq \frac{\sigma_Y^2}{\varepsilon^2}$

Appliquée à $\overline{X_n}$ : $P\big(|\overline{X_n}-\mu|\geq\varepsilon\big) \leq \dfrac{\sigma^2}{n\varepsilon^2}$.

Loi (faible) des grands nombres

Pour tout $\varepsilon>0$ :

$\lim_{n\to+\infty} P\big(|\overline{X_n}-\mu|\geq\varepsilon\big) = 0$

Autrement dit, la moyenne empirique converge en probabilité vers l'espérance théorique. C'est le fondement mathématique du principe : « répéter beaucoup une expérience fait apparaître la vraie moyenne ».

Cas de la fréquence

Si $X_i\sim\mathcal{B}(1;p)$ (succès/échec), alors $\overline{X_n}$ est la fréquence de succès. La LGN donne :

$\overline{X_n} \xrightarrow[n\to+\infty]{} p$

Exemple. Lancer 10 000 fois une pièce équilibrée : la fréquence de piles est proche de 0,5 avec un écart-type $\dfrac{0{,}5}{\sqrt{10000}}=0{,}005$.

Exemple d'application chiffré

$X$ suit une loi d'espérance $\mu=2$ et d'écart-type $\sigma=3$. Combien de répétitions pour que $P(|\overline{X_n}-2|\geq 0{,}1)\leq 0{,}05$ ?

Bienaymé-Tchebychev : $\dfrac{9}{n\times 0{,}01}\leq 0{,}05 \Rightarrow n\geq 18\,000$.

Points-clés

• Espérance de $\overline{X_n}$ = $\mu$, écart-type = $\sigma/\sqrt{n}$.
• Bienaymé-Tchebychev fournit une majoration (souvent grossière) de la probabilité d'écart.
• LGN : la moyenne empirique se rapproche de l'espérance — pilier des statistiques inférentielles.
• À ne pas confondre avec le théorème central limite (forme de la loi de $\overline{X_n}$, hors programme).