Chapitre 1 - Echantillonnage et distributions

L'inférence statistique est essentielle pour généraliser des informations d'un échantillon à l'ensemble d'une population. Ce processus implique de bien comprendre les définitions clés et de s'assurer de la qualité de l'échantillonnage pour des résultats fiables à l'examen.

Une population est caractérisée par des paramètres fixes mais généralement inconnus. Les trois principaux paramètres sont la moyenne (μ), la proportion (π) et la variance (σ²). Ces valeurs sont l'objectif de l'inférence statistique, car elles décrivent les caractéristiques réelles de l'ensemble étudié.

L'estimation est la valeur numérique obtenue lorsque l'estimateur est appliqué à un échantillon concret. Il est crucial de ne pas confondre le paramètre (valeur vraie et fixe de la population), l'estimateur (formule aléatoire) et l'estimation (résultat numérique obtenu). Une erreur fréquente aux examens est de mélanger ces trois notions. Par exemple, $\hat{\theta}$ (thêta chapeau) est la notation générique pour un estimateur.

Cette distinction est fondamentale et souvent source d'erreurs. Les symboles grecs (μ, π, σ) sont réservés à la population, tandis que les lettres latines (n, $\bar{x}$, $S$) désignent les statistiques d'échantillon. Ne jamais mélanger ces notations est un impératif pour la clarté et la justesse des calculs.

Un bon échantillonnage est la pierre angulaire d'une inférence valide. Il doit être aléatoire pour éviter les biais, représentatif de la population pour que les conclusions soient généralisables, et de taille adaptée. La taille optimale résulte d'un arbitrage entre le coût et la précision attendue de l'estimation. Une taille d'échantillon trop faible peut entraîner des estimations imprécises.

L'extraction peut se faire avec ou sans remise, et être ordonnée ou non. Ces choix influencent le nombre total d'échantillons possibles et les propriétés statistiques. L'échantillonnage aléatoire simple sans remise, par exemple, rend les variables $X_i$ dépendantes, un point à ne pas oublier dans certains contextes d'examen.

Lorsqu'on extrait plusieurs échantillons d'une population, la moyenne $\bar{x}$ de chaque échantillon varie. La distribution de ces moyennes d'échantillon s'appelle la distribution d'échantillonnage de la moyenne. C'est une distribution de probabilité qui décrit toutes les valeurs possibles de $\bar{x}$ et leurs probabilités.

Si les variables $X_i$ de l'échantillon sont indépendantes et identiquement distribuées (i.i.d.), la loi de $\bar{x}$ peut être déterminée. Si $X$ suit une distribution $N(\mu ; \sigma^2)$, alors $\bar{x}$ suit également une loi normale : $\bar{x} \sim N(\mu ; \sigma^2 / n)$. Dans ce cas, l'estimateur $\bar{x}$ est sans biais et efficace.

Même si la distribution de la variable $X$ dans la population n'est pas normale, le Théorème Central Limite (TCL) garantit que la distribution des moyennes d'échantillon $\bar{x}$ tend vers une loi normale à mesure que la taille de l'échantillon $n$ augmente. Une règle pratique courante est d'appliquer cette approximation lorsque $n > 30$.

La loi normale centrée réduite, notée Z, suit une distribution N(0; 1), ce qui signifie qu'elle a une moyenne (espérance) de 0 et une variance de 1. C'est une loi fondamentale en statistique car elle permet de standardiser n'importe quelle variable normale pour faciliter les calculs de probabilités.

Toute variable aléatoire X qui suit une loi normale N(μ; σ²) peut être transformée en une variable centrée réduite Z. Cette transformation s'effectue grâce à la formule de standardisation, qui soustrait la moyenne et divise par l'écart-type. Cela permet de ramener tout problème de probabilité à une table unique.

La fonction de répartition de la loi normale centrée réduite, notée Φ(z), donne la probabilité que la variable Z soit inférieure ou égale à une valeur z, c'est-à-dire P(Z < z). La table de la loi normale fournit ces valeurs, qui représentent l'aire sous la courbe de densité à gauche de z. Il est crucial de savoir l'utiliser pour trouver les probabilités associées à des valeurs de Z.

Une fois la variable X standardisée en Z, les calculs de probabilités deviennent directs :

• P(X < x) se transforme en P(Z < z) et se lit directement dans la table Φ(z).
• P(X > x) devient P(Z > z), ce qui est égal à 1 - P(Z < z) = 1 - Φ(z).
• P(a < X < b) est équivalent à P(z_a < Z < z_b), soit Φ(z_b) - Φ(z_a). Ces techniques sont des classiques d'examen et doivent être maîtrisées.

La loi normale est symétrique autour de sa moyenne μ. Pour la loi centrée réduite, elle est symétrique autour de 0. Cette propriété est très utile pour les calculs : P(Z < -z) = P(Z > z) = 1 - P(Z < z). Cela signifie que la probabilité d'être en dessous d'une valeur négative est la même que la probabilité d'être au-dessus de sa valeur positive correspondante. Autre point important : P(X = x) pour une loi continue est toujours nulle.

Trois propriétés principales permettent d'évaluer la qualité d'un estimateur : l'absence de biais, l'efficacité et la consistance. Ces critères sont souvent évalués à l'examen pour justifier le choix d'un estimateur.

Un estimateur $T$ est dit sans biais si son espérance est égale à la vraie valeur du paramètre $\theta$ qu'il est censé estimer. Le biais $B(T)$ mesure l'écart moyen entre l'estimateur et le paramètre. L'absence de biais est une propriété fondamentale, car elle garantit que, en moyenne, l'estimateur ne sous-estime ni ne surestime le paramètre.

L'efficacité d'un estimateur sans biais est mesurée par sa variance : plus la variance est faible, plus l'estimateur est efficace, car ses estimations sont plus concentrées autour du paramètre. Pour comparer des estimateurs qui peuvent être biaisés, on utilise l'erreur quadratique moyenne (MSE, Mean Squared Error), qui combine la variance et le carré du biais.

Un estimateur est consistant s'il se rapproche de la vraie valeur du paramètre à mesure que la taille de l'échantillon ($n$) augmente indéfiniment. Cette propriété est souhaitable car elle assure que, avec suffisamment de données, l'estimation convergera vers le paramètre réel.

Il est essentiel de connaître les estimateurs ponctuels usuels et leurs distributions d'échantillonnage, souvent dérivées des propriétés de la population ou du Théorème Central Limite. Cela permet de construire des intervalles de confiance et d'effectuer des tests statistiques.

L'estimateur de la proportion $\hat{P}$ est assimilable à une moyenne de variables de Bernoulli, et donc sa distribution d'échantillonnage tend vers une loi Normale pour $n$ suffisamment grand, en vertu du Théorème Central Limite. La correction $(n-1)$ pour la variance échantillon $S^2$ garantit qu'il est un estimateur sans biais de $\sigma^2$. La quantité $(n-1)S^2/\sigma^2$ suit une loi du $\chi^2$ (khi-deux) à $(n-1)$ degrés de liberté, un résultat fondamental pour l'inférence sur la variance.

Lorsque plusieurs estimateurs sont sans biais, le critère de choix est l'efficacité, c'est-à-dire l'estimateur ayant la plus petite variance. Il est crucial, lors d'un examen, de bien détailler le calcul de l'espérance et de la variance de chaque estimateur, comme illustré dans l'exemple de comparaison de $T_1 = \bar{x}$ et $T_2 = (x_1 + x_2)/2$ pour la moyenne $\mu$.