Le théorème de Basu, ou lemme de Basu, est un résultat de statistique établi en 1955 par le statisticien Debabrata Basu. Il indique qu'une statistique exhaustive et complète est indépendante de toute statistique libre. Ce théorème a de nombreuses applications dans différentes branches des statistiques et est aujourd'hui considéré comme un résultat fondamental de la discipline.

Le théorème de Basu utilise les notions d'exhaustivité, de complétude et de liberté d'une statistique. Rappelons les définitions de ces notions.

Considérons un modèle statistique de paramètre ${\displaystyle \theta }$ générant des données ${\displaystyle X}$.

• Une statistique ${\displaystyle T(X)}$ est exhaustive pour ${\displaystyle \theta }$ si la distribution de ${\displaystyle X}$ conditionnellement à ${\displaystyle T(X)}$ ne dépend pas de ${\displaystyle \theta }$.
• Une statistique ${\displaystyle T(X)}$ est complète si l'implication suivante est vraie pour toute fonction ${\displaystyle g}$ mesurable à valeurs réelles : si pour tout ${\displaystyle \theta }$, ${\displaystyle \mathbb {E} \left[g(T(X))\right]=0}$, alors ${\displaystyle P\left[g(T(X))=0\right]=1}$ pour tout ${\displaystyle \theta }$.
• Une statistique ${\displaystyle S(X)}$ est libre pour ${\displaystyle \theta }$ si sa distribution ne dépend pas de ${\displaystyle \theta }$.

• La condition de complétude de ${\displaystyle T(X)}$ peut être remplacée par la condition moins forte de complétude bornée : si pour une fonction ${\displaystyle g}$ mesurable et bornée à valeurs dans ${\displaystyle \mathbb {R} }$, ${\displaystyle \mathbb {E} \left[g(T(X))\right]=0}$ pour tout ${\displaystyle \theta }$, alors ${\displaystyle g(T(X))=0}$ avec probabilité 1 pour tout ${\displaystyle \theta }$.
• Le théorème est parfois écrit en exigeant que ${\displaystyle T(X)}$ soit une statistique minimale. Cette condition n'est pas nécessaire, mais elle peut paraître naturelle car le théorème de Bahadur (en) garantit que, s'il existe une statistique minimale, une statistique complète et exhaustive est nécessairement minimale.

Considérons une loi normale ${\displaystyle {\mathcal {N}}(\mu ,\sigma )}$ d'espérance ${\displaystyle \mu }$ et de variance ${\displaystyle \sigma ^{2}}$. Soit ${\displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle n}$ variables aléatoires indépendantes issues de cette loi normale.

• La moyenne empirique ${\displaystyle {\bar {X}}={\frac {1}{n}}\sum _{1=1}^{n}X_{i}}$ est une statistique exhaustive et complète pour ${\displaystyle \mu }$. Cela se montre en utilisant le fait que la loi normale fait partie de la famille exponentielle.
• La variance empirique ${\displaystyle S={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\bar {X}})^{2}}$ est une statistique libre pour ${\displaystyle \mu }$. En effet, la distribution de ${\displaystyle n\sigma ^{2}S}$ est une loi du ${\displaystyle \chi ^{2}}$ à ${\displaystyle n-1}$ degrés de liberté. La distribution de ${\displaystyle S}$ ne dépend donc pas de ${\displaystyle \mu }$.

Alors ${\displaystyle {\bar {X}}}$ et ${\displaystyle S}$ sont indépendantes.

Supposons que l'espérance ${\displaystyle \mu }$ soit connue et égale à ${\displaystyle \mu _{0}}$.

• L'estimateur non biasée de la variance ${\displaystyle {\tilde {S}}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\bar {X}})^{2}}$ est une statistique exhaustive et complète pour ${\displaystyle \sigma ^{2}}$.
• La statistique du test de Student ${\displaystyle T={\sqrt {n}}{\frac {{\bar {X}}-\mu _{0}}{\sqrt {\tilde {S}}}}}$ est une statistique libre pour ${\displaystyle \sigma }$ car sa distribution est une loi de Student à ${\displaystyle n-1}$ degrés de liberté (qui ne dépend donc pas de ${\displaystyle \sigma }$).

Les statistiques ${\displaystyle {\tilde {S}}}$ et ${\displaystyle T}$ sont donc indépendantes.

Considérons une loi gamma ${\displaystyle \Gamma (\alpha ,\beta )}$ de paramètre de forme ${\displaystyle \alpha }$ et d'intensité ${\displaystyle \beta }$. La densité associée est ${\displaystyle f(x)={\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}x^{\alpha -1}e^{-\beta x}}$ pour ${\displaystyle x\geq 0}$. Soit ${\displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle n}$ variables aléatoires indépendantes issues de cette loi gamma.

• ${\displaystyle {\bar {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$ est une statistique complète et exhaustive pour ${\displaystyle \beta }$. Cela se montre en utilisant le fait que la loi gamma fait partie de la famille exponentielle.
• La statistique ${\displaystyle S={\frac {\sum _{i=1}^{n-1}X_{i}}{\sum _{i=1}^{n}X_{i}}}}$ est libre pour ${\displaystyle \beta }$ car c'est une statistique invariante pour l'échelle.

On a donc que ${\displaystyle {\bar {X}}}$ et ${\displaystyle S}$ sont indépendantes^[1].

Considérons la famille de distributions ${\displaystyle {\mathcal {P}}}$ générant des variables aléatoires ${\displaystyle X_{1},\ldots ,X_{n}}$ indépendantes et identiquement distribuées selon un distribution ${\displaystyle F}$ admettant une fonction de densité continue sur ${\displaystyle \mathbb {R} }$: ${\displaystyle {\mathcal {P}}=\left\{{\text{distributions de densité }}\prod _{i=1}^{n}f(x_{i})\mid f{\text{ est une densité continue sur }}\mathbb {R} \right\}}$. Il s'agit d'un cas inhabituel de famille de distributions où le paramètre est la densité ${\displaystyle f}$.

• Il est possible de démontrer que l'échantillon ordonnés des valeurs les plus faibles aux plus grandes, ${\displaystyle X_{(1)},\ldots ,X_{(n)}}$ est une statistique exhaustive et complète^[2].
• Notons ${\displaystyle R_{1},\ldots ,R_{n}}$ les rangs de l'échantillon ${\displaystyle X_{1},\ldots ,X_{n}}$ (par exemple ${\displaystyle R_{1}=n}$ si ${\displaystyle X_{1}}$ prend la plus grande valeur de l'échantillon). Alors la distribution de ${\displaystyle (R_{1},\ldots ,R_{n})}$ ne dépend pas de ${\displaystyle f}$. Il s'agit donc d'une statistique libre.

Alors l'échantillon ordonné ${\displaystyle X_{(1)},\ldots ,X_{(n)}}$ est indépendant des rangs ${\displaystyle R_{1},\ldots ,R_{n}}$ de l'échantillon^[3].

Il existe un résultat proche d'une réciproque du théorème de Basu indiquant que si une statistique ${\displaystyle S(X)}$ est indépendante d'une statistique exhaustive ${\displaystyle T(X)}$ pour toute valeur du paramètre ${\displaystyle \theta }$, alors ${\displaystyle S(X)}$ est libre pour ${\displaystyle \theta }$. La complétude de la statistique exhaustive ${\displaystyle T(X)}$ n'est plus nécessaire, mais ce résultat vient au prix d'une condition supplémentaire sur le modèle ${\displaystyle P_{\theta }}$ pour lequel il ne doit pas exister d'événement séparant, c'est-à-dire qu'il ne doit pas exister d'événement qui soit impossible pour certaines valeurs du paramètre ${\displaystyle \theta }$ mais certain pour d'autres valeurs du paramètre.

Donnons ici une démonstration simple et intuitive, bien qu'inexacte, de la réciproque du théorème de Basu.

Soit ${\displaystyle A}$ un ensemble mesurable de ${\displaystyle {\mathcal {S}}}$. Comme ${\displaystyle T(X)}$ est exhaustive, ${\displaystyle P(S(X)\in A\mid T(X))}$ ne dépend pas de ${\displaystyle \theta }$. Par ailleurs, comme ${\displaystyle S(X)}$ et ${\displaystyle T(X)}$ sont indépendantes, ${\displaystyle P(S(X)\in A\mid T(X))=P(S(X)\in A)}$. On en déduit donc que ${\displaystyle P(S(X)\in A)}$ ne dépend pas de ${\displaystyle \theta }$. Comme cela est vrai pour tout événement ${\displaystyle A}$, nous avons bien montré que ${\displaystyle S(X)}$ est libre pour ${\displaystyle \theta }$.

Cette démonstration n'utilise pas la condition de non-existence d'événement séparant pour le modèle ${\displaystyle {\mathcal {P}}=\{P_{\theta }\mid \theta \in \Theta \}}$ et est donc fausse, comme le montre le contre-exemple donné plus loin.

L'erreur de cette preuve provient de l'implication « comme ${\displaystyle S(X)}$ et ${\displaystyle T(X)}$ sont indépendantes, ${\displaystyle P\left(S(X)\in A\mid T(X)\right)=P(S(X)\in A)}$» qui doit être corrigée en « comme ${\displaystyle S(X)}$ et ${\displaystyle T(X)}$ sont indépendantes, ${\displaystyle P(S(X)\in A\mid T(X))=P(S(X)\in A)}$, avec probabilité 1». Comme la précision «avec probabilité 1» dépend de la loi de probabilité considérée, elle dépend en réalité du paramètre ${\displaystyle \theta }$. Cela complique les choses et ne permet donc pas de conclure sans hypothèse supplémentaire sur le modèle ${\displaystyle {\mathcal {P}}}$.

Cette démonstration a été publiée par Basu en 1955^[4] et corrigée 3 ans plus tard^[5]. Bien qu’erronée à cause d'un point technique, elle permet de donner une intuition du théorème et de sa preuve qui, bien qu'un peu plus technique, reste guidée par le même argument.

Donnons ici un exemple de modèle statistique pour lequel il existe des statistiques libres mais non indépendantes de statistiques exhaustives, ce modèle ne satisfaisant pas la condition de non-séparabilité.

Soit ${\displaystyle X}$ une variable aléatoire issue d'une distribution uniforme sur un intervalle ${\displaystyle [\theta ,\theta +1[}$ où ${\displaystyle \theta \in \mathbb {N} }$.

La densité de ${\displaystyle X}$ peut s'écrire ${\displaystyle f(c)=\mathbb {1} _{\{\theta \}}(\lfloor x\rfloor )}$, où ${\displaystyle \lfloor X\rfloor }$ désigne la partie entière de ${\displaystyle X}$ et où ${\displaystyle \mathbb {1} _{\{\theta \}}}$désigne la fonction indicatrice du singleton ${\displaystyle \{\theta \}}$, qui vaut 1 si son argument est égal à ${\displaystyle \theta }$ et 0 sinon. Le théorème de factorisation de Fisher–Neyman indique alors que ${\displaystyle \lfloor X\rfloor }$ est une statistique exhaustive pour ${\displaystyle \theta }$.

Cependant pour un ${\displaystyle \theta }$ donné, la statistique ${\displaystyle \lfloor X\rfloor }$ est constante, égale à ${\displaystyle \theta }$, elle est donc indépendante de toute autre statistique, en particulier de ${\displaystyle X}$. Cependant, ${\displaystyle X}$ n'est pas libre car sa distribution dépend bien de ${\displaystyle \theta }$ (${\displaystyle X}$ est même également exhaustive).

La réciproque du théorème de Basu n'est donc pas respectée dans ce cas particulier. Cela est rendu possible par le fait que le modèle statistique considéré est séparable: l'événement ${\displaystyle \lfloor X\rfloor =1}$ a une probabilité de 1 si ${\displaystyle \theta =1}$, mais une probabilité de 0 si ${\displaystyle \theta =2}$ par exemple^[6].

D'autres réciproques du théorème de Basu ont été établies, cherchant par exemple à établir la complétude d'une statistique exhaustive qui serait indépendante de toute statistique libre. Cependant ces résultats sont plus techniques, utilisent des notions modifiées de complétude et ont eu un impact moindre^[7].

Basu a donné la première version de ce théorème en 1955 dans un article intitulé On Statistics Independent of a Complete Sufficient Statistic, publié dans le journal de l'Institut indien de statistiques : Sankhyā: The Indian Journal of Statistics^[4]. Cette première publication met surtout en avant la réciproque du théorème plutôt que ce qui sera retenu comme le théorème lui-même. Une erreur dans la démonstration de la réciproque est rapidement notée et une version corrigée est publiée en 1958 dans le même journal^[5]. Le théorème de Basu, établissant un lien fort entre les notions de complétude, d'exhaustivité et de liberté, a rapidement trouvé de nombreuses applications. Il est aujourd'hui inclus dans des livres de référence de statistiques^[8],[2].

Le théorème de Basu trouve de nombreuses applications dans différentes branches des statistiques. Donnons ici une liste non exhaustive d'applications de ce théorème.

• Il peut simplifier le calcul de moments de variables aléatoires, lorsque celles-ci peuvent s'écrire comme un produit ou comme une somme d'une statistique exhaustive et complète et d'une statistique libre^[3].
• Pour certains tests d'hypothèses, il permet d'établir la distribution exacte d'une statistiques de test^[9].
• Le théorème de Basu est au cœur de l'astuce du Monte Carlo swindle, permettant d'améliorer la précision de certaines méthodes de Monte-Carlo^[10].
• Il peut intervenir dans la production d'intervalles de confiance dans le cadre des méthodes Bayésiennes empiriques (en)^[11].
• Il trouve des applications dans différents problèmes d'estimation, notamment pour trouver des estimateurs à variance minimale^[12].

• Statistique exhaustive
• Théorème de Lehmann-Scheffé
• Théorème de Pitman-Koopman-armois
• Théorème de Rao-Blackwell

• Portail des probabilités et de la statistique