{"word_count": 1435, "character_count": 10648}
Un petit complément suite au cours de mercredi dernier, pour insister sur l'importance de la [latex]p[/latex]-value dans la lecture de la sortie d'un test. Les erreurs dans un test statistiqueMais avant, rappelons qu'un test est une prise de décision: accepter ou rejeter une hypothèse. Et qu'on peut commettre une erreur. Ou pour être plus précis, on peut commettre deux types d'erreur,• accepter l'hypothèse alors que cette dernière est fausse• rejeter l'hypothèse alors que cette dernière était vraiePour reprendre une terminologie plus médicale, un test de grossesse peut dire à une femme qu'elle n'est pas enceinte, alors qu'elle l'est; ou dire qu'elle l'est, alors qu'elle ne l'est pas (voir tous les exemples dans les exercices de probabilités de l'examen P de la SOA, ou le cours ACT2121).Formellement, on a deux probabilités,• la probabilité d'accepter à tort notre hypothèse (on parlera d'erreur de second espèce), [latex]\beta[/latex]• la probabilité de rejeter à tort notre hypothèse (on parlera d'erreur de première espèce) [latex]\alpha[/latex]Dans un monde idéal on voudrait que les deux probabilités soient aussi petites que possibles... Mais c'est impossible, et le plus souvent, baisser une des probabilités se fait en augmentant l'autre. Les cas extrêmes étant• avoir un test de grossesse qui déclare tout le monde enceinte: on ne rejette alors jamais à tort (on ne rejette jamais tout court en fait), mais on a un fort taux d'acceptation à tort,• avoir un test de grossesse qui ne déclare personne enceinte: on n'accepte jamais à tort (car on n'accepte jamais) mais on a un fort taux de rejet à tort.Bref, on a un arbitrage à faire entre deux types d'erreurs. Souvent, en pratique on va demander à contrôler l'erreur de première espèce (i.e. [latex]\alpha[/latex] de l'ordre de 5%), et on chercher a un test qui, à [latex]\alpha[/latex] donné, possède la plus faible erreur de première espèce. Voilà en gros pour la théorie: on se donne un seuil de significativité [latex]\alpha[/latex], qui correspond à la probabilité d'erreur de premier type. Et on va chercher à tester si une hypothèse [latex]H_0[/latex] est vraie, l'alternative étant une hypothèse [latex]H_1[/latex].[latex]H_0[/latex] vraie[latex]H_1[/latex] vraieaccepter [latex]H_0[/latex]OKerreurtype 2rejeter [latex]H_0[/latex]erreurtype 1OK La "valeur critique"La notion de valeur critique a été introduite dans Neyman &#38; Pearson (1928). Cette valeur dépend de la forme de l'hypothèse alternative, en particulier savoir si le test est bilatéral, unilatéral à gauche, ou unilatéral à droite. Pour un test donné, la valeur critique peut-être vue comme la valeur limite a partir de laquelle on pourra rejeter [latex]H_0[/latex] avec un seuil de significativité donné. La p-valueLa [latex]p[/latex]-value a été introduite dans Gibbons &#38; Pratt (1975), meme si on peut retrouve l'idée beaucoup plus tôt, comme Pearson (1900), qui propose de calculer "the probability that the observed value of the chi-square statistic would be exceeded under the null hypothesis". La [latex]p[/latex]-value est la probabilité, sous [latex]H_0[/latex], d'obtenir une statistique aussi extrême (pour ne pas dire aussi grande) que la valeur observée sur l'échantillon. Aussi, pour un seuil de significativité [latex]\alpha[/latex] donné, on compare [latex]p[/latex] et [latex]\alpha[/latex], afin d'accepter, ou de rejeter [latex]H_0[/latex],• si [latex]p\leq\alpha[/latex], on va rejeter l'hypothèse [latex]H_0[/latex] (en faveur de [latex]H_1[/latex])• si [latex]p&#62;\alpha[/latex], on va rejeter [latex]H_1[/latex] (en faveur de [latex]H_0[/latex]).On peut alors interpréter la [latex]p[/latex]-value comme le plus petit seuil de significativité pour lequel l'hypothèse nulle est acceptée. Gibbons &#38; Pratt (1975) reviennent longuement sur les interprétations, et surtout les mauvaises interprétations, de cette [latex]p[/latex]-value. Valeur critique versus p-valueSi on formalise un peu, on peut vouloir tester [latex]H_0:\theta=\theta_0[/latex] contre [latex]H_1:\theta&#62;theta_0[/latex] (par exemple). De manière très générale, on dispose d'une statistique de test [latex]T[/latex] qui a pour loi, sous [latex]H_0[/latex], [latex]F_{\theta_0}(\cdot)[/latex] (que l'on supposera continue). Notons qu'on peut considérer une hypothèse alternative de la forme [latex]H_1:\theta\neq\theta_0[/latex], c'est juste plus pénible parce qu'il faut travailler sur [latex]\vert T\vert[/latex], et calculer des probabilités à gauche, ou à droite. Donc pour notre exemple, on va prendre un test unilatéral.Dans l'approche classique (telle que présentée dans tous les cours de statistiques), on se donne un seul d'acceptation [latex]\alpha[/latex] petit (disons 5%), et on cherche une valeur critique [latex]T_{1-alpha}[/latex] telle quePour ceux qui se souviennent de leur cours de stats, cela peut faire penser à la puissance du test, définie par[latex]\pi(\theta\vert \alpha)=\mathbb{P}(T\geq T_{1-\alpha}\vert \theta)=1-F_{\theta}(T_{1-\alpha})[/latex]Formellement, la [latex]p[/latex]-value associée au test [latex]T[/latex] est la variable aléatoire [latex]P[/latex] définie par[latex]P=1-F_{\theta_0}(T)[/latex].Donc effectivement, la [latex]p[/latex]-value et la puissance sont liées, puisque[latex]\mathbb{P}(P\leq \alpha\vert \theta)=\pi(\theta\vert \alpha)[/latex]autrement dit, la puissance peut-être vue comme la fonction de répartition de la [latex]p[/latex]-value. Intérêt computationnel de la p-valueD'un point de vue computationnel, la [latex]p[/latex]-value est l'outil le plus important pour interpréter la sortie d'un test. Commençons par un test simple, comme une comparaison de moyennes. On cherche ici à tester [latex]H_0:\mu_X=\mu_Y[/latex] contre [latex]H_1:\mu_X&#62;\mu_Y[/latex] pour des moyennes calculées sur deux groupes. Pour reprendre l'exemple abordé dans un précédant billet, on a les notes obtenues en ACT6420 par deux groupes différents. Et on veut savoir s'ils sont vraiment différents (ci-dessous le nombre de bonnes réponses, sur 40 questions, on travaillera ensuite sur la note sur 100)image manquanteLa statistique de test est ici[latex] T = \frac{\overline{X} - \overline{Y}}{\displaystyle{ \sqrt{ {s_X^2 \over n_X} + {s_Y^2 \over n_Y} }}}[/latex]et sous [latex]H_0[/latex], [latex] T[/latex] va suivre une loi de Student à [latex] \nu[/latex] degrés de liberté, où [latex] \nu[/latex] est donné par la relation de Welch–Satterthwaite (d'après Satterwaite (1946) et Welch (1947)),[latex]\nu = {{\left( {s_X^2 \over n_X} + {s_Y^2 \over n_Y}\right)^2 } \over {{s_X^4 \over n_X^2 \cdot \left({n_X-1}\right)}+{s_Y^4 \over n_Y^2 \cdot \left({n_Y-1}\right)}}} [/latex]Numériquement, on a ici&#62; Xbar=mean(X)&#62; Ybar=mean(Y)&#62; Sx2=var(X)&#62; Sy2=var(Y)&#62; nX=length(X)&#62; nY=length(Y)&#62; (T=(Xbar-Ybar)/sqrt(Sx2/nX+Sy2/nY))[1] -2.155754et pour les degrés de liberté&#62; (nu=(Sx2/nX+Sy2/nY)^2/(Sx2^2/nX^2/(nX-1)++ Sy2^2/nY^2/(nY-1)))[1] 36.35279La valeur critique est obtenue en lisant dans les tables,(car ici on a des probabilité pour un test bilatéral dans la table) comme on apprenait dans les cours de statistique au siècle passé. D'un point de vue informatique, on cherche à savoir si on est à gauche, ou à droite de la valeur critique&#62; qt(.05,df=nu)[1] -1.687865image manquanteOn peut aussi calculer la [latex]p[/latex]-value,&#62; pt(T,df=nu)[1] 0.01889768Si on regarde, sous R, il existe des fonctions de tests, pour comparer des moyennes. Et dans ce cas, la sortie est&#62; t.test(X,Y,alternative = "less")Welch Two Sample t-testdata:  X and Yt = -2.1558, df = 36.353, p-value = 0.0189alternative hypothesis: true difference in means is less than 095 percent confidence interval:-Inf -1.772507sample estimates:mean of x mean of y48.75000  56.91667Autrement dit, on a automatiquement la [latex]p[/latex]-value, et qui permet rapidement d'interpréter le test. Moralité, si on sait interpréter une [latex]p[/latex]-value (et que l'on vérifié au préalable les conditions d'application d'un test), on peut faire tous les tests que l'on veut !Si on veut faire un peu plus compliqué, on peut regarder la distribution des notes, et se demander si une loi [latex]\mathcal{N}(60,15^2)[/latex] serait possible (par exemple, ça sera notre hypothèse [latex]H_0[/latex], l'hypothèse alternative étant que ce n'est pas cette loi). Pour faire ce test, il existe le test de Kolmogorov-Smirnov. La statistique de test est ici[latex]T=\sup\{\vert \widehat{F}_n(x)-F_0(x)\vert ,x\in\mathbb{R}\}[/latex]où [latex]F_0(\cdot)[/latex] est la fonction de répartition de la loi [latex]\mathcal{N}(60,15^2)[/latex], et [latex]\widehat{F}_n(\cdot)[/latex] est la fonction de répartition empirique[latex]\widehat{F}_n(x)=\frac{1}{n}\sum_{i=1}^n \mathbf{1}(x_i\leq x)[/latex]La loi de [latex] T[/latex] n'est pas simple, ou moins simple qu'une loi de Student (cf Marsaglia, Tsang &#38; Wang (2003) par exemple). En revanche, on a les [latex]p[/latex]-values automatiquement,&#62; ks.test(Y, "pnorm", 60, 15)One-sample Kolmogorov-Smirnov testdata:  YD = 0.1421, p-value = 0.5796alternative hypothesis: two-sidedAussi, on peut accepter ici l'hypothèse nulle. On peut d'ailleurs faire un petit dessin pour s'en convaincre,&#62; Femp=function(x) mean(Y&#60;=x)&#62; plot(0:100,Vectorize(Femp)(0:100),type="s")&#62; lines(0:100,pnorm(0:100,60,15),col="red")image manquanteEt ça va nous servir dans ce cours ? A priori oui... parce qu'on parlera du test de Student (pour tester si une variable dans une régression est significative), du test de Fisher (pour tester si plusieurs variables dans une régression sont significatives, ou plus généralement si une contrainte - linéaire - sur les coefficients peut être acceptée), du test de Chow (pour tester des ruptures dans un modèle linéaire, mais c'est un test de Fisher un peu déguisé), du test d'Anderson-Darling (pour tester si des résidus sont Gaussiens), du test de Breuch-Pagan voire le test de White (pour tester si les résidus peuvent être considérés de variance constante), du test de Durbin-Watson (pour tester s'il n'y a pas d'auto-corrélation dans la série des résidus), du test de Dickey-Fuller (pour tester si une série temporelle est - ou n'est pas - stationnaire), des tests de Franses (pour tester si une série peut être considérée comme saisonnière, ou pas), du test de Ljung-Box (pour tester si un bruit est un bruit blanc)... Et j'en oublie un paquet. Donc quand il est dit (dans le plan de cours) que le cours de statistique est un prérequis, il ne s'agit pas de l'avoir suivi, mais bel et bien de l'avoir compris, car on passera notre temps à utiliser des notions entrevues dans ce cours.