{"word_count": 639, "character_count": 4353}
On célèbre cette année les 35 ans d'un livre qui a révolutionné la statistique, tant sur les aspects computationnels que graphiques: Exploratory Data Analysis par John Tukey. La légende prétend (on pourra relire a brief history of S par Richard Becker) que ce livre a inspiré ce qui allait devenir R,"Commercial software did not fit well into our research environment. It often used a ‘‘shotgun’’ approach — print out everything that might be relevant to the problem at hand because it could be several hours before the statistician could get another set of output. This was reasonable when computing was done in a batch mode. However, we wanted to be able to interact with our data, using Exploratory Data Analysis (Tukey, 1971) techniques. In addition, commercial statistical software usually didn’t compute what we wanted and was not set up to be modified."En particulier, c'est dans ce livre qu'est introduit un outil graphique intéressant pour visualiser des données, le boxplot, appelé en français boite à moustaches (que tous les statisticiens se doivent d'utiliser en ce mois de Movembre). Dans la version originale, les boites sont verticalesmais mis horizontalement, on voit une boite, avec des moustaches. Cela dit, les moustaches ne sont pas toujours ce que l'on croit. Par exemple, on pense souvent (et moi le premier, il y a encore peu) que la boite à moustaches permettait de visualiser des valeurs extrêmes, voire des quantiles s'il y a trop de données (le maximum peut - en effet - être très très grand)C'est malheureusement plus compliqué que ca... Afin de mieux comprendre ce qu'on trace, regardons le jeu de données suivant,&#62; set.seed(1)&#62; X=rlnorm(99)(on est ici en échelle logarithmique). Pour commencer, on peut faire une boite à moustache avec une visualisation du minimum (à gauche) et du maximum (à droite)&#62; boxplot(X,horizontal=TRUE,log="x",range="0")Et effectivement, on retrouve facilement tous les paramètres: ceux de la boite (en rouge)&#62; abline(v=median(X),lty=2,col="red")&#62; abline(v=quantile(X,.25),lty=2,col="red")&#62; abline(v=quantile(X,.75),lty=2,col="red")et ceux de la moustache (en bleu)&#62; abline(v=min(X),lty=2,col="blue")&#62; abline(v=max(X),lty=2,col="blue")Mais ce n'est pas la version standard de la boite à moustaches, qui est - sous R - la suivante&#62; boxplot(X,horizontal=TRUE,log="x")Si la borne inférieure de la moustache est toujours le minimum (en tous cas ici), pour la partie supérieure... c'est plus compliqué. Malheureusement ce n'est pas un quantile standard (ceux à 90% et 95% sont représentés ci-dessus en mauve). Pour comprendre ce que c'est, il faut regarder le code: ici, on rajoute au quartile supérieur (la partie de droite de la boite) un pourcentage de la distance inter-quartile (la longueur de la boite), et ce pourcentage est le suivant&#62; M=boxplot(X)$stats&#62; (M[5]-M[4])/(M[4]-M[2])[1] 1.350628&#62; 2*qnorm(.75)[1] 1.34898Plusieurs sites ou ouvrages suggèrent d'utiliser 1.5 fois la longueur interquartile, mais sous R, on utilise . Il faut le savoir (je l'ai appris un peu par hasard en faisant une formation sur la régression quantile au R Montréal Group au printemps passé). Et effectivement, on retrouve les bornes de la moustache,&#62; abline(v=quantile(X,.75)+2*qnorm(3/4)*IQR(X),lty=2,col="blue")&#62; abline(v=min(X),lty=2,col="blue")et je laisse les quantiles pour montrer que (malheureusement) ce n'est pas ce qui est utilisé ici,&#62; abline(v=quantile(X,.9),lty=2,col="purple")&#62; abline(v=quantile(X,.95),lty=2,col="purple")Cela dit, comme je l'évoquais lors de la formation, beaucoup de monde laisse planer une réelle ambiguité sur ce qui est représenté par ces boites à moustaches... Et le fait que ce ne soit pas un quantile me gene un peu... Par exemple, ici on avait la boite à moustaches suivanteSi je prends les 25 plus petites observations, et que je les divise par 4, on obtientLa partie de gauche bouge (c'est normal, c'est la partie qu'on a modifiée), et la médiane reste identique, ainsi que la partie droite de la boite (ce qui est normal, ce sont des quantiles au delà de 25%). Mais de manière un peu gênante, la borne supérieure de la moustache s'est ralongée...  C'est normal, car on utilise une distance inter-quartile. Mais on n'a pas touché aux grandes observations, c'est donc gênant de la voir bouger ainsi... non ?