{"word_count": 1902, "character_count": 14032}
Pourquoi certains chercheurs publient beaucoup, et d'autres moins ? ou de l'hétérogénéité dans une loi de Poisson (oui, le but principal du billet est de parler de la régression de Poisson).Il y a une vingtaine d'années, Scott Long publiait un article intitulé 'The Origins of Sex Differences in Science'. Mais surtout, les données sont téléchargeables ici.&#62; library(foreign)&#62; base=read.dta("http://www.ats.ucla.edu/stat/stata/examples/long/couart2.dta")&#62; head(base)  art   fem     mar kid5  phd ment1   0   Men Married    0 2.52    72   0 Women  Single    0 2.05    63   0 Women  Single    0 3.75    64   0   Men Married    1 1.18    35   0 Women  Single    0 3.75   266   0 Women Married    2 3.59    2On dispose de plusieurs informations, recueillies auprès de 950 docteurs en biochimie. On a ainsile nombre de publications au cours des 3 dernières années de leur doctorat,le sexe du docteur,son statut marital (marié(e) ou célibataire), a priori à la fin du doctorat,le nombre d'enfant(s) du docteur agé(s) de moins de 5 ans, là encore à la fin du doctoratle nombre de publications du directeur de thèse (appelé ici mentor) au cours des 3 dernières années(on a aussi le prestige du département, mais je trouve cette variable trop subjective). Comme on fait un comptage de publications, on pourrait espérer voir une loi de Poisson.&#62; n=nrow(base)&#62; lambda=mean(base$art)&#62; compte=table(base$art)&#62; N=as.numeric(names(compte))&#62; empirique=as.numeric(compte[as.character(0:19)])/n&#62; theorique=dpois(0:19,lambda)&#62; cbind(0:19,empirique,theorique)        empirique theorique [1,]    0 0.3005  0.1839 [2,]    1 0.2688    0.3114 [3,]    2 0.1945    0.2636 [4,]    3 0.0918    0.1487 [5,]    4 0.0732  0.0629 [6,]    5 0.0295  0.0213 [7,]    6 0.0185  0.0060 [8,]    7 0.0131  0.0014 [9,]    8 0.0010  0.0003[10,]    9 0.0021  0.0000[11,]   10 0.0010  0.0000[12,]   11 0.0010  0.0000[13,]   12 0.0021  0.0000[14,]   13     NA  0.0000[15,]   14     NA  0.0000[16,]   15     NA  0.0000[17,]   16 0.0010  0.0000[18,]   17     NA  0.0000[19,]   18     NA  0.0000[20,]   19 0.0010  0.0000&#62; plot(0:19,theorique,col="red",type="p")&#62; lines(0:19,empirique,type="p",col="blue ")Mais non... graphiquement, on est relativement éloignés de la loi de Poissonavec en rouge la fréquence que l'on aurait eu avec une loi de Poisson (de paramètre la moyenne obtenue sur l'ensemble de la population), et en bleu, la fréquence empirique.Un test rapide permettra de convaincre les sceptiques,&#62; library(vcd)&#62; summary(goodfit(base$art,type="poisson")) Goodness-of-fit test for poisson distribution                      X^2 df     P(&#62; X^2)Likelihood Ratio 296.3715 13 1.381259e-55Manifestement, il y a de l'hétérogénéité dans la population des doctorants. Il y a ceux qui publient beaucoup, ceux qui publient peu et ceux qui ne publient pas.Le sexe et le nombre de publicationsPeut-être qu'en discriminant par le sexe, on aurait, par sous-populations, des lois de Poisson. Si on étudie la distribution du nombre de publications pour les hommesversus la distribution du nombre de publications pour les femmesça ne semble pas suffire pour expliquer toute l'hétérogénéité. Même s'il semble y avoir une différence ne serait-ce que sur le nombre moyen de publications par sexe,&#62; tapply(base$art,base$fem,mean)     Men    Women 1.882591 1.470309Là encore, on peut faire un test rapide de comparaison de moyennes&#62; t.test(base$art~base$fem)Welch Two Sample t-testdata:  base$art by base$fem t = 3.3298, df = 885.945, p-value = 0.0009049alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: 0.1692780 0.6552866 sample estimates:  mean in group Men mean in group Women            1.882591            1.470309Visiblement les deux sous-populations sont différentes, mais le critère du sexe ne suffit pas à expliquer l'hétérogénéité.Maintenant, notons que le critère retenu est le nombre de publications. La stratégie des personnes de sexe féminin peut être de viser moins de publications, mais dans de meilleures revues. Entous les cas, le sexe pourrait expliquer en partie (et en partie seulement) l'hétérogénéité observée.Le statut marital et le nombre de publicationsOn peut aussi comparer le statut marital, en particulier marié(e)versus célibataireLà encore, on peut comparer les moyennes, et faire un test d'égalité. Mais cette fois, l'influence est beaucoup plus faible que le sexe.&#62; t.test(base$art~base$mar)Welch Two Sample t-testdata:  base$art by base$mar t = -1.1869, df = 710.307, p-value = 0.2356alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -0.4033993  0.0994165 sample estimates: mean in group Single mean in group Married              1.592233              1.744224la différence entre les moyennes n'étant pas, ici, significative.Les enfants et le nombre de publicationsUne variable probablement plus intéressante que le statut marital pourrait être le nombre d'enfants (moi qui finissait la rédaction de ma thèse alors que ma deuxième apprenait à marcher On a la distribution suivante pour le nombre de publications pour un(e) docteur(e) ayant au moins un enfant,versus un(e) docteur(e) sans enfant,Mais la encore, le test de comparaison de moyenne n'est pas vraiment concluant,&#62; base$kid=base$kid5&#62;0&#62; t.test(base$art~base$kid)Welch Two Sample t-testdata:  base$art by base$kid t = 0.6136, df = 646.359, p-value = 0.5397alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -0.1803154  0.3442384 sample estimates:mean in group FALSE  mean in group TRUE            1.721202            1.639241Certes, les docteur(e)s sans enfant publient plus, mais ce n'est pas non plus flagrant. On pourrait se dire que ce sont surtout les femmes qui ont eu des enfants qui sont pénalisées (la encore, car l'objectif est d'expliquer une quantité de publications), mais tout d'abord autant les hommes que les femmes répercutent le fait d'avoir eu, ou non, un enfant; mais surtout la variable de sexe est beaucoup plus discriminante que le fait d'avoir eu des enfants,&#62; baseH=base[base$fem=="Men",]&#62; baseF=base[base$fem=="Women",]&#62; t.test(baseH$art~baseH$kid)Welch Two Sample t-testdata:  baseH$art by baseH$kid t = 1.3831, df = 491.989, p-value = 0.1673alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -0.1136025  0.6538074 sample estimates:mean in group FALSE  mean in group TRUE            2.011628            1.741525 &#62; t.test(baseF$art~baseF$kid)Welch Two Sample t-testdata:  baseF$art by baseF$kid t = 0.9525, df = 137.906, p-value = 0.3425alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -0.1764049  0.5043375 sample estimates:mean in group FALSE  mean in group TRUE            1.501466            1.337500Impact du directeur de thèse sur le nombre de publicationsUne fois analysées les variables personnelles, si on regardait l'impact du directeur de thèse sur le travail de l'étudiant ? Qui sait, les variables pourraient être corrélées (je ne parle pas ici de relation causale). Par exemple, on peut regarder la distribution du nombre de publications pour un(e) docteur(e) ayant eu un directeur de thèse qui publiait peu (moins que la moyenne ici)versus un directeur de thèse qui publiait beaucoup (plus que la moyenne),Cette fois, on a une nette différence&#62; base$publis=base$ment&#62;=9&#62; t.test(base$art~base$publis)Welch Two Sample t-testdata:  base$art by base$publis t = -6.7568, df = 497.017, p-value = 3.96e-11alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -1.2506429 -0.6871632 sample estimates:mean in group FALSE  mean in group TRUE            1.341338            2.310241Un directeur de thèse qui publie semble avoir des étudiant(e)s qui publient aussi (ou réciproquement).Régression de Poisson et nombre de publicationsLa population était initialement très hétérogène. Trop hétérogène pour une loi de Poisson, avec une variance valant plus du double de la moyenne empirique,&#62; var(base$art)/mean(base$art)[1] 2.191358&#62; summary(glm(art~1,data=base,family=quasipoisson))Call:glm(formula = art ~ 1, family = quasipoisson, data = base)Deviance Residuals:     Min       1Q   Median       3Q      Max  -1.8401  -1.8401  -0.5770   0.2294   7.5677  Coefficients:            Estimate Std. Error t value Pr(&#62;|t|)    (Intercept)  0.52644    0.03761   14.00   &#60;2e-16 ***---Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 (Dispersion parameter for quasipoisson family taken to be 2.191389)    Null deviance: 1817.4  on 914  degrees of freedomResidual deviance: 1817.4  on 914  degrees of freedomAIC: NANumber of Fisher Scoring iterations: 5Si on régresse sur les différentes variables on retrouve les interprétations que nous avions eues,&#62; summary(glm(art~mar+fem+I(kid5&#62;0)+ment,data=base,family=quasipoisson))Call:glm(formula = art ~ mar + fem + I(kid5 &#62; 0) + ment, family = quasipoisson,     data = base)Deviance Residuals:     Min       1Q   Median       3Q      Max  -3.5080  -1.5615  -0.3626   0.5614   5.4494  Coefficients:                 Estimate Std. Error t value Pr(&#62;|t|)    (Intercept)      0.338732   0.081482   4.157 3.53e-05 ***marMarried       0.149527   0.085110   1.757  0.07928 .  femWomen        -0.218643   0.074151  -2.949  0.00327 ** I(kid5 &#62; 0)TRUE -0.250286   0.085834  -2.916  0.00363 ** ment             0.026000   0.002656   9.788  &#60; 2e-16 ***---Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 (Dispersion parameter for quasipoisson family taken to be 1.837376)    Null deviance: 1817.4  on 914  degrees of freedomResidual deviance: 1641.1  on 910  degrees of freedomAIC: NANumber of Fisher Scoring iterations: 5On peut d'ailleurs faire une régression GAM avec une estimation par splines de l'effet du nombre de publications du directeur de thèse. Ce qui permet de légitimer le fait que la variable intervient de manière linéaireOn pourrait noter la concavité de la courbe qui semble sous-entendre qu'un directeur qui publie énormément peut toujours s'occuper de ses étudiants - et les faire publier plus qu'un directeur qui publie moins, mais en première approximation, la courbe peut être supposée linéaire.On peut aussi regarder rapidement qui ne publie pas pendant sa thèse,&#62; summary(glm((art==0)~mar+fem+I(kid5&#62;0)+ment,data=base,family=binomial))Call:glm(formula = (art == 0) ~ mar + fem + I(kid5 &#62; 0) + ment, family = binomial,     data = base)Deviance Residuals:     Min       1Q   Median       3Q      Max  -1.1609  -0.9043  -0.7019   1.2697   2.5221  Coefficients:                Estimate Std. Error z value Pr(&#62;|z|)    (Intercept)     -0.28843    0.18591  -1.551   0.1208    marMarried      -0.33565    0.18800  -1.785   0.0742 .  femWomen         0.23697    0.15829   1.497   0.1344    I(kid5 &#62; 0)TRUE  0.42957    0.19032   2.257   0.0240 *  ment            -0.08141    0.01261  -6.455 1.08e-10 ***---Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 (Dispersion parameter for binomial family taken to be 1)    Null deviance: 1118.7  on 914  degrees of freedomResidual deviance: 1052.0  on 910  degrees of freedomAIC: 1062.0Number of Fisher Scoring iterations: 5Certain(e)s ont eu un enfant, et semblent avoir été pénalisé(e)s, mais si un doctorant n'a pas publié, c'est presque uniquement à cause de son directeur (qui publie peu).Pour reprendre l'interprétation sur l'analyse du nombre de publications, par exemple, le fait d’être marié, ou pas, a peu d'influence sur le nombre de publications. Par contre les femmes - toutes choses étant égales par ailleurs - publient 20% de moins que les hommes,&#62; exp(glm(art~mar+fem+I(kid5&#62;0)+ment,data=base,+ family=quasipoisson)$coefficients[3]) femWomen 0.8036087Par contre le fait d'avoir - ou pas - des enfants semble ici beaucoup plus fort, car les docteur(e)s qui ont eu au moins un enfant publient 25% de moins que ceux qui n'en ont pas eu.&#62; exp(glm(art~mar+fem+I(kid5&#62;0)+ment,data=base,+ family=quasipoisson)$coefficients[4])I(kid5 &#62; 0)TRUE       0.7785778Aussi, une femme ayant eu un enfant aura publié 37% de moins qu'un homme qui n'a pas eu d'enfants. Toutes choses étant égales par ailleurs.Toutes choses étant égales par ailleurs ?C'est ici qu'est l'arnaque, car rien ne garantie que toutes choses puissent être égales par ailleurs. Par exemple, une femme avec enfant (ou pas) peut elle avoir un directeur de thèse qui publie beaucoup ? N'y a-t-il pas un peu d'endogénéité cachée ?Si on regarde le nombre de publications du directeur de thèse versus le sexe de l'étudiant,&#62; t.test(base$ment~base$fem)Welch Two Sample t-testdata:  base$ment by base$fem t = 2.7101, df = 901.2, p-value = 0.006854alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: 0.4587075 2.8673525 sample estimates:  mean in group Men mean in group Women            9.532389            7.869359on note que les directeurs de thèse des hommes publient plus que les directeurs de thèse des femmes. Autrement dit, si les femmes publient moins, c'est peut être parce que les directeurs de thèses qui pourraient les aider à publier ne les prennent pas en thèse, non ? Car il n'y a pas de lien entre le fait d'avoir ou pas des enfants à la fin de sa thèse, et le nombre de publications de son directeur,&#62; t.test(base$ment~base$kid)Welch Two Sample t-testdata:  base$ment by base$kid t = -1.5626, df = 499.06, p-value = 0.1188alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -2.5485856  0.2905184 sample estimates:mean in group FALSE  mean in group TRUE            8.377295            9.506329Bref, c'est manifestement le directeur de these qui influence le plus le nombre de publication d'un doctorant. Mais il serait intéressant d'avoir les memes statistiques 5 ans apres la soutenance...