{"word_count": 1366, "character_count": 9528}
Depuis le début de la session, j'ai imposé une petite innovation, en donnant, environ une semaine sur deux, un petit exercice (obligatoire mais non noté) avant le cours, en vue de forcer à réfléchir (et de donner des éléments de réponse). Par exemple pour le premier cours, il fallait "prévoir" une valeur manquante, et le but était de montrer que, naturellement, on choisit la valeur moyenne.Pour demain, j'avais posé un exercice un peu plus compliqué, sachant qu'on avait vu, lors du dernier cours, comme faire une régression linéaire, et qu'on avait fini en discutant les tests simples (en lien avec la significativité) et les tests multiples. Pour l'exercice, j'avais mis en ligne une petite base de données,download.file("http://freakonometrics.free.fr/data3.RData","data3.RData")load("data3.RData")str(df)'data.frame':147 obs. of  10 variables: $ Y : num  11.72 15.91 14.19 11.15 8.31 ... $ X1: num  1.33 3.18 0.28 2.08 0.11 1.67 1.97 1.27 4.38 0.52 ... $ X2: num  3.66 3.75 3.32 2.68 4.97 2.98 4.56 1.78 2.83 6.36 ... $ X3: num  1.41 3.01 0.34 2.19 0.25 1.69 2.01 1.25 4.41 0.43 ... $ X4: num  -3.53 -4.46 -3.35 -7.54 -7.02 -2.53 -6.1 -5.99 -3.92 -5.84 ... $ X5: num  0.57 0.01 -0.7 1.62 -0.95 -1.37 1.18 -0.72 2.63 -1.63 ... $ X6: num  -0.82 1.2 3.03 -0.91 -1.6 1.77 1 -1.33 1.31 -0.7 ... $ X7: num  1.01 0.06 2.02 3.63 2.66 2.53 1.29 3.5 1.17 1.8 ... $ X8: num  8.31 8.52 9.78 7.34 7.26 ... $ X9: num  6.04 6.53 7.52 5.61 4.52 6.06 6.2 5.99 6.93 4.38 ...Je vais mettre ici les questions que je posais, et donner des pistes de réflexions, non pas sur les réponses attendues (je n'attends rien de cet exercice à part une réflexion), mais sur la discussion que peut amener chacune des questions, Faîtes un modèle linéaire pour expliquer Y en fonction des neuf variables explicatives. Combien de variables explicatives garderiez-vous ?Commençons par faire une régression sur toutes les variablessummary(lm(Y~., data=df))Coefficients:             Estimate Std. Error t value Pr(&#62;|t|)    (Intercept)  8.046133   2.193448   3.668 0.000349 ***X1           0.342293   0.915894   0.374 0.709186    X2          -0.040479   0.103409  -0.391 0.696073    X3           1.683875   0.897278   1.877 0.062693 .  X4          -0.009254   0.062382  -0.148 0.882295    X5          -1.085367   0.113840  -9.534  &#60; 2e-16 ***X6           0.983207   0.111830   8.792 5.49e-15 ***X7          -0.015646   0.087483  -0.179 0.858327    X8           0.012165   0.094756   0.128 0.898033    X9           0.172210   0.180605   0.954 0.342005    ---Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1Residual standard error: 1.019 on 137 degrees of freedomMultiple R-squared:  0.9228,Adjusted R-squared:  0.9178 F-statistic:   182 on 9 and 137 DF,  p-value: &#60; 2.2e-16On a, dans la sortie, une dizaine de tests de Student qui sont évoqués, correspondant au test de l'hypothèse [latex]H_0:\beta_j=0[/latex] (contre l'hypothèse alternative (bilatérale) [latex]H_1:\beta_j\neq 0[/latex]), dans un modèle de la forme [latex display="true"]y_i=\beta_0+\beta_1x_{1,i}+\dots+\beta_9x_{9,i}+\varepsilon_i[/latex]C'est ce qu'on appelle le test de significativité de la variable [latex]x_j[/latex] (oui, comme on l'a vu en cours, on peut dire le test parce que les autres tests classiques - Fisher, ou Wald - sont équivalent - sauf qu'au lieu de regarder [latex]t[/latex] on regarde la statistique [latex]t^2[/latex] - ce qui présente l'avantage de voir la statistique de test comme une forme de distance à l'hypothèse [latex]H_0[/latex] : si c'est trop grand, on rejette...). Avec un seuil d'acceptation de l'ordre de 5%, on nous dit que 6 variables ne sont pas significatives. Mais gardons bien en mémoire que le test de significativité de [latex]x_j[/latex] est fait ici en supposant que toutes les autres variables restent dans le modèle. Autre chose: avec un seuil d'acceptation de l'ordre de 10%, une des variables (la troisième) peut être vue comme significative.Faisons un test multiple, pour savoir si on peut supprimer 6 des 9 variables explicatives possibles (faisons le à la main, inutile d'aller chercher un package pour le faire)reg1 = lm(formula = Y ~ ., data = df)reg0 = lm(formula = Y ~ X3+X5+X6, data = df)summary(reg0)Coefficients:            Estimate Std. Error t value Pr(&#62;|t|)    (Intercept)  9.11031    0.16788   54.27   &#60;2e-16 ***X3           1.96784    0.07604   25.88   &#60;2e-16 ***X5          -0.99296    0.08751  -11.35   &#60;2e-16 ***X6           1.08761    0.05934   18.33   &#60;2e-16 ***---Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1Residual standard error: 1.011 on 143 degrees of freedomMultiple R-squared:  0.9206,Adjusted R-squared:  0.919 F-statistic:   553 on 3 and 143 DF,  p-value: &#60; 2.2e-16 anova(reg0,reg1) Analysis of Variance Table Model 1: Y ~ X3 + X5 + X6 Model 2: Y ~ X1 + X2 + X3 + X4 + X5 + X6 + X7 + X8 + X9 Res.Df RSS Df Sum of Sq F Pr(&#62;F)1    143 146.16                           2    137 142.12  6    4.0338 0.6481 0.6916Le test de Fisher nous dit qu'on peut accepter l'hypothèse que les 6 coefficients sont nuls - ici [latex display="true"]H_0:\beta_1=\beta_2=\beta_4=\beta_7=\beta_8=\beta_9=0[/latex](qui est un test multiple, contrairement au test de Student précédant). Mais il nous dit aussi, qu'individuellement, les trois variables restants semblent significatives. Donc j'aurais tendance à garder 3 variables explicatives (je ne parle pas de la constante : on garde toujours la constante - qui n'explique pas grand chose, sauf la valeur moyenne de [latex]y[/latex]). faites une prévision pour un individu dont on sait que X3=1, X5=1 et X6=8(en réalité, la vraie question que j'ai posée contenait une typo ce qui la rendait vicieuse parce que ce n'est pas le modèle qu'on vient de construire... mais pour commencer, regardons cette question)On vient de calibrer ce modèle, donc il suffit de faire une prévision,predict(reg0, newdata=data.frame(X3=1, X5=1, X6=8))       1 18.78603Mais ce n'était pas la vraie question... faites une prévision pour un individu dont on sait que X1=3, X5=1 et X6=8Je pense que pour répondre à cette question, il convient d'oublier tout ce qu'on vient de voir. On nous donne trois informations, et on va voir si on peut les exploiter. Autrement dit, on va commencer par regarder la régression sur ces trois variables,reg156 = lm(formula = Y ~ X1+X5+X6, data = df)summary(reg156)Coefficients:            Estimate Std. Error t value Pr(&#62;|t|)    (Intercept)  9.06688    0.17222   52.65   &#60;2e-16 ***X1           1.98342    0.07800   25.43   &#60;2e-16 ***X5          -1.01438    0.08947  -11.34   &#60;2e-16 ***X6           1.07824    0.06039   17.86   &#60;2e-16 ***---Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1Residual standard error: 1.026 on 143 degrees of freedomMultiple R-squared:  0.9183,Adjusted R-squared:  0.9166 F-statistic: 535.8 on 3 and 143 DF,  p-value: &#60; 2.2e-16Le modèle est ici bon, les trois variables étant significatives. Cela dit, je dis qu'il est "bon" mais on verra vendredi comment discuter davantage ce point... En tous cas, on peut tenter de faire une prévision, et on obtientpredict(reg156, newdata=data.frame(X1=3, X5=1, X6=8))       1 22.62867 faites une prévision pour un individu dont on sait que X1=3, X3=2, X5=1 et X6=8Comme auparavant, on nous donne 4 informations... on va regarder le modèle avec les 4 variablesreg1356 = lm(formula = Y ~ X1+X3+X5+X6, data = df)summary(reg1356)Coefficients:            Estimate Std. Error t value Pr(&#62;|t|)    (Intercept)  9.10458    0.17131  53.148   &#60;2e-16 ***X1           0.16362    0.89028   0.184    0.854    X3           1.80663    0.88052   2.052    0.042 *  X5          -0.99558    0.08895 -11.192   &#60;2e-16 ***X6           1.08649    0.05986  18.152   &#60;2e-16 ***---Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1Residual standard error: 1.014 on 142 degrees of freedomMultiple R-squared:  0.9207,Adjusted R-squared:  0.9184 F-statistic: 411.9 on 4 and 142 DF,  p-value: &#60; 2.2e-16Cette fois, une des variables n'est pas significative (la première) donc on devrait l'enlever: on fait alors la régression juste sur les trois autres variablesreg356 = lm(formula = Y ~ X3+X5+X6, data = df)summary(reg356)Coefficients:            Estimate Std. Error t value Pr(&#62;|t|)    (Intercept)  9.11031    0.16788   54.27   &#60;2e-16 ***X3           1.96784    0.07604   25.88   &#60;2e-16 ***X5          -0.99296    0.08751  -11.35   &#60;2e-16 ***X6           1.08761    0.05934   18.33   &#60;2e-16 ***---Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1Residual standard error: 1.011 on 143 degrees of freedomMultiple R-squared:  0.9206,Adjusted R-squared:  0.919 F-statistic:   553 on 3 and 143 DF,  p-value: &#60; 2.2e-16Cette fois, le modèle est "bon" et on peut alors faire la prévisionpredict(reg356, newdata=data.frame(X1=3, X3=2, X5=1, X6=8))       1 20.75388A titre d'information, si on avait fait la prévision sans enlever la variable non significative, on aurait obtenu la valeur suivantepredict(reg1356, newdata=data.frame(X1=3, X3=2, X5=1, X6=8))       1 20.90501qui est globalement assez proche. On aura l'occasion d'en reparler en cours, quand on se demandera s'il est plus grave d'avoir une valeur non-significative dans la régression, ou d'oublier une variable importante... Mais encore une fois, le but de ces petits exercices est d'appliquer ce qu'on a vu en cours, et d'introduire des questions auxquelles j'apporterai des réponses au prochain cours !