{"partition": "head_middle", "source_domain": "www.penombre.org", "digest": "sha1:DMQK2AUTJNGDXB2QHBVV63KK3PFG5A6S", "path": "/lustre/fsn1/projects/rech/qgz/uzq54wg/processed_redpajama/base_processing/output/fr/2014-15/000_00029.parquet"}
Bienvenue sur www.penombre.org Publications Home page Rechercher Contact Numéros Thèmes Auteurs Hors série, Février 1999
Les lycées sous le feu de l'évaluation
6ème nocturne de Pénombre, Jeudi 25 mars 1999
Document préparatoire
(les actes de ce débat ont été publiés dans la Lettre grise No 4)
Illustration du Monde de l'Education, Hors-série, Mars 1997.
UN PALMARES? VOUS AVEZ DIT UN PALMARES?
L'école note et classe les élèves à longueur de mois et d'année. De l'école au lycée, se distinguent de bons et de mauvais élèves. Classés, les élèves se font classeurs. Il y a de bons et de mauvais profs. Les classements individuels se prolongent vers des classements des écoles, collèges et lycées. La sélection commence à la maternelle: ce n'est plus vraiment une boutade.
Dans cet univers où la notation et le classement sont omniprésents, les statistiques administratives, comptage des opérations de scolarisation, de sélection, d'orientation, de réussite aux examens ou aux concours, deviennent elles-mêmes des outils de classement. Comment en est-on arrivé à ces palmarès?
LA NAISSANCE D'UN PALMARES
Des origines discutées
Mesurer un pourcentage de réussite au baccalauréat dans un groupe donné, dans une classe, dans un lycée est une opération élémentaire dans cette culture de la notation. Ce renseignement figure depuis sans doute assez longtemps parmi les indicateurs statistiques établis de façon interne par l' Education nationale. Le résultat national entre dans les réflexions à propos d'une réforme du baccalauréat ou dans les critiques portées à son égard. Le résultat observé pour chaque lycée devient au milieu des années 1980 un enjeu important. Il semble bien que ce soit l'équipe du Monde de l'éducation qui ait progressivement poussé le ministère de l'Education nationale à rendre ces chiffres publics.1 L'initiative du Monde de l'éducation consistait bien à établir un palmarès. Le taux de réussite au baccalauréat, celui qu'on appelle maintenant le taux brut, avec sa simplicité de note unique (calculée sur 100), permet, aux ex-æquo près de classer deux lycées, un groupe de lycées dans une ville ou un département.
Pendant cette période durant laquelle la communication des résultats à la presse n'est pour le ministère qu'un pis-aller, les statisticiens de la DEP (la direction de l'évaluation et de la prospective, créée en 1987, a des compétences plus étendues que la seule production statistique) mènent des travaux sur l'évaluation du système scolaire. Comme on s'en doute, l'opération de classement selon un taux de réussite brut n'est pas pertinente pour fonder une évaluation des établissements. La réussite ou l'échec au bac sanctionne un cursus scolaire avec des sélections intermédiaires, ce qui impose techniquement de baser les observations sur des cohortes. L'inégalité des chances de réussite en fonction de critères sur lesquels les établissements n'ont pas d'action (origine sociale, retard scolaire) doit être prise en compte pour comparer les établissements.
Alors que pour ces statisticiens et les responsables de la DEP, dont Claude Thélot directeur de 1990 à 1997, la mise au point d'indicateurs entre dans une démarche globale qui débouche en 1992 sur la publication de L'Etat de l'école et La Géographie de l'école et en 1994 sur la publication des "indicateurs de performance des lycées", les questions techniques entourant l'utilisation des taux de réussite au baccalauréat sont l'objet de controverses publiques. Le Monde de l'éducation semble y jouer un rôle important, mais d'autres organes de presse sont aussi en compétition pour l'usage médiatique de ces taux de réussite.
Durant une période où la politique de diffusion des trois indicateurs de réussite calculés par la DEP est encore laissée à l'appréciation des chefs d'établissements qui reçoivent annuellement leurs résultats, L'Express parvient, à la suite d'une fuite, à se procurer un listing informatique existant en très peu d'exemplaires. Le journal en extrait des données pour publier en décembre 1993 le "classement secret du ministère". Cet épisode pousse alors le ministre de l'époque (F. Bayrou) à accélérer un processus qui devait conduire à la diffusion officielle des résultats.
La première édition officielle sort donc en 1994 (résultats de 1993). Elle est renouvelée depuis, la 5ème édition datant de mars 1998 (résultats de 1997). La quatrième édition de 1997 a innové en rendant les résultats accessibles sur une base de données télématique (minitel puis internet). Dès la première édition, les indicateurs de performance sont accompagnés d'un mode d'emploi et de mises en garde contre une utilisation réductrice. Aujourd'hui encore, la plupart des commentateurs extérieurs à l'institution, dont bien sûr les journalistes, louent la démarche de ceux qui ont pris le parti de la transparence au moment où l'évaluation du système scolaire est devenue un enjeu politique important. Les commentaires sont beaucoup plus vagues en ce qui concerne les succès de la pédagogie de la DEP, puis de la DPD (direction de la programmation et du développement 2) quant à l'utilisation des outils d'analyse qu'elle diffuse.
En préalable au débat que Pénombre voudrait susciter sur cette question, il est utile de rassembler les éléments un peu techniques qui peuvent l'alimenter. Il s'agit d'une part du contenu des indicateurs de performance officiellement diffusés et, d'autre part, du contenu des dossiers que réalisent les journaux à partir de ces indicateurs.
Une construction statistique complexe
Les documents de présentation de la DEP-DPD, fruits d'une longue expérience en la matière, sont très bien faits. Pour le lecteur averti des questions plus statistiques, des notes et des références bibliographiques prolongent cette présentation par des développements concernant la méthodologie de la DPD et la réponse, en l'état des connaissances, aux questions qu'elle suscite.
Le dispositif de base dépasse donc la simple publication d'un indicateur brut de réussite au bac par établissement. Il comprend trois types d'indicateurs:
-le taux de réussite au bac (% de candidats admis au bac),
-le taux d'accès au bac depuis la seconde qui mesure la probabilité d'obtenir le bac dans un lycée donné en y entrant en seconde, -la proportion de bacheliers sortants de terminale qui tient compte de la politique d'admission de redoublants, complétée par une proportion calculée sur le total des sortants (2nde, 1ère, terminale).
Cette batterie est la réponse à un problème de démographie et de mesure d'un phénomène de sélection. Le pourcentage de reçus au bac ne suffit pas car, dans un lycée, on peut faire en sorte de ne garder en terminale que ceux qui ont toutes chances de réussir ou bien au contraire essayer de conduire le plus possible d'élèves de 2nde en terminale. A taux de réussite brut égal, un établissement ayant la première politique ne peut être considéré comme aussi "performant" qu'un établissement faisant le second choix. Pour une évaluation rigoureuse, tenant compte de ces sélections successives, il faudrait suivre des cohortes et relever, au bout de cinq ans environ, les résultats réels des lycéens. Lorsqu'on est confronté à cette difficulté, on procède en général à une reconstitution de cohortes "fictives" utilisant les proportions observées à chaque étape de processus de sélection pour une année donnée. Comme lorsqu'on évalue un taux de fécondité "conjoncturel", cette méthode peut donner des résultats s'éloignant de celui qu'on observerait pour une cohorte réelle si le "calendrier" de la sélection varie de façon notable dans un établissement. Mais à supposer que ce calendrier ne varie pas de trop, c'est-à-dire que les pratiques de sélection ne changent pas rapidement dans un établissement donné, les taux d'accès au bac et la proportion de bacheliers parmi les sortants permettent bien de moduler les comparaisons basées sur le seul taux de réussite au bac.
Une conséquence de la complexification des indicateurs est que le classement devient en principe impossible. On peut éventuellement donner plusieurs classements: le dispositif mis au point par la DEP s'éloigne encore de cette possibilité en introduisant des variables de contrôle qui prennent en compte les différences de recrutement entre les lycées.
On a depuis longtemps observé qu'en fonction de certains critères, les élèves n'avaient pas tous les mêmes chances de réussite au bac. Deux indicateurs sont particulièrement discriminants: l'origine socioprofessionnelle des élèves et leur âge qui se traduit en termes de retard scolaire.
La classification des élèves en quatre groupes selon la catégorie socioprofessionnelle des parents tient compte des résultats observés et non d'une hiérarchie a priori. Sont classés à un bout comme "très favorisés" les enfants de cadres supérieurs et d'enseignants, et à l'autre, comme "défavorisés", les enfants d'ouvriers et de chômeurs. On peut évidemment faire de nombreuses objections à ce classement: la réponse des techniciens peut se résumer en disant qu'à leurs yeux, la solution retenue n'est pas parfaite mais que c'est la moins mauvaise. Mieux vaut opérer ce contrôle reflétant l'effet d'un recrutement socialement sélectif plutôt que l'ignorer complètement. La nature pragmatique du second critère est encore plus nette. L'âge traduit en retard scolaire n'est pas une caractéristique intrinsèque. C'est un indicateur très commode, résumant de façon statistiquement significative le passé scolaire d'un élève. C'est d'ailleurs un indicateur plus clivant, du point de vue des taux de réussite au bac, que l'origine sociale.
A partir de ces deux informations, dont le croisement est disponible pour chaque lycée, il est possible de calculer un "taux attendu" de réussite au bac pour un lycée donné. C'est, par définition, le taux qu'on observerait si le lycée se comportait comme la moyenne nationale compte tenu de la répartition des élèves dans ce lycée selon la catégorie socioprofessionnelle des parents et leur retard scolaire. Ces taux attendus peuvent être calculés au niveau national (on applique les résultats moyens pour l'ensemble des lycées) ou au niveau d'une académie. Le résultat observé d'un lycée est alors apprécié selon l'écart entre les taux de réussite observé et attendu. Cet écart est appelé "valeur ajoutée". Le choix de ce terme est le fruit d'une interprétation des résultats statistiques observés. On considère que si un lycée obtient, compte tenu de son recrutement en seconde, un résultat conforme au résultat attendu, il n'ajoute rien à ce que statistiquement on peut prévoir à partir des seules caractéristiques des élèves. Un lycée qui obtient un résultat plus élevé que le taux attendu "apporte" plus de chances de réussite à ses élèves. Cette procédure de calcul de taux attendus est appliquée pour les taux de réussite et les taux d'accès au bac depuis la seconde. En revanche, pour des raisons techniques, les proportions de bacheliers parmi les sortants ne peuvent être comparées qu'à des moyennes nationale ou académique. On arrive donc à un ensemble de douze indicateurs qui définissent un profil de lycée.
La complexification ne s'arrête pas là puisque les résultats d'un lycée sont variables selon les sections. Les taux de réussite au bac (mais pas les taux d'accès depuis la 2nde ni les proportions de bacheliers parmi les sortants) sont alors ventilés par section et comparés aux taux attendus. Le tableau de bord de chaque lycée devient ainsi assez sophistiqué. Il est difficile, sans trahir la démarche qui préside à sa construction, d'en déduire un class