{"word_count": 14514, "character_count": 88755}
Christian Topalov : Bienvenue donc à cette cinquième séance du séminaire « politiques des sciences ».  Comme vous le savez nous avons pour thème aujourd'hui « après l'AERES, quoi ? ». Nous allons donc réfléchir à l'évaluation, évaluer l'évaluation et puis peut-être rêver d'un autre monde que celui qui prévaut aujourd'hui autour de ces pratiques contestées.Pour nous aider à élaborer cette réflexion, autour de cette table nous avons réuni une grande variété de collègues, tous engagés à des titres divers dans l'expérience de l'évaluation. Je commencerai par Sylvain Piron, maître de conférences à l'Ehess et historien. C'est le seul autour de notre table à n'être membre d'aucune instance qui évalue. En revanche il a été, vous vous en souvenez sans doute, un des fers de lance du combat des revues[1] pour ne pas tomber sous les fourches caudines du classement[2] en A, B, C. C'est un des titres pour lesquels il est parmi nous ce soir. Éric Agrikolianski est maître de conférences à Paris Dauphine. Il est élu au CNU dans la section 04, science politique. Certains de nos invités peuvent avoir des responsabilités dans les instances où ils siègent, mais comme chacun ici est à titre individuel, je ne les mentionnerai pas. Catherine Alès est directrice de recherche au CNRS en anthropologie et membre élue elle aussi au CNU dans cette discipline, section 20. Patrick Michel, sociologue et directeur d’études à l’EHESS, est membre élu de la section 40 « pouvoir, politique et organisation » du comité national de la recherche scientifique. Stéphane Beaud, professeur à l’ENS, est sociologue, il a été, il ne l'est plus à son grand soulagement je crois, membre de la section 19 du CNU au moment de la crise de ladite section[3]. Et enfin Laurent Coudroy de Lille, qui est géographe et urbaniste, maître de conférences à Paris-Est Créteil est membre élu du CNU pour ce vaste ensemble de disciplines réunies par la section 24. Donc, chacun ayant son numéro, nous allons pouvoir commencer à travailler.On va rentrer très vite dans le vif du débat. Le titre retenu pour cette séance est évidemment volontairement provocateur et appelle quelques mots, peut-être, pour introduire notre discussion. Il n'y aura pas d'exposé préliminaire ; aujourd'hui on adopte la formule questions-réponses, avec une large participation de la salle.Bien sûr on le sait, un des maîtres mots du nouveau cours des choses à l'université et ailleurs, c'est « culture de l'évaluation ». Aujourd'hui nous avons acquis un peu d'expérience, un peu de recul et nous pouvons évaluer ce dont il s'agit puisque l'AERES existe maintenant depuis 2007, avec des ambitions comme vous le savez toujours plus dévorantes. Elle a réduit comme peau de chagrin les attributions des organes d'évaluation éprouvés par l'expérience que sont justement le comité national de la recherche scientifique (CoNRS) et le conseil national des universités (CNU) et puis elle prétend maintenant s'emparer à leur détriment de l'évaluation même des chercheurs et des enseignants chercheurs. Nous n'en sommes pas encore là et j'espère bien que nous arrêterons cette tendance. Car nos institutions ont besoin d'une procédure d'évaluation indépendante, collégiale, légitime, c'est un des points dont nous allons discuter, je ne veux pas énoncer de doctrine à ce sujet.Je propose un débat qui va se dérouler en trois temps si cela vous convient. Je demanderai, et ce sera ma première question aux membres de la tribune, de faire le point sur l'expérience de l'AERES dans les différents aspects de ses activités, sur l'expérience aussi de ce qu'il est advenu des instances d'évaluation antérieures dans ce nouveau contexte créé par l'hégémonie croissante de l'AERES ; faire un bilan, réfléchir à partir de là, ce sera ma première question. Et puis dans un deuxième temps, nous essaierons de nous demander de quoi nous avons besoin en matière d'évaluation. C'est-à-dire de repartir des fondamentaux : à quoi ça sert tout ça ? Et puis peut-être, enfin, allons-nous reconstruire ensemble des institutions telles qu'on pourrait tenter de les imposer ou de les faire advenir dans l'hypothèse d'un changement politique cette année. Voilà la démarche proposée.Eh bien commençons si vous voulez à évaluer les évaluateurs. Prend la parole qui le souhaite.La question de la notation des revues scientifiques Sylvain Piron : Je voudrais commencer par revenir sur le mouvement concernant le classement des revues qui a contribué à déclencher la prise de conscience qui s’est exprimée dans le mouvement de 2009. Cela s'est passé durant l'été 2008 lorsque l'AERES est entrée dans l'espace public en publiant ces absurdes listes de revues classées A, B, C. Cela a fait rire jaune car le principe était absurde et ces listes étaient mal faites. Dans mon domaine, des revues qui n’existent pas, du fait d'une erreur sur leur titre, étaient mieux classées que la même revue sous son vrai titre. Ce qui est la preuve que cela a été fait n'importe comment. On a très rapidement recueilli des protestations. A quelques-uns, nous avons lancé une pétition qui a recueilli 4000 signatures en quelques semaines. Je crois que cela a été l'un des ferments de la mobilisation qui a suivi après, en 2009. Cela a été un événement qui a compté dans la prise de conscience qu'il se passait quelque chose de très grave qui prenait la forme d'une remise en cause fondamentale de nos pratiques scientifiques. Cet événement nous a permis de nous apercevoir qu'une certaine dissociation était en train de se faire entre l'évaluation scientifique, telle qu'on la connaissait ou telle qu'on l'imaginait, qu'on la rêve, telle qu’elle se pratique notamment dans les revues elles-mêmes, c'est-à-dire la revue comme le lieu idéal d'une évaluation scientifique, d'un travail scientifique donc collégial, un lieu où un comité de rédaction, avec l'aide de rapporteurs extérieurs, discute de la pertinence d'un article. Et c'est cela la vraie évaluation par les pairs dans son modèle le plus pur. C'était cette liberté-là, intellectuelle, d'une communauté scientifique, qui était remise en cause d'une façon très violente par un organisme opaque, nommé, sans légitimité. Ce qui pose problème c'était donc cette idée d’une note donnée à des revues dont le but était simplement de faciliter la tâche des classificateurs. Je n'ai pas suivi cette affaire dans le détail de ses développements depuis, mais je sais que toutes les disciplines n'avaient pas encore été soumises à ce type de procédure. Certaines ont obtenu dans la foulée de ne pas classer leurs revues. Il y a alors eu un grand débat qui a consisté à se demander s'il fallait définir un périmètre de scientificité[4]. C’est un concept qui a été lancé à ce moment, et auquel je me suis opposé en disant qu'il ne fallait pas définir à l'avance les supports de publication valides, car c’est après-coup que l'on peut évaluer si un travail est de bon niveau. En tout cas il y a eu des avancées ; certaines ont revu la composition de leurs listes, toujours en gardant ce genre de classement comme critère de sélection. En réalité, le constat que l’on peut faire, c’est qu’ils servent très peu. Comme le but est simplement de définir si un chercheur est ou non « publiant », et qu’il faut pour cela un mixte de publications dans des revues A ou B qui est tellement bas que la conséquence est que la distinction A ou B ne sert à peu près pas. Je n'ai pas effectué de pointage récemment, mais cette idée de classification est restée, elle n'a pas été remise en cause dans son principe mais elle est un peu vidée de sa substance. Quant aux revues elles-mêmes, je ne pense pas que cela ait beaucoup changé, mais il y a eu cette prise de conscience que la revue était le lieu important de cette autonomie intellectuelle chère aux universitaires.Ce qu'on a compris, à partir de ce problème de l'évaluation des revues, c'est qu'on était face à un processus de longue durée dont le point de départ est clairement situé au début des années 80 en Grande-Bretagne avec Margaret Thatcher. Cette politique thatchérienne a voulu briser effectivement à l'époque les universités comme elle a brisé les syndicats, en normalisant l'université considérée comme un secteur économique comme n’importe quel autre. Dans cette perspective, l’université est définie comme le lieu de production standardisée d'un service, qui est la formation supérieure. Il est important d'avoir cela en tête car c'est un mouvement de très longue durée qui, au nom de principes que l'on peut appeler néolibéraux mais qui sont beaucoup plus vastes que ça je pense, définit en tout cas le fond de l'air depuis au moins 30 ans maintenant, et auquel on n’échappe pas. Ma désillusion au fur et à mesure du mouvement universitaire de 2009 est venue de l'absence de soutien que l'on rencontrait dans la société. Cela provient précisément de ce point là : tout le monde, tous les services publics sont soumis maintenant à ce genre d'évaluation gestionnaire, à ce contrôle de gestion, qui s'impose à nous et qui n'est pas du tout du même ordre que l'évaluation scientifique. C'est la dissociation que l'on a fini par comprendre assez clairement[5]. Effectivement l'absence de soutien au mouvement universitaire a tenu assez largement au fait qu'il est tout à fait légitime aux yeux des autres que nous soyons soumis au même type de pressions qu’eux, parce que la spécificité du travail intellectuel n'a plus de reconnaissance sociale forte. C’est une grande leçon que l'on a apprise en direct, et également la grande « claque » que l'on s’est pris en direct au cours de ce mouvement. Je ne pense pas que l'on puisse revenir beaucoup en arrière sur cette question.Christian Topalov : N'anticipons pas. L'AERES, agence de notation, contrôle de gestion, peut-être qu'il faut qu'on en parle : ce n'est que ça ? Ou est-ce qu'il y a d'autres aspects ? Et puis comment les institutions collégiales issues du passé résistent, s'adaptent, se soumettent ? La question est posée.Les différences sensibles dans les modalités d’évaluation des différentes instances : le cas de l’AERES et du CoNRSPatrick Michel : Le comité national de la recherche scientifique est en quelque sorte en situation d'évaluation partagée avec l'AERES. Les modalités de fonctionnement sont actuellement les suivantes : le comité national continue à évaluer, section par section, les chercheurs et à se prononcer sur les unités auxquelles appartiennent ces chercheurs, dans le cadre de ce que la direction du CNRS appelle un « avis de pertinence ». Sachant qu’il est hors de question de dire que le comité national continuerait à évaluer les unités, cette tâche étant statutairement réservée à et accomplie par l'AERES. De facto, toutefois, le comité national est invité à se prononcer sur le rapport d'évaluation de l'AERES : a-t-il été produit dans des conditions satisfaisantes ? Un des membres de la section est systématiquement désigné pour participer au comité de visite de l'AERES. Même dans la situation de boycott qui, comme vous le savez, a pu prévaloir à un certain moment au sujet de la participation à ces comités de visite, il avait été jugé souhaitable qu'il y ait un membre du comité national qui participe ès qualité au comité de visite afin de s'assurer de la façon dont cette visite avait lieu. Il est en tout état de cause bien évident que, concernant l'avis de pertinence sur l'inscription d'une unité dans le périmètre CNRS, ou sur l'opportunité d'introduire une unité dans ce périmètre, le comité national est en quelque sorte appelé à évaluer l'évaluation de l'AERES. D’expérience, cette évaluation peut être bien faite ou mal faite. Globalement, toutefois, ces évaluations sont de moindre qualité que celles auxquelles pouvait procéder le comité national, avant d'être dépossédé de cette responsabilité. Et ce pour de multiples raisons, notamment les modalités mêmes de constitution d'un comité de visite, le temps dont il dispose pour évaluer les unités, la connaissance longue qu'il peut en avoir et le fait que cette évaluation s'opère indépendamment de l'évaluation des chercheurs. C'est là une des positions constantes du comité national que de dire et redire que l'on ne peut pas évaluer séparément les chercheurs et l'unité de recherche : l'évaluation des chercheurs peut être pondérée par la connaissance que l'on peut avoir de l’unité de recherche, et symétriquement l'évaluation que l'on peut faire d'une unité de recherche a évidemment quelque chose à voir avec l'évaluation des chercheurs. De ce point de vue, on est donc aujourd’hui dans une situation qui est quelque peu bancale.L’utilisation croissante des outils statistiques à des fins d’évaluation et le risque du jugement hâtifUn autre point sur lequel on peut mettre l'accent, c'est sur cette tendance à mélanger statistique et évaluation. Il y a des outils statistiques dont l'utilité est d’évidence. Mais leur utilisation se doit d’être discutée, et devrait se cantonner au seul registre de la fourniture d'éléments d'appréciation. Or, et de plus en plus, en particulier pour des raisons de temps, les évaluateurs, et ceux qui commanditent l'évaluation, sont en quête de critères d'utilisation simple qui permettent de se fabriquer une idée rapide de l'état d'une unité de recherche, voire d'un organisme, et éventuellement d'ailleurs de l'activité d'un chercheur. Sur ce point précis, il y aurait vraisemblablement quelque chose à dire à propos de l'outil RIBAC[6], dont on ne conteste pas que sa mise en place participe d’une intention louable (rendre compte plus précisément de l’ensemble des activités d’un chercheur), mais qui pourrait donner lieu à une exploitation problématique s’il se voyait détourné de sa finalité initiale.Rabattre l'évaluation sur la seule appréciation statistique d'une réalité pose des questions considérables. Or, même pour les instances anciennement installées, comme le comité national, c'est une tendance encouragée par les évolutions actuelles. Il y a malheureusement des modalités de fonctionnement, et notamment les délais impartis, qui font que les outils statistiques sont de plus en plus sollicités. Un chercheur sera évalué comme publiant parce qu’il aura publié quatre articles dans des revues à comité de lecture. Mais qu'il y ait quatre articles dans des revues à comité de lecture n’entraîne pas que les articles soient nécessairement bons. L'autre problème c'est qu'on va avoir tendance, ici ou là, et notamment au niveau de la direction scientifique, à considérer, par exemple, que la forme livre est une forme secondaire par rapport à la forme article. J’en veux pour preuve que certaines fiches-résumé de candidature à une promotion ou les tableaux de saisie statistique de la production du candidat sont libellés avec en première ligne « articles dans des revues internationales avec comité de lecture » et puis, deux ou trois cases plus loin, « livre ou chapitres de livres ». Cela peut avoir un sens dans certaines disciplines, en physique par exemple, mais il est bien clair qu’en SHS, la plupart du temps cela ne présente aucune espèce de signification.Christian Topalov : 0n y reviendra parce qu'il y a un côté « Big Brother » et d'autres aspects dans ce dispositif. Mais alors évidemment dans ce que vient de dire Patrick les membres du CNU ici présents sont un peu muets parce que tout simplement vous n'avez jamais eu à connaître et vous n'aurez jamais à connaître l'évaluation des unités. Mais vous avez subi je suppose chacun dans vos unités justement des visites de l'AERES, les résultats de celle-ci et puis à d'autres échelles aussi. Par conséquent vous avez certainement des choses à dire à ce sujet.La procédure d’évaluation de l’AERES, les questions et les réserves qu’elle susciteCatherine Alès : J'ai aussi siégé au comité national lorsqu'on faisait encore l'évaluation des équipes, non pas à l'époque où on n’a demandé qu’un avis de pertinence. Je soulignerai que dans le cadre d'une évaluation faite par le comité national, ce sont les mêmes personnes qui procèdent à l’évaluation de toutes les équipes qui arrivent à échéance. C'est ce qui manque à l'AERES. C'est-à-dire que le comité peut être bon, comme vous l'avez dit, alors qu'un autre ne va pas l'être. Pourquoi ? Parce qu'ils n’ont pas affiné leurs critères, ils n'ont pas eu le temps d'en discuter entre eux et que chacun y va de sa petite impression personnelle. Alors que dans le comité national, il y a un travail d'évaluation des équipes qui se fait sur le temps du mandat qui dure quatre ans et cela permet des évaluations tout de même beaucoup plus fines que celles que peut faire un comité appelé à évaluer une équipe indépendamment de toutes les autres équipes. Je pense que cela aussi c'est une dimension qui manque à l'AERES ; ses évaluateurs n'ont pas de possibilité de comparaison avec d'autres équipes quand ils évaluent une équipe en particulier. Alors que c'est le propos même du comité national qui est amené à classer les équipes à la fin de son examen.Christian Topalov : J'aimerais rebondir sur ce qui vient d'être dit par Catherine Alès à l'instant en reprenant d'ailleurs une analyse que faisait Nicolas Dodier[7]. Il insistait sur cette différence essentielle dont on vient de parler entre des collègues réunis durablement en un collège qui élabore ses propres critères et un ensemble atomisé d'individus réunis accidentellement dont les critères lui sont fournis par un « guide de l'expert ». On aurait donc deux mondes fondamentalement différents. On est dans un monde, le premier, où la communauté, plutôt bien ou plutôt mal - peu importe, je dirais presque - élabore et réélabore sans cesse, par conséquent entretient et transmet des normes professionnelles et des normes scientifiques. Et puis on a un autre monde dans lequel on a des experts qui sont des professionnels de l'évaluation, des experts des cabinets d'audit qui rédigent un guide de l'expert et le guide de l'expert est remis entre les mains des membres des comités de visite. Ces derniers sont charmants, souvent intéressés d'ailleurs par ce qu'ils font et d'ailleurs ceux qui ont subi ou profité de leur visite disent : « ça s'est bien passé ». Il y a peu d'exceptions à ça. Sauf que, en fait, pendant cette réunion avec les membres du comité de visite, il ne s'est rien passé d’important. Les membres du comité de visite en effet vont, pendant une petite demi-heure, bavarder entre eux à la fin de leur visite et ensuite c'est le président du comité de visite, nommé par le patron de l'AERES, qui rédige le rapport. Il ne va pas le soumettre aux membres du comité de visite. Ce sont des procédures qui sont radicalement différentes de celles du comité national où en temps réel le rapporteur, devant cette communauté de vingt personnes qui travaillent ensemble pendant quatre ans, va présenter un rapport, et il y a aussi un rapport secondaire. Le rapport est discuté, amendé et voté. On est donc dans deux mondes normatifs profondément différents.Marc Lipinski : Je n'ai jamais participé à une réunion de l'AERES mais à ce que j'en comprends c'est qu'il y a une phase ultérieure à celle qui est décrite là, et qui concerne la visite, qui est pernicieuse parce qu'il y a une sorte de mise en commun de rapports faits par des personnes nommées par l'AERES et il est ensuite procédé à une sorte de normalisation de tous ces rapports. Ce qui veut dire qu'il y a encore un deuxième degré qui éloigne le rapport final de ce qui s'est réellement passé sur place.Christian Topalov : Ces réunions au cours desquelles ce sont juste les présidents de comité de visite qui s’ajustent entre eux, sont des réunions sans procès-verbal. Ce qui parfois conduit à ne pas même suivre le président du comité de visite d’un laboratoire dans ses propres préconisations s'il est jugé que les unités classées A sont déjà trop nombreuses.Stéphane Beaud : Moi aussi j'ai juste eu la visite d'un comité de visite récemment. Ça s'est bien passé, comme tu dis. En discutant avec des collègues sociologues, notamment dans les universités de province, ce qui m'interroge un peu c'est que quand le comité de visite de l'AERES débarque, cela fait déjà au moins un mois ou deux mois qu'ils « s'affolent », les directeurs de laboratoire qui essayent de monter des choses intéressantes dans leur « petite » province s'inquiètent. Ce qui me frappe toujours c'est précisément cela, cette inquiétude relative, cette perte de temps par rapport à l'imprécision des critères et comment ça va se passer, et puis aussi une autre question qui rejoint un peu des interrogations précédentes et je trouve cela très juste, c'est finalement : pourquoi nos collègues entrent-ils dans ses comités de visite ? Qui sont les gens qui sont demandés ? Moi je n'ai jamais été demandé. Pourquoi est-ce qu'ils acceptent ? Je ne pense pas qu'ils soient tous de mauvaise foi ni carriériste. Je pense qu'un certain nombre d'entre eux accepte par une sorte de principe de précaution, parce qu'un jour ils auront eux-mêmes, en tant que directeur ou sous-directeur d’un laboratoire, notamment, droit à ces comités de visite et qu'ils ont envie de savoir un peu ce qui se passe. Cela soulève une question qu’il m'intéresserait de creuser, c'est : quels sont les raisons et les motivations des participants ? On n'a pas fait non plus aussi la part des universités et du CNRS, car on évalue des centres de recherche CNRS mais aussi des centres de recherche universitaires. Quelle est la part des comités de visite, par exemple en sociologie, entre ceux qui sont au CNRS et les autres ? J'ai plutôt l'impression que pas mal de sociologues CNRS s’y investissent parce qu'ils ont plus de temps, peut-être parce qu'ils se sentent encore plus menacés ? J'aurais plutôt envie de petites enquêtes ou de petites statistiques pour savoir qui en sociologie a participé à ces comités de visite, qui a démissionné, quels sont les gens qui sont reconduits, etc. Voilà, je pense qu'il y a ce type d'enquête à faire.Laurent Coudroy de Lille : L'AERES évalue des entités très différentes un peu de la même façon, c'est-à-dire de façon à la fois fragmentaire et selon des normes procédurales assez sommaires.  La procédure d'élaboration des rapports procède par segments ajustés dans un échafaudage selon une méthode peu transparente, et en réalité assez expéditive, car tout cela va aussi très vite. S'il y a des comités qui travaillent mieux que d'autres c'est qu'il y a des individus à l'intérieur qui ont décidé de se battre pour que ça fonctionne différemment; mais c'est un travail assez peu intéressant. Une première série de problèmes vient du fait que la même méthode est appliquée à des entités (laboratoires ou établissements) de taille et de nature très différentes, si j'en crois mon expérience qui est d'avoir participé à trois « comités de visite ».La section 24, à laquelle j'appartiens, est une petite section qui n'a pas de revues bien classées selon les critères de l'AERES. Son interdisciplinarité va au-delà de ce qui existe dans les sciences humaines, avec l'architecture et des secteurs d'ingénierie par exemple qui, du point de vue de la recherche, méritent d'être renforcés. Je me suis trouvé deux fois dans des comités constitués pour des institutions d'enseignement supérieur hébergeant quelques éléments d'équipes de recherche, et ceci afin évaluer justement ce volet recherche. L'enjeu était pour moi de faire apparaître cette dimension dans les établissements en question. Les autres volets à traiter étaient la vie étudiante, l'ouverture internationale, le partenariat, la gouvernance, selon un découpage un peu technocratique mais qui présente l'avantage de couvrir la vie de l'ensemble de l'entité : c'est un point intéressant de la procédure... . Chaque expert se voit attribuer deux ou trois dossiers, objet d'une « réunion amont » organisée à Paris. Il y a surtout une fragmentation supplémentaire à l'intérieur même de ce dispositif, la synthèse échappant largement aux experts eux-mêmes.Eric Agrikolanski : Je n'ai pas d'expérience spécifique de l’évaluation par l'AERES, mais je pense que dans le débat on a abordé une série de questions : est-ce que la politique de la chaise vide peut-être pertinente, c'est-à-dire est-ce qu'il faut participer à ce type de visite, à ce type d'évaluation ? Est-ce qu'il faut que des chercheurs et des enseignants-chercheurs actifs participent à la définition de critères communs d'évaluation ? Je ne sais pas. Enfin, les risques de se retirer des processus d'évaluation - l'AERES est un cas spécifique- qui sont mis en place quoi qu'il arrive, c'est aussi de laisser à des professionnels de l'expertise le soin d'expertiser à la place de la communauté scientifique la production des chercheurs, les établissements d'enseignement et les centres de recherche. On a aussi une responsabilité. Lorsque ce sont des chercheurs actifs, des enseignants-chercheurs actifs qui participent à l'évaluation, ils prônent plutôt une évaluation très qualitative mais en même temps ils n'ont pas le temps de la faire parce que par définition ils ont autre chose à faire ; eux-mêmes continuent à travailler, à enseigner, à produire et c'est un gage de qualité aussi de leurs propres évaluations. Sauf qu'ils se trouvent dans des situations où il est très difficile de consacrer tout le temps qu'il faudrait à cette tâche. L'autre solution ce serait une professionnalisation de cette expertise là, ce qui me semble très dangereux. Parce que là pour le coup on peut se livrer à plein temps à l'exercice de l'évaluation mais au prix d'une coupure avec la production, l'enseignement et du coup cela peut avoir des effets pervers que tout le monde imagine assez bien.Michel Barthélemy : il semble que la coupure soit déjà faite. Christian insistait sur le fait que les membres de ces comités de visite constituent des équipes éphémères, à l'inverse des comités de pairs au CNRS par exemple qui siègent pendant quatre ans. En fait ils fonctionnent avec un manuel qui leur a été remis, selon une grille assez éloignée de l’ordinaire de la vie d’une communauté de recherche. Par conséquent, leurs soucis ne sont pas les nôtres. Et cela apparaît clairement dans la manière dont ils procèdent à leur visite. Je me souviens nettement du passage du comité de visite de l'AERES dans notre laboratoire. Il avait commencé par saucissonner l'équipe en interrogeant d'abord les directeurs à part – je précise que nous sommes une fédération qui compte donc plusieurs équipes. Nous n'avions eu aucune information préalable sur ce qui s'était dit entre eux. Tous les membres du laboratoire ont étés ensuite réunis dans une salle de réunion. Le seul souci du président de ce comité de visite c’était de nous demander quels espaces nous pensions allouer aux étudiants, les mètres carrés, etc. A cette époque nous étions à quelques mois du départ du 54 boulevard Raspail pour l’avenue de France, et nous n'avons évidemment jamais eu de contrôle sur l'espace dont nous disposions. Et lorsque l'un de nous a essayé de faire une sorte de petit résumé de ce qui se faisait dans le laboratoire, eh bien il s'est fait renvoyer dans les cordes assez sèchement par le président de ce comité de visite. C'est dire que de par leurs manières d'être ils manifestaient le fait que leurs soucis étaient purement des soucis d’allocation de mètres carrés, des soucis organisationnels etc., et pas du tout un intérêt pour ce qui se faisait dans le laboratoire. Par cette attitude là, ils manifestaient leur distance spatialement – ils nous faisaient face - autant que verbalement. On était davantage confrontés à des juges qu’à des pairs. Une atmosphère étrange renforcée par l’étrangeté des intérêts que manifestaient leurs questions, en fait essentiellement celles du président du comité de visite qui semblait prendre très à cœur ce rôle à contre-emploi.Sophie Desrosiers : J'aurai une question extrêmement pragmatique : quel est le temps dont dispose un comité de visite de l'AERES ? Quel est le temps dont disposait le comité national pour examiner un chercheur ou un laboratoire ? Moi je pense que tout simplement l’évaluation ne les intéresse pas, il faut qu'elle prenne le moins de temps possible car pour eux c'est du gâchis. Par conséquent leur méthode consiste à faire remplir des tableaux. On ne peut pas aujourd'hui mettre n'importe qui à remplir ces tableaux, mais dans quelque temps on le pourra puisque ce sont des tableaux, on pourra comparer les choses pour que n'importe quel scribe puisse remplir ces tableaux en posant trois questions. L'impression que j'ai, c'est qu'ils veulent en finir avec l'évaluation. Et que celle-ci est effectivement une perte de temps si les décisions sont prises à l'avance concernant l'évaluation de tel ou tel laboratoire et les conséquences à en tirer.Olivier Pégard : Je suis sociologue dans le champ pluridisciplinaire des STAPS (Sciences et Techniques des Activités Physiques et Sportives). Je suis en même temps rattaché au laboratoire d'urbanisme de l'université Paris-Est Créteil. Je cumule ainsi l’expérience pluridisciplinaire. Juste une première remarque sur la question du temps. Ce que dissimule cet argument, c’est une manière d’accroître un principe de compétitivité. Si bien qu'une mise sous pression des personnes énoncée en termes temporels peut n'être qu'un prétexte supplémentaire à une mise en chiffres des performances des personnes. A 2 millièmes près, l’évaluation compétitive classe un premier et un deuxième. L'invocation du temps permet en fait de mesurer, de séparer, de fragmenter.La deuxième remarque que je voudrais faire est inspirée des propos de Laurent Coudroy quand il évoquait les visites de l'AERES. Je voudrais souligner que les CNU dans les champs pluridisciplinaires sont une réalité compliquée. Ce ne sont pas seulement les STAPS, c’est aussi le cas pour les sciences de l'information-communication, voire même les sciences politiques, les sciences de l'éducation, etc. Comment promouvoir un maître de conférences sur un poste de professeur quand le CNU est composé pour deux tiers de professeurs des sciences du vivant et pour un tiers d’enseignants-chercheurs des sciences sociales ? Ce qui conduit obligatoirement à une confrontation entre des scientifiques. Il y a des effets d'imposition dans le champ des sciences pluridisciplinaires. Et je crois que cela est aussi un problème plus ardu dans le contexte de l'AERES car dans les CNU, la confrontation débouche sur la discussion. Il s’agit de trouver pour les parties impliquées des points d'accord entre les disciplines. Mais quand cette réalité de la discussion passe à l’AERES, cela supposerait une pratique plus fragmentée du fait du  temps nécessaire à la confrontation des points de vue et dont les comités de visite ne disposent pas.Les effets indirects de l’AERES dans la réorganisation de l’enseignement supérieur et de la recherche Patrick Michel : Je reviens sur les deux interventions. Il y a des choses que l'AERES ne fait pas : elle n'évalue jamais les chercheurs individuellement. Elle peut procéder à une sorte d’évaluation collective, prenant en compte l'ensemble des productions des chercheurs, dans le cadre de l’évaluation d’une unité de recherche. Il y a en revanche des choses qu'elle fait et qu'elle ne devrait pas faire : l'AERES n’est en principe pas fondée à noter les unités. Or, elle le fait. Elle vient certes de renoncer à attribuer une note globale, mais continuera à donner une série de notes sur tel ou tel aspect de l'activité des unités.L'AERES n'a pas à noter. Et lorsqu'elle note, elle proteste de sa bonne foi, affirmant qu’elle n’agit là que par simple commodité, pour en quelque sorte fixer les idées. Sauf que lors des appels à projets Labex, Equipex ou autres « Ex », seuls les labos classés A+ étaient en mesure de candidater. On voit donc bien qu'il y a, derrière les modalités de fonctionnement de l'AERES, participation à une opération de restructuration du paysage scientifique, qui s'opère notamment avec la mise en place de ces équipements d'excellence, l'AERES participant pleinement à la fois de ce nouveau paysage et des nouvelles modalités d'organisation de ce paysage. Il faut en avoir bien conscience dans ce que l'on dit sur l'AERES. Cela a été souligné tout à l'heure, le problème n’est pas tant d'évaluer que de parvenir à discriminer et, sur la base de cette discrimination, réorganiser le paysage. Je crois que c'est une des réalités qu'il faut prendre en compte très sérieusement.Didier Torny : D'un point de vue empirique j'ai un certain nombre de questions : qu'est-ce qui vous permet de dire que des consultants, des managers ou des professionnels de l'expertise existent à l'AERES ? Et fondamentalement, qu'est-ce que l'AERES si ce n'est une brochette de collègues détachés à temps partiels plus d'autres brochettes beaucoup plus importantes de collègues qui y font, comme vous l'avez critiqué, un petit tour simplement en tant que membres de comité de visite ? Deuxième point : en quoi l'AERES prend-elle des décisions ? L'AERES légalement ne produit que des avis et ce sont d'autres instances qui produisent des décisions, vous l'avez dit tout à l'heure. C’est le cas du CNRS pour la création de nouvelles unités ou le renouvellement d’unités existantes, c'est pareil évidemment pour les universités, de même que dans chacun des organismes de recherche. Je pense que les questions qui se posent c’est en gros : pourquoi fait-on exister cet acteur qu'est l'AERES ? Stéphane Beaud l’a dit : pourquoi les gens vont dans ces comités de visite ? Mais, plus fondamentalement, pourquoi les unités acceptent-elles d'être évaluées par cette agence ? Quel est l'appareil de coercition ? Est-ce l’AERES, et si oui par quel moyen ?Patrick Michel : C'est le problème de la reconduction ou de la non-reconduction des unités.Didier Torny : Dans ce cas je suis désolé mais ce sont donc bien les institutions qui n'ont rien à voir avec l'AERES mais qui sont « traditionnelles », que ce soit l'Ehess, que ce soit le CNRS ou d'autres EPST, et qui décident. Ce qui veut dire que l'AERES n'a aucun pouvoir si ce n'est celui qui lui est donné par les collègues qui y participent, par des institutions qui disent : « je dois me soumettre à la loi de l'AERES ». Mais fondamentalement quel est le pouvoir de l'AERES puisqu'à l'exception de son président nommé par le ministre et de quelques administratifs, il n'y a que des collègues, il n'y a pas de consultant à l'AERES à ma connaissance. En revanche au ministère il y a beaucoup de consultants. Où réside le pouvoir que vous semblez lui attribuer puisque vous lui attribuez non seulement un pouvoir de notation, de décision et d'action, mais également une capacité de transformation de l'espace de la recherche et de l'environnement dans lequel on travaille ?Marc Lipinski : Aujourd'hui j'interviens avec ma casquette de directeur de laboratoire mixte CNRS-université en biologie. J'ai été évalué une fois par l'AERES. Certes, dans les textes l'AERES n'a pas de pouvoir de décision, je suis complètement d'accord. Juste une petite rectification : le président de l'AERES est nommé par le président de la république pas par le ministre. Cela fait partie des quelques milliers de nominations auxquelles dans notre belle république le président de la république peut procéder. Néanmoins, si par exemple le CNRS ou les universités décidaient de ne pas tenir compte des évaluations faites par l'AERES, il faut voir que le CNRS est dirigé par des gens qui sont nommés aussi par le pouvoir. En pratique, les organismes comme le CNRS reçoivent leur budget directement du pouvoir pour l'essentiel. Il y a des ressources propres mais au CNRS elles comptent peut-être pour 20 % du budget global, et comme 80 % du budget va au salaire, cela veut dire qu'il y a de moins en moins de marges de manœuvre, tout le monde le sait. Donc, évidemment, dans les textes, l'AERES n'est pas décisionnaire, mais son avis impacte directement le système en fait, et ce label qui est donné par l'AERES et qui était résumé dans une seule note ridicule, que l'AERES elle-même a décidé de diluer avec plusieurs autres notes sous la forme de lettres, a des effets indirects puisque en effet maintenant on doit l’indiquer quand on candidate à un contrat de recherche auprès de l'agence nationale de la recherche, qui d'ailleurs a une nouvelle directrice, Pascale Brillant, ancienne conseillère régionale UMP des pays de la Loire et ancienne chercheuse à l'Inserm par ailleurs. Donc cela a un impact sur l'ANR, cela a un impact sur tous les autres appels à projets et donc je pense que les gouvernements ont extrêmement habilement transformé le système sans réellement supprimer ce qui existait mais en déplaçant les lieux de pouvoir de manière plutôt indirecte que directe.Une évaluation sans dotation de moyens à la clé ?A la question : faut-il une évaluation ? J'ai tendance à penser que l'on ne peut pas dire sérieusement que l'on n'a pas besoin d'évaluation. Mais la question centrale c’est : quel système d'évaluation faut-il mettre en place ? Revenir à la situation précédente ne me paraît pas quelque chose de très enthousiasmant. Parce que quand c'était le CNRS qui venait évaluer les unités mixtes CNRS-université, il ne passait pas beaucoup plus de temps. Il y avait un avantage, c'est que les gens qui étaient dans ces comités faisaient le tour d'un certain nombre d'unités et donc avaient des points de comparaison un peu plus tangibles que les gens qui viennent faire « un petit tour » avant de s'en aller et de tout laisser au président du comité qui lui-même se fait ensuite recadrer dans les assemblées de présidents de comités AERES. Donc c'était mieux, mais ce n'était pas exceptionnel non plus. On a quand même un problème en France à mon avis c'est que la communauté des gens susceptibles d'évaluer n'est pas infinie, elle est même très limitée. Le temps par contre que cela prend est extrêmement important pour faire une bonne évaluation. Il me semble déjà que l'une des mesures à prendre serait d’espacer davantage dans le temps les évaluations que ce qui se fait aujourd'hui.Patrick Michel : C'est ce qui en train de se passer.Marc Lipinski : Oui c'est passé à cinq ans au lieu de quatre initialement. Le problème c'est que l'impact de l'évaluation n'est pas énorme parce que in fine lorsqu'une unité de recherche est reconduite, et en pratique le plus souvent elle est reconduite finalement, mais sans moyens. Et donc tout le processus recommence en permanence parce qu'il faut chercher en permanence les moyens pour faire fonctionner des unités de recherche, quand on parle des unités de recherche. Par conséquent le point principal de mon point de vue c'est que l'évaluation n’aboutit pas à la mise à disposition de moyens substantiels et récurrents pour une période suffisante.Christian Topalov : Avant de céder la parole à Elie Haddad, je voulais justifier mon propos sur la présence des professionnels de l'évaluation dans les couloirs de l'AERES. Je ne sais pas s’ils y sont toujours. Mais une chose est certaine c'est qu'ils y ont été. Je prendrai pour preuve de cela un témoignage ethnographique apporté par plusieurs de nos collègues qui ont assisté à des réunions organisées par ces gens. Ça se passait au mois de juin début juillet. Et donc il faisait chaud. Et tout simplement ces gens sont différents de nous. D'abord ils sont assez jeunes, ce qui n'est pas souvent le cas des chercheurs, avec des exceptions heureuses. Et surtout ils ont une hexis corporelle tout à fait particulière, par exemple ils s'habillaient à cette époque-là avec des chemises à manches courtes et de couleur claire. Ils ont une façon de s'exprimer extrêmement bienveillante, extrêmement chaleureuse : « Vous comprenez, la culture de l'évaluation c'est vous qui la faites. Si vous nous dites qu'il faut que l'on se remette en cause, nous le ferons, justement c'est ça la culture de l'évaluation ». On a entendu de nombreuses fois ce genre de discours tenu par ces gens-là. Peut-être qu’aujourd'hui ils ne sont plus là, peut-être d'abord parce qu'ils coûtent cher, mais toute leur idéologie est cristallisée dans les guides de l'expert qui sont si lourds en pdf lorsqu'on les télécharge pour essayer de comprendre leur jargon. Ce ne sont quand même pas des universitaires qui ont inventé ça, cher Monsieur, ce n'est quand même pas possible ! Voilà. Oui, ces gens ont été là, on les a vus. Qu'ils en soient partis, c'est possible.Elie Haddad : Une autre réponse possible, et qui sera aussi une remarque sur ce qui a été dit, est, il me semble, du côté des structures institutionnelles - là je rebondis sur ce que Christian Topalov disait tout à l'heure. Il me semble que l'AERES s’est toujours justifiée en disant : « écoutez, nous sommes des pairs comme vous ». Chaque comité de visite commence de la manière suivante : « chers collègues, nous sommes comme vous des scientifiques, nous nous connaissons, nous travaillons ensemble. Évidemment nous ne vous voulons que du bien et tout va bien se passer ». Et en effet, la plupart du temps, sauf conflit spécifique, ça se termine avec des gens qui disent : « ça s'est bien passé ». Ils ont été très stressés auparavant. Il me semble qu'il y a là un piège qui pour moi me paraît étonnant, c'est-à-dire que l'on rabat la question des pairs uniquement sur la question du fait d'être des « collègues ». Or il me semble que pour qu'une évaluation fonctionne et puisse être justifiée, il faut d'une part qu'elle soit contradictoire, de l'autre, que les gens qui évaluent rendent des comptes. Alors quand rend-on des comptes ? Eh bien quand on est élu. Or, là il y a quand même des choses qui dans la structure de l'AERES posent problème, puisque ce sont des gens qui sont nommés et non pas des gens qui sont élus. Alors l'élection s'affaiblit fortement de nos jours. J'en donnerai deux exemples : le cas de Monique Cantos-Sperber, philosophe de renom, directrice de l'École normale supérieure qui dans un débat autour de l’AERES[8] s'était exclamée qu'elle ne voyait vraiment pas pourquoi on faisait une différence entre des élus et des nommés, puisque tout ça c'était des collègues. J'en veux pour deuxième exemple un débat tout récent qui a eu lieu et qui est publié sur le sites politiques des sciences entre Nathalie Heinich et Christian Topalov[9] où Nathalie Heinich, de manière beaucoup plus combattante, dit que l'élection est quelque chose d'absolument affreux, de soviétique et que la nomination c'est tout de même beaucoup mieux et que cela garantit la démocratie. C'est un peu problématique. Il me semble quand même que l'un des points qui permet de juger que le CNU ou le comité national du CNRS sont des choses un peu mieux que l'AERES, c'est le fait qu'il y a des élus dans ces instances.On pourrait aussi se demander ce que cela veut dire d'externaliser l'évaluation par rapport à des structures qui, elles, sont intégrées aux institutions de l'enseignement supérieur et de la recherche.En outre, pour rebondir sur ce qui a été dit dans le piège de l'AERES, si on peut le dire comme ça, dans la mesure où les évaluations mettent en contact, en interaction directe avec des collègues en effet, on oublie qu'ils sont nommés parce que ce sont des collègues, eh bien cela se passe plutôt bien. Et là il y a une chose que l'on n'a pas dite, c'est que les équipes d'accueils aussi ont été évaluées alors qu'auparavant les décisions se faisaient au ministère, pour le coup sans visite, sur dossier, de façon extrêmement arbitraire. De ce fait, pour tout un ensemble de collègues, l'AERES a été vue comme quelque chose qui était beaucoup plus positif que la manière dont les choses se passaient précédemment. C'est pourquoi lorsque l'on en sera à réfléchir à ce que l'on voudra plus tard, il faudra prendre en compte cette question qui à mon avis est cruciale.Dernier point sur lequel l'AERES a des ambitions énormes, je ne sais pas si elle aura les moyens de ses ambitions, mais le nouveau président de l'AERES a déclaré dès son arrivée qu'il entendait bien que l'AERES évalue les chercheurs et les enseignants-chercheurs au bout du compte.De quelle évaluation avons-nous besoin ?Christian Topalov : L'observation que tu viens de faire, Elie, nous amène je crois au deuxième moment de notre échange, c'est-à-dire de quelle évaluation avons-nous besoin ? Et de ce point de vue je crois que l'on peut dire que l'AERES a représenté de mauvaises réponses à de très bonnes questions. Parce que quand les formations - les masters, les DEA, anciens bac+5 -, étaient évaluées directement dans les bureaux du ministère, c'était une catastrophe. Maintenant elles sont peut-être mal évaluées mais au moins il y a un rapport rendu public. Ça, c’est un progrès ! Les équipes d'accueils et les écoles d'architecture, les grandes écoles même, vous vous rendez compte, reçoivent des visites.Patrick Michel : Les organismes de recherche. Le CNRS a été évalué.Christian Topalov : N’oublions quand même pas que lorsqu'il s'agit des organismes, nous avons des évaluations totalement politiques, dirigées par le pouvoir. L’évaluation de l'Inserm était totalement téléguidée par la présidence de la république pour obtenir une certaine restructuration des sciences de la vie dans ce pays. Ce n'est pas une histoire de « collègues », excusez-moi ! L’évaluation grotesque du CNRS par un jury international potiche, j’en ris encore, est quelque chose de proprement scandaleux, que l'on ne vienne pas me parler de collègues ! Il y a un certain nombre d'évaluations qui sont des actes politiques. Les premiers comités qui allaient dans les universités n'avaient pas encore compris qu'il fallait quelque peu euphémiser la doctrine. Ils expliquaient ingénument que c'était quand même tout à fait dommage d'avoir une fonction publique d'État parmi les enseignants. Ensuite on leur a un peu remonté les bretelles et fait comprendre qu'ils pouvaient conserver ces sujets de discussion pour leurs réunions de l'UMP plutôt que de les aborder au sein d'un comité de visite, dont ce n’est pas l’objet. Ces quelques cas montrent bien que les dérives politiques de cette institution ne demandent à certains moments qu’à se révéler. Pas tout le temps bien sûr, autrement ce sont des collègues qui font les visites, je suis d'accord.L’AERES : un acteur décisif ou une « coquille vide » ?Didier Torny : Je trouve que vous n'avez pas répondu à la première partie de ma question, c'est-à-dire : qu'est-ce que l'AERES ? Il y a quand même beaucoup d'énoncés qui commencent par : « l'AERES veut », « l'AERES fait, etc. ». Pour ma part j'ai beaucoup de problèmes avec cette description là, ayant pratiqué une ethnographie de l'agence. Ce qui me semble problématique en tant que tel est d'attribuer un tel pouvoir de décision à une institution de manière générale, mais à cette institution là qui ressemble davantage à une boîte vide qu'à une boîte pleine. Vous l’avez évoqué, l'AERES a très largement remplacé la Mission Scientifique, Technique et Pédagogique (MSTP)[10]. La MSTP avait un certain nombre de pratiques, par exemple le calcul de ce qu'elle appelait des enseignants-chercheurs actifs, renommés plus tard publiants. Ces catégories ont été simplement transférées à l'AERES telles quelles[11]. Le taux de produisants est une demande ministérielle qui, en tant que telle, est très différente du « travail ordinaire »  de l'AERES de production de rapports. On peut par ailleurs estimer qu’elle n’est pas légitime, mais elle structurait déjà, avant la création de l'AERES l’allocation de moyens par le ministère. Donc ma question finalement c'est vraiment qui est l’AERES ? Parce que l’AERES, il y a le président bien sûr. Après, vous avez un certain nombre de personnes, qui sont détachées en général trois jours par semaine, qui dirigent différentes choses dans la structure : direction des unités, direction des formations, direction des établissements. En dessous vous avez des délégués scientifiques, qui sont là un ou deux jours par semaine en général. Ce sont des collègues qui continuent à enseigner dans leur discipline. Ces collègues, quand ils organisent des comités de visite, ont obligation d'avoir des membres du CNU, d'avoir des membres de la section CNRS et un certain nombre d'autres personnes dans leur équipe. La question est la suivante : où est l'AERES telle que vous la décrivez, c'est-à-dire comme une machine avec un certain nombre de fonctionnements, une certaine volonté, avec une vision ? Et, ce qui est intéressant à signaler, c’est que le moment où l'on voit l'agence, d'un point de vue pragmatique, c'est évidemment dans ses communiqués de presse, etc. Au moment des Idex et compagnie, le conseil d'administration de l'AERES a dit : « vous n'avez pas le droit d'utiliser la notation globale en dehors de toutes les notes et du rapport en entier »[12]. Et ce type de prise de position de l'agence est une constante de sa part. On peut juger que cette prise de position est naïve, c'est-à-dire que chaque fois qu'ils ont produit un rapport ils savent très bien que cela va être utilisé. Mais alors la naïveté ne doit-elle pas être attribuée à l'ensemble des collègues ; c'est-à-dire que les collègues qui vont dans les comités et qui savent très bien que derrière il y a des moulinettes, sont aussi des naïfs. Cela soulève la question de savoir ce qu'est cette institution, et pourquoi finalement il y a des taux de participation aussi importants des unités, des personnes, etc., qu'on ne voit pas de mouvements de rébellion au sens de refus de participation à cette agence. J'ajoute juste à titre de comparaison que les physiciens étaient très contents de l'AERES, ils avaient 76 % d'unités notées A+. Quand vous regardez les sites des revues, vous constatez qu’elles sont ravies d'avoir des "labels de qualité" de l'AERES[13]. Quand vous regardez des sites de laboratoires, ils sont absolument ravis d'afficher leur note de l'AERES. En conséquence, qu'est-ce que l'agence si ce n'est une structure dans laquelle tout un chacun trouve à boire et à manger et continue à fonctionner pour des bonnes et des mauvaises raisons, sous une forme d'agrégation finalement des volontés et des capacités des uns et des autres ? Et comment peut-on passer de ce plan là à un plan institutionnel dans lequel on va dire : l'AERES veut ceci, l'AERES veut cela ? Les seuls moments où l'AERES dit vouloir quelque chose, elle me semble dire des choses qui sont à peu près à l'inverse des volontés qui ont été décrites ici. C'est-à-dire : « nous ne sommes pas là pour décider » ; « les décisions appartiennent aux organismes et aux établissements » ; « la note globale ne doit pas exister », « on doit considérer l'ensemble du rapport ». On peut lui reprocher sa naïveté, mais comment lui attribuer toutes ces volontés que vous lui avez attribuées sans faire en sorte d'attribuer ces volontés à l'ensemble du corps constituant, à l'ensemble des collègues ayant participé à son fonctionnement ?Christian Topalov : Nous avons ensemble plébiscité l'AERES bien sûr ! La violence symbolique ça n'existe pas.Élie Haddad : Dans ses discours, l'AERES se positionne toujours par rapport aux agences évaluatrices des agences d'évaluation nationales, qui se situent au niveau européen et qui accréditent les agences d'évaluation nationales. C'est fondamental parce que dans son discours elle est donc tenue en permanence à penser à cela, par exemple dans la question de la notation et de son recul à ce sujet ainsi que dans les procédures qu'elle met en place. Après, sur la question que moi j'appellerais volontiers « l'esprit des institutions », c'est mon côté historien moderniste, eh bien Standard and Poors’ dit bien qu'elle ne fait pas de politique. C'est aussi une agence qui prétend à la neutralité, qui ne fait que décrire l'économie et dire que ça ne va pas. Sauf qu'évidemment dans ses critères, sa façon de fonctionner, sa façon d'évaluer un État sur le même plan qu'une entreprise par exemple, elle développe une logique qui, si on la prend d'une manière un peu critique, est une logique politique. Je pense que l'AERES, c’est pareil.Olivier Pégard : Vous dites que l'AERES finalement est une coquille vide. Mais comment est née l'AERES et qui a participé à sa fabrication ? C'est-à-dire que si l'AERES touche tous les champs scientifiques, et là vous disiez tout à l'heure qu'il y avait 76 % de physiciens qui étaient contents de cette agence, cela revient à ce que je disais, c'est qu'on évalue les champs scientifiques de manière indistincte et il y a subtilement un mode d'imposition d'une vision de la science contre une autre. Forcément, les sciences humaines, les sciences sociales, etc. ne sont pas dans une position dominante mais dominée. Ainsi par exemple le chercheur qui incarne la « journée de la science », sur les affiches qui annoncent cette manifestation, est représenté par un homme en blouse blanche. Le deuxième point concerne les personnes qui travaillent dans cette agence. Dans l'ethnographie que vous en faites- vous concluez que ce sont des évaluateurs  « potiches ».Christian Topalov : Je parlais du comité qui a évalué le CNRS.Olivier Pégard : Donc, dans cette ethnographie de couloir. Ce que je veux dire c’est qu'il faut aussi bien comprendre que l'on a beau être des scientifiques, cela n’empêche pas que les chercheurs et enseignants chercheurs évoluent dans des institutions structurées par des rapports de domination formels et informels. La création de l’AERES, même en tant que coquille vide, a engendré un contexte favorable à ce que ce soit par exemple les dominés d'une situation qui vont se dire : « tiens j’y vais » pour apparaître en tant que dominant. Je veux dire qu'il y a des agents qui consentent à y aller car à leurs yeux, ce sera un bénéfice d’apparaître en évaluateur œuvrant pour le compte de l’AERES. À partir de là, est-ce que l'on pourrait conclure que pour les agents scientifiques qui y prennent part, l'AERES est un vaste consentement à sa propre dépossession ? Est-ce comme ça que cela marcherait ?La visite du comité et l’évaluation comme deux activités disjointes et sans effets ?Michel Agier : Je veux juste nuancer un peu les oppositions parce que comme ex-directeur d'une UMR j'ai eu à organiser la visite de l'AERES. Je voudrais préciser un petit peu le point de vue selon lequel ça s'est bien passé mais ça ne sert à rien. Effectivement ça s'est bien passé puisqu'il y avait des collègues proches qui étaient là. On leur a posé la question des raisons de leur participation à ce comité. Ils nous ont répondu que c’était parce que c'était la première fois et qu'ils voulaient voir comment cela se passait - et on a eu de vrais échanges intéressants sur des études africaines et sur l'africanisme en France et ailleurs. Et ce qui nous a été donné comme texte après était aussi intéressant et ça nous a donné l'occasion d'y faire une réponse dont la préparation était également intéressante. Tout ça n'ayant rien à voir finalement avec le principe de la notation, qui était complètement absent de la discussion et aux collègues qui étaient là et le même gêné souriant sur le fait de savoir s'il y avait des chercheurs publiant non, qu'est-ce que ça voulait dire et à partir de combien de textes on est publiant ? Tout ça pour dire que sur la pratique elle-même de cette relation, cela s'était effectivement bien passé. Et puis après sur la suite ça n'a eu aucun effet. C'est-à-dire en gros quel effet ? L'effet, c’est avant tout des financements et que l'on reçoit plutôt effectivement par nos établissements. Les EPST fournissent aux laboratoires la base structurelle pour fonctionner. Et donc après c'est plutôt à l'ANR que les chercheurs doivent faire appel pour avoir des financements. L'AERES est une toute petite goutte dans un dispositif d'ensemble qui nous échappe qui est en fait contrôlé par le ministère de manière beaucoup plus décisive que par les EPST. La question qui se pose à l'AERES franchement pour moi ça n'est pas la composition du comité de l'AERES qui vient nous rendre visite, c'est plutôt le cahier des charges de l'AERES. Or d'après ce que j'ai compris, cela se passe plutôt au ministère. Le ministère emploie aussi des agences d'évaluation, qui sont des petites agences d'évaluation privées, qui ont un cahier des charges très explicite que leur demande directement le ministère. C'est une mini AERES finalement. Le principe c'est que le ministère a le cahier des charges, fonctionne avec des agences d'évaluation qui sont peut-être plus souvent des experts, pour le coup il s’agit d’experts du ministère qui sont employés directement par lui. l'AERES est une forme « gonflée » et pérenne de ce système d'agences d'évaluation. C’est davantage le mot agence qui pour moi est important plutôt que le terme d'évaluation. Mais je n'ai rien à dire sur le fond sur la relation qui s'établit et sur le fait que les collègues, en l'occurrence des pairs, viennent voir notre boulot, discutent et au bout du compte établissent un rapport. Le seul problème finalement c'est que ça ne sert à rien et que ça n'a aucun effet.Evaluer les enseignants-chercheurs sur la recherche et ses conséquences sur leurs conditions de travail Stéphane Beaud : Juste un petit mot par rapport à ce que vient de dire Michel Agier. Cela n'a pas d'effet je crois dans les gros laboratoires parisiens qui sont bien constitués, qui ont pignon sur rue et qui savent à l'avance qu'ils auront la note A+. La visite dans ce cas donne lieu à un bel échange scientifique. Mais j'ai l'impression que dans certains laboratoires, notamment en province, ça a des effets. Il faudrait voir de près ce qui se passe dans les conseils d'administration des nouvelles universités dans le cadre de la LRU, comment sont interprétées les notations de l'AERES. Par rapport à la question que soulevait tout à l'heure Christian Topalov : de quelle évaluation avons-nous besoin ? J'ai aussi envie de dire que, en même temps qu'il faut poser cette question, il faut poser aussi la question je crois très forte des conditions de travail des collègues et de la grande différenciation de plus en plus croissante entre les chercheurs CNRS et les universitaires. Je parle pour ma boutique, la sociologie, je parle des départements de sociologie à Paris ou en province ou dans des IUT. Les collègues enseignants-chercheurs font de l'enseignement mais aussi beaucoup d'administration. Et dans cette logique d'évaluation tous azimuts ils ont de moins en moins de temps pour la recherche. Or, comme on évalue principalement la recherche dans un cadre de temps de travail contraint des enseignants-chercheurs, je pense que l'on est vraiment dans un moment très délicat parce que beaucoup d'entre eux, s'ils veulent être considérés comme publiants, sont obligés de faire des arbitrages : on ne va plus enseigner en première année, on ne va plus faire d'amphi, on va moins corriger. L'articulation entre l'évaluation de la recherche et l'enseignement, puisque l’on a aussi à produire des chercheurs par l'enseignement, cela me semble être une question qu'il faut poser en même temps que l'évaluation.Le CNU et l’évaluation des enseignants-chercheurs Christian Topalov : En d'autres termes, de la question : de quelle évaluation avons-nous besoin ? On ne peut pas séparer l'autre question : à quoi servent les évaluations ? Je ne veux pas non plus plaider que le système actuel est une énorme machine du type Léviathan. Il n'en est pas moins vrai qu'elle a été conçue comme telle, c'est-à-dire que le classement des revues avait pour fonction de classer les publiants et les non publiants et le classement de ces publiants et de ces non publiants avait pour fonction de permettre aux présidents d'université de répartir les services entre enseignement, recherche et administration. C'est comme ça que cela a été pensé. Heureusement, on était là et on a bloqué cette chaîne totalement fatale en deux points essentiels : le classement des revues d'un côté et puis l'application du nouveau statut des enseignants-chercheurs de l'autre. C'est ainsi qu'on est arrivé à limiter la casse. Mais je crois que le but de toutes ces machines effectivement c'est ce type de soumission.On a vu quand même avec la vaste opération Labex, Equipex et surtout Idex à quel point les notations de l'AERES ont joué un rôle décisif. Enfin, c'était un argument constant pour légitimer la sélection des projets. Tout cela forme un ensemble. La question que je pose maintenant, qui est : de quelle évaluation avons-nous besoin ? Il est très difficile d'y répondre sans imaginer un contexte qui lui-même évolue, parce que si on est dans un monde où les universités sont jetées dans une compétition constante les uns contre les autres, la réponse peut être celle-ci. Si on arrive à sortir de cet enfer, la réponse peut être autre. Donc c'est un peu compliqué. Néanmoins la question mérite d'être posée et j’aimerais particulièrement la poser à nos collègues du CNU. Puisque le CNU jusqu'ici a une expérience solide ancienne, qui est de qualifier d'un côté et de promouvoir de l'autre. Ça ils savent faire, tantôt bien, tantôt moins bien, ça dépend. Mais vous allez devoir dans fort peu de temps évaluer des individus hors contexte. La mandature précédente a réussi, sous l'euphémisation d'un moratoire, à éviter ça. C'était un recul du gouvernement. Mais maintenant le gouvernement avance. C'est normal, c'est son job. Donc vous allez avoir ce problème à résoudre. Qu'est-ce que vous allez faire ? Comment prenez-vous ce problème ? Est-ce qu'il est utile que les enseignants chercheurs soient évalués par vous, comment ? C'est une question qui est posée. Il y a d'autres questions qui ont affleuré jusqu'ici. Que va-t-on faire ? On va fermer l'AERES j'espère. On va faire le nécessaire pour que le gouvernement le fasse. Par quoi va-t-on la remplacer là où il est nécessaire de la remplacer ? Par exemple, comment vont être évaluées les équipes d'accueil, comment vont être évaluées les entités de recherche et d'enseignement universitaires ? Comment vont être évaluées les formations ? Faut-il évaluer les établissements ? Personnellement je pense que c'est totalement inutile sauf si on veut faire la compétition. Enfin il faut discuter de tout ça : de quelle évaluation avons-nous besoin dans un monde où l'homme cesse d'être un loup pour l'homme ou la femme une louve pour la femme, bien sûr ? L’échelon national : un "bouclier" contre les possibles dérives locales de l’autonomie ?Éric Agrikolanski : Je voudrais juste rajouter une chose dans le portrait que vous dressez de ces évolutions. Il y a un élément supplémentaire qui intervient en relation avec l'autonomie des universités et qui est extrêmement important. C'est la modulation des services, c'est le classement, mais l'AERES et toutes ces procédures d'évaluation sont aussi des manières de piloter différemment des établissements de plus en plus autonomes. Donc se pose aussi la question des responsabilités relatives du ministère, et puis des universités qui ont de plus en plus de prérogatives dans la définition de leurs programmes, de leurs diplômes, de leurs modalités de recrutement, du statut des personnels qu'elles vont recruter puisque s'ouvre la possibilité de recruter des gens sous statut privé en CDI. Ça évidemment c'est un enjeu supplémentaire qui pose aussi la question de savoir si une évaluation ou une intervention d'une instance nationale par discipline est forcément liberticide dans un espace dans lequel on aurait des établissements qui localement, en jouant ce jeu de la concurrence, décideraient de multiplier par 10 leurs frais d'inscription, de produire des diplômes d'université, de recruter des personnels à bas coût pour faire les enseignements que personne ne veut faire, etc. L'intervention d’une instance d'évaluation nationale se joue aussi là-dessus.Christian Topalov : C'est aussi la question du cadre législatif.Éric Agrikolanski : Oui voilà. Est-ce qu'on peut imaginer revenir sur l'autonomie aujourd'hui ? Je ne sais pas.Y a-t-il trop d’évaluations ? Trop mal à propos et pas assez à bon escient ?Christian Topalov : Alors, de quelle évaluation avons-nous besoin ?Sylvain Piron : Je suis perplexe aussi mais cela a déjà été dit une fois ou deux : une évaluation doit être suivie d'effet, sinon elle n'a aucun sens, et cet effet doit être immédiat. Le problème de l'AERES c'est justement d'être une boîte vide. C’est un instrument du ministère, désormais extériorisé, mais sous contrôle, qui applique avec un double discours, comme l'a rappelé Elie, une politique définie par le ministère et qu'elle n'a pas même le moyen de définir. Elle applique des notes sans que ce soit transformé en dotation de moyens et en multipliant après le besoin d'évaluation pour évaluer des projets. Mon sentiment, c'est qu'il y a beaucoup trop d'évaluations depuis quelques années et on passe un temps de plus en plus disproportionné à évaluer toutes sortes de choses. Je pense qu'il en faut beaucoup moins, il faut qu'elles soient utiles et qu'elles aient lieu quand on en a besoin. Un chercheur n'a pas besoin de trente-six évaluations durant sa carrière, il en a besoin au moment du recrutement. C'est ça le problème, il y a des recrutements qui sont faits de façon tout à fait scandaleuse selon des procédures qui sont encore plus rapides que les comités de visite dont on vient de parler. Il y a un besoin d'évaluation à ce niveau-là je pense et après dans la carrière d'enseignant-chercheur on a très peu besoin d'évaluation, au moment où l'on franchit des seuils, pour des promotions, pour des détachements, et c'est un tout petit nombre de cas. À mon avis, il n’y a sûrement pas besoin d'évaluation régulière et le bon rythme pour un chercheur, c’est 10 ans au minimum pour effectuer une évaluation sérieuse de son travail. Plus souvent, c’est excessif. La situation est différente pour les équipes ou pour les groupes, pour lesquelles il s’agit de renouveler des financements ou des dotations récurrentes. La logique serait d'évaluer pour donner quelque chose et pas de dissocier les deux choses. C'est peut-être ça le gros problème de l'évaluation telle qu'elle est pratiquée.Stéphane Beaud : Juste quelques points sur l'évaluation. Je suis entièrement d'accord sur le point de l'évaluation faite au moment du recrutement. Pour l'université, j'essaye de faire partie des comités de sélection partout, j'en fais trois par an. Cela prend du temps mais c'est assez intéressant. Je trouve effectivement que le système est très déficient puisqu'on examine cinquante CV dans une après-midi, après on auditionne huit à dix personnes et on doit choisir une personne. En une après-midi se joue toute une vie pour certains, c'est quand même extrêmement défectueux, insatisfaisant, frustrant, etc. Cela devrait faire partie des réflexions des universitaires. Ce sont des opérations fondamentales. Pourquoi ne pas prendre plus de temps pour recruter des collègues à vie ?Le CNU n'est pas seul à évaluer pour les promotions, il y a aussi les universités. On peut être promu première classe par le CNU mais aussi par des instances universitaires locales, c'est-à-dire le conseil scientifique. Il y a donc deux voies parallèles : il y a les personnes qui passent par la voie locale, parce qu'on récompense leur investissement local.Et puis la troisième remarque que je voulais faire par rapport à l'intervention de Sylvain Piron, il me semble que parfois une évaluation peut être bénéfique pour remettre le pied à l'étrier de jeunes ou de moins jeunes collègues qui ont arrêté de faire de la recherche. Je pense que cela peut être bien, mais au lieu d'une évaluation-sanction, il pourrait y avoir une évaluation avisée incitative. C'est très particulier à la sociologie, j'ai souvent remarqué ce phénomène, beaucoup de jeunes enseignants-chercheurs sont recrutés, malheureusement souvent sur une base locale, et puis après ils se dévoient dans beaucoup de tâches locales, et puis ils arrêtent la recherche une fois que c'est fini, ils sont perdus pour la recherche et puis après ils viennent dans les institutions et c'est là qu'ils deviennent dangereux pour les chercheurs.Christian Topalov : Cela devient des bureaucrates de la science ? Alors ça, ça ne va pas tout à fait dans le sens de ce que dit Sylvain.Stéphane Beaud : Non, idéalement je suis d'accord avec Sylvain, mais il faut tenir compte de certaines réalités auxquelles on peut être confronté par moment.Christian Topalov : Oui parce que Sylvain dit que ce n'est pas la peine d'évaluer les collègues très souvent, une fois ou tous les dix ans cela suffit et Stéphane dit plutôt qu'il faut être vigilant, qu'il faut aider les gens, etc. Ce sont deux philosophies différentes.Stéphane Beaud : Je ne suis pas non plus favorable à une évaluation tous les deux ou trois ans, c'est débile, mais tous les cinq à six ans, pourquoi pas ?Catherine Alès : Au CNRS c’est tous les deux ans, on est les seuls à être évalués aussi fréquemment.Marc Lipinski : Tous les deux ans, ce ne sont pas des évaluations, on remplit des papiers qui sont classés.Catherine Alès : Non ce n'est pas tout à fait exact.Des instances d’évaluation en surnombre ?Laurent Coudroy de Lille : Pour revenir à l'AERES, il sera intéressant de suivre la seconde vague d'évaluation si elle a lieu. Car on verra à la fois l'évolution du point de vue des experts... et la possibilité qu'auront eue les établissements de mettre en œuvre les fameuses préconisations. Il y a beaucoup de désintérêt pour l'AERES ; on verra sans doute son inutilité.Il existe d'autres dispositifs d'évaluation : lors d'une évaluation à laquelle j'ai participé, celle-ci prenait déjà en compte un rapport de l'année précédente issue de la commission des titres d'ingénieurs (CTI), autre instance d'évaluation dont l’appréciation revêt un enjeu beaucoup plus concret pour les écoles en question. La même personne dirigeait les deux commissions, le rapport de l'AERES prenait en compte de façon explicite cette autre évaluation de la CTI. Il est probable que cela se passe aussi  pour l'AERES à l'occasion de la vague suivante; les nouveaux rapports, par souci d'économie de moyens et sans doute aussi de facilité, se contenteront de s'ajuster aux anciens. Le CNU et les instances du CNRS ont plus d'expérience et travaillent de façon plus approfondie, c'est évident. Les recoupements de rapports et de commissions agissant selon des légitimités et des calendriers ainsi que des périmètres différents vont nous mettre dans des situations extrêmement confuses, mais c'est aussi de là que peuvent naître des marges de manœuvre. Ce n'est pas la première fois dans notre pays que l'on multiplie les instances sans  délégitimer celles qui existaient auparavant. Il semble que l'on soit dans ce processus-là.Christian Topalov : Laurent pose une question très concrète : aujourd'hui, une même unité de recherche est évaluée tantôt par l'agence de notation (l’AERES), tantôt par une section du comité national. Du moins la pertinence de l’évaluation de l’AERES sur une unité est-elle évaluée à son tour par le comité national. Puisque celui-ci officiellement n'a plus compétence pour évaluer les unités.Laurent Coudroy de Lille : Si le CNU est amené à évaluer de façon régulière les individus, il va renvoyer son évaluation aux équipes et donc à d'autres évaluateurs qui sont passés avant.Catherine Alès : Les évaluateurs des équipes n’ont pas l'évaluation des chercheurs. Une évaluation d'un chercheur au CNRS, puisque nous sommes les seuls à être évalués il faut quand même le souligner, est personnelle. C'est individuel et cela ne s'adresse qu'au chercheur concerné, le responsable d'une équipe n'a pas accès -et fort heureusement- à ce rapport. C'est un rapport entre les pairs et un chercheur. Je trouve ça plutôt bien. Ça n'a rien à voir avec l'évaluation des équipes. Mais quand on a à faire à la fois l'évaluation des équipes et l’évaluation des chercheurs, on a une vision beaucoup plus claire de cette équipe, on est mieux à même d'évaluer une équipe.Patrick Michel : Il est bien évident que l'on ne peut pas saisir l'AERES, et de ce point de vue là je suis assez d'accord avec vous, indépendamment du reste, d’un ensemble. Cela a d'ailleurs été dit à plusieurs reprises. Ce qui frappe, c'est la volonté de nos dirigeants de disposer d'un instrument de mesure et de pouvoir effectuer des pressions par l’intermédiaire de cet instrument de mesure. De ce point de vue là, l'AERES n’est, vous avez raison, qu'un outil auquel il serait sans doute abusif de prêter une volonté absolue, déterminée, etc. Sauf que l'AERES est aussi une instance qui a besoin d'établir sa légitimité, de prouver et de mettre en évidence son utilité. Ce qui explique, au passage, qu’elle s’en prenne aux instances où siègent des élus.  L'AERES prétendait ainsi récemment évaluer aussi bien le CNU que le comité national, ce que l’un et l’autre ont refusé, soulignant, sur un mode d’ailleurs assez plaisant (« nous sommes tout prêts à vous faire bénéficier de notre expérience… »), que c'était là un petit peu poussé.En revanche je ne suis pas du tout d'accord avec vous lorsque vous dites que tout le monde peut « refuser ». L'AERES existe du fait d’un décret qui lui confère le monopole de l'évaluation. Je ne vois pas comment le président du CNRS, un président d'université, un directeur d'unité pourrait refuser l'évaluation et donc les modalités de celle-ci. Les seules formes de lutte efficace qu’on a pu trouver, c'est ce que rappelait Sylvain Piron tout à l'heure et auquel a d'ailleurs assez largement participé le comité national, à savoir refuser l'établissement de listes de revues. Ou encore le refus de nos collègues au moment où un mot d'ordre de boycott avait été donné, de participer aux comités de visite. La méfiance du milieu explique d'ailleurs une part des difficultés de l'AERES pour remplir ses missions. Ce pourquoi nous sommes passés à cinq vagues : à un moment donné l'AERES a fait savoir que ce n'était plus possible pour elle de remplir sa tâche, en partie sans doute en raison de sa difficulté persistante à trouver des experts volontaires. C'est la raison pour laquelle il a fallu étaler le travail dans le temps.Une dernière remarque sur l’idée  qu'une évaluation tous les dix ans suffirait : là pour le coup je ne suis pas d'accord. Ce que j'ai pu observer du fait d’une maintenant longue expérience au CNRS, c’est que bien sûr toutes les garanties ne sont pas réunies lorsque l’on recrute. Mais le sont-elles pour d’autres concours ? A l’évidence, quelqu'un qui réussit ou qui rate à un quart de point le concours de Polytechnique peut en voir sa vie transformée. C'est donc le système même du concours qui serait en cause. Or c'est le principe d’accès à la fonction publique. On peut décider d’en finir et faire comme dans certains établissements, où l'on recrute sur des contrats de droit privé. Où s'appliqueront donc les règles du management privé. Avec déjà des critères non explicites pour les promotions, notamment le montant des contrats que l’on ramène.Surtout, un délai de dix ans entre deux évaluations pose un problème dans la mesure où un chercheur peut, à un moment donné de sa carrière, connaître des difficultés et perdre pied. Pouvoir le repérer, parfois même lors d’une simple évaluation à deux ans, permet d’entrer dans cette procédure dont il faut créditer le CNRS de suivi post-évaluation. Il n'est pas là question de sanctionner, mais d'émettre un avis d'alerte qui enclenche une procédure où sont impliqués évidemment le chercheur, le directeur de l'unité, la section, la direction des ressources humaines, la direction scientifique. L'idée est de mettre en place des dispositifs d'écoute et d'accompagnement du chercheur. Et ça me semble très utile dans des carrières où l'on se sent souvent très seul, où il y a peu de retour sur ce que l’on fait. Donc peut-être que sur le plan scientifique à proprement parler on peut s’accorder sur l'idée qu'après tout tous les huit ou dix ans c'est suffisant, mais en termes de gestion des ressources humaines, il me semble que des rendez-vous d'évaluation plus rapprochés ne font pas de mal.Catherine Alès : Et le rapport à l'institution aussi, parce que quand on est enseignant-chercheur on donne des cours chaque semaine, on appartient à une école doctorale, mais quand on est chercheur le rapport à l’institution est plus distant et impersonnel.Olivier Pégard : La proposition que vous faites me dérange un peu finalement.  Vous la posez parce qu'il y a un système d'évaluation qui existe et parce qu'on considère que l'évaluation est censée répondre à un problème. Vous partez peut-être de ce postulat. En fait, si vous construisez des lieux de relations plus à l'horizontale, plus dans l'immédiat, plus dans la complicité, les problèmes se repèrent. La personne qui sent qu’elle a un problème dans son travail en parle d’elle-même à ses collègues. Je veux dire que nous n’avons pas forcément besoin d'un système d'évaluation pour nous parler. Et je dirais que promouvoir systématiquement la question de l'évaluation c'est forcément évacuer une possibilité autre de fonctionnement. Là où ça me gêne un peu dans cette manière de faire, c’est son côté maternant comme s’il s’agissait de ramener la brebis égarée dans le droit chemin.Michel Agier : Avec ce thème on est passé de l'évaluation collective à l'évaluation individuelle.Christian Topalov : Cela fait partie du problème. Il y a deux cultures différentes.Stéphane Beaud : Quand tu dis qu'il y a deux cultures différentes, autant je suis d'accord avec toi pour reconnaître qu'il y a une culture de l'évaluation au CNRS, je ne suis pas CNRS, autant à l'université il n'y a pas de culture d'évaluation.Par quoi remplacer l’AERES ?Christian Topalov : C'est ça la différence. Je pense que l'un des objectifs qu'il faut que l'on se donne collectivement dans ce mouvement, c'est de faire fermer l'AERES très vite en présentant cette exigence sous la forme d'un moratoire. C'est-à-dire qu'il faut que quand le futur ministre de la recherche prendra possession de son bureau, il commence bien sûr par lancer les assises de la recherche et de l’enseignement supérieur et pour que ces assises réussissent il faut que les collègues pensent que quelque chose peut changer. Pour qu'ils pensent que quelque chose peut changer, il faut deux ou trois actes symboliques très forts. Il faut immédiatement faire un moratoire sur l'AERES. Cela ne gêne personne. Ce truc s'arrête, ça n'a aucune conséquence. Et ça donne un espoir de changement à tous.Je ferme la parenthèse et vous propose que l'on en vienne à parler de ce qui peut justement remplacer tout ça.Laurent Audouin : Je suis absolument d'accord avec les prérequis que tu donnes là et le tempo de cette symbolique qu’aurait l'arrêt immédiat des activités de l'AERES. Ensuite il faut voir à quoi cela a servi quand même ? Il faut souligner le fait que cela a ouvert une perspective d'évaluation à des structures qui n'étaient pas jusque-là évaluées. La question est donc de savoir par quoi remplacer l'AERES car il ne s'agit pas de supprimer pour supprimer. Si l'on remplace on est d'accord qu'il faut une dimension démocratique, élue, à l'instance qui évalue. À la fin, soit on recrée un machin autre part, soit on donne une nouvelle mission à une structure existante. Il faut une structure qui dépasse celle qu'elle est censée évaluer. Je n'en vois qu'une : c'est le CNESER (Conseil national de l'enseignement supérieur et de la recherche). La question c'est de savoir s'il serait pertinent -il me semble que oui-, peut-être un peu par défaut, de donner une mission au CNESER pour évaluer les grands éléments du système de recherche national, aussi bien les universités dans leur globalité, enfin chaque ensemble université par université, éventuellement les superstructures qui vont y être associées ; je ne parle pas des Idex qui pour nous écologistes ont vocation à disparaître, mais au moins des PRES qui peuvent être peut-être des structures porteuses pour la suite, et des organismes de recherche. Ensuite, à chacune de ces sous-structures d'assurer elles-mêmes l'évaluation de leurs équipes avec peut-être une articulation à définir, parce que tout ce qui est unité mixte pose la question de savoir si cela doit être évalué deux fois, parce que les équipes où les laboratoires mixtes CNRS-université doivent subir à la fois une évaluation d'un côté du CNRS et un éventuel comité CNU qui serait pour le coup à définir. Il pourrait peut-être y avoir des accords de délégation de l'évaluation, tout comme il y a des accords de délégation de gestion aujourd'hui qui finalement sont quand même globalement positifs, allègent un petit peu des maux de tête que donnaient les doubles tutelles. Voilà une proposition d'architecture d’ensemble que je pose sur la table.Stéphane Beaud : Je rejoins cette idée que je trouve intéressante et ce point qui me paraît décisif, parce que l’on va espérer dans l’avenir. Je pense qu'une question centrale est de remettre en cause cette pratique bien française qui consiste à faire en sorte que tous les membres de ces instances (AERES, ANR) soient nommés. Je pense que c'est catastrophique. Le mouvement des chercheurs et des enseignants-chercheurs doit quand même imposer cette règle de l'élection pour que l'on cesse d'avoir à notre tête des gens qui soient nommés, qui font la pluie et le beau temps, la seule voie qui nous reste étant alors de les contester de l'extérieur. Je plaide résolument pour des instances élues démocratiquement contre ces oukases bureaucratiques.Didier Torny : Je voudrais juste apporter une précision. Le président de l'AERES n'a pas demandé à évaluer les enseignants-chercheurs mais seulement les procédures qui sont utilisées pour le recrutement et l'évaluation des enseignants-chercheurs, ce qui est quand même très différent[14]. Le problème c'est que souvent les instances ne sont pas en mesure de produire des procédures. On peut critiquer le mode procédural en tant que tel en disant que l’on n’en a pas, car c'est l’évaluation par les pairs sous une forme ou sous une autre ou exposer les critères de recrutement et d'évaluation comme le font la plupart des sections du CNRS.Mais pour l'avenir c'est intéressant, j'ai entendu des propositions faites ici disant qu'il faut que l'évaluation serve à quelque chose et en particulier que l'allocation des moyens y soit liée. Donc ma question c'est qu’il y a un pays pas très loin de nous où cela existe qui s'appelle l'Angleterre. Les Research Assessment Exercise (RAE), ont lieu tous les quatre ans. À la fin de cette évaluation on a des notations mais sans que les critères en soient explicitement indiqués. On sait ce que cela a créé, c'est-à-dire un marché de l'emploi très intéressant où chaque enseignant-chercheur négocie son salaire en menaçant le cas échéant d'aller ailleurs s’il juge insuffisante la proposition qui lui est faite dans l'université où il enseigne. Ce système suscite des critiques récurrentes[15]. Ma question est : le fait que les moyens soient liés à l'évaluation revient-il à mettre en place un système proche du dispositif d'évaluation britannique et sinon quelle alternative proposez-vous ?Catherine Alès : Mais précisément on refuse ce système (celui du RAE), c'est précisément ce contre quoi on se bat.Didier Torny : Mais vous avez dit tout à l'heure qu'il ne faut pas que l'évaluation ne serve à rien. Vous avez dit qu'il fallait que les dotations de moyens soient liées. Donc vous envisagez une instance ou une série d'instances dont le jugement entraîne quasi automatiquement une allocation de moyens.Christian Topalov : Je ne voudrais pas prendre le CNRS comme modèle car il a bien des défauts. Mais ce problème est résolu au sein du CNRS. Nous avons un comité national totalement indépendant de la direction. Il comprend des nommés mais l'entité est indépendante. Il ne rend compte à personne de ces avis. Il évalue, il aide, il décide de ses procédures, etc. Ce n'est pas lui pour autant qui signe les chèques aux unités. Par conséquent on est dans cette dualité entre l'évaluation et l'attribution des moyens que vous estimez positive à l'AERES.Une évaluation sans finalité pratique ?Éric Agrikolanski: Sur la formule selon laquelle il faut que l'évaluation serve à quelque chose, on peut dire inversement que si ça ne sert à rien alors pourquoi évaluer ? Ce contre quoi on s'élève c’est contre une culture dans laquelle il faut évaluer à tout prix, sans chercher quelles sont les raisons et les conséquences de cette évaluation. Pour preuve ce qui se passe actuellement avec le moratoire sur l'évaluation individuelle des enseignants-chercheurs. Le ministère demande à des instances élues comme le CNU de réfléchir aux modalités et à l’utilité de l’évaluation, alors qu’il n'est pas certain que les enseignants-chercheurs veuillent une évaluation sous quelque forme que ce soit – et c'est peut-être la vraie question ? On affirme qu’il faut évaluer et on considère ensuite que ce sont à ceux qui vont être évalués de formuler les raisons de cette évaluation. Il me semble que le premier raisonnement c'est de se dire qu’il faut évaluer au moment du recrutement, au moment des différentes étapes de la carrière, oui sans doute pour l'évaluation individuelle. Ensuite, évaluer de manière technocratique tous les deux ou trois ans sans qu'il y ait de but, de fin ou d’effet, comme cela se passe au CNRS, franchement je n'en vois pas le bien-fondé.Patrick Michel : On mélange des deux registres de l'évaluation individuelle et collective.Christian Topalov : Ne mélangeons pas, traitons les deux problèmes. Mais je crois qu'il y a une sorte de consensus du côté des universitaires comme quoi une évaluation récurrente des individus n'est pas pertinente.Laurent Coudroy de Lille : Dans cette affaire du moratoire, du recul et on espère de l'annulation de l'évaluation à répétition des individus par le CNU, ce sont les sections du CNU elles-mêmes qui ont demandé au ministère de préciser les finalités de la démarche. Cette question est demeurée sans réponse.Éric Agrikolanski: On a demandé au CNU de justifier une évaluation que le ministère impose. C'est formidable comme procédé !Laurent Coudroy de Lille : Non en effet la question ne peut pas se résoudre dans les sections. Elles ont autre chose à faire. C'est la question qui est renvoyée au ministère. C'est très important de le signaler.Christian Topalov : Observer la réponse des sections à cette question va être éminemment passionnant et assez cocasse je pense. Il n'en demeure pas moins que le problème de l'évaluation des entités collectives, auxquelles cela peut être utile d’être évaluées mais qui ne sont pas dans le domaine du comité national ou de ses équivalents des grands organismes, reste entièrement posé. Alors ce n'est pas nous qui allons refaire le monde ce soir, mais on ne peut pas échapper à y réfléchir sérieusement et à faire des propositions parce que autrement notre offensive contre la notation managériale s'affaiblira d'autant.[1] http://lodel.irevues.inist.fr/cahierspsychologiepolitique/index.php?id=384[2] http://ancmsp.com/Note-sur-le-classement-des-revues[3] http://agora.hypotheses.org/993[4] http://evaluation.hypotheses.org/396[5] http://evaluation.hypotheses.org/374[6] Le Ribac est le recueil d'informations sur l'activité des chercheurs. Il a remplacé la fiche CRAC qui était la fiche de compte rendu d'activités chercheur annuelle.[7] http://evaluation.hypotheses.org/files/2009/05/dodier-regime-devaluation.pdf[8] 27 mai 2008, table-ronde organisée à l’ENS-Ulm intitulée « L’évaluation en SHS ». Un compte-rendu peut en être lu ici : http://www.sauvonsluniversite.com/spip.php?article473[9] http://pds.hypotheses.org/1602[10]http://ancmsp.com/La-Mission-Scientifique-Technique[11] David Pontille, Didier Torny, "Rendre publique l’évaluation des SHS : les controverses sur les listes de revues de l’AERES", Quaderni, n° 77, 2011.[12] Communiqué de l'AERES sur l'usage de la notation, 14 octobre 2010, http://www.aeres-evaluation.fr/content/download/14866/239690/file/101014_AERES_MotionConseil.pdf[13] C'est vrai pour de nombreuses revues à l'international qui affichent sur leur site leur notation par différentes agences ou leur facteur d'impact, nombre de téléchargements… voir David Pontille, Didier Torny, "The Controversial Policies of Journal Ratings: Evaluating Social Sciences and Humanities", Research Evaluation, vol. 19, n° 5, pp.347-360, 2010.[14] Voir la lettre du président de l'AERES à la CPCNU et au CoNRS du 13 septembre 2011. L'AERES se situe pleinement dans un contrôle de second niveau relevant d'une logique d'audit, très bien décrite par Michael Power, The Audit Society : Rituals of Verification, Oxford, Oxford University Press, 1997.[15] Voir par exemple, Miriam E. David, Research Quality Assessment and the Metrication of the Social Sciences, European Political Science, n°7, pp. 52–63, 2007.