{"word_count": 8080, "character_count": 48105}
Robert Descimon : Je pense que la question de l'évaluation est une question éminemment politique. Florent Champy a montré que cela pouvait être une démarche qui s'inspirait de nos propres démarches scientifiques. Je partirai de deux postulats : je crois en l'égalité. Je crois par exemple que la voix du surdiplômé qui présidait le conseil de surveillance du journal Le Monde, également conseiller de M. Sarkozy, ne vaut pas plus que celle d'un travailleur manuel. Ce qui veut dire évidemment que la voix d'un grand professeur de médecine ne vaut pas plus que celle d'un aide-soignant dans la cité. Et l'hôpital est sans doute une cité aussi sur le plan politique. Et puis c'est une des conséquences de l'égalité dans le système républicain, c'était que l'on était considéré comme égaux. C'est-à-dire que le professeur d'université de première classe qui n'avait rien publié depuis 10 ans, qui avait d'ailleurs peut être fait quelque chose de génial auparavant- cela arrive même assez souvent -, était payé selon son échelon au même salaire que celui qui développait une activité de recherche, d'enseignement et d'administration qui satisfaisait tout le monde. Et ça ce sont des principes sur lesquels je suis personnellement peu disposé à revenir, je pense en particulier à ce qui se passe dans la fonction publique en France notamment, mais je pense que la fonction publique française avait quand même un caractère un petit peu schématique de modèle du fait de sa longue histoire. C'est le premier point.Le second point, c'est toujours en tant que citoyen, surtout quand on est fonctionnaire, on consomme des crédits publics. Les crédits publics consacrés à la recherche ne sont pas d'une nature différente d'autres crédits publics et sont donc répartis et de fait évalués par des instances que nous considérons comme légitime dans une démocratie. Pour autant je ne reconnais aucune légitimité au ministre sur ce plan-là. Elle est pour moi concentrée dans la représentation nationale.On a des systèmes qui sont ce que Massimo nous décrit. Un système dans lequel peut-être les relations interpersonnelles sont plus évidentes qu'elles ne l'étaient dans la France d'il y a une vingtaine d'années. Je crois que ça a changé. Je pense que l'État italien est un État qui a été extrêmement secoué depuis fort longtemps et qui a fait preuve d'une grande solidité, loin de moi l'idée de prétendre donner des leçons aux Italiens quant à leurs pratiques politiques. Ceci étant dit, Massimo nous a montré toutes les possibilités de prises d'intérêts et toute l'absurdité finalement ravageuse d'un système. Florent nous a montré quels étaient les moyens d'avancer sur le terrain d'une évaluation.Je suis bien d'accord avec l'idée que l'évaluation est une demande sociale à laquelle nous devons répondre, et d'autre part que cette évaluation n'est pas forcément le lieu d'une prise d'intérêt fondamental. On passe son temps, depuis que l'université existe, à avoir des pratiques d'évaluation de diverses sortes. On a des commissions. A la différence des sociologues, les historiens ont toujours été très contents de la commission du CNRS, même au temps où c'était des gens politiquement très marqués à droite. Ils faisaient quand même alors un travail qui n'attirait pas beaucoup de critique radicale.Pour conclure, ce que je souhaiterais c'est que des instances élues ou tirées au sort reprennent le contrôle de ces procédures. La démocratie corporative a été théorisée au XVIIe siècle. Elle est ce qu'elle est, mais n'empêche qu'il reste qu'un mathématicien est plus apte à juger que moi de la qualité d'une thèse de mathématiques évidemment. C'est quand même ce qui confère au jugement des pairs la qualité d’un jugement professionnel. Je crois qu'il serait important d'introduire une part de tirage au sort. Il y a toute une réflexion actuelle de la part des politistes, qui me semble sur certains points faire fausse route, sur le tirage au sort, mais je crois que dans les démocraties corporatives avec le caractère prudentiel que tu soulignais, Florent, c'est une garantie démocratique. Et ce, à l'inverse de la nomination ministérielle qui a été toujours pratiquée et qui me semble être une procédure essentiellement vicieuse même si elle ne se fait pas sur des critères politiques. Ce qui frappe dans le système italien c'est la concentration des pouvoirs entre sept personnes dont je présume qu'elles sont très savantes, mais comment accepter une charge aussi lourde sans avoir un ego déjà très inquiétant ?Massimo Vallerani : Cette fonction rapporte 200 000 € par an pour le présidentRobert Descimon : Ce que vous disiez me rappelle deux choses. D'une part la direction scientifique de Jacques Lautman. Il prétendait connaître tous les dossiers au CNRS en sciences sociales. Il prétendait régenter tout ça mais il n'avait pas beaucoup de pouvoir. Le passage aux concours en 1981, avec la rétribution des membres du jury, à mon avis a introduit une distorsion légère mais n'empêche sensible dans le fonctionnement du comité national de la recherche scientifique. Et il est très important que ces fonctions ne soient pas rétribuées.Élie Haddad : Ce qui me paraît très frappant dans ce que tu dis Florent, c'est qu'à aucun moment n'apparaît dans ce que tu dis ce dont parle Massimo, c'est-à-dire le fait que derrière la mise en place de ces systèmes d'évaluation il y a la possibilité de se saisir des instances de pouvoir et donc que derrière cela il y a des jeux de pouvoir qui entrent en compte. Du coup la question de l'évaluation du jugement à mon avis se pose légèrement différemment que ce que tu dis parce que précisément elle n'est pas suffisante en tant que telle. On peut évidemment estimer que les gens qui vont aller dans ces structures seront parfaitement honnêtes, bien intentionnées et procéderont comme tu l’entends, mais peut-être que les jeux de pouvoir feront les choses autrement. Mais de ce fait la question de la structure se pose. Quelle est la structure évaluatrice, comment est-elle organisée ? Et cet aspect n'apparaissait pas dans ton exposé. C'est quelque chose d'absolument fondamental à prendre en compte.Florent Champy : Vous m'interpellez sur l'AERES. En en parlant d'emblée, je prenais ce risque. Je tiens donc à rappeler que je ne prétends pas répondre à toutes les critiques qui lui sont adressées. Je vous ai dit que mon but n'est pas de défendre l'AERES qui a un gros défaut, son degré de bureaucratisation et sa lourdeur. C’est un défaut qu'elle partage avec beaucoup d'institutions. Mais sur la question que pose Elie Haddad, et qui concerne les usages de l'évaluation, il me semble que des évaluations du ministère de l'enseignement supérieur et de la recherche existaient avant que l'AERES n'existe. Les usages que l'on fait des évaluations actuelles peuvent être bons ou mauvais. Mais le système ancien permettait aussi des usages bons ou mauvais. Et il me semble, notamment avec la visite, que l'AERES a au moins le mérite, par rapport à ce système ancien, de se rapprocher d'un modèle d'évaluation prudentielle tel que j'ai tenté de le présenter.La question de Robert Descimon porte plus généralement sur le fait de savoir si l'AERES a amélioré les choses ou au contraire les a dégradées. Pour être honnête, la question de la nomination m'a gêné aussi pour une raison toute simple, c'est que j'y ai été confronté et que je ne trouvais pas facile de nommer. J'ai essayé de le faire d'une façon qui me paraissait ne pas prêter trop le flanc à la critique, même si je pouvais faire des erreurs, et j'en ai fait sans doute dans des équilibres de composition de comités de visite, mais c'est vrai que ça me gênait. Donc cette question-là n'est pas entièrement résolue à mes yeux. Mais Robert le rappelait, le fait d'avoir affaire à des membres élus au sein des instances n'a pas non plus toujours été une garantie de bon fonctionnement de ces instances. Ce qui me semblait intéressant dans l'AERES au moins, c'était un certain nombre d'améliorations par rapport au système antérieur. La première c'est que la chaîne de nominations est transparente. Je me suis occupé exclusivement des unités de recherche. Je désignais le président, le président et moi composions ensemble le comité, et tous ces noms étaient publics. C'est un premier élément de transparence qui vient tempérer le problème, que je ne nie pas, de la nomination. J'ai d'ailleurs refusé de m'occuper des formations et diplômes parce que les évaluateurs sont anonymes et parce qu'il n'y a pas de visite sur place. Le deuxième élément de transparence, c'est que le rapport est public et que les évalués, c'est-à-dire aussi bien le directeur de l'unité que les tutelles de l'unité, peuvent y répondre, et que leurs réponses sont publiques aussi. Nous sommes identifiés quand nous faisons le travail d'évaluation, et notre travail est évalué en retour par les gens que nous avons évalués. C'est-à-dire que contrairement aux comptes rendus dans les revues, que Robert Descimon vient de prendre comme exemple de lieux de pratiques parfois douteuses, et où il y a en effet parfois des abus de pouvoir patents, on a ici un droit de réponse. J'ai été victime d’un compte rendu diffamatoire de mon manuel de sociologie des professions de la part d'un auteur qui était aussi un concurrent, qui a écrit des choses manifestement fausses dans Sociologie du travail, notamment en me présentant comme fonctionnaliste, et en me faisant dire des choses que je n'ai pas écrites, et quand j'ai rédigé une réponse, la revue, dont il est aussi le directeur, a refusé de la publier. On n'a pas de recours contre ça, enfin pas facilement. Je suis d'autant plus sensible au fait que les rapports AERES ont systématiquement une réponse. Et de ce point de vue c'est quand même assez important. Cela fait que les conflits d'intérêts peuvent être dénoncés ; les évaluations tendancieuses, les évaluations qui n'ont pas été rigoureuses, celles qui n'ont pas tenu compte du contenu du rapport etc., ont une réponse.Le deuxième point sur lequel je crois qu'il y a un progrès par rapport à ce qui se faisait auparavant à la MSTP (La Mission Scientifique, Technique et Pédagogique), c'est la visite dans le laboratoire et la discussion autour du travail. Par exemple, lors de cette visite, le comité rencontre les doctorants à huis clos. C’est une innovation de l'AERES. Ces évaluations AERES sont donc des moyens de voir des choses sur la gouvernance et sur la façon de traiter les doctorants par exemple. Donc si on veut faire une critique des effets pervers du système, et de fait il y en a, si l'on veut aller au bout du processus de critique, il faut prendre en compte aussi les effets positifs. Et je vois comme une grande bouffée d'oxygène le fait que les doctorants puissent s'exprimer devant le comité. Certains doctorants ont appris grâce au comité de l'AERES qu'ils peuvent avoir un représentant au conseil de laboratoire ! La visite accompagne donc parfois la sortie, qui est déjà bien engagée par ailleurs, d'un système mandarinal. Sur la gouvernance, la direction du laboratoire n'est plus maîtresse de tout sur son territoire. Ainsi l'AERES produit me semble-t-il un certain nombre de progrès par rapport à la MSTP en matière d'évaluation collective. Et je rappelle qu'elle n'a pas d'activité d'évaluation individuelle.Chantal Pacteau : Ce que vous venez d'évoquer au sujet des étudiants qui ne connaissent pas leurs droits au sein des unités de recherche dépend également du type de laboratoire. S'il y a une conscience syndicale, en principe les choses sont à peu près claires. J'ai été dans des laboratoires où il y avait une forte syndicalisation, mais une fois de plus j'ai l'impression que les choses varient énormément d'une discipline à l'autre, car j'ai l'exemple particulier d'une amie étrangère à qui on a demandé de participer à un comité de l'AERES. Elle y est allée. Elle en a démissionné parce que le président avait complètement réécrit le rapport et s'en était pris à une personne particulière qui était à un niveau international en compétition avec lui. Le président avait cette possibilité ! Et ensuite il y a le nom de la personne mise en cause qui traîne sur le Web et même si l'on fait une réponse à cette évaluation, dans cet univers aussi compétitif-je parle des sciences cognitives-, c'est une sacrée casserole à porter ensuite pour celui qui en est la victime. Pour ça c'est une autre espèce de mandarinat.Fanny Jedlicki : Dans votre intervention M. Champy j'ai l'impression que les rapports sociaux et les rapports de pouvoir sont un peu ignorés, présentés en dehors de tout contexte, un peu sans finalité. Vous mentionnez la dimension politique qui est très forte. Or on voit bien avec l'intervention précédente portant sur la situation italienne que cette politique n'est pas simplement nationale, elle est internationale. Que fait-on du classement de Shanghai qui est une des pierres angulaires qui nous poussent vers les indicateurs, le h-index, le nombre de prix Nobel, etc., de la prégnance d'un certain modèle qui est le modèle anglo-américain ? J'essaie de m'intéresser à cette situation en m’informant sur ce qui se passe dans les pays nordiques. En Suède par exemple l'argent de l'enseignement supérieur et de la recherche est fourni directement et uniquement par les impôts. L'effort de R&#38;D est de 4 % du PIB. En France on n’est même pas à 2,5. En Suède l'enseignement supérieur est gratuit.Donc ces questions sur la demande sociale, sur une utilité sociale se discute. Quand se sont créées la recherche et l'université j’imagine que cela a été expliqué que c'était légitime, que cela servait à quelque chose. Or là encore il faut tenir compte du contexte des finances publiques, qui est lié à la baisse des crédits publics, à la réduction drastique des financements publics, en France à la LOLF (loi organique relative aux lois de finances) dont on voit qu'il y a des applications ailleurs, en Italie par exemple. Moi je pense que c'est juste un avant-goût de ce qui peut nous arriver. Fonctionnaire à vie, cela se discute : à France Telecom il n'y a plus de fonctionnaires. Ces questions de financement soulèvent la question de savoir qu’est-ce que l'on finance, pourquoi, pour qui, dans quels objectifs, pour quels types de recherche, quels types d'enseignement ? A partir de là, la question de la modulation de service est posée par le décret de 2009. Cela détermine bien évidemment nos conditions de travail et d'emploi et donc a des effets pervers en chaîne que l'on connaît, notamment à travers de nombreux travaux sur les risques sociaux en entreprise. Ce qui questionne le système d'évaluation des productions en tant qu'il a tendance à se transformer en système d'évaluation des producteurs, c'est-à-dire des personnes et à produire des effets catastrophiques dans un certain nombre d'organisations.Birgit Müller : Je suis membre d'un laboratoire qui est en train de finaliser son rapport de cinq ans et se projette dans l'avenir. On vient de terminer, pour notre petit laboratoire d'anthropologie sociale, un rapport avec des annexes qui comportent 950 entrées pour 15 chercheurs sur une activité de cinq ans afin de satisfaire à la demande d’information de l'AERES sur nos activités. C'est une chose que l'on n'a jamais faite avant et j'espère qu'on ne la fera plus jamais ((rires dans la salle)). Mais je me dis que ce n'est pas sûr parce que puisqu’on a fait ça une fois, on va nous le demander désormais tout le temps. On se pose la question de savoir ce que cela veut dire et de quoi nous rendons compte au juste. Je trouve cela extrêmement inquiétant et tout à fait le contraire de la liberté de recherche que l'on peut imaginer.Fanny Jedlicki : Combien d'heures de travail est-ce que cela représente ?Birgit Müller : Cela a demandé un énorme travail et a mobilisé tout le laboratoire. Et là je ne parle que du travail d'une seule équipe de 15 personnes de ce laboratoire. La directrice du laboratoire essaye de faire de son mieux. Mais je vois que cela va être parfait, que cela va être un modèle et je vois déjà que cela va se répéter. On peut le faire une fois, mais si ça devient une obligation tous les cinq ans, c'est une chose horrible.Florent Champy : L'alourdissement bureaucratique de l'évaluation ce n'est pas que l'AERES, c'est tout le paysage de la recherche, l'AERES étant il est vrai un cas limite. Il se trouve que j'étais dans les groupes de réflexions à l'intérieur de cette agence. J'ai plutôt essayé de mettre un frein à cette orientation. Il est certain que les latitudes ne sont pas énormes. Je n’étais pas seul, mais j'aurais aimé qu'il y ait plus de gens qui y aillent avec des positions consistant à freiner cette tendance.Birgit Müller : Le problème ce sont les possibilités liées aux nouvelles technologies évidemment, l'ordinateur, Internet, etc. C'est lié au fait que c'est possible de reconstituer toutes ces informations-là, chaque conférence donnée, etc. Puisque c'est possible, c'est demandé !Florent Champy : Oui, bien sûr, mais ça ne suffit pas comme explication parce qu'on ne fait pas tout ce qui est possible. Il faut se demander pourquoi on le fait, quand même ! Il faut se demander pourquoi c'est demandé, il faut se demander aussi pourquoi les évalués parfois en rajoutent d’eux-mêmes. C'est sûr que l’AERES a un tropisme de bureaucratie qui ne lui est pas propre, mais qui atteint parfois chez elle des proportions qui peuvent être inquiétantes. Ceci dit ce n'est pas parce que c'est possible qu'on le fait, c'est aussi parce que les gens veulent que tout ce qu'ils ont fait soit reconnu. Dans un rapport d'évaluation il n'y a pas la nécessité de tout mettre. Si on a une belle découverte, il n'y a pas nécessité de mettre dans le rapport le détail sur toutes les conférences qu'on a faites à partir de là. C'est vraiment plaidable de vouloir être évalué sur l’essentiel : la découverte et le fait qu’elle a eu une certaine visibilité ! Il y aurait d’autres façons de faire que le rapport exhaustif, et c'est à la communauté de s'en saisir pour faire évoluer les façons de faire. Je ne cherche pas à retourner les responsabilités, mais à dire d'abord que la possibilité n'explique pas tout et ensuite que la tendance à l’évaluation quantitative un peu présente dans toutes les têtes et qu'il faut en prendre conscience pour lutter contre. Ce n'est pas pour dire que l'AERES n'a pas de responsabilité. Mais vraiment on arrive parfois avec un comité qui dit : « présentez-nous des belles découvertes, expliquez-nous ce que vous avez cherché à faire, ce que vous avez appris », etc. J'ai expliqué à des chercheurs, notamment des directeurs d’unités, qu'il fallait faire cela, et on se retrouve parfois au final avec un rapport d'activité où rien ne manque, où l'on a un comptage à l'unité près de toutes les conférences et de tous les colloques, ce qui se compte par milliers sur cinq ans quand on a 30 chercheurs et qu'ils en font 20 par an en moyenne, ce sont des chiffres absurdes qui nous sont donnés à l'unité près, mais où les grands apports de l’activité ne ressortent pas assez clairement ! Or ce n'est pas que l'institution qui pousse à cela ; elle ne l’impose pas ; c'est devenu un mode collectif de fonctionnement. Et l'institution, d’ailleurs, ce sont des collègues aussi, qui dans certains cas ont cette culture-là. Je suis resté plusieurs années sans publier, j'ai fait ensuite deux livres visant à dépasser les positions de l'interactionnisme et du fonctionnalisme, enfin je m'étais donné un travail un peu ambitieux à faire. J'ai fait mon rapport d'activité après la sortie du premier livre et avant celle du second et je l'ai conclu en disant que j'avais changé d'objet et que j'envisageais donc de repasser plusieurs années sans publier. On peut le dire et cela ne m'a pas empêché de passer directeur de recherche juste après. Je crois vraiment qu'il faut cesser de jouer la carte quantitative. On doit assumer notre travail et parler des résultats !Robert Descimon : C'était la commission du CNRS et pas l'AERESFlorent Champy : Mais ce sont les mêmes collègues, bien sûr que si !Robert Descimon : Oui puisque vous désignez des membres de la commission pour faire des comités de visite AERESFlorent Champy : Mais non, je n'ai pas vu de différences de cultures quand il y avait un représentant élu du CNU et des représentants du CoNRS dans les comités AERES. Il n'y avait pas de gens nommés par moi ou le président du comité de visite qui voulaient faire de l'évaluation quantitative à tout-va et des représentants des instances qui voulaient faire de l'évaluation qualitative, ce n'est pas vrai.Robert Descimon : Les élus sont légitimes, c'est tout. Vous pouvez faire du bon travail par ailleurs.Florent Champy : Oui on est illégitime mais il existe des travaux en sociologie des sciences qui montrent aussi que les élections conduisent à avoir un certain profil de gensRobert Descimon : Oui cela a conduit à avoir Sarkozy. C'est un vrai problème. Mais néanmoins ce sont les citoyens qui l’ont élu.Florent Champy : Sarkozy a été largement élu par l’ensemble du corps électoral, il a nommé un premier ministre, il a nommé un ministre, le ministre a nommé etc. et il se trouve qu'à un moment c'est une autre légitimité qui s’exprime. Par ailleurs je le répète, sur les nominations j’étais mal à l'aise. Il y a effectivement ce problème-là. Mais était-ce une raison pour ne pas y aller ? Non je ne le pense pas.Fanny Cosandey : Si, en raison de la question de la légitimité.Florent Champy : Mais cette question de la légitimité serait un sujet en soi qui mériterait de longs débats. Et je pense qu’on fait fausse route en la posant comme on la pose. D'abord parce qu'il y a des pratiques qui rendent illégitimes y compris lorsqu'on a été élu, ensuite parce qu'il y a une légitimité de l'État aussi et parce qu’il est légitime aussi qu'il y ait des politiques scientifiques. Si on attaque systématiquement la légitimité de ce qui vient de l’Etat, d’une part on oublie que la légitimité des professions a aussi été affaiblie (c’est l’historique que je faisais pour commencer) et d’autre part on prend le risque de ne rien laisser subsister face au marché. C’est pour cela que je préfère fonder la critique sur la question de la pertinence. C'est la démarche que j'ai essayée d'avoir. Que l’on soit légitime ou illégitime, vous pouvez le dire, vous pouvez en être convaincus, mais je pense que ce discours n’aura plus aucune prise sur la réalité. Pour que ce discours soit efficace, il faudrait que les professions soient plus légitimes que l’Etat, ce qui ne va pas de soi.Robert Descimon : Je pense que j'ai tenu un discours cohérent au début. C'est un discours qui fait en fait référence au système républicain, c'est tout.Florent Champy : Un système républicain justifie aussi les nominations.Robert Descimon : Sous le régime de la Ve RépubliqueFlorent Champy : D'accord mais si la Ve République n'est pas une république, c'est un autre débat !Simona Cerruti : J'ai juste un petit témoignage à apporter. C'est le cas de quelqu'un qui a été nommé pour être évaluateur. Pour ma part Je refuserais cette fonction à partir de critères de nomination de personnes qui, à leur tour, etc… Et là ce sont des mécanismes tellement évidents qui montrent à quel point la nomination et la possibilité de juger du travail des autres créent des mécanismes de légitimation et par la suite des hiérarchies nouvelles à l'intérieur des revues, etc., tout cela est tellement évident que c'est très difficile de semble-t-il à nier. Le problème n'est pas de nier me semble-t-il mais de savoir comment faire avec ? Mais comment faire face à cette énorme entrave à un travail serein ? Par ailleurs vous nous avez parlé de pratiques prudentielles et donc de la nécessité de procéder à des évaluations prudentielles. Quelles sont les techniques d'évaluation prudentielle ? C'est là toute l'affaire, qui par ailleurs est déjà à un autre niveau. Le premier est sans aucun doute la légitimité d'être nommé et de faire semblant que ce soit un jugement de pairs. Le jugement des pairs ne renvoie pas à l'appartenance à une même catégorie professionnelle. Le « pair » est celui qui ressort d'un mécanisme électif ou de tirage au sort, mais cela n'est pas suffisant d'appartenir à la même communauté pour délivrer un jugement reconnu comme émanant de pairs.Fanny Cosandey : J'ai une question qui s’adresse aux deux intervenants. À écouter vos deux exposés il y a quelque chose qui me frappe et dont on n'a pas du tout parlé ici, c'est l'évaluation du coût de ces évaluations et notamment du coût en temps de recherche mobilisé pour évaluer dans tous les sens, parce que les systèmes d'évaluation impliquent des ramifications à tous les niveaux qui fait que l'on multiplie les rapports croisés et qui fait que nous passons tous une partie non négligeable de notre temps à faire des rapports tous azimuts. Ce qui fait que nous passons un temps considérable à faire des activités dont le résultat n'est pas évident sur le plan du dynamisme de la recherche, mais qui est tout à fait évident en tout cas sur le plan de la non production en termes de recherche. Et là je pense que si l'on avait aussi une revendication forte à avoir, une revendication sur l'évaluation du système global en Italie, en France, ailleurs aussi, ce serait de déterminer précisément ce que ça coûte en termes d’entrave à la production scientifique et non pas d'évaluation de la production scientifique.Massimo Vallerani : Je ne vais pas nier la nécessité de rendre compte des travaux de recherche et d'enseignement. C'est la démocratie : il nous faut rendre compte. Je ne suis pas opposé à l'idée par exemple de la mise en place d'un catalogue de la recherche nationale dans lequel faire figurer tous les travaux qu'on a faits. Ce n'est pas ça le problème. Le problème de l'évaluation est vraiment très complexe et met en jeu des niveaux très différents. Il y a un niveau politique en Italie qui est très sensible parce que cette commission d'évaluation est née d'un contexte d'une violente campagne de presse contre l'université et contre les intellectuels. Nous avons eu un gouvernement, on peut le dire, qui ne nous appréciait guère. Il avait de la haine contre l'université. C'était aussi le cas de la presse. Par conséquent cette agence est née contre les universités. Le problème de l'utilité de l'enseignement est une question à double sens, elle se pose dans un contexte politique qui normalement va déprécier le savoir des sciences humaines, les savoirs littéraires. Par conséquent, l'utilité de ces savoirs est une question vraiment très difficile à trancher. L'autre niveau de la question et qui justifie mon ton pessimiste c'est que l'université elle-même est malade. C'est très difficile en Italie de défendre l'université. Comment faire quand le président de l'université de Rome, la plus grande université d'Europe, a fait entrer son fils, sa belle-fille, sa fille et sa mère à l'université ? Et que le Sénat académique, c'est-à-dire le conseil d'administration de l'université de Rome, a voté à l'unanimité pour ces intégrations ?! On est vraiment écrasé par des forces que rien ne semble pouvoir arrêter. Certaines forces politiques et l'opinion publique sont vraiment contre l'université et ne se posent pas la question de l'utilité de cette institution. On est retourné aux années 1970 lorsque faire des études supérieures ne servait à rien et que l'on disait qu'il était préférable d'aller travailler plutôt que d'étudier puisque cela n'était qu'une perte de temps. En outre l'université est vraiment très difficile à réformer parce que se sont constituées des positions de pouvoir en son sein qui sont devenues inexpugnables avec le temps.Et il est vrai que cette question de l'évaluation pouvait être un mécanisme de changement. Mais au lieu de s'efforcer de changer quelques petits mécanismes il est dommage que ce processus ait cédé à cette vision quantitative, cette vision de produits, pour masquer quelque chose d’autre. Du côté de l'État cette vision a servi à masquer une réduction de 30 % du financement de l'université. De 2008 à 2012 à l'université de Turin par exemple le budget global est passé de 100 millions à 70 millions d'euros. Et on fait passer pour une prime le fait que l'année prochaine on aura quelques euros de plus. Et de l'autre ce problème de la productivité, des produits et de l'utilité qui, selon exactement votre critère de prudence, vont à mon avis créer de gros problèmes à la recherche. Il est difficile de voir ce que l'on produit, ce que l'on fait à partir du moment où l'on va imposer des critères uniformes et tout à fait quantitatifs qui ne rendent pas compte de la diversité et de la complexité. C'est cela que je conteste. Le problème de l'évaluation tient aussi à la réticence des universitaires à être évalués par des collègues et qui ne sont pas passées par un processus de légitimation. C'est vrai que vous dites que la nomination ministérielle est légitime. Je ne vais pas dire que l'agence nationale n'est pas légitime. C'est vrai que ses membres ont été nommés, c'est donc une nomination politique. Il faut accepter ça. Je n'ai pas dit qu'un organisme politique va nécessairement mal fonctionner. Mais en tout cas c'est un organisme politique et cet organisme politique doit être inséré dans un contexte politique. La question est de savoir ce que tout cela veut dire, à quoi sert tout cela? Nous avons des systèmes d'évaluation, nous avons les concours, les commissions. En Italie il y a également un système qui serait très bien s'il fonctionnait correctement. Tous les trois ans on doit adresser une liste de tous les travaux faits durant cette période au président du département. Or ce système est tombé en désuétude. Il est vrai que selon votre critère qui m'intéresse beaucoup, celui de la prudence, ce système quantitatif est tout à fait une négation de ces critères de prudence. Je ne peux rien dire au sujet de l'agence nationale car je ne sais pas encore ce qu'elle va faire. C'est que beaucoup de personnes qui sont nommées en qualité d'évaluateurs anonymes démissionnent de cette charge. Et là je dois suspendre le jugement : on verra ce que cette agence fera et quels en seront les résultats. Mais je vous ai expliqué mon pessimisme qui est relatif au fait que ce n'est pas une guerre entre, d'un côté, l'État et les marchés et l'université, de l'autre, mais c'est une guerre à l'intérieur même de l'université.Mary Picone : Mais parfois il y a une tendance, pas toujours parfaite, à des convergences dans ces méthodes d'évaluation. En France je sais qu'il y a eu des résistances qui tout à coup ont cédé avec la classification des revues. Maintenant je commence à me demander où est-ce que l'on en est ? Certains avaient accepté d'emblée, d'autres non. Admettons que la convergence avec ce que vous venez de dire dans beaucoup d'endroits a marché. Nous avons un système mécanique, mais lorsqu'on a un nombre limité de revues qui ont un niveau réputé correct, alors pour des raisons mécaniques tout le monde ne pourra pas y publier y compris même si l'on admet que leurs articles sont à la hauteur. Il est donc parfaitement clair que le gouvernement de Sarkozy qui déteste la recherche tout autant que le gouvernement italien, a mis en place un système non pas au niveau de l'évaluateur individuel mais au niveau général pour créer la possibilité d'exclure et de diminuer le statut d'un nombre important de chercheurs. C'est vraiment très simple. Il est possible qu'avec le gouvernement actuel ce processus soit ralenti ou peut-être même légèrement amélioré. À mon avis je ne vois pas comment on peut sortir de ces constatations peut-être banales et exagérées mais qui ont le mérite d'être claires, aussi claires que la possibilité d'indiquer en trois mots ce que l'on a fait, les trois grandes découvertes qu'on a pu faire en présentant ses recherches.Florent Champy : Vous parlez de l’usage des évaluations pour réduire les budgets. Mais il y a là des choses qui sont des données : l'évolution des finances publiques, notamment. On peut tous regretter la politique actuelle, il se trouve que c'est Sarkozy qui avait été élu il y a cinq ans, c’est Hollande maintenant. Ils font les politiques qu'ils font avec le ministre du budget qu'ils ont désigné ; c'est une donnée pour nous. La question n'est pas de savoir si l'on réduit les budgets publics ou pas, la question est de savoir quel type d'évaluation on a intérêt à faire pour que ce ne soit pas des incitations à faire du mauvais travail, pour que ce ne soit pas des systèmes opaques qui conduisent aux injustices les plus flagrantes, pour que tout moyen ne soit pas retiré à des chercheurs qui travaillent de façon respectable. Vous m'avez cité un certain nombre d'anecdotes sur l'AERES en évoquant des comportements malhonnêtes de gens qui sont nommés dans un comité par l'AERES, mais on a également eu des exemples de ce type dans d’autres instances d’évaluation, ce qui devrait attirer notre attention sur l’autorégulation de nos professions.Fanny Cosandey : Cela change-t-il quelque chose au rapport final que l'on ait répondu au rapport de l'AERES ?Florent Champy : Bien sûr, puisque la réponse est jointe au rapport, et les gens qui lisent peuvent lire les deux, c'est leur choix. Si j'écris un rapport AERES, je n'ai pas envie que derrière il y ait une réponse qui montre que je n’ai pas lu le dossier de l’unité pour faire mon rapport, que la moitié de l'activité du laboratoire n'a pas été prise en compte, que telle critique que je formule est infondée parce que le dossier de l’unité y a répondu par anticipation à telle page, etc. Cela oblige à faire le travail et cela responsabilise.Chantal Pacteau : Moi ce que je voulais dire c'est qu'il traîne sur l’internet mondial ce genre d'évaluation. Il suffit de taper le nom de la personne. La lettre de mon amie, en revanche, n'a pas été mise sur le réseau mondial. Cette manière de faire pose donc un réel problème et il n'a pas été dit que le président pouvait réécrire à sa guise le rapport final. Ce que je suis en train de dire c'est que l'on a des chercheurs qui sont stigmatisés au niveau mondial par ce genre de choses.Je n'ai jamais dit qu'il y a eu un paradis de l'évaluation. Je ne fais pas partie des chercheurs qui ont connu l’âge d'or du CNRS, je ne nie pas que le comité national a aussi des dysfonctionnements qui peuvent être importants. Ce que je dis c'est que c'est désormais au niveau mondial que certaines choses qui portent potentiellement atteinte à l'image et à la réputation d'une personne sont faites. On ne peut pas dire que ce soit vrai qu'il y ait des réponses.Florent Champy : Je vous parle d'une procédure qui existe à l'AERES. Ensuite on peut écrire ce que l'on veut et faire circuler ce que l'on veut sur Internet. C'est autre chose.Chantal Pacteau : Non, moi je vous parle des rapports de l'AERES qui circulent sur Internet.Florent Champy : J'ai commencé par dire que cette question des nominations des membres des comités de visite par l'AERES m'avait posé problème. Mais je crois qu’on a tort de se focaliser sur la légitimité au détriment de la question de la pertinence. J'avais ces idées à apporter sur la prudence, j'avais envie d'observer et de réagir à partir de cette grille. Enfin il y avait beaucoup de choses qui m'ont convaincu de ne pas pratiquer la politique de la chaise vide.Robert Descimon : La question de la chaise vide n'est pas une réponse évidente. Je ne dis rien contre ce que tu as pu faire personnellement.Florent Champy : Ce que je réponds c'est que, au-delà de la question de savoir si l’on est légitime ou pas légitime, on a sans doute un angle d'argumentation plus fort qui consiste à dire que ce n'est pas pertinent, et c'est là que l'idée de profession à pratique prudentielle peut être intéressante. C'était mon angle. Nous ne parlons plus que de l’AERES, mais il me semble que c’est cette question des critères de pertinence qui est importante. Je me laisse enfermer dans des termes d'un débat qui n'est pas le mien. Je l'impute à ma maladresse d'avoir moi-même lancé la discussion sur ce sujet. Je ne me sens même pas piégé, je m'enferme moi-même là-dedans. Mais vraiment l'argumentation que je voudrais avoir, c’est de dire que cette question de la légitimité ne marchera plus politiquement parce qu'elle est assimilée à une demande d'autonomie sans droit de regard du politique et c'est difficile à argumenter. En revanche la question de la pertinence d'un dispositif et de ses effets pervers est autrement plus intéressante et de ce point de vue l'évaluation quantitative est assez facile à critiquer, mais on peut la critiquer plus finement que pour la rejeter en bloc. C'est-à-dire que l'on peut accepter des indicateurs à condition que ce soient des indications qui sont prises dans une évaluation qui n'est pas que quantitative. Et c'est là que l'on peut parler d'une évaluation prudentielle qui suppose de la délibération, du temps ainsi qu'un certain nombre d’autres conditions sur lesquelles on pourrait réfléchir.Robert Descimon : Vous auriez été élus, c'était autre chose et ça n'aurait rien changé au problème de la pertinence. Ce problème de la pertinence n'est pas très différent, c'est ce que tu as sous-entendu d'ailleurs. Si tu fais la courbe du prix du bois au XVIIIe siècle, tu peux la faire de plusieurs façons pour montrer plusieurs choses. Mais ça c'est le cas de tous nos travaux scientifiques. Je crois qu'il peut y avoir des évaluations pertinentes, c'est même ce que je souhaite. Je pense qu'il y a quand même des critères politiques essentiels pour que cette pertinence soit reconnue, y compris par le pouvoir politique d'ailleurs.Michel Barthélémy : Mais l'évaluation que défend Florent est à 1000 lieues de ce que j'ai pu entendre de la part des gens de l'AERES. D'abord le bloc de leur activité d'évaluation repose sur six critères, c'est la fameuse bureaucratie dont Florent parlait qui saucissonne l'activité de connaissances sur ces six critères, chacun noté en A, B ou C. Auparavant il y avait une note globale qui faisait la synthèse des précédentes et qui s'appliquait pour une durée de cinq ans à l'équipe ou à l'organisme évalué. Lors d'une récente réunion organisée par l'AERES pour le lancement de la vague D de l'évaluation, une personne dans l'assistance est venue se plaindre en disant : « mais vous vous rendez compte que pendant cinq ans on est les bannis de la terre, on ne peut plus candidater à l'ANR, etc., vu que l'on est censés être mauvais ». Du coup l'AERES a pris ça en compte et a supprimé la note globale et l’a remplacée par une courte appréciation de 180 caractères. Cette prise de conscience de l'AERES a été également favorisée par l'évaluation dont elle a été l'objet par l’ENQA (the European Association for Quality Assurance in Higher Education) qui est l'organisme chargé d'évaluer les agences d'évaluation à l'échelle européenne, qui indique que l'AERES avait outrepassé ses fonctions en donnant une note globale aux organismes et établissements évalués.Mais ce que dit Florent rejoint le point de vue de beaucoup des critiques des agences d'évaluation. Ces critiques disent : « mais lisez les textes si vous voulez évaluer les connaissances produites ! ». Et c'est ce que dit Florent aussi. Il s'agit de refuser les évaluations par la bibliométrie, par le fait que l'article se trouve dans une revue bien classée par l'agence. L'argument des critiques est donc de dire : « lisez ce que font les gens ». En somme Florent prend ces critiques au pied de la lettre. Il leur dit : « eh bien faites la preuve que pendant cinq ans vous avez en effet produit des connaissances qui ne se résument pas au listing des activités qui ont été faites », listing qui est quand même favorisé par le formulaire du dossier de l'AERES qui les comptabilise. Alors c'est séduisant a priori comme sortie précisément de cette bureaucratie de l'agence de notation, mais en même temps quand tu as dit ça je pensais en même temps au prix Nobel. Les chercheurs qui obtiennent un prix Nobel peuvent voir leurs travaux reconnus 30 ans après leur publication. C'est-à-dire qu'il a fallu que cette connaissance devienne elle-même une sorte d'outil, produise des concepts et manières de faire pour d'autres équipes, que cela permette de nouvelles observations et produisent des faits scientifiques pour que l'on valide ce qui était la découverte d'un groupe de recherches à un moment donné. En outre s'attendre à ce qu’une équipe de recherche recevant un comité de visite AERES dise : « voilà en cinq ans quelles ont été nos belles découvertes », pour reprendre le terme de Florent, c'est peut-être faire l'impasse sur le fait que le travail de recherche ne s'arrête pas à échéance bureaucratique des rapports, et que les résultats produits sont eux-mêmes pris dans la controverse scientifique. Et il n'y a que les notes, un peu comme un jugement de tribunal, qui viennent finalement donner un terme artificiel à une période de recherche pour en favoriser l'évaluation. Or il est possible que la « belle découverte » revendiquée soit considérée comme relative par d'autres et notamment par les concurrents situés dans le même champ. Je veux dire par là que la proposition de Florent ne permettrait pas de sortir aussi facilement que ça de la maladie du chiffre. Et nous sommes dans la controverse, nous sommes dans le débat ; c'est ce que disent d'autres critiques pour qui les évaluations en tant qu'elles instituent un évalué et un évaluateur génèrent artificiellement une relation asymétrique entre les deux parties à l’inverse des « pairs » qui eux sont toujours dans la confrontation scientifique, la critique et qui est infinie, c'est-à-dire qu'elle ne s'achève pas. Et dans le cadre d'un débat on ne va pas dire aux débatteurs : à l’un on vous accorde telle note, à l'autre vous méritez telle note !Florent Champy : Bien sûr cette difficulté (liée au recul nécessaire pour évaluer les véritables innovations) je la connais. Je rappelle que le titre du séminaire c’est « politique des sciences » et cette difficulté ne renvoie pas à un problème actuel des politiques d'évaluation. Elle renvoie à la difficulté de toute évaluation. Y a-t-il une instance, y a-t-il un type d'évaluation qui permette d'éviter cette difficulté-là ? Tu dis : 30 ans plus tard on connaît la portée réelle, alors faut-il évaluer au bout de 30 ans ? Ou faut-il ne plus évaluer ?Michel Barthélémy : Il ne faut peut-être pas évaluer comme un Nobel des gens qui sont pris dans une période de temps de cinq ans.Florent Champy : On peut aller au bout de ce que disait Robert tout à l'heure dans sa première prise de parole : qu’un professeur d'université qui a fait quelque chose de génial et qui n'a rien produit depuis plus de 10 ans ne doit pas être moins payé qu'un autre qui est très productif sur les dernières années, si j'ai bien compris.Robert Descimon : C'était la règle.Florent Champy : Je ne suis pas hostile à ça. Je ne serais pas hostile à des carrières à l'ancienneté à titre purement personnel, c'est le point limite de ce que tu disRobert Descimon : Cette règle de l'ancienneté est celle de la fonction publique, elle existe toujours à ma connaissance. Elle est détournée par un certain nombre de dispositifs. Mais elle existe. C'était une mesure d'ordre politique.Florent Champy : Ce n'est pas un problème qui serait spécifiquement lié aux politiques actuelles, c'est un problème de l'évaluation. Donc, on n’évalue pas avant trente ans ?Michel Barthélémy : L'évaluation bureaucratique est une pratique idéologique. C'est oublier le fait qu'analysent certains sociologues des problèmes publics qu’en effet on reste entre nous dans ce processus, alors que dans les faits les objets sur lesquels on travaille, la manière dont on les constitue et les analyse se modifient en fonction de l'entrée et la sortie de nouveaux acteurs dans le champ social sur la scène que l'on étudie. Il y a également des pressions qui viennent de la société civile ; si nous sommes en tant qu'analystes maintenant si intéressés par les phénomènes relatifs aux expressions de la démocratie participative par exemple, c'est bien qu'un mouvement social a créé des pratiques, a fait émerger sur la scène sociale des acteurs qui n'existaient pas auparavant qui revendiquent une responsabilité, une compétence sur des questions qui à l'époque étaient celle d'experts ou bien des autorités ou encore dont personne ne s'occupait par ces sujets n'étaient pas visibles, ne constituaient pas un sujet de concernement, acteurs qui non seulement exigent mais qui produisent aussi une information et une connaissance, et même parfois un savoir opposé à celui des experts. Nous travaillons avec ça. On peut considérer que cela fait partie du mouvement de la société qui évalue en continu la pertinence de nos travaux à partir de la capacité que nous avons à maintenir une veille sociale, une « veille cognitive » ou réflexive sur la façon dont les membres de la société prennent en charge, s'approprient des questions qui sont ou deviennent par la même les leurs et sur lesquelles nous intervenons –nous, les analystes - à titre second. C’est notre rôle de contribuer au débat public en faisant apparaître ces mouvements, processus, en les observant, en les nommant, les conceptualisant pour que d’autres personnes de la société civile à leur tour en prennent connaissance et s’y engagent de manière critique également. Cette forme d'évaluation est également une forme de coopération à travers les groupes de la société civile qui veulent articuler des questions citoyennes avec des intérêts de recherche. Les PICRI, les programmes de recherche coopérative de la région Île-de-France sont une réalisation de cette forme de rencontre entre les attentes de la société civile et les compétences de ses membres activement engagés sur des questions d'intérêt général et qu'ils transforment en objet de recherche empirique avec le concours de chercheurs professionnels. Voilà une autre forme d'évaluation, c'est-à-dire que l'on est confronté à des gens qui s'intéressent aux mêmes questions que nous, mais avec des perspectives différentes et avec lesquels nous devons nous entendre pour collaborer en bonne intelligence. Alors pour conclure, il y a cette forme d'évaluation permanente de la société à l’égard de la contribution de la recherche au traitement des problèmes qui la traversent. Elle se distingue de cette forme d'évaluation technocratique, via les agences de notation notamment, par laquelle certains collègues sont amenés à se différencier des membres  de leur milieu et à les traiter non plus en tant que pairs mais comme subordonnés. Ce mouvement est salué par certains comme la formation d’une « élite », se consacrant à l’évaluation de leurs collègues.Chantal Pacteau : Nous, on aimerait bien enlever ce terme d'évaluation et mettre autre chose à la place. On peut discuter des thèmes de recherche, on peut discuter de 1000 choses, mais aussi il faut éviter qu'il y ait des personnes qui soient des boulets et qui ne fassent rien alors que les autres membres de leur équipe travaillent beaucoup. Tout cet ensemble qui consiste à permettre de rendre compte est important, avoir des critiques c'est notre métier ; on est évalué à longueur de temps, dès qu'on fait un papier il y a un certain nombre de personnes qui en font la critique, on se défend, etc. L'évaluation est au fondement de notre travail. Aussi ne faut-il pas en rajouter encore davantage. Avec l'AERES il y a eu, dans ce mouvement qui a consisté à vouloir mettre au pas la recherche et l'enseignement supérieur, des choses assez terrifiantes. Je pense en particulier à la qualification de certains chercheurs et enseignants-chercheurs comme non publiants, c'est une qualification presque infamante, on tue symboliquement les gens de la sorteFlorent Champy : La qualification de non publiant est anonyme.Chantal Pacteau : On sait qui s'est. Et dans un laboratoire quelqu'un qui est non publiant peut se voir mis au placard. Et moi je veux pouvoir évaluer les évaluateurs, parce qu'il y en a certains qui ne sont ni pertinents ni légitimes !