{"word_count": 5601, "character_count": 35655}
Bonjour et merci de m’avoir invité. Je suis d’autant plus heureux d’être ici que mon parcours m’a amené à croiser la question de l’évaluation du travail intellectuel de plusieurs façons. Je suis sociologue de l'architecture et je me suis aperçu que, d'une certaine façon, la sociologie de l'architecture est en grande partie une sociologie de l'évaluation du travail de production architecturale. Je me suis intéressé à des groupes de travaux dans des écoles d'architecture, à la façon dont des enseignants critiquent les projets de leurs étudiants. Je me suis surtout beaucoup intéressé aux concours d'architecture. J'ai une deuxième casquette plus importante, qui est une casquette de sociologue des professions. Je me suis notamment beaucoup intéressé à l'histoire de la sociologie des professions et, à travers elle, aux regards successifs qui ont été portés sur les professions. Ces regards ont des influences fortes sur la façon dont on peut penser l'autonomie professionnelle et la question de l'évaluation. Ce sera le point de départ de mon exposé. Et puis il y a une troisième casquette, mais ça n'est pas depuis ce point de vue que je parlerai de façon principale, c'est que j'ai eu moi-même, à différentes étapes de ma carrière, une activité d'évaluation dans plusieurs instances différentes comme le comité consultatif de la recherche architecturale où j'ai représenté le CNRS pendant quatre ans, des jurys pour des concours d'ingénieurs, des commissions de spécialistes, une section du CNU, bien sûr des jurys de thèse, et enfin l'AERES où j'ai aussi exercé quelques responsabilités .J'ai toujours eu à cœur de faire en sorte qu'il y ait une cohérence entre ces trois casquettes. Notamment, mon expérience de l'évaluation a alimenté mon travail sur les professions. En retour, j'ai accepté les positions que j'ai prises et les tâches que j'ai assumées dans des instances qui sont parfois contestées, à la condition que ce que j’y faisais puisse être en accord avec ma conception des professions ou de ce que je pense à propos de ce que l'on doit ou peut faire pour défendre l'autonomie professionnelle. J'essaierai de vous en dire aussi quelques mots.Un point sur la sociologie des professions : du fonctionnalisme à l’interactionnisme Je pars de la casquette sociologie des professions parce que c'est me semble-t-il la plus intéressante. En réfléchissant à l'histoire de la sociologie des professions, et plus spécifiquement à l'histoire des regards successifs sur les professions, j'ai tenté de prendre une certaine distance par rapport à notre situation, aux façons dont nous en parlons habituellement, et de réfléchir ainsi à notre situation actuelle.En quelques mots, deux conceptions des professions se sont succédé dans l'histoire de la sociologie des professions. Chacune donne lieu à des déclinaisons plus ou moins hétérogènes. Il y a d'abord une conception fonctionnaliste qui domine des années 30 aux années 60 du siècle précédent. C'est avant tout une conception des professions savantes auxquelles les fonctionnalistes s'intéressent tout particulièrement, en reprenant en grande partie - cela leur a été reproché - le discours des professionnels sur leur activité, et avec comme objectif de rendre compte de l'autonomie qui a été conférée à certaines professions. Les sociologues fonctionnalistes développent une conception des professions qui permet de rendre compte du fait que médecins, avocats ou encore ingénieurs ont une autonomie plus importante que les membres d'autres activités, et notamment qu'ils ne peuvent être évalués que par leurs pairs. Cela a été un grand courant de la sociologie des professions qui a donné lieu à de nombreux travaux, mais qui est tombé dans un discrédit à peu près complet, d'ailleurs comme tout le fonctionnalisme. Un certain nombre de sociologues regroupés à Chicago à partir des années 50 ont développé une critique de cette sociologie fonctionnaliste dont je pense qu'elle est tout à fait définitive, au point qu’il n'est simplement plus concevable de revenir au fonctionnalisme. Ils ont substitué une autre approche des professions qui propose d'étudier de la même façon tous les types de métiers. Une des clés du changement de regard sur les professions est l'extension de l'objet pris en charge dans ce domaine de recherche, avec le choix d’étudier de la même façon par exemple les médecins et les plombiers. Il faut que l'on puisse poser à propos du travail des médecins les questions que l'on pose à propos du travail des plombiers, et cette assimilation produit un certain nombre d'effets sémantiques : sur les médecins, dont le travail est démythifié et où, à partir de là, les comportements intéressés peuvent apparaître, où l'incompétence de certains peut être rendue observable, etc.; sur les plombiers au contraire, les savoirs tacites sont mieux considérés, on s'aperçoit en fin de compte que c'est un travail ésotérique au même titre que la médecine ; et finalement sur la catégorie de profession elle-même, qui s’en trouve modifiée puisqu'est ainsi posée l'indistinction entre professions (au sens fonctionnaliste) et autres activités.Ce changement de regard s'opère à Chicago à partir des années 50, domine la sphère anglo-américaine à partir de la fin des années 60, s'importe en France dans les années 80. Il faut signaler à cet égard que la sociologie fonctionnaliste des professions n'a pas eu le temps d'exister en France. La sociologie française des professions s'est directement construite à partir de cette approche interactionniste. Ce nouveau regard sur les professions produit des travaux très intéressants, c'est encore celui qui domine aujourd'hui, mais il pose un certain nombre de problèmes. Je me suis intéressé à ces problèmes analytiquement. Ce n'est pas ce qui vous intéresse le plus directement ici, mais certains d’entre eux méritent qu’on s’y arrête car ils ont des conséquences politiques : notamment une perte de vue de la spécificité de certaines activités. Il est devenu sociologiquement impensable que certaines activités aient un type de travail différent de celui d'autres activités. Le travail des plombiers serait ainsi un travail ésotérique au même titre que le travail des médecins. Il n'y aurait pas de différence, il n’y aurait de différences que dans les représentations sociales, nous disent les interactionnistes symboliques. C'est je pense une difficulté, ne serait-ce que parce que ce postulat nous empêche a priori de penser des objets différents. Mais une deuxième conséquence, beaucoup plus grave, est que si toutes les activités professionnelles ont un travail équivalent dans sa nature, eh bien alors il n'y a plus de justification possible à une autonomie supérieure de certaines activités par rapport à d'autres. Pourquoi vouloir, par exemple, si les plombiers ne sont pas autorégulés par un ordre, que les médecins le soient ? Pourquoi refuser que les entreprises puissent posséder des agences d'architectes, comme le droit l’interdit aujourd’hui pour éviter que des architectes n'aient des liens de subordination avec les entreprises avec lesquelles ils travaillent ? Si on accepte que les plombiers travaillent dans une entreprise dont le capital n'est pas détenu par des plombiers, pourquoi ne pas accepter que les architectes soient salariés de non-architectes et donc subordonnés dans un rapport salarial à ces non-architectes ?Le courant interactionniste de sociologie des professions a produit, je le redis, une critique que je pense être définitive du fonctionnalisme, mais il nous a laissé une approche des professions qui nie les spécificités de certaines professions, qui nie donc les raisons que nous pourrions avoir de vouloir une autonomie pour certaines professions qui soit plus grande que pour d'autres, ainsi que des protections particulières pour les premières, et qui laisse ainsi les professions livrées à la pression des logiques managériales et des marchés, sans beaucoup de légitimité pour se défendre.Une autonomie professionnelle différenciée : la notion de professions à pratique prudentielleOr il se trouve que les sociologues français des professions travaillent encore très majoritairement sous les auspices de ce regard-là. Vous comprenez bien que si l’on adopte ce point de vue, alors le mouvement des chercheurs, ou encore les difficultés que rencontrent les médecins dans l'hôpital public, plus généralement ceux réunis dans l’ouvrage collectif l’Appel des appels, ne peuvent que se heurter à un mur[1]. Ce que je veux dire c'est que les luttes politiques nous interpellent, y compris scientifiquement, sur les limites du regard actuellement dominant sur les professions. Si on reste dans la perspective interactionniste, on ne peut pas penser la sortie de la situation actuelle où les professions sont vulnérables face aux offensives des marchés et du management notamment. Or je pense qu’il est urgent d’en sortir. Il se trouve que plusieurs membres du mouvement SLRU sont des sociologues des professions tout à fait éminents, qui prêchent l'interactionnisme sans beaucoup de distance critique à l’égard de ses conséquences politiques. J’aurais aimé avoir un débat avec eux pour mieux saisir comment ils mettent en accord leurs positions théoriques et leurs positions politiques.Mais il ne suffit pas, pour en sortir, d’affirmer que nous sommes attachés à l’autonomie professionnelle. Si on regarde l'histoire de la sociologie des professions et l'histoire des mouvements professionnels, les interactionnistes, qui constituaient un mouvement politique de gauche, ou plus précisément un mouvement de pensée qui s'est construit en s'appuyant sur des mouvements sociaux critiques à l’égard des autorités en général, de l'État, de la science, des professions, voulaient notamment dénoncer le pouvoir excessif des médecins dans les hôpitaux. Cela renvoie par exemple à la figure du médecin en blouse blanche, qui considère son patient comme un organe ou un système d'organes, et qui veut tout décider pour lui. Des progrès juridiques, comme le consentement éclairé des malades, découlent de ces luttes, et constituent d'une certaine façon des « entraves » à l'exercice de l’autonomie professionnelle. Donc si on regarde cette histoire-là, et notamment celle de la médecine, du point de vue des mouvements qui ont critiqué l'autonomie professionnelle et inspiré les interactionnistes, la défense de l'autonomie professionnelle apparaît comme un mouvement beaucoup plus réactionnaire que progressiste. La critique de toute régulation et la revendication d’autonomie sans autre justification que l’idée que cette autonomie serait un bien en soi, sont des demandes de retour en arrière par rapport à ce qui a été considéré comme des progrès, y compris éventuellement au détriment des acteurs interagissant avec les professionnels, usagers ou interlocuteurs ne bénéficiant pas du même statut, pour ce qui concerne les professions de services. Les sociologues interactionnistes ont fortement insisté sur les mésusages de l'autonomie professionnelle et sur les bonnes raisons de limiter cette autonomie. Peut-on et veut-on aujourd’hui revenir en arrière par rapport à cette position progressiste ? Et sinon, comment sortir de l'aporie à laquelle nous confronte le refus de revenir au fonctionnalisme ?On voit qu’à partir de là, on est conduit à l’exigence de repenser entièrement ce qui concerne les professions, tant théoriquement que politiquement. D’abord, comment sort-on théoriquement de cette aporie ? Puis comment repenser les conditions politiques de l’autonomie des professions ? Et quelles conséquences pratiques en tirer pour les acteurs, et sur la question de l'évaluation notamment ?Théoriquement, la définition fonctionnaliste des professions a été invalidée par la critique des interactionnistes. C’est la raison pour laquelle je ne vous l’ai pas détaillée. Mais cela ne veut pas dire que l'on ne peut pas distinguer différents types de professions. Ce n'est pas parce que cette définition-là n'était pas robuste, qu'on ne peut pas essayer de construire des idéaux-types différents de professions, qui permettent d'identifier des objets différents ayant une certaine consistance et auxquels s'appliquent, d'une part, des programmes de recherche différents et puis, d'autre part, et c’est ce qui vous intéresse directement ici, des conclusions politiques elles aussi différentes.La notion de professions à pratique prudentielleJe vais vous parler en deux mots d'un type de professions que j'ai mis au jour à partir du cas de l'architecture pour sortir de ces difficultés, et que j'ai appelé les « professions à pratique prudentielle ». Dans l'ouvrage que j'ai publié en 2011 intitulé Nouvelle théorie sociologique des professions, j'ai développé une théorie de ces professions à pratique prudentielle et des multiples conséquences sociales découlant de l’attention particulière accordée à la prudence dans le travail de leurs membres. J'emprunte le concept de prudence à Aristote. En deux mots, il désigne un mode de connaissance et d'action requis dans des situations où l'application mécanique directe et simple, soit de savoirs scientifiques soit de routines, serait inappropriée. Concrètement, il s'agit de situations ou de problèmes qui se caractérisent par leur haut degré de singularité et leur complexité. Le cas typique est représenté par la médecine. Deux personnes ne sont jamais semblables ; chaque malade est singulier. Cette singularité fait que, pour une pathologie donnée, un protocole de soins préétabli ne sera pas aussi efficace et n'aura pas les mêmes effets secondaires d'un patient à un autre, et donc une adaptation des traitements à la singularité des cas est requise. La complexité du corps humain apparaît dans le fait que l'on peut faire tous les examens imaginables et disponibles techniquement, on ne peut néanmoins jamais le décrire exhaustivement. Cette caractéristique du corps humain a pour conséquence que le professionnel travaille en situation d’irréductible incertitude et doit donc faire des paris dans son travail. La prudence est ce mode de connaissance et d'action requis quand des routines ou des savoirs scientifiques ne peuvent pas s'appliquer à des cas qui par leur singularité, leur complexité, risqueraient de mettre ces routines ou ces savoirs établis en défaut. C'est-à-dire que ce qui normalement marche peut toujours ne pas marcher, et, face à cette éventualité, la prudence se développe grâce à un travail approfondi d'analyse - on voit ici la proximité avec le concept courant de prudence -, grâce à des démarches consistant à essayer de ne rien faire d'irréversible tant que cela n'est pas indispensable, et enfin grâce à une délibération non seulement sur les moyens mais aussi sur les fins de l'activité. Ce dernier point mérite un éclaircissement. C’est la complexité du travail qui fait que l'on ne peut en général pas espérer atteindre toutes les fins de l'activité avec le même bonheur. Prenons un exemple. Pour une pathologie d’une certaine gravité, on peut difficilement maximiser les chances de guérison tout en minimisant les effets secondaires, le risque de séquelles des traitements, le risque d'accident grave lié au traitement, on pourrait même inclure le coût du traitement, etc., ce qui suppose une délibération sur un ensemble de critères de qualité du travail qu'il faut hiérarchiser au cas par cas.À la question suivante : « pourquoi le travail de recherche est-il un travail prudentiel ? », ce qui précède permet de répondre simplement : « parce qu'il se réalise en situation d'incertitude ». Si l'on savait vers quoi on va en produisant de la recherche, ce ne serait plus de la recherche. C'est un travail qui suppose de faire des paris : un pari sur un sujet, un pari sur la façon de mener une enquête, un pari sur un protocole de recherche que l'on essaye de mettre en place, etc. C'est un travail qui suppose des arbitrages entre le rythme d'avancement, l'originalité visée, et éventuellement la robustesse finale. Jean-Michel Berthelot avait écrit un livre intitulé Les vertus de l’incertitude, où il justifiait parfois le peu de rigueur de la sociologie par le fait qu'elle était une discipline où l’innovation était particulièrement valorisée, expérimentant des schèmes, des concepts, etc. La sociologie serait un travail particulièrement vif de réflexion, qui supposerait parfois une moindre stabilisation des argumentations qu'ailleurs. C'est ce qu'il a appelé les « vertus de l'incertitude ». Peu importe cette thèse sur laquelle je ne suis pas certain de vouloir le suivre. Ce qu'il faut comprendre en tout cas, c'est que la recherche est une profession à pratique prudentielle. Je ne vois pas de raison d’avoir de doutes là-dessus.En travaillant empiriquement sur les professions à pratique prudentielle, j’ai pu montrer un certain nombre de caractéristiques sociales, de conséquences de la dimension prudentielle du travail professionnel. Sans tout détailler ici, je vais vous dire quelques mots des conséquences en matière d’évaluations.Evaluation et autonomie professionnelleMes travaux touchent à l'évaluation de deux façons : sur la nécessité face à laquelle nous sommes désormais de rendre des comptes, et sur l’intérêt que nous avons à ne pas nous y soustraire, d’une part, et sur les limites qu’il faut mettre au cadre dans lequel on le fait, c’est-à-dire aux exigences que nous pouvons et devons formuler quant aux modalités de l’évaluation, d’autre part. D'abord, ma conviction est que l'on ne peut pas se soustraire à certaines formes d'évaluation, y compris imposées de l’extérieur. Si l'on regarde à nouveau l'histoire des professions et de la sociologie des professions, on voit que ces dernières ne sont plus dans la situation de forte légitimité et d’autorité dans laquelle elles étaient dans les années 50 et 60. Notre problème n'est plus d’accepter ou de refuser un regard extérieur. Je pense que le refus serait anachronique, car il ferait l’impasse sur les conséquences des mouvements de contestation des autorités, qui n’ont pas épargné la recherche. Aucune profession ne réussit plus à se soustraire au regard de l’extérieur. On pourrait parler aussi de la situation des finances publiques d'ailleurs, qui nous fait obligation de rendre des comptes sur l’argent public que nous dépensons. En d'autres termes, je ne crois pas que nous avons une chance que notre activité continue à être financée si nous n'acceptons pas de rendre des comptes à d'autres qu'à la communauté scientifique elle-même sur son utilité sociale, y compris sous des formes que nous n’avons pas choisies. Le refus de cette évolution me semble risquer d’alimenter la critique du corporatisme des professions. Je pense que ces exigences-là sont des données de la situation. La question n'est plus de savoir si nous sommes d'accord ou non. C'est une première façon dont l'histoire de la sociologie des professions touche à la question de l'évaluation. La défense de l’autonomie professionnelle et la lutte contre certaines formes d'évaluation au nom du fait que ces formes d'évaluation remettent en question l'autonomie professionnelle, posent désormais beaucoup de problèmes ; l'un d’eux c’est que cette autonomie n'est plus dans l'air du temps, et que nous n’avons plus les arguments pour la fonder. Des sociologues, interactionnistes notamment, ont contribué à la critique des mésusages de l'autonomie professionnelle et nous devons maintenant intégrer les conséquences de cette critique dans nos propres argumentations. Il n'y a pas de raison de faire comme si cette critique n’existait pas et comme si elle n'avait pas eu une certaine portée et sans doute une certaine pertinence. Je ne crois pas qu'aujourd'hui on puisse dire que l'on revendique une autonomie dans la conduite de notre travail, sans accepter de rendre des comptes à l'extérieur. Mais il faut voir ce que veut dire rendre des comptes.La question est donc maintenant de savoir dans quelle mesure nous pouvons peser sur la manière dont ce regard extérieur lui-même pèse sur nos professions. Accepterons-nous un contrôle direct, ou tenterons-nous de convaincre que les demandes extérieures de contrôles doivent être médiatisées par les évaluations conduites par les chercheurs eux-mêmes, notamment ? A partir de cette question, la deuxième façon dont le thème des professions touche à l'évaluation, c'est la question de la prudence. On ne peut plus revendiquer une autonomie sans limite simplement au nom des bienfaits de l'autonomie. Mais on peut encore se demander si les dispositifs d'évaluation sont compatibles avec le maintien de la dimension prudentielle de l'activité. Ce que décrivait Massimo Vallerani tout à l'heure, ce sont des systèmes qui, à travers l'évaluation, incitent pour le coup à un comportement non prudentiel : conduire des travaux prévisibles, dont on est certain qu'ils vont déboucher sur des publications, quitte à multiplier les petits articles plutôt qu’écrire un long article complexe. L'une des dimensions de la prudence est la prise en compte des singularités et de la complexité des situations. La prudence suppose donc du temps. Nos activités disparaissent si on veut toujours les réduire à l'application d'un prisme simple à des problèmes simples. Par conséquent je pense que la catégorie de professions à pratique prudentielle est une réponse non seulement aux problèmes théoriques posés par l’aporie de l'interactionnisme, dont nous avons parlé tout à l’heure, et qui consistent à dire qu'il n'y a pas de spécificité des professions, mais aussi à la question politique de la justification de l’autonomie professionnelle. En mettant en lumière l’inadaptation des routines, des cadres rigides imposés de l’extérieur, etc., l’idée de prudence permet en effet de justifier l’exigence que des délibérations que seuls les professionnels peuvent conduire soient à l’origine des grands choix concernant le travail professionnel, et des évaluations de ce dernier.On peut donc saisir cette catégorie des professions à pratique prudentielle pour tenter de poser des garde-fous extrêmement forts contre tout ce qui effectivement constitue des entraves à la prudence dans le travail professionnel. Ma position est cependant que cela suppose d'accepter, en retour, de faire preuve de souplesse sur tout ce qui ne constitue pas des entraves à la prudence ou ne s’oppose pas manifestement à la conduite du travail de recherche. A partir de cette position, on pourrait considérer les dispositifs d'évaluation en détail, pour voir comment critiquer les plus dangereux, améliorer les autres, etc. Sur cette base, je pense par exemple pouvoir vous expliquer pourquoi je suis allé à l'AERES et pourquoi je n'ai jamais regretté d'y être allé. Cela ne veut pas dire qu'il faut à tout prix y aller, ni que cette instance n’est pas critiquable. Je ne suis pas venu la défendre car je connais très bien certains de ses défauts. Mais par rapport aux conditions que j’ai posées, même si elle n’est pas parfaite, je pense que l’on aurait tort de la diaboliser.La question des indicateurs dans la formation du jugement prudentielJe voudrais dire maintenant quelques mots des indicateurs, en commençant par un commentaire sur ce qu'a dit Massimo Vallerani. Le peu de pertinence des indicateurs tient bien sûr au fait qu’ils donnent une image très pauvre de l’activité, que l’on ne peut saisir qu’en regardant le contexte dans lequel elle se déploie, les intentions qui la sous-tendent, les contingences auxquelles elle s’est heurtée, etc. Cela suppose une analyse fine du travail effectué et une délibération sur ce travail. Heureusement on n'en est pas encore arrivé en France au stade où vous en êtes en Italie, on n'en est pas à ce système absurde de comptage systématique que vous décrivez. Notamment, l'AERES ne fait pas ce type de travail que vous avez décrit. Qu'il y ait un tropisme pour lui faire faire ça, que certains aient ce type de modèle en tête ou raisonnent de cette façon-là, il n'y a aucun doute là-dessus. Mais fort heureusement, elle laisse une large place à la lecture, à la visite et aux échanges. Vous avez aussi parlé du rapport de force entre sciences humaines et sciences dures, je dirais que cela fait une raison de plus pour y aller parce que le rapport de force repose sur la présence. Je pense que l’on pouvait vraiment faire bouger cette institution de l'intérieur et il y avait vraiment des marges. Il y avait au moins à son origine une indétermination d'un certain nombre de choses. Je ne sais pas dans quelle mesure c'est encore vrai aujourd'hui.Je voudrais également réagir à propos du critère du nombre dont vous avez dit qu’il serait très archaïque ; je pense au contraire que c'est un critère extrêmement moderne. C'est tout sauf archaïque d’invoquer le nombre comme critère d’objectivité. C’est même tellement important dans nos sociétés, que je ne suis pas convaincu par l’argument selon lequel les difficultés rencontrées viendraient du néolibéralisme. Je pense même que ce diagnostic peut empêcher de saisir les choses finement, et notamment de comprendre (c’est un enseignement de mon passage par diverses instances d’évaluation) pourquoi nous sommes tous portés, à un moment ou un autre, à invoquer la puissance d’objectivation du chiffre. La difficulté vient ainsi d'un certain nombre de forces dont sans doute le néolibéralisme, mais d'autres aussi, et l'une d'elles est la prégnance croissante de l'objectivité comme valeur extrêmement forte dans notre société. Je veux parler de l’attitude qui consiste à se rattacher à l'objectivité et qui fait le succès du nombre entendu comme facteur de l'objectivité, y compris quand ce nombre ne veut rien dire. Il y a un livre de Theodore Porter assez extraordinaire sur le sujet qui a été publié en 1995 à Princeton University Press, intitulé Trust in numbers, que j'ai utilisé pour ce travail, qui décrit ce type de phénomène : le fait que nous nous accrochons à des nombres y compris dans des situations où nous savons que ces nombres ne veulent rien dire. Un exemple typique est donné par les sondages électoraux. On sait qu'ils donnent une indication à trois points près, mais on se réjouit quand même d’apprendre que le candidat que l'on soutient a gagné un demi-point. On pourrait réfléchir à cette prégnance du nombre qui est présente partout. Et c'est pour cela que je dis que ce n'est pas l'effet du néolibéralisme, que ce n'est pas l'effet non plus de l'AERES. J'avais siégé dans des concours dans la deuxième moitié des années 90 et dans ces concours j’ai pu noter que des collègues enseignants-chercheurs ou chercheurs comptaient les publications. J'ai entendu dire : « oui, il a 11 articles mais elle en a 17 ! ». Et personne n'avait demandé de procéder ainsi pour l’évaluation. Ce sont les collègues qui l’ont choisi. Et moi comme les autres, tout en travaillant là-dessus, tout en critiquant en permanence le tropisme du chiffre dans mes travaux, (j'ai ajouté cinq pages sur la question de l'évaluation dans la réédition de mon manuel La sociologie des professions, pour critiquer justement ces formes d'évaluation quantitative), je les pratique aussi parfois. Pour avancer sur la question de l’évaluation, on pourrait tenter de réfléchir aux explications de ce type de tensions et de contradictions face auxquelles elle nous met.Massimo Vallerani a présenté une critique des indicateurs centrée sur les effets pervers, et ceux qu’il donne sont suffisamment absurdes pour que cette critique soit bien sûr dévastatrice. Mais je pense qu'il faut à la fois en faire une critique plus radicale, dans le sens premier du mot, en se demandant pourquoi ces indicateurs posent problème « à la racine », et ne pas les refuser complètement, car le tropisme qui nous pousse à les utiliser nous dit quelque chose de leur utilité sociale. La critique radicale consiste d'abord à rappeler que notre travail n'est pas de publier des textes, mais de produire des connaissances. Or il se trouve qu'en traversant un certain nombre d'instances d'évaluation, j'ai constaté malheureusement très souvent la difficulté, non seulement des évaluateurs eux-mêmes mais aussi parfois des évalués, à présenter les choses en termes de connaissances créées. Typiquement, lorsqu'un comité de l’AERES, par exemple, rend visite à un laboratoire, c'est très facile pour lui de savoir combien les gens ont publié de textes. Sur ce plan-là, les membres du laboratoire sont complément coopératifs. Mais obtenir d’eux qu’ils fassent ressortir les 3, 4 connaissances fortes, les apports qui n'existeraient pas dans leur discipline sans leur activité des dernières années, c'est souvent plus difficile. Ce qui ne veut pas dire que ces apports n'existent pas, mais c’est bien plutôt que ne pas les mettre en avant est une pratique de l'évaluation qui est assez générale, de la part des évaluateurs mais aussi des évalués. L’indicateur est un refuge, une branche à laquelle on se raccroche pour esquiver la difficulté de l’exercice.Ensuite, comme Massimo Vallerani l'a fait justement, et c'est extrêmement utile, il faut bien sûr identifier les effets pervers des indicateurs. Ce sont des incitations à une pratique qui n'est pas toujours le plus propice à la création de connaissances. Notamment la valorisation du productivisme peut être une entrave à la recherche de l'originalité, à ce qu'on appelle la « prise de risque », pour employer un terme usité plutôt en sciences dures ; elle peut être une incitation aussi à la malhonnêteté scientifique ; ou à se concentrer sur des problèmes simples, comme Massimo Vallerani l'a déjà dit. Mais je voudrais rappeler aussi que ces indicateurs, maniés avec prudence, comme de simples indications, peuvent avoir une utilité en permettant la comparaison. D'ailleurs j’ai trouvé que votre exposé ne reprenait pas tout à fait le contenu de votre titre, je trouvais que vous insistiez davantage sur les évaluations quantitatives et ses difficultés plutôt que sur les jugements arbitraires.Massimo Vallerani : C’est parce que je prends le problème de l'arbitraire tout à fait à son émergence, ces réformes ont été mises en place il y a sept mois. Je ne sais pas comment les choses vont tourner et nous n'en connaissons évidemment pas les résultats aujourd'hui.Florent Champy : D'accord mais ce que je voulais dire c'est que les indicateurs pris comme des indications sont parfois aussi très précieux. L'évaluation n'est pas si simple non plus sans ces indicateurs. Et le problème est de les utiliser à des fins de première comparaison, de les utiliser pour avoir une première image de l'activité et de ne pas s'en tenir là. Pour ça il faut avoir en tête au moins trois limites des indicateurs.La première est de voir comment ils sont construits. Tous les indicateurs sont construits, et il y a une part d'arbitraire dans cette construction. Un ouvrage éclairant de Maya Beauvallet, intitulé les stratégies absurdes, comporte un chapitre sur l'évaluation de la recherche. Maya Beauvallet y montre, en prenant les travaux de trois chercheurs en sciences dures et en utilisant trois indicateurs de l'impact de leurs travaux, donc trois facteurs d'impact différents, la forte divergence de ces indicateurs. Cela lui permet de montrer que chacun de ces indicateurs est une construction assez fruste, inefficace même pour mesurer ce pour quoi il a précisément été élaboré. (Laissons de côté une autre critique, qui est qu’on peut déjà discuter de la pertinence et de la validité de ce qu’ils visent à mesurer.) Donc il faut déjà voir qu'ils sont construits et que leur construction nous confronte aux problèmes, bien connus en sciences sociales, de toute construction d’outils de pensée et d’action.Ensuite le deuxième point consiste à voir que ces indicateurs n'épuiseront jamais la réalité de ce qu'il s'agit d'évaluer, même si on les multiplie. C'est-à-dire que les indicateurs donnent des indications, mais le travail d'évaluation se fait ensuite grâce à des jugements qui les dépassent. Les indicateurs sont certes utilisés dans la construction de ces jugements, mais ces derniers font entrer d’autres informations et considérations en ligne de compte. Contrairement à un verdict qui découlerait mécaniquement de la mise en œuvre d’indicateurs, ces jugements comportent une part irréductible de subjectivité qui a partie liée à la nature prudentielle de nos activités, c'est-à-dire à leur complexité, à l'irréductible singularité de chaque dossier à évaluer. Parce qu’il est impossible de réduire ce qu’il s’agit d’évaluer à des indicateurs, cette évaluation est elle aussi prudentielle, c’est-à-dire faite d’incertitudes, de paris, d’arbitrages entre des considérations contradictoires. Un enjeu majeur de l’évaluation est que nous nous dégagions de la tentation que nous pouvons avoir de nous raccrocher aux branches en apparence objectives des indicateurs, pour assumer à nouveau notre responsabilité de porter des jugements sur la pertinence du travail, sur son intérêt, sur sa portée, etc. Cela suppose de prendre le temps d’entrer vraiment dans le cœur des choses. Ce que j'ai entendu dans un certain nombre de lieux où j'ai assisté à des évaluations, non seulement en recherche mais aussi en architecture, c'est la récurrence des jugements lapidaires du type : « un travail remarquable », « un travail original », « un travail novateur », etc., sans que soit dit forcément sur quoi repose l'originalité ou la novation. On peut dire de façon péremptoire : « ce travail est extraordinaire » ou « c'est une innovation majeure », mais le cœur du travail devrait être de discuter de la réalité des innovations. Les évalués doivent avoir pour priorité de dire quelle novation représente leur travail, et les évaluateurs doivent s’en saisir et chercher à le comprendre. La difficulté de l’évaluation consiste à ne pas évacuer le jugement, malgré tout ce qu'il peut avoir d'inconfortable – car l’erreur est toujours possible -, et en même d’éviter les jugements lapidaires. Il faut se méfier aussi bien des indicateurs que des qualificatifs tels que ceux que je viens d'indiquer, pour laisser toute leur place au jugement et à la délibération.Il convient enfin (c’est ma troisième critique des indicateurs) d'avoir en tête que tout indicateur a des effets pervers, notamment parce que tout indicateur produit des stratégies d'adaptation à cet indicateur. Au bout d'un certain temps à l’utiliser, on risque de ne plus mesurer que les efforts faits par les « agents » pour satisfaire à l'indicateur, plus que l'activité réelle. Il faut donc anticiper ses effets pervers, et essayer de regarder ce qui peut être la traduction de ce travail d'adaptation aussi bien dans la construction des indicateurs que dans leur usage.Pour résumer les indicateurs peuvent être utilisés avec profit comme des indications dans un jugement, sous réserve que l'on ait toutes ces difficultés en tête et qu’un certain nombre de règles soient respectées. Ces règles, ce sont notamment celles du travail prudentiel. Il s'agit ainsi de fonder l’évaluation sur un travail préalable d’analyse de ce qu’il s’agit d’évaluer, de laisser les évalués exprimer le plus librement possible la logique de leurs choix et expliquer les difficultés qu’ils ont pu rencontrer, - justifiant ainsi que le mieux n’est pas nécessairement d’être bon sur tous les indicateurs -, ou encore de laisser un temps à la délibération, en s'assurant qu'elle est menée de manière collective.[1] Voir Florent Champy, « Pourquoi il faut défendre l'autonomie professionnelle et comment », paru en 2011 dans un livre intitulé l'Hôpital en réanimation, édité par un chercheur en sciences politiques Frédéric Pierru, avec des membres d'un syndicat de médecins dans le cadre d'une lutte des médecins.