{"word_count": 2920, "character_count": 22792}
Questioningscientific evaluation.Call for paper(english)Appelà contributions (français)EspacesTemps.netlädt ein, Beiträge einzureichen (deutsch).Questioningscientific evaluation.Evaluationhas taken on a major role in scientific production. By default, what one calls‘evaluation’ mostly refers to the quality assessment of just-produced works —an assessment carried out within an evaluative structure considered asindependent of logics exterior to the interests of knowledge. In physics,biology, in technical disciplines and, to a lesser extent, in mathematics, aswell as in these of the social sciences that strive to follow the ‘hardsciences model’, a ‘standard’ evaluation system has been set up during the lastdecades. Although very simple in its principle, this system is extremelypowerful in its consequences. It appears as a perfectly legible procedure:every article, submitted to a journal is examined by referees designated by thejournal’s editorial board among the specialists of its field of research. It isupon the judgment of these very referees that depends, in a mechanical way, thedecision to publish or not to publish.One canformulate the hypothesis that the progressive success of this method has had,as an effect, a hierarchical classification of journals according to theirlegitimacy. As a result, emerged an effect of positive retroaction integratingall of the evaluation devices within a coherent system. One can interpret itslogics in the following way. Firstly, an evaluation device, recognized for itscompetency and equity, defines ipso factothe quality of a journal that includes this device in its operating structure.The journals are then themselves evaluated in the same manner by otherevaluators. The occurrence of bibliographical references to an article withinother articles, measured by the ‘science citation index’, provides thereafter aquantitative means of classification, according to the text’s impact factor,while taking into account the reputation of each of the relevant media. Theevaluation of researchers and research teams — and, by extension, ofdepartments, faculties, and universities — can then be immediately deduced fromtheir publication or citation success within the best classified journals. Thiscan result in an automatic public or private financing of these very actors andreinforce their capacity to produce results destined to be awarded by theevaluation device.Lastly andabove all, by its very success, this device has negative effects on allexcluded elements: on refused articles, on journals that do not subscribe tothe evaluation norms, on books, on unclassifiable publications and, evenbeyond, on research activities that do not lead to productions publishableaccording to these norms… Evaluation, starting with the evaluation of ‘scientific’journals, appears thus as the organizing force of scientific legitimacy itselfof the entire world of scientific research.Thissituation is doubly fascinating for researchers in social sciences. Firstly,because they are increasingly concerned on a personal level. Secondly, becauseit constitutes a fascinating object for their own investigations.It is inthis context that EspacesTemps.netlaunches its call for contribution concerning the following theme:A scientific evaluation?Can dynamics of knowledgebe normed?This general interrogation isarticulated in a series of questions.1.What andhow is being evaluated and who evaluates? Beyond the judging of submittedtexts, one can question the evaluation of any production: PhD thesis, sciencebooks, large public essays, research projects, research teams and institutions,products not belonging directly to the scientific world (university and scholarmanuals, philosophy, architectural or urban projects), extra-researchactivities of scientists… In this way, one can question the scientificcomponent of any kind of social production.2. What arethe strengths and weaknesses of the ‘standard’ system? Does it contribute, in apositive way, to the scientific independence of scientists and does it take theinnovative aspect of their work into account? Do norms and set up hierarchiesrepresent a risk of ignoring the most original among contributions? Do theyrepresent a hindrance for interdisciplinary research? Are there malfunctionswithin this system that alienate its objectives? Does today’s journal marketguarantee for plurality or, on the contrary, does it unduly tend to impose doxas, due to its oligopolisticstructure? Is there any compatibility between the standard system and a dynamiceditorial policy?3. Can onefix evaluation norms independently from scientific criteria and their dynamics?Or, on the contrary, shout one first define the latter in order to deduce fromthem different modes of evaluation? Could one — and should one ––evaluate questions rather than answers, conjectures rather then results, globaltheories rather than punctual advances?4. Is therea specificity of human and social sciences in regard of questions of evaluationand evaluability? If so, what is this specificity and what is its base? Are wemoving towards a convergence of the evaluation modalities in all of theresearch domains and disciplines?5. Can asystem of scientific evaluation be evaluated, by analysing its device or theeffects induced on scientific results? 6. Are therealternatives to the standard system? Are there other modes of paper production,(see, for example the ‘Public Library of Science’ project)? Are there othertypes of evaluators outside of the academic world… deserving attention? Doesthe emergence of new scientific media, such as the internet, modify therelation between the evaluators and the evaluated? Can the evaluation take intoaccount research components appearing as peripheral but in fact fundamental,such as epistemology, technological consequences, scientific culture orcitizenship? Can one imagine other actors than researchers participating in thescientific evaluation process?7. Must oneevaluate science in order to make it innovative? By what criteria can we tellthat science is in progress? Are there means, other than evaluation, by whichone can make sure that scientific organisations respect the ‘ethical contractof knowledge’ with society and that they make good use of the means with whichthis society entrusts them? Does the intervention of exterior actors, such asgovernments or of citizens, necessary lead to a dangerous social control onresearch?8. How canone integrate critical reflexivity on evaluation in evaluation itself? Whatrecommendations can one make so that the evaluation of research work and thatof the scientific life does, in fact, maximize innovation and production ofknowledge?9. … And,by the way, are there suggestions to ameliorate the evaluation device of EspacesTemps.net?*You areinvited to submit texts, until October 15th2005, for publication in a “Traverse” ofEspacesTemps.net. These texts can bepersonal accounts or descriptive analyses, as well as theoretical statementsand recommendations. To begin with, you can from now on send your propositionto Redaction@EspacesTemps.net,in the form of an abstract of 2000 signs. You can also suggest an evaluationmode of the text that you are addressing.***L’évaluation en questions.L’évaluation a pris un rôle majeur dans la productionscientifique. Par défaut, ce qu’on appelle « évaluation » désignesouvent l’appréciation des travaux au moment même où ils sont produits, parl’intermédiaire d’un dispositif de jugement réputé indépendant des logiquesd’intérêts extérieures à la connaissance. En physique, en biologie, dans lesdisciplines technologiques et, dans une moindre mesure, en mathématiques etdans les parties des sciences sociales qui cherchent à s’inspirer du« modèle de sciences dures », un système « standard », trèssimple dans son principe et très puissant dans ses conséquences, s’est mis enplace durant les dernières décennies. Ce système, très clair en ce qui concerneles articles des revues, se présente comme une procédure parfaitement lisible.Dans ce contexte, chaque article est examiné par des évaluateurs (referees) désignés par la direction decette revue parmi les spécialistes du domaine du domaine correspondant. Dujugement des referees dépend demanière mécanique la décision de publier ou de ne pas publier.On peut formuler l’hypothèse que le succès progressivementacquis par cette méthode ont eu pour effet de hiérarchiser les revues selon unprincipe de légitimité, ce qui a engendré un effet en chaîne doté de fortesrétroactions positives, qui portent sur l’ensemble des dispositifs d’évaluationde toutes les productions scientifiques et les intégrant dans un systèmecohérent. Voici comment on peut en lire les logiques : d’abord, dans lecadre des publications, un système d’évaluation des textes jugé compétent etéquitable définit ipso facto laqualité d’une revue qui l’intègre à son fonctionnement. Les revues sont alorselles-mêmes évaluées par d’autres évaluateurs sur cette base. L’existence deréférences bibliographiques des articles dans d’autres articles, mesurée par leScience citation index, fournit ensuite un moyen quantifié de classer lestextes selon leur capacité de pénétration dans le marché (impact factor), en tenant compte de la notoriété de chacun dessupports concernés. L’évaluation des chercheurs et des équipes ainsi que, parextension, des départements, des facultés et des universités peut alors êtredéduite de manière immédiate par leur plus ou moins grand succès dans lapublication ou la citation par les revues les mieux classées, ce qui peutentraîner un financement public ou privé automatique de ces acteurs etrenforcer leur capacité à produire des résultats destinés à être primés par ledispositif d’évaluation. Enfin et surtout, ce dispositif a, du fait même de sonsuccès, des effets négatifs sur tous les éléments qui ne lui appartiennentpas : articles recalés, revues n’appliquant pas ces normes d’évaluation,livres, publications inclassables, et au-delà, activités des chercheurs et deséquipes ne donnant pas lieu à des produits publiables selon ces normes, etc.L’évaluation, ainsi organisée à partir de celle des articles de revues,apparaît donc comme la force organisatrice de la légitimité scientifique del’ensemble du monde de la recherche. Cette situation est doublement fascinante pour leschercheurs en sciences sociales. D’abord parce qu’elle les concerne de manièrecroissante, ensuite parce qu’il s’agit d’un objet d’étude fascinant pour leurspropres investigations.C’est dans ce contexte qu’EspacesTemps.net lance un appel à contributions sur le thème :Une évaluation scientifique ?Peut-on normer la dynamique des savoirs ?Cequestionnement général s’articule en une série d’interrogations.1. Qu’évalue-t-on, qui évalue et comment ? Au-delà dujugement porté sur les textes soumis à publication, on peut s’interroger surl’évaluation du caractère scientifique de l’ensemble des productions : thèsesde doctorat, livres scientifiques, essais destinés à un public élargi, projetsde recherche, équipes et institutions de recherche, produits n’appartenant pasdirectement au monde scientifique (philosophie, manuels universitaires ouscolaires ; projets d’architecture ou d’urbanisme), activités deschercheurs en dehors de la recherche… En ce sens peut être interrogée lacomposante scientifique de toute production sociale.2. Quelles sont les forces et les faiblesses du système« standard » ? Permet-il une augmentation significative del’indépendance des chercheurs, de la prise en compte de l’innovation ? Lepoids de la norme et des hiérarchies instituées fait-t-il courir le risqued’ignorer les contributions les plus originales et constitue-t-il un frein àl’interdisciplinarité ? Y a-t-il des dysfonctionnements de ce système quien dénaturent les objectifs ? Le marché actuel des revues est-il le garantdu pluralisme ou, inversement, tend-il à imposer indûment des doxa en raison de sa structureoligopolistique ? Peut-il y avoir compatibilité entre le système standardet une politique éditoriale dynamique des revues ? 3. Peut-on fixer des normes d’évaluation indépendamment descritères de scientificité et de leur dynamique ? Ou au contraire doit-ond’abord définir ces derniers pour en déduire des modes d’évaluation ?Peut-on évaluer les questions plutôt que les réponses, les conjectures et passeulement les résultats, les théories globales et pas seulement les avancéesponctuelles ?4. Y a-t-il une spécificité des sciences humaines et socialesen matière d’évaluation et d’évaluabilité ? Si oui, en quoiconsiste-t-elle et sur quoi repose-t-elle ? Va-t-on vers une convergencedes modalités d’évaluation dans l’ensemble des disciplines et des domaines dela recherche ?5. Peut-on évaluer un système d’évaluation scientifique, pardes mesures portant sur le dispositif, ou par des analyses des effets induitssur les résultats scientifiques ?6. Existe-t-il des alternatives au système standard ?D’autres modes de production des revues (voir par exemple le projet Public Library of Science), d’autrestypes d’évaluateurs en dehors du monde universitaire… qui méritentattention ? L’émergence de nouveaux supports de publications, commel’internet, changent-ils la donne des relations entre évaluateurs et évalués ?Peut-on prendre en compte dans l’évaluation les composantes de la recherche quiapparaissent périphériques mais sont fondamentales : épistémologie,retombées technologiques, culture scientifique, citoyenneté ? Peut-onimaginer que d’autres acteurs que les chercheurs participent au processus del’évaluation scientifique ?7. Faut-il évaluer la science pour la rendreinnovante ? À quoi savons-nous que la science progresse ? Y a-t-ild’autres moyens que l’évaluation pour s’assurer que les organisationsscientifiques respectent le « contrat éthique de connaissance » passéavec la société et font bon usage des moyens que celle-ci leur confie ?L’intervention d’acteurs extérieurs, gouvernements ou citoyens, conduit-ilinévitablement à un dangereux contrôle social sur la recherche ?8. Comment peut-on intégrer la réflexivité critique surl’évaluation dans l’évaluation elle-même ? Quelles recommandations peut-onformuler pour que l’évaluation des travaux de recherche et de la viescientifique maximise l’innovation et la production de connaissances ?9. …Et, à propos, peut-on faire des suggestions pouraméliorer le dispositif d’évaluation d’EspacesTemps.net ?*Vous êtes invité-e à proposer, jusqu’au 15 octobre 2005, des textes pour publication dans une« Traverse »d’EspacesTemps.net. Ces textespeuvent être des récits d’expérience ou des analyses descriptives aussi bienque des énoncés théoriques ou des recommandations. Dans un premier temps, vouspouvez dès maintenant envoyer à Redaction@EspacesTemps.netune proposition, sous la forme d’un résumé de 2000 signes. Vous pouvezégalement suggérer un mode d’évaluation du texte que vous nous adresserez.***Fragenhinsichtlich der wissenschaftlichen Bewertung.Bewertung hat inder wissenschaftlichen Produktion eine zentrale Rolle eingenommen.Standardmäßig bezeichnet der Begriff „Bewertung“ die Beurteilung einer ebenabgeschlossenen Arbeit, die mit Hilfe von außerhalb der Kenntnisziele liegendenLogiken und eines als unabhängig anerkannten Apparats durchgeführt wird. In derPhysik, der Biologie, den technologischen Disziplinen und, in einem geringerenAusmaße, auch in der Mathematik sowie in den Bereichen der sozialenWissenschaften, die versuchen, sich vom Modell der „harten Wissenschaften“ zuinspirieren, hat sich in den letzten Jahrzehnten ein „standardmäßiges“ Systementwickelt, das sich als ebenso einfach in seinem Prinzip wie folgereich inseinen Konsequenzen zeigt. Dieses System, sehr anschaulich am Beispiel derZeitschriftenartikel, stellt sich als eine klar lesbare Prozedur dar: jederArtikel wird von Referees beurteilt, die von der jeweiligen Zeitschriftdirektionunter ausgewiesenen Bereichspezialisten ausgesucht werden. Die Entscheidung,einen Artikel zu publizieren oder nicht, hängt dann in einer mechanischen Weisevom Urteil des Referees ab.Man kann dieHypothese formulieren, dass der allmählich erreichte Erfolg dieser Methode eineHierarchisierung der Zeitschriften anhand ihrer Legitimität zur Folge gehabthat. Dies hätte dann einen Effekt von positiver Rückwirkung ausgelöst, dersämtliche wissenschaftliche Produktionen in einem kohärenten System einbindet.Man kann diese Logik in der folgenden Weise lesen: Zunächst definiert im Rahmender Publikationen ein als kompetent und gerecht anerkanntesTextbewertungssystem ipso facto dieQualität einer Zeitschrift, die es in seinem Betrieb einbezieht. Die Zeitschriftenselbst werden auf dieser Basis in gleicher Weise durch andere Bewerterbeurteilt. Das Vorkommen von bibliographischen Referenzen eines Artikels inanderen Artikeln, gemessen durch den Sciencecitation index, liefert ein quantifizierbares Mittel, Texte nach dem Gradihres Bekanntheitsgrades und ihrer Marktdurchdringungsfähigkeit (impact factor) zu ordnen.Die Bewertung derForscher, der Forscherteams und, darüber hinaus, der Abteilungen, derFakultäten und der Universitäten kann dann in einer unmittelbare Weise vomAusmaß ihres Publizierungs- oder Zitierungserfolgs in den bestrangigenZeitschriften abgeleitet werden, was automatisch eine private oder öffentlicheFinanzierung der betroffenen Akteure zur Folge haben kann, welche ihrerseitsihre Kapazität steigert, weitere Resultate zu produzieren, die wiederum durchden Bewertungsapparat prämiert werden.Wegen seinesErfolgs hat dieses System verschiedene negative Einflüsse auf sämtlicheElemente, die ihm nicht angehören: abgewiesene Artikel, Zeitschriften die dieseBewertungsnormen nicht anwenden, Bücher, unklassifizierbare Veröffentlichungenund, darüber hinaus, Forscher- und Forscherteamtätigkeiten, die nicht nachdiesen Normen publizierbare Produkte liefern … Die Bewertung, aufbauend auf derPublikation von Zeitschriftenartikeln, erscheint so als die Organisationskraftder wissenschaftlichen Legitimität der ganzen Forschungswelt.Diese Situationist für Forscher der Sozialwissenschaften in doppelter Hinsicht faszinierend.Erstens, weil sie selbst immer mehr davon betroffen sind; zweitens, weil sieein an sich interessantes Studienobjekt für ihre eigenen Forschungen darstellt.In diesem Kontextöffnet EspacesTemps.net dieMöglichkeit, Beiträge zum Thema einzureichen:Eine wissenschaftliche Bewertung?Kann die Dynamik des Wissensnormiert werden?Diese allgemeine Fragestellung wird ineiner Serie von Fragen behandelt:1. Was wirdbewertet, wer bewertet und wie wird bewertet? Abgesehen von der Beurteilung dereingereichten Texte an sich, kann die Evaluation der gesamtenwissenschaftlichen Produktion in Frage gestellt werden: Doktorarbeiten,wissenschaftliche Bücher, für ein breiteres Publikum bestimmte Abhandlungen,Forschungsprojekte, Forschungsteams und -anstalten, Produkte die nur indirektder wissenschaftlichen Welt angehören (Philosophie, Universitäts- undSchulhandbücher, Architektur- und Urbanistikprojekte), Tätigkeit der Forscheraußerhalb der Forschung ... In diesem Sinne kann die wissenschaftlicheKomponente jeder sozialen Produktion in Frage gestellt werden.2. Was sind dieStärken und Schwächen des „standardmäßigen“ Systems? Erlaubt es einenbedeutsamen Gewinn an Unabhängigkeit der Forscher und ihrer Innovationskraft?Entsteht wegen der Last der Norm und der institutionalisierten Hierarchien einRisiko, dass die originellsten Beiträge ignoriert werden und dieInterdisziplinarität behindert wird? Gibt es Funktionsstörungen in diesemSystem, die seine eigenen Zielsetzungen in Frage stellen? Kann der heutigeZeitschriftenmarkt den Pluralismus garantieren oder tendiert er im Gegenteil,seiner oligopolistischen Struktur wegen zu einem ungerechtfertigten Durchsetzender Doxa? Kann es eine Vereinbarkeitgeben zwischen dem standardmäßigen System und einer dynamischen Verlagspolitikder Zeitschriften?3. Kann man,unabhängig von Kriterien der Wissenschaftlichkeit und deren Veränderungen,Bewertungsnormen festlegen? Oder soll man im Gegenteil zuerst die letzterenbestimmen, um daraus Bewertungsmodi abzuleiten? Kann man eher Fragen bewertenals Antworten, Konjekturen eher als Ergebnisse, globale Theorien eher alspunktuelle Fortschritte?4. Gibt es eineSpezifizität der Human- und Sozialwissenschaften bezüglich Bewertung undBewertbarkeit? Wenn ja, aus was besteht sie und was bestimmt sie? Kann eineKonvergenz der Bewertungsmodalitäten in den verschiedenen Forschungsbereichenund –fächern festgestellt werden?5. Kann einwissenschaftliches Bewertungssystem bewertet werden mit der Hilfe vonVerfahren, die sich auf seinen Apparat beziehen, oder anhand von Analysen derEffekte auf die wissenschaftlichen Resultate?6. Gibt esAlternativen zum Standardsystem? Gibt es andere Modi derZeitschriftenproduktion (man sehe, zum Beispiel, den Public Library of Science Projekt), andere Arten von Bewerternaußerhalb der akademischen Welt, die unsere Aufmerksamkeit verdienen? Ändertdas Aufkommen anderer Medien — wie zum Beispiel des Internets — dieBeziehung zwischen Bewertern und Bewerteten? Kann man während der BewertungForschungskomponenten in Betracht ziehen die peripher scheinen, dochfundamental sind: Epistemologie, technologische Konsequenzen,Wissenschaftskultur, Staatsbürgerschaft? Kann man sich vorstellen, dass andereAkteure als Forscher zum Bewertungsprozess beitragen? 7. Muss dieWissenschaft bewertet werden, um innovativ zu sein? Was erlaubt uns zuerkennen, dass die Wissenschaft fortschreitet? Gibt es andere Mittel als dieBewertung um sicherzustellen, dass die Wissenschaft den mit der Gesellschaftabgeschlossenen „ethischen Wissensvertrag“ respektiert und dass von denMitteln, die sie von ihr zur Verfügung gestellt erhält, guten Gebrauch macht?Leitet das Eingreifen Außenstehender – Akteure, Behörden, Bürger – unvermeidbarzu einer gefährlichen Sozialkontrolle der Forschung?8. Wie kann mandie kritische Reflexivität über die Bewertung in die Bewertung einbauen? WelcheEmpfehlungen können formuliert werden, damit die Bewertung vonForschungsarbeiten und des wissenschaftlichen Lebens mithilft, die Innovationund die Produktion von Wissen zu maximieren?9. ...Undübrigens, gibt es Vorschläge um den Bewertungsapparat von EspacesTemps.net zu verbessern?*Sie sind dazueingeladen, bis zum 15. Oktober 2005ihre Textvorschläge für eine Veröffentlichung in einer „Traverse“ vonEspacesTemps.net einzuschicken. IhrText kann sowohl ein Erfahrungsbericht wie eine beschreibende Analyse sein,oder auch eine theoretische These oder Empfehlung. Sie können ab jetzt einenTextvorschlag an Redaction@EspacesTemps.net schicken, in der Form einer 2000 Zeichen langen Zusammenfassung. Sie könnenuns ebenfalls einen Bewertungsmodus des uns zugeschickten Texts vorschlagen.Picture, Image, Bild : © Éditions Albert René.Deadline forsubmission : October 15th 2005.