{"word_count": 1230, "character_count": 7776}
[caption id="attachment_4984" align="alignleft" width="541"] If you publish a journal that trumpets its impact factor in adverts or emails, you are statistically illiterate. If you trumpet that impact factor to three decimal places, there is little hope for you.” --Stephen Curry on Nature Magazine and others. Photographie publiée sur FlickR sous le pseudonyme de DullHunk, sous licence Creative Commons Attribution.[/caption]L'impact factor, on en a plein la bouche et plein les oreilles. Pourtant, sa définition exacte, que j'avais apprise un jour d'égarement, m'était sortie de l'esprit. Elle m'a été remise en mémoire à la lecture d'un article dont j'ai déjà parlé ici, et qui lui consacre un paragraphe au titre assez percutant : "Impact factor, negociated, irreproductible and unsound." (le facteur d'impact : négocié, irreproductible et malsain). La rédaction de ce billet m'a aussi permis de tomber sur un site assez original qui résume en français les enjeux et controverses sur le sujet.En travaillant quelques années parmi les historiens (lesquels ne sont pas moins sensibles aux chiffres que les autres), j'ai appris que l'imperfection des mesures ne les rend pas inutilisables, tant qu'elle reste dans le champ de conscience des utilisateurs. Ainsi, au lieu d'utiliser les chiffres comme des résultats fermes, les scientifiques s'appuient dessus avec prudence pour proposer des interprétations, en restant lucides sur la discussion qui doit les entourer. Les problèmes commencent lorsque les chiffres ne sont plus discutés. C'est ce qui peut arriver lorsqu'ils sont mis au service d'une démarche de type publicitaire ((Cf. un de mes précédents billets sur la base UpToDate, qui relevait le contraste saisissant entre la prudence de l'article scientifique et la suffisance des slogans commerciaux ; je ne mets pas de lien pour échapper à l'accusation d'auto-citation...)), mais aussi par simple effet de répétition, lorsque les précautions oratoires tendent à s'estomper et que les chiffres sont implicitement considérés comme fiables.Il est à craindre que l'Impact factor ne soit une parfaite illustration de ce phénomène.Qu'est-ce que le facteur d'impact ?C'est la division du nombre de citations constatées l'année N, renvoyant aux articles parus dans un journal pendant les années N-1 et N-2, par le nombre d'articles parus dans ce journal les mêmes années.Un exemple ?Soit une revue appelée l'International Journal of Bogus and Plagiarized Studies (IJBPS) ((Ce titre n'existe pas encore, mais j'ai pour projet de le créer, d'en faire une revue en Open Access ; avec ce titre, je suis assuré de ne pas manquer de matière ; je compte aussi facturer des frais de traitement de l'ordre de 1000 € la page qui permettront de renflouer les finances publiques. Pour ce tarif modique, je proposerai aux auteurs pressés de dissimuler les emprunts les plus grossiers par des reformulations périphrastiques et de remanier les références pour les rendre invérifiables.)).Supposons qu'en 2010-1011, 100 articles soient paru dansl'IJBPS.Qu'en 2012 ces articles parus 2011-2010 dans l' IJBPS aient été cités 1200 fois.Dans ce cas, l'Impact factor de l'IJBPS sera de 12.Bref, le facteur d'impact mesure la notoriété d'une revue (ou d'un auteur, si on lui applique le même mode de calcul).La simplicité de cet indicateur vous donne l'impression qu'il est peu ambigu ? Détrompez-vous. L'article de Brembs et Munafò cité plus haut démontre, après de nombreux autres, combien il est facile de truquer le facteur d'impact. Par exemple, selon que vous signalez les articles parus dans toutes les sections ou seulement certaines d'entre elles, vous pouvez agir rétrospectivement sur le diviseur ! L'exemple donné par Björn Brembs and Marcus Munafò, celui de Current Biology, est très parlant : Le facteur d'Impact est passé de 7,007 à 11,910 en 2003, soit une augmentation de 70 %. Or, de 2002 à 2003, le compteur de citations a  grimpé de 4,4 % seulement. Mais le nombre d'articles décomptés, lui, a diminué de 43 %. D'où le spectaculaire « progrès » enregistré, qui n'est dû qu'à une correction des chiffres, nullement à une augmentation de l'audience du titre. Bien sûr, pareille manœuvre ne peut pas être répétée à l'infini. Mais sachant que le facteur d'impact conditionne directement le rang de classement, donc la valeur scientifique perçue (pesez le mot, il est essentiel) des revues qu'il qualifie, ce genre de flottement est très pernicieux. Plus encore si l'on songe que l'élévation de l'IF peut être un argument d'augmentation tarifaire. Le monde scientifique est parfaitement conscient du problème : il y a quatre ans déjà, l'éditorial du Journal of Child Neurology, ((Journal of Child Neurology, vol. 24, n° 3, mars 2009)) dans un morceau de bravoure anti-facteur d'impact, résumait les stratégies d'auto-citation utilisées pour faire grimper l'IF des revues et concluait en citant la magnifique définition du facteur d'impact personnel donnée sur le blog PHD Comics (je traduis) :Votre facteur d'impact corrigé c'est :Le nombre de citations de votre travail moins le nombre de ces citations qui en fait ont saccagé votre travail moins le nombre de fois où vous vous êtes cité vous-même (bien essayé !) moins le nombre de fois où vous avez été cité seulement pour gonfler une introduction moins le nombre de fois où vous avez été cité incorrectement (on a aimé le titre et ignoré le reste) moins le nombre de citations que l'éditeur a poussé les auteurs à inclure pour augmenter le facteur d'impact du journalDIVISÉ PARLe nombre d'articles originaux que vous avez écrits moins le nombre d'articles qu'on vous a fait cosigner par pitié ou par calcul plus le nombre d'articles pas totalement originaux que vous avez écrits copiés-collés.On a vu se développer peu à peu des gammes de produits alimentaires sans OGM, sans pesticides, sans traces de fruits à coques, sans parabène et sans bisphénol... J'attends avec impatience de voir se développer des revues sans facteur d'impact (IFF, impact factor free). Car l'effet de l'impact factor est, par certains côtés, assimilable à celui d'un produit dopant. Amélioration superficielle et quantitative dans le court terme. Appauvrissement, perte de qualité et dégradation en profondeur et dans le long terme. Je ne doute pas (pour l'instant) de la valeur scientifique du BMJ. Mais que penser d'un discours publicitaire tel quel celui-ci, reçu par courriel le 29 juillet dernier et relayé sous une forme à peine plus pudique sur le site de l'éditeur ? (je traduis, je souligne, et je me demande dans quelle cour de récré nous sommes en train de jouer) ((Dear Colleague,The BMJ is pleased to present the top-cited research articles that contributed to our 2012 increased impact factor of 17.215. Please forward these must-read articles to medical professionals at your institution or hospital. Now ranked 4/155*, The BMJ is one of the world’s leading general medicine journals and is now the highest ranking open access journal. We've also overtaken two heavyweight US titles -- PLOS Medicine and the Annals of Internal Medicine in the rankings)).Cher collègue,Le   British Medical Journal est fier de vous présenter les cinq articles les plus cités, qui ont contribué à ce que notre facteur d'impact atteigne 17,125 en 2012. Faites suivre ces articles (à lire absolument) aux professionnels de santé de votre institution ou de votre hôpital. Désormais classé 4e sur 155, le BMJ, l'un des meilleurs journaux de médecine du monde, est maintenant le journal en Open Access le mieux classé. Nous avons aussi dépassé deux titres américains de poids - PLOS Medicine et The Annals of Internal Medicine - dans les classements. Quand vous ôtez de la science le désintéressement et la gratuité, que vous reste-t-il ?Le facteur d'impact.