Curiosity

Le succès d'un chercheur (en sciences, pas d'or) est aujourd'hui davantage conditionné par sa capacité à publier des articles qu'à réaliser un travail de qualité. On peut évidemment supposer que le deuxième point est une condition nécessaire au premier, mais l'expérience (la mienne, en tout cas) prouve que ce n'est pas toujours le cas. Le mécanisme de publication en sciences (dures comme molles) est celui de la "revue par les pairs" (peer review en VO) : l'article est adressé par l'éditeur du journal à un comité de lecture constitué par des sommités (auto-proclamées ou reconnues) en la matière, dont le boulot est de dire si oui ou non il mérite d'être envoyé à la face du monde (c'est-à-dire sous presse). Ceux qui souhaitent plus d'infos pourront aller lire les billets d'Enro ou de Benjamin. Ce système n'est pas parfait, a déjà été mis en défaut, mais pour l'instant c'est le moins mauvais.
Suivant le même raisonnement qui pousse un étudiant en journalisme à chercher un stage au Monde Diplo ou au Financial Times (selon ses orientations politiques) plutôt que de s'occuper de la rubrique courrier des lecteurs dans Ouest-France, le chercheur vise, selon son ambition et son degré de lucidité, les revues scientifiques les plus prestigieuses. Un papier dans Nature et c'est la gloire assurée, un papier dans le Journal Poitevin de Tribologie Fondamentale, et, euh, ben le gars pousse la folie jusqu'à reprendre un deuxième Big Mac le soir en sortant du labo.
Plutôt que de compter sur le seul bouche à oreille pour laisser s'établir la hiérarchie des revues, les scientifiques, jamais avares en idées géniales, ont pondu un critère numérique qui fait autorité, comme les notes de Bob P. pour les oenophiles ou le QI pour l'élection de Mister Univers. Il s'agit de l'Impact Factor, que l'on peut audacieusement traduire en Facteur d'Impact. Je n'insiste pas sur le mode de calcul, c'est super compliqué, il faut faire une division. En gros, plus une revue publie des articles fréquemment cités par les autres, plus son classement est élevé.
On reproche par conséquent souvent à l'impact factor d'être un indicateur de popularité plutôt que de qualité. Quel que soit le crédit que l'on apporte à la théorie de la sagesse des foules, comme il s'agit ici de savants, donc fous, l'hypothèse de sagesse collective n'est plus de mise : popularity is not equal to quality, what was demonstrandum.

Certains estimateurs ambitionnent de faire mieux que l'impact factor, en apportant par exemple des corrections "à la PageRank" : pour reprendre mon spirituel exemple du dessus, la "qualité" du citateur compte au moins autant que le nombre de citations. Mieux vaut être cité par un papier paru dans Nature que par un tribologiste du Poitou. Philip Davis, de l'université de Cornell, montre que, du moins dans la catégorie des revues médicales, l'eigenfactor est corrélé de façon plutôt significative (rho = 0.86) à l'impact factor.
En étendant le panel à toutes les revues analysées en 2003 par le Journal Citation Reports (celui qui publie les "notes"), Johan Bollen, du LANL, aboutit dans un premier temps à une conclusion différente : le coefficient de corrélation qu'il calcule entre son indicateur^[1] et l'IF est inférieur à 0.5. Conscient des spécificités propres à chaque discipline (le rythme et le mode de publication en maths fondamentales ne sont pas les mêmes qu'en médecine), il restreint ensuite la comparaison aux revues spécialisées en physique. Le coefficient de corrélation tombe alors à 0.24 ! Revenant sur le secteur médical, Bollen retrouve une valeur de 0.91, plus conforme à ce qu'avait trouvé Davis.
Les deux types d'estimateurs ont leur travers, ce qui conduit à la co-existence de journaux au PR élevé mais à l'IF faible (on pourra dire qu'il s'agit de journaux "prestigieux") et de journaux au PR faible mais à l'IF élevé (journaux "populaires"). Le même genre de schéma se reproduit évidemment dans tout ce qui concerne les réseaux sociaux, et en particulier les blogs. Dans le cas de la revue Nature ou du blog d'Eolas, on tombe sur l'heureuse combinaison de sources se permettant le luxe d'être à la fois prestigieuses et populaires.
Une solution pour marier les effets positifs de chacun des estimateurs est proposée par Johan Bollen : il suffit de multiplier le PR par l'IF pour obtenir un indicateur qui, selon lui, représente assez fidèlement la hiérarchie des revues telle qu'elle est réellement perçue, et non telle qu'elle est décrite par le seul facteur d'impact ...