Curiosity

"Le CNRS classé premier organisme mondial de recherche".
Plusieurs blogs français (1, 2), reprennent avec fierté cette information, en y ajoutant le plaisir non-dissimulé de se livrer à un petit exercice de Sarkozy-bashing, rapport aux propos que le président avait tenus il y a un an, dans son style habituel, tout en nuance, classe et concision (ici en vidéo)

« Pardon, je ne veux pas être désagréable, à budget comparable, un chercheur français publie de 30 à 50% en moins qu’un chercheur britannique dans certains secteurs.
Évidemment, si l’on ne veut pas voir cela, je vous remercie d’être venu, il y a de la lumière, c’est chauffé…… On peut continuer, on peut écrire. C’est une réalité et si la réalité est désagréable, ce n’est pas désagréable parce que je le dis, c’est désagréable parce qu’elle est la réalité, c’est quand même cela qu’il faut voir. »

Au-delà de cette satisfaction que procure l'idée de voir les puissants avec le nez dans leur caca, un peu de recul ne nuit pas ; si on reproche à l'omni-président d'en manquer, au moins faut-il en faire preuve soir-même.
Le CNRS est la première institution mondiale ... au nombre de publications. Première remarque évidente, pour être premier au nombre absolu de publis, il est préférable d'être gros :
- effectifs du CNRS dédiés à la recherche : 11600 chercheurs statutaires (ref)
- effectifs de l'Institut Max Planck, organisme gouvernemental lui aussi, qui figure au 6e rang avec 43000 publis, soit environ 3 fois moins que le CNRS : 4700
De suite, on se rend compte que le ratio publi / chercheur^[1] devient très similaire : 10.34 pour le CNRS, 9.14 pour l'organisme allemand.

L'évaluation de la qualité d'un organisme dédié à la recherche scientifique est complexe, comme peut l'être celle d'un chercheur à titre individuel. Le rapport publié par Scimago utilise quatre autres indicateurs, et pour aucun de ceux-là le CNRS n'est dans le paquet de tête, loin s'en faut. Les données brutes étant également disponibles, on peut faire mumuse avec le tableur de son choix.

Sur la base de l'indicateur CxD (nombre de citations reçues par une publi), le CNRS se classe 641e (sur 2124).
Sur la base de l'indicateur Int Coll (qui quantifie le degré de collaboration internationale), le CNRS se classe 225e.
Sur la base de l'indicateur Norm.SJR (qui etablit l'"importance moyenne" des journaux ayant servi de support aux publis), le CNRS se classe 697e.
Sur la base de l'indicateur Norm.Cit (indice bibliométrique établi par l'institut Karolinska^[2]), le CNRS se classe 717e.

Ces indicateurs sont, comme toutes les mesures bibliométriques, d'une pertinence contestable si l'on n'affine pas l'observation. On constate par exemple que le CxD favorise énormément le secteur bio-médical , 31 des 40 meilleurs scores étant obtenus par des établissements Health-related.

Si l'on réduit l'analyse aux "pachydermes" de la recherche, qui affichent au moins 10000 publis, en procédant de la même manière que précédemment le CNRS se classe respectivement 115e, 17e, 94e et 130e sur 167 établissements.

Restreignons-nous maintenant à la seule recherche française : on retrouve dans le classement le CEA, INRA, l'INSERM ainsi que deux universités, Paris 6 et Paris 11. En continuant à faire mumuse avec les 4 indicateurs, le CNRS se retrouve respectivement 6e, 4e, 5e et 5e à l'échelon national.

On fait moins les mariolles, hein ?

Sérieusement, défendre le CNRS, son rôle, son importance, oui, cent fois oui. Mais pas en s'appuyant sur n'importe quoi.

Billets connexes :

- Impact factor (juillet 2008)


Ailleurs sur le net, sur le même sujet, ou de manière plus vaste à propos de bibliométrie :

- chez Nicolas H., une mesure de la qualité des universités (part 1, part 2)
- Citations et Facteurs d’impact : quel avenir pour l’évaluation ?
- Show me the data
- Du bon usage du facteur d'impact
- Impact factor, un indice de qualité discutable (mai 2003)
- Les facteurs d’impact des revues : importants, utiles, criticables ? (décembre 99)