Comment la science ouverte peut faire évoluer les méthodes d’évaluation de la recherche

Des pandémies au changement climatique, en passant par l’automatisation et le big data, les défis du siècle sont immenses et impliquent, pour y répondre au mieux, que la science soit ouverte à tous. Il apparaît indispensable que les citoyens disposent du même accès à l’information que les chercheurs, et que les scientifiques aient accès à des référentiels de connaissances interconnectés et de haute qualité pour faire progresser notre compréhension du monde et démocratiser le savoir.

Ce sont en tout cas des principes directeurs du mouvement de la science ouverte, qui estiment que la durabilité et l’inclusion lui sont essentielles et qu’ils peuvent être favorisés par des pratiques, des infrastructures et des modèles de financement partagés, qui garantissent la participation équitable des scientifiques d’institutions et de pays moins favorisés à la poursuite du savoir et du progrès.

Nous devons garantir que les bénéfices de la science soient partagés entre les scientifiques et le grand public, sans restriction. Mais comment y parvenir ? Une partie de la réponse réside dans la construction de systèmes scientifiques nationaux capables de partager et d’améliorer une diversité de connaissances.

La prédominance des articles scientifiques en anglais ainsi que le nombre encore trop faible de publications en accès ouvert peuvent être dus à la plus grande pondération attribuée à ces publications lors des évaluations.

Par conséquent, la pertinence des recherches rapportées dans ces publications pour les communautés locales peut être remise en question, du fait de la barrière de la langue. Voici quelques pratiques de science ouverte pour transformer les réglementations actuelles liées à l’évaluation pour les rendre plus en phase avec la performance et de l’impact de la recherche.

Pour rappel, c’est en France le Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur (HCERES) qui est en charge d’évaluer les produits de la recherche et les activités de recherche.

Atteindre le bon public

La première étape pour s’assurer que notre travail atteigne le bon public est de le rendre largement accessible, comme avec l’accès ouvert aux publications. Mais l’accessibilité ne signifie pas que notre public cible « verra » notre travail. Il existe des milliers de revues disponibles et personne n’a le temps ou les ressources nécessaires pour lire chaque publication.

La deuxième étape est de créer une communauté et d’impliquer le grand public. Les méthodes de communication en ligne (par exemple, Twitter, Reddit, Facebook, les blogs) ont souvent eu mauvaise réputation dans les cercles scientifiques et ne sont généralement pas perçues comme savantes.

Pourtant, ces plates-formes constitueraient un outil redoutablement efficace pour la transmission de la recherche. Cela peut être quelque chose d’aussi simple que d’écrire un article de blog (comme sur Echosciences), pour The Conversation, de participer à un podcast de communication scientifique, de tweeter nos dernières découvertes ou simplement de dessiner une bande dessinée ou un croquis scientifique.

Il est important que les connaissances que nous produisons puissent atteindre rapidement les personnes pour lesquelles elles sont pertinentes. C’est pourquoi les chercheurs engagés sont souvent visibles dans les cercles publics plutôt que dans les cercles académiques : ils sont fréquemment invités dans les médias de masse traditionnels, tels que les journaux, la radio et la télévision, et sont heureux de donner des présentations académiques populaires à des non-experts.

Par exemple, avec 6 chercheurs de 6 pays (Afrique du Sud, Chine, France, États-Unis, Grande-Bretagne et Indonésie), nous avons récemment écrit un article sur les pratiques de l’accès ouvert aux publications en sciences de la terre. Nous avons relayé nos travaux par un article de blog en indonésien, un deuxième en anglais, retranscrit les principaux résultats sur Wikipédia en Français, relayé sur les réseaux sociaux en Chine via Sina Weibo et en Asie plus largement via WeChat et à l’international via Facebook, Twitter et Reddit.

Le plus important est que nos connaissances soient dispersées et arrivent là où elles peuvent être comprises et utilisées.

Changer les critères de l’évaluation

Le développement de la science ouverte pose aussi la question de l’évaluation de la recherche et des chercheurs. Sa mise en œuvre nécessite en effet la prise en compte de l’ensemble des processus et activités de recherche dans l’évaluation et non seulement les articles publiés dans des revues internationales évaluées par les pairs.

Mais attention à ne pas tomber dans les travers de l’évaluation comme nous le soulignons avec quelques collègues. Comment pouvons-nous espérer bénéficier d’une évaluation de la recherche basée sur le nombre d’articles, sur les citations de ces mêmes articles si les caractéristiques des citations et l’analyse des citations reflètent uniquement la citation de nos travaux dans des articles scientifiques et non pas l’impact direct de notre recherche, notamment vis-à-vis du grand public ?

La Déclaration de San Francisco sur l’évaluation de la recherche (Dora) rendue publique en 2012 et le Manifeste de Leiden publié en 2015 visent à améliorer les pratiques d’évaluation, en alertant notamment sur le mauvais usage de certains indicateurs bibliométriques dans le cadre de recrutements, de promotions ou d’évaluations individuelles de chercheurs.

À ce jour, plus de 2 300 organisations de plus de 90 pays ont signé la déclaration dont 57 en France et plus de 18 000 chercheurs, dont plus de 1 200, en France.

Le facteur d’impact des journaux, indicateur biaisé

Ces deux textes relèvent en particulier que les différentes parties prenantes des systèmes de recherche font usage de deux indicateurs, pourtant largement critiqués par la communauté scientifique.

La Déclaration de San Francisco insiste plus particulièrement sur le mauvais usage du facteur d’impact des journaux scientifiques (moyenne du nombre de citations des articles de ces revues publiés durant les deux années précédentes). Le mode de calcul de cet indicateur utilisé pour mesurer indirectement la visibilité d’une revue, crée un biais en faveur de certaines revues et il peut en outre faire l’objet de manipulations.

De plus, il ne tient pas compte de la diversité des pratiques entre disciplines, ce qui peut introduire des biais dans les comparaisons entre scientifiques.

Trop d’importance donnée au nombre de citations

Le manifeste de Leiden s’attache lui à l’indice h, proposé en 2005 par le physicien Jorge Hirsch et dont l’usage s’est très rapidement répandu.

L’ambition de cet indicateur composite était de rendre compte simultanément du nombre de publications d’un chercheur et de leur impact scientifique, en comptabilisant le nombre de citations des articles publiés.

En réalité, la définition de cet indice, qui a séduit par sa simplicité, fait du nombre de publications la variable dominante et ne surmonte pas la difficulté qu’il y a à mesurer deux variables (nombre d’articles et nombre de citations) avec un seul indicateur.

L’indice h met sur un pied d’égalité un chercheur ayant peu de publications, mais toutes très citées, et un chercheur très prolifique dont les publications sont peu citées. Par exemple, un chercheur ayant 5 publications toutes citées plus de 50 fois aura un indice h de 5. De même, un chercheur ayant 50 publications dont 5 citées au moins 5 fois aura un indice h de 5.

L’indice h dépend aussi de la base de données à partir de laquelle il est calculé comme nous le mentionnions récemment, car seules les publications présentes dans la base de données sont prises en compte.

Dans le cadre de la science ouverte et la publication de résultats pour le grand public, les articles dans des revues locales (en langue du pays) ne seront pas considérés et donc les citations de ces travaux non comptabilisées dans ce type d’indicateur, créant ainsi des inégalités dans l’évaluation si des chercheurs ont fait l’effort de choisir cette voie de diffusion.

D’autres indicateurs plus pertinents ?

La Déclaration de San Francisco et le Manifeste de Leiden ne se contentent pas de critiquer ces deux indicateurs : ils avancent des recommandations en matière d’utilisation d’indicateurs scientométriques, notamment en matière d’évaluation.

Ces recommandations s’articulent autour d’un certain nombre de sujets : la nécessité de mettre un terme à l’utilisation d’indicateurs basés sur les revues, comme les facteurs d’impact, dans le financement, les nominations et les promotions ; celle d’évaluer la recherche sur sa valeur intrinsèque plutôt qu’en fonction de la revue où elle est publiée ; et celle d’exploiter au mieux les possibilités offertes par la publication en ligne (comme la levée de restrictions inutiles sur le nombre de mots, de figures et de références dans les articles et l’exploration de nouveaux indicateurs d’importance et d’impact).

Bien que l’évaluation ait toujours été associée à la recherche scientifique, la frénésie des critères dominants, comme la publication à outrance dans des revues réputées, pourrait être confrontée au transfert fait vers la société. Enfin, une plus grande transparence devrait être associée à l’adoption d’un ensemble plus diversifié de mesures pour évaluer les chercheurs.

Olivier Pourret, Enseignant-chercheur en géochimie et responsable intégrité scientifique et science ouverte, UniLaSalle

Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.