La performance, ou influence, d’un auteur est souvent mesurée avec l’indice h. Il ne faut cependant pas confondre indice h et qualité de la recherche. Plusieurs sources d'informations sont nécessaires afin de bien évaluer l'apport scientifique et académique d’un chercheur à l'aide d'indicateurs bibliométriques.
Bien que largement utilisé dans la communauté scientifique, l’indice h fait également l’objet de nombreuses critiques. Tel que le fait remarquer Yves Gingras : « on utilise un seul nombre pour classer et évaluer la qualité de la recherche des individus et des organismes, et ce, malgré le caractère multidimensionnel de la recherche. » [1]
Les limites propres à la bibliométrie s’appliquent à l’indice h :
Dans ce contexte, la Moyenne des citations relatives (MCR) des articles d'un auteur est une excellente alternative à l'indice h pour comparer des chercheurs de spécialités et d'expériences différentes.
[1] Gingras, Y. 2008. La fièvre de l’évaluation de la recherche. Du mauvais usage de faux indicateurs. Notes de recherche CIRST. p. 9 https://yvesgingras.uqam.ca/
La bibliométrie mesure traditionnellement le nombre de citations d’un article. Elle ne fait aucune distinction entre une autocitation, une citation positive, une citation de courtoisie ou une citation négative. On ne peut qu’interpréter le nombre de citations par l’impact de l’article dans la communauté des chercheurs.
Le décompte des citations diffère d’un outil à l’autre. Pour avoir un meilleur portrait, il est suggéré d’utiliser différents outils.
La Moyenne des citations relatives (MCR) par article permet de comparer les données de différentes disciplines entre elles en normalisant, selon la spécialité, le nombre de citations reçues.
Le nombre de téléchargements et de partages dans les médias sociaux (altmetrics) permet également de savoir rapidement si un article a été lu et s’il a un impact dans les réseaux sociaux ou non.
Les données bibliométriques portant sur les périodiques sont souvent mal interprétées ou mal utilisées. Le facteur d’impact d’une revue ne peut être utilisé au niveau individuel des auteurs ou des articles.
L’auteur ayant publié dans une revue à haut facteur d’impact peut être considéré comme un auteur ayant produit un article de qualité, mais la mesure qui est établie par le facteur d’impact ne peut être transposée à sa production individuelle.
En somme, faire paraître un article dans une revue à facteur d'impact élevé augmente la probabilité qu'un auteur soit davantage lu et cité, sans nécessairement garantir qu'il le sera.