Alter et moi

On s’inquiète de plus en plus du fait que les organismes de financement qui soutiennent la recherche scientifique sont de plus en plus réfractaires au risque, favorisant les projets sûrs au détriment des nouveaux projets explorant des approches non testées. Cette colonne utilise les trajectoires de citation de plus d’un million d’articles de recherche pour examiner le profil d’impact de la recherche novatrice. Les nouveaux articles ont tendance à souffrir d’un impact différé, mais sont plus susceptibles de devenir de grands succès à long terme et de générer des recherches de suivi. Les courtes fenêtres temporelles des indicateurs bibliométriques qui sont de plus en plus utilisés par les organismes de financement dans leur prise de décision peuvent biaiser les décisions de financement au détriment de la nouveauté.
On craint de plus en plus que les agences de financement qui soutiennent la recherche scientifique soient de plus en plus réticentes au risque et que leurs procédures de sélection compétitives encouragent des projets relativement sûrs et exploitant au détriment de nouveaux projets explorant des approches non testées (Kolata 2009, Alberts 2010, Walsh 2013). Dans le même temps, les agences de financement s’appuient de plus en plus sur des indicateurs bibliométriques pour faciliter la prise de décision et l’évaluation des performances (Hicks et al. 2015).
La recherche qui sous-tend les percées scientifiques est souvent motivée par l’adoption d’une nouvelle approche, qui a un potentiel plus élevé d’impact majeur, mais également un risque d’échec plus élevé. Il peut également falloir plus de temps pour que la nouvelle recherche ait un impact majeur, en raison de la résistance des paradigmes scientifiques en place ou en raison du délai plus long nécessaire pour intégrer les résultats de la nouvelle recherche dans la recherche de suivi. La nature « risque élevé/gain élevé » de la nouvelle recherche la rend particulièrement appropriée pour un soutien public. Cependant, si la recherche nouvelle a un profil d’impact distinct de la recherche non nouvelle, l’utilisation d’indicateurs bibliométriques peut biaiser les décisions de financement au détriment de la nouveauté.
Dans un nouvel article, nous examinons la relation complexe entre la nouveauté et l’impact, en utilisant les trajectoires de citations au cours de la vie de 1 056 936 articles de recherche publiés en 2001 dans toutes les disciplines du Web of Science (WoS) (Wang et al. 2016).
Mesurer la nouveauté des publications scientifiques
Pour évaluer la nouveauté d’un article de recherche, nous examinons dans quelle mesure il crée de nouvelles combinaisons de composants de connaissances antérieures. Cette vision combinatoire de la nouveauté a été adoptée par les chercheurs pour mesurer la nouveauté des propositions de recherche, des publications et des brevets (Fleming 2001, Uzzi et al. 2013, Boudreau et al. à paraître). En suivant cette perspective de nouveauté combinatoire, nous examinons si un article crée de nouvelles combinaisons de revues référencées qui n’ont jamais paru dans la littérature antérieure, en tenant compte de la distance de connaissance entre les revues nouvellement combinées en fonction de leurs profils de revues co-citées (c’est-à-dire des « amis communs ‘). Techniquement, nous mesurons la nouveauté d’un article comme le nombre de nouvelles paires de revues référencées pondérées par le cosinus de similarité entre les revues nouvellement appariées.
En appliquant ce nouvel indicateur de nouveauté, nous constatons que les nouvelles recherches sont relativement rares : seulement 11 % de tous les articles font de nouvelles combinaisons de revues référencées. De plus, le degré de nouveauté est également très asymétrique : plus de la moitié (55 %) des nouveaux articles n’ont qu’une seule nouvelle paire de revues, tandis que seuls quelques articles font de nouvelles combinaisons de plus en plus éloignées. Pour travailler avec cette asymétrie, nous classons les articles en trois catégories : (i) non-roman, si un article n’a pas de nouvelles combinaisons de revues ; (ii) modérément nouveau, si un article fait de nouvelles combinaisons mais a un score de nouveauté inférieur au top 1 % de son domaine ; et (iii) très nouveau, si un article a un score de nouveauté parmi les 1 % supérieurs de son domaine.
Nature « risque élevé/gain élevé » de la nouvelle recherche
Compte tenu de la nature risquée des nouvelles recherches, nous nous attendons à ce que les nouveaux articles aient une variance plus élevée dans leurs performances de citation. Suivant Fleming (2001), nous utilisons un modèle binomial négatif généralisé pour estimer les effets de la nouveauté sur la moyenne et la dispersion des citations reçues. Nous utilisons une fenêtre de temps de 14 ans pour compter les citations reçues pour notre ensemble d’articles WoS publiés en 2001 et contrôler les facteurs de confusion potentiels. Nous constatons que la dispersion de la distribution des citations est 15 % plus élevée pour les articles très nouveaux que pour les articles non nouveaux (figure 1A).
Nous nous attendons également à ce que les nouvelles recherches à haut risque soient plus susceptibles de devenir de « grands succès », c’est-à-dire de recevoir un nombre exceptionnellement élevé de citations, définies ici comme étant les 1 % les plus cités parmi les articles dans le même domaine et la même année de publication. Nous constatons que les chances d’un grand succès sont 40 % plus élevées pour les articles très nouveaux que pour les articles non romans comparables (Figure 1B).
La recherche novatrice est non seulement plus susceptible de devenir elle-même un grand succès, mais elle est également plus susceptible de stimuler la recherche de suivi qui génère un impact majeur. Nous constatons que les articles qui citent des articles nouveaux sont plus susceptibles de recevoir eux-mêmes plus de citations que les articles citant des articles non romans. De même, les chances d’être cité par de grands succès sont 26 % plus élevées pour les articles très novateurs que pour les articles non romans comparables recevant le même nombre de citations (Figure 1C).
Impact interdisciplinaire de la recherche novatrice
L’examen du profil disciplinaire de l’impact révèle que, par rapport à un article non roman recevant le même nombre de citations, les articles très novateurs sont cités par plus de domaines et ont un plus grand ratio de citations provenant de domaines autres que leurs propres domaines, ce qui suggère un plus grand nombre de citations croisées. -l’impact disciplinaire des nouvelles recherches.
Cela soulève la question de savoir dans quelle mesure le profil de gain élevé des nouveaux articles est motivé par un impact en dehors de leur propre domaine. Nous constatons que les nouveaux articles ne sont fortement cités que dans les domaines étrangers mais pas dans leur domaine d’origine (Figure 1D), rappelant le passage de Luc 4:24 : En vérité, je vous le dis, aucun prophète n’est accepté dans son propre pays.
Reconnaissance tardive des nouvelles recherches
Nous constatons que les articles très novateurs sont moins susceptibles d’être cités en tête lorsqu’ils utilisent des fenêtres de temps de citation inférieures à trois ans (figure 1E). Mais à partir de la quatrième année après la publication, les articles très novateurs sont beaucoup plus susceptibles d’être de grands succès, et leur avantage sur les articles non romans augmente encore avec le temps. Les articles modérément nouveaux souffrent encore plus d’une reconnaissance tardive. Ils sont moins susceptibles d’être cités en tête lorsqu’ils utilisent des fenêtres de citation de moins de cinq ans et ont seulement une chance significativement plus élevée d’être un grand succès avec des fenêtres d’au moins neuf ans.
Biais bibliométrique contre la nouveauté
La découverte d’une reconnaissance tardive pour les nouvelles recherches suggère que les indicateurs bibliométriques standard qui utilisent de courtes fenêtres de temps de citation (généralement deux ou trois ans) sont biaisés contre la nouveauté, puisque les nouveaux articles ont besoin d’une fenêtre de temps de citation suffisamment longue avant d’atteindre le statut d’être un grand succès.
Le nombre de citations est un moyen d’évaluer l’empreinte bibliométrique d’un article. Une autre façon consiste à évaluer le facteur d’impact de la revue dans laquelle l’article est publié, où le facteur d’impact est mesuré comme le nombre de fois qu’un article moyen dans une revue est cité. A titre d’exemple, la revue Science a un facteur d’impact de 33,611 ; La nature a un facteur d’impact de 41,456. En évaluant le facteur d’impact de la revue dans laquelle l’article est publié, nous constatons que les articles très novateurs sont inférieurs de 18 % à ceux des articles non romans comparables (figure 1F), ce qui suggère que les articles novateurs rencontrent des obstacles pour être acceptés par les revues détenant des informations centrales. postes en sciences. La pression accrue exercée sur les revues pour augmenter leur facteur d’impact (Martin 2016) et le fait que le facteur d’impact de la revue soit basé sur les citations au cours des deux premières années suivant la publication suggèrent que les revues peuvent choisir stratégiquement de ne pas publier de nouveaux articles qui sont moins susceptibles de être très cité à court terme.
Implications politiques
Pris ensemble, nos résultats suggèrent que les mesures bibliométriques standard sont biaisées contre les nouvelles recherches et peuvent donc ne pas identifier les articles et les individus effectuant de nouvelles recherches. Ce parti pris contre la nouveauté met en péril le progrès scientifique, car la recherche novatrice, comme nous l’avons montré, est beaucoup plus susceptible de devenir un grand succès à long terme, ainsi que de stimuler les grands succès de suivi.
Le parti pris contre la nouveauté est particulièrement préoccupant compte tenu de la confiance accrue que les organismes de financement accordent aux indicateurs bibliométriques classiques pour prendre des décisions de financement et d’évaluation. De plus, le constat selon lequel les nouveaux articles sont très cités dans des domaines étrangers souligne l’importance d’éviter une approche monodisciplinaire dans l’évaluation par les pairs. L’examen par les pairs est largement mis en œuvre dans la prise de décision scientifique, et l’examen par les pairs qui est délimité par des frontières disciplinaires peut ne pas reconnaître la pleine valeur d’une nouvelle recherche qui se situe généralement en dehors de son propre domaine.
Si nous voulons encourager la prise de risque, nous devons être conscients du biais inhérent aux mesures bibliométriques contre les nouvelles recherches. Plus important encore, nous préconisons, lorsque des indicateurs bibliométriques sont utilisés dans le cadre du processus d’évaluation, un portefeuille plus large d’indicateurs et de fenêtres temporelles au-delà de la fenêtre standard de deux ou trois ans.