Continuer sans accepter

Bonjour et bienvenue sur le site d’AEF info
Vos préférences en matière de cookies

En plus des cookies strictement nécessaires au fonctionnement du site, le groupe AEF info et ses partenaires utilisent des cookies ou des technologies similaires nécessitant votre consentement.

Avant de continuer votre navigation sur ce site, nous vous proposons de choisir les fonctionnalités dont vous souhaitez bénéficier ou non :

  • Mesurer et améliorer la performance du site
  • Adapter la publicité du site à vos centres d'intérêt
  • Partager sur les réseaux sociaux
En savoir plus sur notre politique de protection des données personnelles

Vous pourrez retirer votre consentement à tout moment dans votre espace « Gérer mes cookies ».
Revenir en haut de la page

Shanghai : comment les fusions ont-elles influé sur les scores des universités françaises du top 200 depuis 2013 ?

Depuis 2020 et la création des premiers EPE, les universités françaises ont progressé dans le classement de Shanghai. Sur quasiment l’ensemble des 6 indicateurs qui fondent le classement, les "nouvelles" universités figurant dans le top 200 ont amélioré leurs scores, avec une ampleur variable. Toutefois, Daniel Egret et deux chercheurs, dans un article publié en juillet dans SN Social Sciences, dessinent "l’anatomie" du classement et invitent à une lecture prudente des différents indicateurs, car pour certains leur méthodologie a beaucoup évolué dans le temps.

   Merci de découvrir AEF info !

Cette dépêche est en accès libre.

Retrouvez tous nos contenus sur la même thématique.

Tester AEF info pendant 1 mois
Test gratuit et sans engagement
  • Thématiques
  • Coordonnées
  • Création du compte

Thématiques

Vous demandez à tester la ou les thématiques suivantes*

sur5 thématiques maximum

1 choix minimum obligatoire
  • Enseignement / Recherche
  • 👁 voir plus
    ✖ voir moins

Fréquence de réception des emails*

Un choix minimum et plusieurs sélections possibles. Vous pourrez modifier ce paramétrage une fois votre compte créé

Un choix minimum obligatoire

* Champs obligatoires

Coordonnées

Renseignez vos coordonnées*

Veuillez remplir tous les champs
Votre numéro de téléphone n'est pas valide

* Champs obligatoires

Création de compte

Tous les champs sont obligatoires
Votre adresse e-mail n'est pas valide
Seulement les adresses e-mails professionnelles sont acceptées

Cette adresse vous servira de login pour vous connecter à votre compte AEF info

Votre mot de passe doit contenir 8 caractères minimum dont au moins 1 chiffre
Ces mots de passe ne correspondent pas. Veuillez réessayer

Votre mot de passe doit contenir 8 caractères minimum dont 1 chiffre

En validant votre inscription, vous confirmez avoir lu et vous acceptez nos Conditions d’utilisation, la Licence utilisateur et notre Politique de confidentialité

* Champs obligatoires

Valider

Merci !

Nous vous remercions pour cette demande de test.

Votre demande a été enregistrée avec l’adresse mail :

Nous allons rapidement revenir vers vous pour vous prévenir de l’activation de votre nouvel accès.

L’équipe AEF info


Une erreur est survenue !

Une erreur est survenue lors de l'envoi du formulaire. Toutes nos excuses. Si le problème persiste, vous pouvez nous contacter par téléphone ou par email :
 service.clients@aefinfo.fr  01 83 97 46 50 Se connecter

Méthodologie

 

Le classement mondial des universités 2022 (ARWU) est publié par le cabinet de conseil ShanghaiRanking. Le classement a été initialement compilé et publié par l’université Jiao Tong de Shanghai en 2003. Le classement retient les "1 000 meilleures universités dans le monde", selon les six indicateurs suivant :

  • Award, le nombre de lauréats du prix Nobel et de médailles Fields obtenus par le personnel académique lorsque celui-ci était en exercice dans l’établissement (20 % de la note),
  • Alumni, le nombre de lauréats du prix Nobel et de médailles Fields parmi les anciens élèves (10 % de la note),
  • HiCi, le nombre de chercheurs hautement cités (20 % de la note),
  • N&S, le nombre d’articles publiés dans les revues Nature et Science entre 2016 et 2020 (20 % de la note),
  • PUB, le nombre total d’articles scientifiques indexés dans le SCIE (science citation index expanded) et le SSCI (social science citation index) du Web of Science (WOS) pendant l’année 2020 (20 % de la note),
  • PCP, la "productivité" : les 5 scores précédents additionnés avec leur pondération respective, rapportés à l’effectif de personnels académiques à plein temps, seuls les enseignants-chercheurs étant comptabilisés en France (10 % de la note).

D’après ShanghaiRanking, pour chaque indicateur, l’institution ayant obtenu le meilleur score se voit attribuer une note de 100, et les autres institutions reçoivent un score relatif, calculé en pourcentage de ce meilleur score. La distribution des données pour chaque indicateur est examinée pour détecter tout effet de distorsion significatif ; des techniques statistiques standards sont utilisées pour ajuster l’indicateur si nécessaire. Les scores de chaque indicateur sont pondérés pour obtenir un score global final pour une institution.

Pour des raisons de lisibilité, nous ne nous concentrons ici uniquement sur les universités françaises du top 200 du classement de Shanghai, et depuis 10 ans, soit entre 2013 et 2022, à savoir :

  • Aix-Marseille université ;
  • L’ENS Ulm, puis PSL ;
  • l’université Grenoble-I, puis Grenoble-Alpes ;
  • l’université Paris-XI, puis Paris-Saclay ;
  • l’UMPC, puis Sorbonne université ;
  • les universités Paris-V et Paris-VII puis Paris Cité ;
  • l’université de Bordeaux ;
  • l’université de Montpellier ;
  • l’université de Strasbourg.

Scruté par les pouvoirs publics au point d’influencer en partie leurs politiques en matière d’enseignement supérieur, et relayé par la presse qui lui aurait offert son influence, le classement de Shanghai note les "1 000 meilleurs universités du monde" sur 6 critères, chacun constituant une part de la note finale de l’établissement. L’édition 2022 est parue le 15 août. Sur quasiment tous les critères, la création des EPE à partir de 2020, ainsi que les fusions antérieures d’universités, a permis de progresser dans le classement.

Les chercheurs Daniel Egret, Domingo Docampo et Lawrence Cram ont réalisé une "anatomie du classement de Shanghai", article de recherche paru en juillet 2022 dans SN Social Sciences et qui tente de retrouver les résultats du classement de Shanghai pour en expliquer la fabrication. Les trois scientifiques mettent en garde les lecteurs sur la pertinence de certains critères et le nécessaire recul à avoir au moment de leur lecture.

Nobel et les médailles Fields : les trois quarts des universités ont un score de 0

Le premier critère, celui des Alumni, récompense les universités dont sont diplômés les lauréats de tous les prix Nobel ou de la médaille Fields. Cette note est relativement stable depuis 2013 pour les universités françaises du top 200. La création des EPE a légèrement favorisé PSL et Paris Cité :

  • En 2019, l’ENS reçoit la note de 48,2, tandis qu’en 2020 PSL, dont l’ENS est établissement-composante, affiche un score de 52,7.
  • De la même manière, du côté de Paris Cité, Paris-V et Paris-VII recevaient en 2019 la note de 10,6, tandis que Paris Cité, issue de leur fusion, obtenait en 2020 la note de 14,6.
  • Après cette augmentation, le score des deux universités se stabilise jusqu’en 2022.

Selon Daniel Egret, s’il permet de bien évaluer la "réputation de l’institution", le "prix Nobel est un fait trop rare, trop exceptionnel pour mesurer la qualité de l’enseignement d’un établissement". En effet, les trois quarts des universités classées en 2022 (75,8 %) ont 0 pour le critère Alumni. Quel rôle a joué la licence de mathématiques d’un récipiendaire de la médaille Fields, alors que celui-ci est récompensé pour ses travaux post-doctoraux ? "C’est un peu comme l’école maternelle qui s’enorgueillit d’avoir eu sur ses bancs un futur Nobel : ils ont peut-être donné le bon coup de pouce", confie Daniel Egret à AEF info. Un orgueil par ailleurs légitime, d’après le chercheur.

L’autre critère reposant sur des récompenses, le critère Award, quant à lui, ne donne des points qu’à l’établissement d’exercice du lauréat au moment où ce dernier reçoit son prix. Pour ce critère, la création des EPE a largement dopé le score de PSL et de Paris-Saclay.

  • En 2019, l’université Paris-Sud avait un score de 53,6 points, tandis que celui de la nouvelle entité Paris-Saclay s’établit, en 2020, à 74,6 : une croissance en un an de plus de 20 points, alors que le score de Paris-Sud n’avait pas varié de plus d’un point depuis 2013.
  • Même schéma pour PSL : le score de l’ENS en 2019 était de 27,6, et passe à 48 pour PSL en 2020. Ici aussi une augmentation de plus de 20 points d’une année sur l’autre.
  • Comme pour le critère Alumni, leurs scores se sont stabilisés après l’augmentation liée à la fusion, Paris-Saclay perdant un peu plus d’un point entre 2020 et 2022 et PSL 0,9.

Le score des autres établissements du top 200, fusionnés ou non, est stable depuis 2013.

Dans la visualisation ci-dessous, retrouvez l’évolution du score des universités françaises du top 200 sur les indicateurs Alumni et Award depuis 2013, en cliquant sur les boutons rouges.

Quid des fusions avant 2013 ?

 

Les fusions d’universités ne sont pas nouvelles, et parmi celles qui figurent dans le top 200 du classement de Shanghai, certaines sont survenues avant 2013, date à laquelle notre analyse démarre. Il s’agit des trois universités de Strasbourg en 2009 et des trois universités d’Aix-Marseille en 2012.

  • S’agissant de Strasbourg, Strasbourg-I avait déjà quitté le top 100 en 2008, soit un an avant la fusion, avant d’y revenir seulement en 2013 pour trois éditions successives et de le quitter à nouveau à partir de 2016. Dans le détail des différents critères également, l’université de Strasbourg fusionnée ne montre pas de variations significatives de son score depuis de la fusion.
  • Du côté d’Aix-Marseille en revanche, Aix-Marseille-I Provence et Aix-Marseille-II Méditerranée se côtoient dans le classement depuis 2003. ARWU les rassemble dès 2011 et cela se traduit par des scores supérieurs pour la nouvelle Aix-Marseille université. C’est particulièrement le cas pour le critère N&S : entre 2003 et 2011, Aix-Marseille-II hisse doucement son score de 14 à 17 (+3 points), et Aix-Marseille-I de 3 à 10 (+7 points), tandis que le score de la nouvelle AMU s’établit dès 2011 à 22,4 pour se stabiliser par la suite. C’est encore plus flagrant avec le volume de publications : alors que Marseille-II est notée 27,6 en 2010 (+2 points par rapport à 2003), et Marseille-I 22,3 (+1 point par rapport à 2003), la nouvelle université obtient le score de 44,3 en 2011.

Chercheurs hautement cités : La méthode en question

Le critère HiCi accorde des points aux établissements en fonction du nombre de chercheurs figurant sur la liste des chercheurs hautement cités établie par Clarivate Analytics (lire sur AEF info). Pour les universités françaises du top 200, ce critère est très volatil et certains établissements peuvent passer, d’une année sur l’autre, d’un score élevé à un score nul. Ce fut le cas pour Grenoble-I par exemple, qui passe d’une note de 20,5 en 2016 à 0 alors qu’elle est fusionnée, cette année-là, dans Grenoble-Alpes. Ce regroupement avec les deux autres universités de la métropole grenobloise ne suffit pas à la faire remonter avant 2019. En 2019, Grenoble-Alpes s’établit à 7,3, puis 23,2 l’année suivante avant de se stabiliser.

  • Paris-XI est notée 25,4 en 2019 tandis que Paris-Saclay obtient un score de 42,6 en 2020. Par la suite, Paris-Saclay chute de 10 points entre 2021 et 2022 (de 42,5 à 32,1).
  • PSL est à 15,7 en 2020 quand l’ENS Ulm affichait un score de 0 en 2019. Ensuite PSL ne varie pas de plus d’un point entre 2020 et 2022.
  • Paris-VII est à 10,4 en 2019 et Paris-V à 19,4 quand Paris Cité est à 28 en 2020. L’université, après une baisse à 25,3 en 2021, remonte à 28,2 en 2022.

Mais il est difficile de faire confiance à cet indicateur d’une année sur l’autre. Comme les chercheurs Daniel Egret, Domingo Docampo et Lawrence Cram l’indiquent dans leur étude, les méthodes de Clarivate Analytics pour identifier les chercheurs hautement cités, et celles de ShanghaiRanking pour distribuer les points, ont considérablement changé à travers le temps, ce qui ajoute de l’instabilité à un critère qui l’était déjà par nature. "La perte ou le gain d’une affiliation [d’un chercheur hautement cité (HCR)] a un effet particulièrement sensible lorsqu’il n’y a que peu de HCR dans un établissement, entraînant potentiellement un changement qui peut atteindre une centaine de places dans l’ordre de classement", indique ainsi le rapport.

De plus, le classement de Shanghai ne prend en compte que la première affiliation citée parmi celles du chercheur dans la base de Clarivate Analytics. Or, en France, les règles d’affiliation primaire ont longtemps été aléatoires d’un établissement à l’autre, ou d’un organisme à l’autre. Daniel Egret avait produit, en 2019, une étude sur ce que seraient les scores des universités françaises dans le critère HiCi si les HCR mettaient tous leur université en première affiliation, et calculé des gains significatifs pour Grenoble (+58 places en 2018) ou l’université de Lorraine (+84 places en 2019) par exemple. À l’époque, il avait estimé que "près de la moitié des HCR [était] affiliés à un organisme de recherche ou à un hôpital, et ne [contribuait] donc pas au décompte final du classement des universités" (lire sur AEF info).

Début 2019, Frédérique Vidal, ministre de l’ESRI, a imposé que l’affiliation primaire des HCR soit l’université et non plus leur organisme de recherche pour une meilleure reconnaissance des universités dans les classements, dont celui de Shanghai. De fait, la part des universités dans les affiliations primaires est passée de 47 % en 2018 à 85 % en 2019, à la suite de cette consigne, avant de se tasser à 75 % en 2021, en raison de l’émergence d’autres catégories comme les écoles, "plus attentives à l’affiliation de leurs chercheurs", commentait Daniel Egret, en décembre 2021 (lire sur AEF info).

Dans la visualisation ci-dessous, retrouvez l’évolution du score des universités françaises du top 200 sur l’indicateur Hici depuis 2013.


Des ambiguïtés inhérentes à la bibliométrie

Les critères N&S (publications dans les revues Nature et Science) et PUB (nombre de publications indexées dans le science citation index expanded et le social science citation index de Clarivate Analytics) ont tous les deux été bénéfiques pour les universités issues de fusions. Le nombre de publications associées à telle ou telle université augmente mécaniquement lorsque fusion il y a, et le score grossit. Les EPE affichent tous une note dans le critère PUB entre 15 et 20 points supérieure à celles de leurs composantes avant 2020.

Ensuite, l’évolution est la même que pour les autres indicateurs : passé cette augmentation, les scores des EPE sur le critère N&S se stabilise, de même que sur le volume de publications. Les autres établissements, quant à eux, sont plutôt stables. Pas plus de deux points de variation d’une année sur l’autre pour Strasbourg dans le critère N&S, ni plus de quatre points pour Aix-Marseille sur le critère PUB par exemple.

Ces deux critères présentent des défauts liés aux ambiguïtés inhérentes à la bibliométrie. En effet, ARWU attribue des bonus aux établissements d’affiliation des chercheurs cités en première et deuxième positions de la liste des auteurs des articles évalués. Or, cette pratique peut ne pas être conforme à la réalité de la mise en forme des publications scientifiques. D’après Daniel Egret dans son Anatomie du classement de Shanghai, la façon dont la liste des auteurs a été établie, le fait que certaines publications soient signées du nom d’une institution ou d’un groupe de recherche, ou que certains index bibliométriques ou publications omettent certaines informations d’affiliation influence le très complexe calcul de répartition effectué par ShanghaiRanking.

Dans la visualisation ci-dessous, retrouvez l’évolution du score des universités françaises du top 200 sur les indicateurs N&S et PUB depuis 2013, en cliquant sur les boutons rouges.


Les différences de statuts des ETP entre les différents pays influent sur le critère PCP

Le dernier critère du classement de Shanghai a été créé à la suite de critiques concernant la "prime à la taille" induite par les autres, favorisant les "gros" établissements. Il vient diviser les indicateurs par le nombre d’ETP de l’établissement. Ainsi, alors que les établissements français du top 200 présentent quasiment tous une progression stable sur cet indicateur à travers le temps, le score de l’ENS Ulm en 2019 est très au-dessus de celui de PSL dans laquelle elle est fusionnée en 2020. L’ENS affiche un score de 76,6 en 2019, tandis que PSL se voit attribuer la note de 23,3 en 2020, rejoignant la moyenne des autres établissements classés, la "faute" à l’évolution brusque de son nombre d’effectifs.

Le rapport de Daniel Egret, Domingo Docampo et Lawrence Cram rapporte des anomalies fréquentes dans les données utilisées pour créer cet indicateur. Pour que le nombre d’ETP soit fiable, il est nécessaire que les listes rendues publiques par les États soient exhaustives, que les établissements d’affiliation des ETP correspondent à ceux répertoriés par le classement de Shanghai, et que les différents statuts et conditions d’emplois dans les systèmes d’enseignement supérieur dans le monde ne soient pas trop éloignés. En France par exemple, les données en open data ne rassemblent que les enseignants-chercheurs, et les effectifs qui ne dépendent pas du MESRI, mais qui font pourtant de la recherche, ne sont pas comptés. C’est le cas par exemple des Mines ou de l’école Polytechnique. Des écarts susceptibles de fausser cet indicateur.

Dans la visualisation ci-dessous, retrouvez l’évolution du score des universités françaises du top 200 sur l’indicateur PCP depuis 2013.


à lire aussi
Fermer
Bonjour

Vous souhaitez contacter

Pierre Deroudilhe, journaliste