La Chine a développé et lancé 79 modèles de langage en trois ans

Entre 2020 et 2023, les entreprises, organismes et laboratoires chinois ont lancé 79 modèles de langage selon un rapport proposé par l’institut chinois des sciences et des technologies de l’information (ISTIC) géré par Pékin. Ces trois dernières années, la Chine a redoublé d’efforts pour essayer d’aligner sur les États-Unis, le pays qui en développe le plus.

En trois ans, la Chine a fait des efforts colossaux pour rattraper les États-Unis

Au cours de l’année 2020, l’Amérique proposait onze nouveaux modèles de langage dont le très célèbre GPT-3, plus gros modèle de langage jamais entraîné au moment de sa sortie, avec 175 milliards de paramètres. De son côté, l’Empire du Milieu n’en proposait que deux, bien moins performants que ceux proposés par son rival technologique.

Conscient de son retard, le gouvernement chinois a décidé de passer à la vitesse supérieure. Le rapport relayé par Reuters indique que le développement des modèles NLP formés à l’aide de techniques de deep learning utilisant une immense quantité de données, « serait entré dans une phase accélérée à la fin de l’année 2020 ». Afin de soutenir ces efforts, les municipalités et gouvernements locaux ont investi dans la production de matériel informatique performant, nécessaires à la création de ces modèles.

De ce fait, de deux modèles de langage proposés en 2021, la Chine en a proposé 30 l’année suivante, égalant le rythme de production américain. L’année dernière, l’Empire du Milieu en a développé 28, seulement dépassés par les États-Unis qui ont atteint un record avec 37 modèles lancés.

Les modèles de langage, une branche de l’IA qui intéresse grandement Pékin

Comme le précise le rapport, « les Etats-Unis et la Chine se sont placés en tête du développement mondial de ce genre de modèles et ont contribué à 80 % des modèles d’IA à grande échelle à travers le monde ». Néanmoins, la Chine est encore en retard par rapport aux États-Unis sur la période 2020-2023, subissant encore le départ canon des chercheurs et développeurs américains dans ce secteur.

Selon Zhao Zhiyun, la directrice de l’ISTIC, « le développement des modèles d’IA à grande échelle de la Chine est en plein essor, avec plusieurs pistes techniques réalisant des percées simultanées ». Sont privilégiés à l’heure actuelle les modèles de traitement du langage naturel (NLP) au détriment des modèles multimodal, plutôt utilisés pour des outils de génération d’images à l’instar de DALL-E 2.

« Plus d’efforts seront nécessaires pour stimuler la planification et la coordination globale des ressources, mais aussi accélérer la recherche fondamentale et l’innovation technologique, de façon à participer activement dans la gouvernance mondiale de l’IA », d’après Zhao Zhiyun. À la fin du mois de mai 2023, la Chine était toutefois en tête du classement du nombre de modèles développés avec 19 contre 18 aux États-Unis qui se sont démarqués avec la sortie de GPT-4.