Meta révèle son superordinateur en IA pour préparer l’arrivée du Métavers

Pendant qu’une partie du monde était en train de déprimer en regardant Netflix durant les confinements en 2020, les équipes de Facebook se sont attelées à la tâche de développer son futur super ordinateur en Intelligence artificielle. Le AI Research SuperCluster (RSC) s’est dévoilé le 24 janvier. À en croire Mark Zuckerberg « Meta a développé ce que nous croyons être le superordinateur le plus rapide au monde ».

Un système d’apprentissage pour les futurs IA du métavers

Ce superordinateur doit former de grands modèles d’IA avec des trillions de paramètres. Cela permettra « de travailler dans des centaines de langues différentes, d’analyser de manière transparente des textes, des images et des vidéos, de développer de nouveaux outils de réalité augmentée, etc ».

RSC a déjà commencé à former de grands modèles de traitement de langage naturel et de vision par ordinateur. Ces derniers seront utilisés pour soutenir la modération de Meta sur ses plateformes, un sujet extrêmement sensible en ce moment pour l’entreprise, et créer de nouveaux services pour le futur métavers de l’entreprise.

Meta a donné quelques avant-goûts des possibilités ouvertes. Par exemple la création de systèmes de traduction vocale en temps réel de toujours plus de langues, dialectes, accents, ou des modèles capables d’étudier des vidéos longues en prenant en compte plus de données, de développer un modèle de reconnaissance vocale capable de fonctionner même dans des situations complexes telles qu’une fête ou un concert.

Jerome Pesenti, vice-président de l’IA chez Meta, a expliqué au Wall Street Journal que « dans le métavers, c’est 100% du temps, une expérience multisensorielle en 3D, et vous devez créer des agents d’intelligence artificielle dans cet environnement qui sont pertinents pour vous ». Cela signifie des IA plus conscientes du contexte, plus subtil dans son analyse d’une situation que celle existante aujourd’hui.

Crise Covid-19 et pénurie de semi-conducteurs en trouble-fête

Pour le construire, Meta, qui dispose déjà d’un superordinateur créé en 2017, est reparti de zéro. Le but étant de profiter des nouveaux progrès technologiques en infrastructure informatique. L’entreprise a travaillé avec Penguin Computing, Pure Storage, et Nvidia pour un développement lancé dans un monde perturbé par la pandémie de Covid-19.

Aux contraintes du travail en distanciel de la première phase de développement s’est additionnée la difficulté de se fournir en puces ou GPU en pleine pénurie de semi-conducteur. RCS compte, pour sa phase 1, 760 systèmes DGX A100 représentant 6 080 GPU, ce qui lui permet déjà au cours des premiers tests de travailler 20 fois plus vite que son prédécesseur sur la vision par ordinateur et exécuter des systèmes de compréhension de langage naturel à grande échelle trois fois plus vite. Pour apprendre à des modèles avec des dizaines de milliards de paramètres, il lui faut 3 semaines au lieu de 9.

Le nouveau superordinateur de Meta surpasse déjà son prédécesseur. Crédit : Meta

Le superordinateur le plus puissant du monde… Dans son domaine

RCS doit atteindre 16 000 GPU d’ici la mi-2022, multipliant par 2,5 ses performances d’apprentissages IA. Nvidia a déjà confirmé qu’il s’agira de la plus grande installation client existante. Pour gérer, les données affluent dans son superordinateur, Meta prévoit un exaoctet de stockage, soit 36 000 ans de vidéo haute qualité.

Avec cette configuration, RCS devrait bel et bien devenir le superordinateur le plus rapide du monde, devant le superordinateur japonais Fugaku trustant le haut du classement des superordinateurs du site indépendant top500.org depuis 2020.

Une performance à nuancer cependant. Le RCS ne fonctionne pas tout à fait sur le même plan que les superordinateurs classiques destinés aux états et universités. Shubho Sengupta, ingénieur sur le projet, a expliqué au Wall Street Journal, « Les superordinateurs ordinaires sont optimisés pour une activité de haute précision, tandis que les superordinateurs d’IA fonctionnent sur des niveaux de précision beaucoup plus faibles, gagnant en vitesse sans affecter les résultats finaux ».

La performance et les promesses du RCS n’en restent pas moins impressionnantes. Meta n’a dévoilé ni l’emplacement de son superordinateur ni l’investissement nécessaire à sa construction. Les Échos note cependant qu’en 2020 l’entreprise a dépensé 18 milliards de dollars en recherche et développement. Il faut au moins une partie de cette somme pour créer le superordinateur qui entraînera les futurs IA du métavers.