Google ou Nvidia, qui a le plus gros supercalculateur d’IA ?

Les déconvenues de Bard, le grand modèle de langage de Google censé concurrencer ChatGPT, ne doivent pas faire oublier que Mountain View un géant de l’intelligence artificielle (IA). C’est ce qu’ont tenu à rappeler les chercheurs de l’entreprise en dévoilant le 5 avril le supercalculateur d’IA maison, plus performant que le leader en ce domaine, Nvidia.

Google ne veut pas être enterré trop vite

Nvidia représente aujourd’hui environ 90 % du marché des puces destinées à la formation et au fonctionnement des IA. C’est grâce à ses puces A100 que ChatGPT d’OpenAI a été formé. C’est ce statut que vient titiller Google. L’entreprise affirme que son supercalculateur basé sur des puces maison est, à taille égale, 20 % à 70 % plus rapide que son concurrent et utilise 30 % à 90 % d’énergies en moins.

Google est loin d’être un simple challenger dans le monde de l’IA, le géant a même longtemps fait figure de tête de pont. Si l’entreprise a raté la marche commercialisation de ses produits, sa technologie existe bel et bien.

Le supercalculateur présenté mercredi, basé dans l’Oklahoma, fonctionne en réalité depuis 2020. Il a déjà servi à former le générateur d’image à partir de texte Midjourney de la start-up éponyme. Il a aussi entraîné le modèle PaLM, plus grand modèle révélé par Google, comptant 540 milliards de paramètres, quand GPT-3 en compte 175 milliards.

Crédit : Google

Les 4 096 puces qui composent l’appareil existent, dans leur première version, depuis 2016. Ce sont ces Tensor Processing Unit (TPU), aujourd’hui à leur quatrième génération. Elles sont utilisées dans 90 % des travaux liés à l’IA de l’entreprise. Celle-ci, toutefois, ne se prive pas d’utiliser des puces Nvidia ou à les louer à l’heure au sein de son service Cloud.

L’IA, cela coûte cher

Dans un billet de blog accompagnant la sortie de l’article, ses deux auteurs principaux, Norm Jouppi et David Patterson revendiquent que « Les performances, l’évolutivité et la disponibilité font des supercalculateurs TPU v4 les chevaux de bataille des grands modèles de langage ». Ils conviennent cependant que les TPU n’ont pas été comparés au H100, le dernier-né de Nvidia, dont les performances sont sans cesse vantées par le PDG de l’entreprise, Jen-Hsun Huang.

Aujourd’hui, l’enjeu pour les supercalculateurs d’IA et les puces qui les composent n’est pas la simple puissance, c’est surtout l’efficacité. Entraîner et garder active 24 heures sur 24 une IA générative coûte extrêmement cher. Une priorité est donnée à l’optimisation des composants, puces et autre, mais aussi des logiciels des supercalculateurs d’IA pour réduire la dépense énergétique sans nuire à la puissance de calcul.