La facture salée du fonctionnement des IA génératives

Le succès de ChatGPT aurait un sérieux revers pour OpenAI, il lui coûte extrêmement cher. Le processus « d’inférence » qui permet de générer du texte pour un programme d’apprentissage automatique nécessite une énorme puissance de calcul, multipliée par le nombre d’utilisateurs. L’utilisation par un moteur de recherche d’une IA générative serait loin d’être une bonne affaire… pour le moment.

Les coûts invisibles de l’IA

En janvier, selon Rowan Curran, analyste pour Forrester, le traitement des requêtes soumises à ChatGPT a pu coûter jusqu’à 40 millions de dollars. CNBC, qui a relayé l’estimation, rapporte que la start-up Latitude, à l’origine du jeu de rôle animé par l’IA, AI Dungeon, a dû débourser, à son apogée, près de 200 000 dollars par mois. Son co-fondateur, Nick Walton a rapporté au média américain « Nous plaisantions en disant que nous avions des employés humains et des employés IA, et que nous dépensions à peu près autant pour chacun d’entre eux ».

Ces sommes s’envoleraient avec le grand nombre d’utilisateurs d’un moteur de recherche. Dans une interview accordée à Reuters, John Hennessy, président d’Alphabet, a estimé qu’un grand modèle de langage coûterait 10 fois plus cher que la recherche par mot-clef. Selon des estimations de Morgan Stanley, si une IA type ChatGPT devait traiter la moitié des requêtes de Google, avec des réponses de 50 mots, ses dépenses augmenteraient de 6 milliards de dollars d’ici 2024.

Comme l’explique John Hennessy, « Ce sont les coûts d’inférence que vous devez réduire ». C’est le prix de la puissance de calcul nécessaire pour faire fonctionner des IA à plusieurs dizaines de milliards de paramètres, 175 milliards pour ChatGPT-3. Cette puissance est principalement exécutée par des GPU fournit par Nvidia. Ils sont utilisés par 95 % des systèmes d’IA pour leur capacité à effectuer simultanément plusieurs calculs. La puce A100, la plus répandue coûte à l’unité 10 000 dollars.

Selon un calcul de CNBC, basé sur des informations révélées par Meta, l’entraînement de son modèle LLaMa, à 65 milliards de paramètres, a nécessité 2 048 GPU, durant un million d’heures. Au tarif d’AWS, la location d’une telle capacité aurait coûté plus de 2,4 millions de dollars. Pour OpenAI la facture de l’entraînement de son modèle a pu atteindre les 4 millions de dollars.

Un problème à résoudre dans les années qui viennent

Le prix pour entraîner et faire fonctionner un modèle, en particulier populaire, risque de poser un problème de concentration. À l’heure où l’économie inquiète, où les investisseurs attendent des retours sur investissements plus rapides de la part des entreprises Tech, seules les plus grosses structures pourront développer de vastes modèles, Meta, Google ou Microsoft via son soutien à OpenAI.

Ce coût pourrait cependant se contracter dans les années à venir. La loi de Moore, selon laquelle la puissance des puces ne va qu’en augmentant à prix constant est par exemple convoquée, notamment par Jensen Huang, le PDG de Nvidia. C’est aussi une piste pour de future et actuelle start-up à se spécialiser dans la réduction des tarifs d’inférence. Les employés d’OpenAI auraient, par exemple, réussi à réduire les prix grâce à un code rendant plus performantes les puces. Enfin, de nombreuses entreprises décident tout simplement d’exploiter des modèles plus petits, plus spécialisés, donc plus économes.