Amazon développe un modèle de langage prêt à concurrencer GPT-4

Amazon a dernièrement monté une équipe dans le but de développer un modèle de langage (LLM) performant. Le géant de l’e-commerce est impliqué depuis plusieurs mois dans une course à l’intelligence artificielle (IA) générative, et souhaite désormais concurrencer ses rivaux grâce à un outil à la pointe de la technologie.

Discret sur l’IA, jusqu’à maintenant

L’équipe mise en place par la firme de Jeff Bezos est dirigée par Rohit Prasad, l’ancien directeur du machine learning et vice-président sénior d’Alexa. Il a fait appel à plusieurs chercheurs spécialisés dans l’IA ayant collaboré pour Alexa et pour l’équipe scientifique d’Amazon avec pour objectif de travailler sur des modèles de formation performants.

Ce groupe de chercheurs travaille tout particulièrement sur le projet « Olympus », un LLM qui comporterait 2 000 milliards de paramètres selon les témoignages recueillis par Reuters. À titre de comparaison, le dernier modèle d’OpenAI, GPT-4, est estimé, selon certains spécialistes, à 1 000 milliards de paramètres.

Si Amazon a décidé de se lancer ce défi, c’est parce qu’elle considère qu’en possédant ses propres modèles de langage elle pourrait rendre ses services plus attractifs. En interne, la société se serait rendu compte que ses clients, en particulier de la branche cloud AWS, se servaient plus régulièrement des outils les plus puissants. Pour l’heure, aucune information n’a fuité autour de la date de lancement d’Olympus.

Changement de stratégie chez Amazon ?

Jusqu’à présent, le groupe avait adopté une voie bien différente en matière d’intelligence artificielle générative. En avril dernier, AWS avait lancé Bedrock, son offre regroupant une multitude de modèles provenant de start-up spécialisées comme AI21 ou Anthropic. La division cloud de la société y proposait également Titan, son modèle de formation d’outils d’IA générative bien moins performants que les LLM les plus avancés.

Adam Selipsky, directeur exécutif d’AWS, affirmait vouloir offrir « le choix et la flexibilité » à ses clients, conscient « qu’il est peu probable qu’un seul modèle puisse répondre aux besoins de tous nos clients ». En juin, Amazon avait lancé un centre d’innovation dédié à l’IA générative dans le cadre d’un investissement de 100 millions de dollars. L’ensemble des spécialistes du centre accompagnent les entreprises clientes du groupe dans l’adoption de cette technologie. « Nous cherchons non seulement à renforcer notre position sur le marché de l’IA, mais aussi à aider d’autres entreprises à exploiter le potentiel de l’IA générative », affirmait Amazon.

En parallèle, l’entreprise a décidé d’investir dans des start-up d’IA prometteuses, à commencer par Anthropic. Amazon a déjà injecté 1,25 milliard dans la jeune pousse et envisage de monter jusqu’à 4 milliards de dollars. Une tactique évoquant celle de Microsoft avec OpenAI. En décidant de développer en interne ses propres technologies, la société créée par Jeff Bezos a décidé de multiplier ses armes face à la concurrence.