Omniverse, santé, automobile… Nvidia présente le monde de demain

Omniverse, avatars, réalité virtuelle, automobile, santé connectée… Jensen Huang, PDG de Nvidia a présenté lors de sa GTC Keynote les nombreuses initiatives sur lesquelles travaille actuellement la société. Des domaines qui devraient à terme permettre des avancées considérables dans certains domaines.

Nvidia est surtout connue du grand public pour ses processeurs et ses cartes graphiques. Mais son domaine d’activité est bien plus large et, comme la plupart des entreprises technologiques, la société cherche à imaginer le monde de demain. Lors d’une présentation à la conférence annuelle GTC de la société, Jensen Huang, PDG de Nvidia a présenté ses derniers projets en date taillés pour étendre l’utilité de son propre métavers appelée Omnivers.

Lancé officiellement en avril dernier, l’Omniverse de NVIDIA est un espace de travail collaboratif en 3D permettant de créer des simulations réalistes et complexes à des fins diverses. Elle s’est par exemple associée à l’entreprise Lockheed Martin pour l’aider à mieux comprendre la propagation des feux de forêt en créant des simulations sur des « jumeaux numériques » de lieux réels. Elle permet également à Ericsson la construction de simulations à l’échelle de villes afin de simuler la répartition des antennes 5G avant déploiement pour assurer une couverture maximale. « Nous pensons que ces mondes virtuels seront l’élément qui permettra la prochaine ère d’innovation, qu’il s’agisse de faire de la visualisation et des aménagements pour les villes, de faire des simulations terrestres pour les modèles météorologiques, de la production numérique ou de la génération de données synthétiques pour les véhicules autonomes », a déclaré Richard Kerris, vice-président du développement de la plate-forme Omniverse. « Les mondes virtuels sont essentiels pour la prochaine génération d’innovation. Et nous avons construit Omniverse pour servir cela, cette opportunité ». En version bêta depuis quelques années déjà, la plateforme qui rassemble actuellement 700 entreprises et près de 70 000 créateurs individuels est désormais disponible à tous en bêta ouverte, avec à la clé, de nouvelles fonctionnalités.

Ericsson teste les signaux de son réseau 5G sur Omniverse.
Crédit image : Nvidia

Avec Avatar Omniverse, Nvidia vient concurrencer Meta

Certainement la fonctionnalité qui a le plus fait parlé d’elle, la fonction Avatar de Nvidia Omniverse, permet de générer des avatars immersifs pilotés par l’intelligence artificielle. Elle combine dans un seul package plusieurs technologies d’intelligence artificielle pour la synthèse vocale (nommée Riva), de vision par ordinateur (Metropolis), de compréhension du langage naturel (modèle Megatron 530B) et la recommandation (Merlin) permettant de créer des avatars en 3D capables de comprendre une discussion avec des humains et converser avec eux. Jensen Huang a été mis à profit pour faire la démonstration de cette technologie puisqu’une version animée de lui en 3D a été utilisée pour répondre à des questions sur des sujets tels que le changement climatique et la production de protéines.

Une autre démo a permis de voir l’utilité d’une telle technologie dans la vie réelle en mettant en avant un avatar utilisé comme agent virtuel (projet Tokkio) chargé d’expliquer le menu d’un fast food à un couple. À voir si dans les faits une telle technologie reste utile (Huang a noté dans sa présentation que l’avatar a un temps de réponse de deux secondes – plus lent que celui d’un humain et susceptible de provoquer des frustrations si les clients sont pressés), mais la société propose ses outils, charge aux marketeurs d’en étendre les possibilités d’utilisation. D’autant plus que l’on peut facilement imaginer les économies réalisées sur les frais de personnel si l’IA s’avère performante.

Dans un autre exemple, la société a créé un avatar Omniverse à partir de la photo d’une femme et a utilisé Riva pour entraîner sa voix, convertir le texte en paroles et traduire dans différentes langues instantanément. La doublure numérique ressemble ainsi fortement à la personne réelle et la technologie de suivi du visage permet de maintenir le contact visuel avec ses interlocuteurs et répondre à leurs expressions faciales. Mis en situation de vidéoconférence (le projet Maxine qui vise à supprimer les freins des vidéos à distance), cet avatar peut servir de doublure en proposant une version de soit sur son 31 et dans un environnement neutre, alors que dans les faits on est vêtu d’un jogging en terrasse d’un café bruyant.

La majeure partie du kit de développement Maxine est déjà disponible. Riva est utilisable dès maintenant dans une version bêta ouverte et sera gratuit pour les travaux à petite échelle. En revanche, il faudra attendre plus longtemps pour obtenir Omniverse Avatar qui est en cours de développement, sans qu’une date de lancement n’ait été précisée.

Nvidia Replicator : l’outil qui vient muscler les IA

Nvidia ne s’est pas arrêtée en si bon chemin et en a profité pour présenter d’autres outils tels qu’Omniverse Replicator. Les intelligences artificielles manquant parfois de pertinence à cause de la mauvaise qualité de leurs données, Replicator vient donc corriger cela aider les entreprises à créer de meilleurs jumeaux numériques, et donc de meilleurs outils alimentés par l’IA dans le monde réel… En d’autres termes, il s’agit d’un moteur de génération de données synthétiques visant à accélérer l’entraînement de réseaux neuronaux profonds pour les applications d’IA.

En guise d’exemple, la société a présenté 2 réplicateurs. L’un pour DRIVE SIM, un monde virtuel permettant d’héberger des véhicules autonomes et d’effectuer des simulations sur route. Le replicator créé pour l’occasion vient ainsi produire des données permettant d’entraîner les réseaux de perception de l’IA pour les véhicules autonomes permettant au constructeur de s’affranchir des contraintes des essais dans la vie réelle. L’autre a été créé pour Isaac Sim, un espace de simulation pour les robots. Le Replicator vient donc entraîner l’IA des robots à prendre de meilleures décisions. Rev Lebaredian, vice-président de la technologie de simulation et de l’ingénierie Omniverse chez Nvidia, a ainsi expliqué lors d’un point de presse. « Une fois que vous avez une représentation précise de quelque chose qui est dans le monde réel à l’intérieur du monde virtuel, et que vous avez un simulateur qui peut simuler avec précision comment le monde se comporte, vous pouvez faire des choses assez étonnantes. »

Nvidia Omniverse Drive permet de tester des exercices de conduite autonome dans un monde virtuel. Image : Nvidia.

Omniverse VR

Nvidia a également ajouté de nouvelles fonctionnalités liées à la réalité augmentée, la réalité virtuelle et le rendu multi-GPU (unité de traitement graphique). On y retrouve pèle mêle :
– CloudXR pour que les développeurs puissent faciliter la diffusion interactive des expériences Omniverse sur leurs appareils mobiles de RA et de RV ;
– Omniverse Farm qui permet d’orchestrer plusieurs serveurs pour effectuer des tâches telles que le rendu, la génération de données synthétiques, la conversion de fichiers ou la simulation ;
– Omniverse Showroom qui permet aux utilisateurs lambda de jouer avec des démonstrations sans en maîtriser les outils ;
– Omniverse XR Remote offre des capacités de réalité augmentée et des caméras virtuelles.

Avec Drive Hyperion 8, Nvidia met un grand pied dans le secteur automobile

Nvidia a également annoncé Drive Hyperion 8, une plateforme regroupant capacité de calcul, capteurs et outils logiciels permettant aux constructeurs automobiles de développer rapidement un véhicule autonome. Livré avec une puce Orin et divers capteurs (12 caméras, 12 capteurs à ultrasons et 9 radars) cette plateforme qui arrivera dans les premiers véhicules en 2024 a déjà trouvé des clients prestigieux tels que Lotus Cars, Mercedes Benz, Volvo et même le géant chinois Baidu pour ses véhicules Apollo.

Nvidia et la santé

Nvidia qui vient d’annoncer son partenariat avec Atos, a également présenté ses dernières fonctionnalités pour son projet Clara, une plateforme qui associe les capacités GPU de Nvidia pour le deep learning aux domaines de l’imagerie médicale et de la génomique. Clara est par exemple utilisée par les hôpitaux pour faire avancer les projets et les recherches sur le cancer qui grâce à l’IA arrivent désormais à déterminer les cas les plus susceptibles de se transformer en cancer malin. Toutes une série de projets lui sont ainsi associés. Clara Holoscan est une IA facilement implémentable dans n’importe quel dispositif médical permettant ainsi de transformer les données des capteurs en images pour les comparer à d’autres données. Les données de l’appareil et les prédictions résultantes peuvent ensuite être visualisées en 3D à l’aide de Clara Render Server d’obtenir une image plus réaliste d’un organe ou d’une tumeur. Le projet Nvidia Clara Discovery quant à lui est une IA permettant de mieux comprendre comment des milliards de molécules médicamenteuses interagissent dans notre corps ce qui est très utile pour détecter les meilleurs candidats dans le cadre de tests médicamenteux par exemple.

La présentation de Nvidia sur ses technologies est dense et foisonne d’informations que vous pouvez retrouver sur ici. Mais l’entreprise n’en est qu’aux balbutiements de son univers et d’autres utilisations de l’Omniverse sont encore à inventer. Cette bêta ouverte va désormais permettre à la société d’agréger une plus grande quantité de données pour améliorer sa plateforme. Même la série animée South Park l’utilise pour permettre à ses créateurs de collaborer sur des scènes et d’optimiser leur temps de production extrêmement limité. Les domaines de son utilisation sont donc variés et bien plus prometteurs que ce que Meta ou encore Microsoft nous ont présenté jusqu’à présent.