L’amélioration des technologies d’imageries permet aujourd’hui à bon nombre de passionnés de pouvoir capturer des vidéos en slow motion. Notre oeil voit 30 images par seconde. De nombreux appareils offrent la possibilité de capter en 60 images par seconde pour un rendu de meilleure qualité. Lorsqu’il s’agit de capturer une vidéo au ralenti, il faut obligatoirement augmenter le nombre d’images par seconde, afin de ne pas avoir un effet saccadé. Cela impose de faire particulièrement attention à la vitesse de ralenti, ainsi que sa durée. Pour celles et ceux n’ayant pas le matériel pour réaliser des ralentis forts, NVIDIA a créé une intelligence artificielle qui simule les images manquantes et supprime cet effet saccadé.
Dans un article publié sur son site, NVIDIA explique qu’il « y a beaucoup de moments mémorables dans votre vie que vous pourriez vouloir enregistrer avec une caméra au ralenti parce qu'ils sont difficiles à voir clairement avec vos yeux : la première fois qu'un bébé marche, un tour de skateboard difficile, un chien qui attrape une balle. Bien qu'il soit possible de prendre des vidéos de 240 images par seconde avec un téléphone cellulaire, il n'est pas pratique d'enregistrer tout cela à des fréquences d'images élevées, car cela nécessite de grandes quantités de mémoire et exige beaucoup d'énergie pour les appareils mobiles. »
En mettant au travail ses GPU Tesla V100 et un framework cuDNN sur Pytorch, l’équipe de chercheurs a entraîné son programme sur 11 000 vidéos enregistrées à 240 images par seconde. Une fois suffisamment entraînée, leur IA est devenue capable de prédire des images supplémentaires. Grâce à cela, il est possible de capturer une vidéo avec moins d’images par seconde, et lui appliquer un slow motion fluide.
« Notre méthode peut générer de multiples images intermédiaires qui sont cohérentes dans l'espace et dans le temps. Notre approche multi-images surpasse constamment les méthodes de pointe d'images uniques. »
Les travaux sur l’image chez NVIDIA sont à chaque fois surprenants par leur complexité, et le résultat final. Récemment, la société a créé une IA capable de réparer une photo et détectant un élément manquant. Comme pour prédire une image entre deux autres pour créer un ralenti, ici, le programme est capable d’imaginer ce qu’il devrait y avoir sur l’espace vide. Une autre IA créée à la fin de l’année 2017 a la capacité de créer de faux paysages, en changeant la météo sur une photographie par exemple.
