AutoFlip : l’IA de Google qui recarde une vidéo en fonction de votre écran

La plupart des vidéos tournées et montées pour la télévision sont en mode paysage. On parle le plus souvent de 16:9 ou de 4:3, très bien, mais tous les écrans ne sont pas forcément adaptés à ces formats. C’est notamment le cas des smartphones. C’est pour cette raison que Google a développé AutoFlip, une intelligence artificielle capable de recadrer intelligemment votre vidéo pour qu’elle s’adapte parfaitement à votre écran.

Crédit : Google

AutoFlip : le nouvel outil indispensable des vidéastes ?

Nathan Frey et Zheng Sun, chercheurs chez Google, sont partis du constat que les approches traditionnelles pour recadrer une vidéo impliquent généralement un recadrage statique. Cela conduit le plus souvent à des résultats insatisfaisants, pas suffisamment adaptés. Avec AutoFlip, Google analyse chaque image, chaque transition, pour que la lecture de la vidéo soit optimale, même dans un autre format que celui prévu initialement.

Cette IA est entièrement automatisée grâce aux technologies de détection et de suivi d’objets qui sont en mesure de comprendre le contenu vidéo. Par exemple, le système est capable de détecter des changements dans la composition de l’image, pour isoler une scène et la traiter de manière plus pointue. Chaque plan est analysé avant que la scène ne soit recadrée. AutoFlip calcule l’histogramme des couleurs de chaque image et le compare aux images précédentes pour détecter les changements de plans.

Une IA hyper précise qui analyse les « objets » d’une scène

Pour ne jamais se tromper, l’intelligence artificielle met la vidéo en mémoire tampon jusqu’à ce que la scène soit complète avant de prendre la décision de la recadrer définitivement ou pas, afin d’optimiser le recadrage pour l’ensemble de la scène. AutoFlip se sert de modèles de détection « d’objets » pour analyser et détecter avec précision les contenus les plus intéressants dans une scène : les personnes, les animaux, les superpositions de texte, les logos ou les mouvements.

En fonction de la manière dont les « objets » se comportent, AutoFlip va déterminer la meilleure stratégie de recadrage à adopter. Les chercheurs affirment qu’ils doivent encore améliorer certains point de leur intelligence artificielle, comme la détection du locuteur pour les interviews ou la détection des visages des personnages dans les dessins animés. Frey et Sun précisent que :

« Nous sommes ravis de proposer cet outil directement aux développeurs et aux cinéastes, en réduisant les obstacles à leur créativité en matière de conception et de portée grâce à l’automatisation du montage vidéo. La capacité d’adapter n’importe quel format vidéo à divers formats devient de plus en plus importante, car la diversité des supports de contenu vidéo augmente rapidement ».