Intelligence Artificielle Réseaux Sociaux

YouTube Stories : une IA de Google est capable de changer l’arrière plan des vidéos, sans fond vert

Youtube Stories, un concurrent sérieux pour Snapchat et Instagram ?

Google a décidé de former de plus en plus de personnes à l’Intelligence Artificielle et au Machine Learning avec sa plateforme : Learn With Google AI. Pour ceux qui en doutaient, l’entreprise américaine est totalement légitime à éduquer sur ces sujets, car elle développe de nombreuses technologies autour de ces domaines. On peut citer l’IA capable de savoir si les photos vont plaire aux autres humains, Creatism : l’IA qui édite les photos comme un professionnel ou encore celle capable de rédiger des articles Wikipédia.

Il est ainsi normal que Google annonce être capable de modifier le fond des vidéos des utilisateurs des stories YouTube.  YouTube Stories, c’est le nouveau nom donné à YouTube Reels, la fonctionnalité qui permet aux créateurs de contenus de partager des vidéos verticales avec leurs abonnés.

Une IA de Google est capable de modifier le fond vert des Youtube Stories

Google a ainsi créé un outil de « segmentation vidéo » pour les smartphones. La segmentation vidéo est une technique utilisée dans le cinéma et d’une manière générale dans la création de contenus vidéos. Elle consiste à séparer le premier plan d’une scène de l’arrière-plan et de les traiter comme deux couches différentes. Une opération fastidieuse et qui nécessite bien souvent un écran vert. Le plus dur dans la segmentation vidéo est d’obtenir une continuité temporelle, d’une trame à l’autre en faisant attention lorsque les personnes bougent ou apparaissent soudainement.

Google a ainsi utilisé le machine learning  et conçu une architecture de réseau permettant de résoudre une tâche de segmentation sémantique à l’aide d’un réseau  neurones convolutifs, entrainé sur des milliers d’images comme ci-dessous.

Le réseau a ainsi appris à reconnaître les caractéristiques d’un visage comme les cheveux, les yeux, la peau ainsi que les épaules. Il a également appris à séparer le premier plan de l’arrière-plan. Ci-dessous on peut voir un aperçu de la segmentation vidéo en temps réel.

La segmentation vidéo en temps réel de Google pour les Stories Youtube.

Google a ainsi créé un moteur de segmentation rapide et relativement précis qui fonctionne plus que vite, avec un résultat de 40 images par seconde sur le Pixel 2 et plus de 100 images sur l’iPhone 7 !

Google permet aux utilisateurs de modifier le fond des vidéos sur les Youtube Stories.

Pour le moment cette fonctionnalité est en bêta limitée et réservée à certains créateurs de contenus sur YouTube afin de tester la technologie. Cependant, le déploiement à une échelle mondiale et dans les différents services de Google devrait se faire dans les prochains mois et faciliter la vie de nombreuses personnes !

Send this to a friend