Twitter utilise désormais le machine learning pour recadrer les photos

Depuis 2011, Twitter offre la possibilité de partager des photos sur son réseau social. Des millions de clichés sont partagés chaque jour, dans des tailles très différentes, et cela représente un enjeu de taille pour la plateforme qui se doit d’adapter son interface utilisation (UI) à ces formats. C’est d’autant plus vrai lorsque l’on met une photo en ligne et que Twitter effectue un cadre sur un endroit totalement inadapté.

Auparavant, Twitter utilisait un outil pour repérer les visages sur les photos et ainsi faire un cadre correct, mais cette approche a ses limites. Toutes les images n’ont pas de personnes dessus, et parfois même l’outil rate ses cadres. Aujourd’hui, le réseau social annonce la mise en place d’une solution pour recadrer les photos grâce au machine learning et ainsi ne rater aucune découpe.

Gauche : comment Twitter cadrait les images auparavant . Droite : le nouveau système pour cadrer les photos.

L’outil auquel le réseau social n’a pas donné de nom se concentre désormais sur les éléments marquants d’une photo. Cela veut dire qu’il va définir une zone qu’une personne serait susceptible d’observer plus qu’une autre. D’après des études menées, nous regardons principalement les gens, leurs visages, les éléments de texte, les animaux, ainsi que des objets, ou des éléments avec un fort contraste. Ces données ont été utilisées pour nourrir l’intelligence artificielle qui va se charger de recadrer nos photos sur Twitter.

Exemples de zones marquantes identifiées par le robot.

D’autres techniques ont été intégrées afin de rendre le recadrage plus rapide sur Twitter. De cette manière, le système opère 10 fois plus vite grâce à une optimisation des ressources utilisées sur les serveurs. Grâce à cela l’identification des zones importantes et la mise en place du nouveau cadre se font en temps réel.

Twitter a annoncé que cette solution était actuellement en cours de déploiement et que nous devrions tous rapidement pouvoir en profiter, que l’on soit sur iOS, Android, ou depuis le site internet du réseau social.