Il s’agit d’un nouveau logiciel développé par Facebook. Celui-ci permettrait de détecter le contenu abusif de manière automatique. C’est grâce à cette technologie, que récemment, 8,7 millions d’images d’abus faits sur des enfants ont été supprimées au cours des trois derniers mois. Facebook lutte depuis toujours pour accélérer les processus de suppression de contenus illicites. The Guardian précise que la responsable de la sécurité mondiale de Facebook, Antigone Davis, s’est exprimée à ce sujet sur leur blog officiel « ce nouveau logiciel automatique nous aide à hiérarchiser et à classer le contenu abusif pour mieux le gérer ensuite« .

Le nombre d’images abusives supprimées est énorme et met la lumière sur le travail méticuleux que doit exercer Facebook au quotidien. L’annonce de la mise en place de cette nouvelle technologie n’est pas une surprise et devrait aider les modérateurs. Facebook envisagerait d’ailleurs d’appliquer ce même outil à Instagram dans un futur proche.

En revanche, le logiciel n’est pas encore parfaitement au point. De nombreuses agences de presse et certains annonceurs se sont plaints. Des contenus sans caractère abusif ont été supprimés sans « raison valable » par le logiciel automatique. Davis précise que « nous préférons pécher par excès de prudence et protéger les enfants, des ajustements viendront rapidement ».

Dans certains cas, l’automatisation fait encore débat. Ce fût le cas récemment lorsque le système a censuré la photo d’une jeune fille nue fuyant une attaque au napalm de la guerre du Vietnam. Photo gagnante du prix Pulitzer. Facebook a encore quelques ajustements à faire avec sa technologie.

Michelle DeLaune, directrice des opérations du Centre national pour les enfants disparus et exploités (NCMEC), a déclaré qu’elle s’attend à recevoir 16 millions de contenus sur la maltraitance d’enfants dans le monde cette année. L’année dernière, l’association recevait 10 millions de contenus. Avec cette augmentation, le NCMEC a annoncé sa collaboration avec Facebook pour améliorer le logiciel et permettre de décider quels critères évaluer en premier sur les images abusives.