Une enquête menée par le Stanford Internet Observatory (SIO), dévoilée le 20 décembre, a mis en lumière la présence de plusieurs centaines d’images mettant en avant des abus sexuels sur mineur dans un ensemble de données. Ce dernier est utilisé par de nombreuses entreprises pour former des modèles d’intelligence artificielle (IA) générative.

Plusieurs versions de Stable Diffusion formées à l’aide de données choquantes ?

Connu sous le nom de LAION-5B, ce vaste ensemble de données a été exploité pour le développement du modèle de machine learning Stable Diffusion, utilisé par plus de dix millions d’utilisateurs en novembre. Contenant plus de cinq milliards d’images, de légende et de texte en tout genre provenant d’internet, celui-ci posséderait au moins 1 008 illustrations contenant des actes d’abus sexuels sur des enfants.

Pour mener à bien son enquête, le SIO a exploité des outils de hachage tels que PhotoDNA développé par Microsoft. Ces solutions permettent d’associer l’empreinte digitale d’une image à partir des bases de données générées par des organisations qui reçoivent et traitent des signalements en lien avec des abus sexuels sur mineur en ligne.

En découvrant ce contenu, les chercheurs du SIO ont immédiatement alerté le Centre international pour enfants disparus et sexuellement exploités, basé aux États-Unis, ainsi que le centre canadien de la protection de l’enfance. Les deux organismes sont actuellement en train de mener les procédures nécessaires pour aboutir à la suppression de ces images choquantes dans LAION-5B. Comme l’indique le SIO dans un billet de blog, « les modèles pourront générer des images choquantes en raison de certaines des données sous-jacentes sur lesquelles ils ont été construits. Le rapport recommande que les modèles basés sur Stable Diffusion 1.5 soient obsolètes et que la distribution cesse autant que possible ».

La start-up britannique Stable AI, qui a financé et popularisé Stable Diffusion, a tenu à souligner que la version 1.5 de son intelligence artificielle avait été publiée par Runway, une autre entité qui avait contribué au développement du modèle original. Depuis, une version plus récente du logiciel, la 2.0, aurait été formée « à l’aide d’ensemble de données qui ont été filtrées de leurs contenus choquants et dangereux ».

Un porte-parole de la start-up a déclaré que la société s’engagerait « à empêcher l’utilisation abusive de l’IA et interdit l’utilisation de ses modèles d’image à des fins d’activités illégales, y compris les tentatives de modification ou de création de contenus mettant en avant des abus sexuels sur mineurs ». Plusieurs fonctionnalités d’étiquetage de contenu ont été instaurées pour identifier les images générées sur la plateforme et ainsi, repérer d’éventuelles utilisations abusives de l’IA par des personnes malintentionnées.