OpenAI a annoncé le 26 octobre la création d’une nouvelle équipe qui aura la lourde tâche d’évaluer et d’examiner les modèles d’intelligence artificielle conçus par l’entreprise. Elle espère anticiper les « risques catastrophiques » que peuvent poser les IA lorsqu’elles sont utilisées à des fins malveillantes.
OpenAI s’inquiète de l’utilisation malveillante de ses outils d’intelligence artificielle
Baptisée Preparedness, cette nouvelle unité va tester la robustesse des modèles d’IA générative pour éviter qu’ils ne puissent être utilisés à mauvais escient. Cette équipe est dirigée par Aleksander Madry, professeur au Massachusetts Institute of Technology (MIT) et à la tête du Center for Deployable Machine Learning du MIT. Il a rejoint OpenAI en mai dernier.
Inscrivez-vous à la newsletter
En vous inscrivant vous acceptez notre politique de protection des données personnelles.
Avec l’arrivée d’IA toujours plus complexes et performantes, les risques deviennent de plus en plus fréquents et dangereux. OpenAI évoque tout d’abord la cybercriminalité, où des utilisateurs mal intentionnés n’hésitent pas à exploiter ses outils pour usurper des identités, générer du code malveillant, ou automatiser des campagnes de phishing à grande échelle. Elle s’attarde également sur « les menaces chimiques, biologiques, radiologiques et nucléaires, » que la société considère comme critiques.
Enfin, la société s’inquiète de l’arrivée prochaine de modèles exploitant « des techniques de reproduction et d’adaptation autonomes ». Une technologie qui réduirait le contrôle qu’ont les humains sur ces IA, ce qui pourrait avoir des conséquences désastreuses en cas d’usage malveillant.
En mai dernier, plus de 350 personnes avaient signé une lettre ouverte mettant en lumière les risques liés à une utilisation non contrôlée de l’IA. « Limiter le risque d’extinction lié à l’intelligence artificielle devrait être une priorité mondiale, au côté d’autres risques à l’échelle de la société, dont les pandémies et la guerre nucléaire », précisait le papier signé, entre autres, par Sam Altman, le dirigeant d’OpenAI. Ce dernier avait même appelé à une régulation du secteur de l’IA aux États-Unis.
Pour aller plus loin, OpenAI a lancé un défi ouvert au public, baptisé AI Preparedness Challenge. Il consiste à se mettre dans la peau d’un utilisateur malveillant qui aurait un accès illimité aux outils de l’entreprise : DALL-E 3, ChatGPT, GPT-4, Whisper, Voice, etc. Les participants ont jusqu’au 31 décembre pour détailler les utilisations qu’ils ont imaginées, ainsi que les protocoles qu’ils mettraient en place pour atténuer les risques liés à l’utilisation nocive des outils. Les dix meilleures propositions recevront 25 000 dollars en crédits API.
En avril, OpenAI avait lancé son bug bounty proposant aux spécialistes de l’IA et aux développeurs de trouver les failles de ses outils. L’entreprise proposait de 200 à 20 000 dollars de récompense en fonction de la gravité du problème signalé et de leur impact vis-à-vis d’un usage malveillant.