Pour que les systèmes d’intelligence artificielle se démocratisent, les géants technologiques vont devoir prouver qu’ils ont des effets positifs à court terme, mais aussi à long terme. Une équipe de chercheurs de Google vient dans cet objectif, de développer le ML-fairness-gym, un système qui permet d’évaluer l’équité algorithmique d’une intelligence artificielle dans un environnement social simulé.

Le ML-fairness-gym : l’étape indispensable pour les IA de demain ?

De plus en plus d’intelligences artificielles composent notre quotidien. Certains sont anodines, mais d’autres peuvent avoir de grandes répercussions sur nos vies. En effet, il existe par exemple des intelligences artificielles capables de déterminer le risque criminel d’un individu. Concrètement c’est une machine qui peut décider de la continuité de la vie d’un humain. L’intelligence artificielle peut envoyer des gens en prison. Comment ça marche ? Le système apprend des différents jugements rendus et se base sur ces informations pour formuler une décision. Le ML-fairness-gym va permettre de comprendre les effets à long terme de ce genre de modèle.

Le ML-fairness-gym a été publié en open source sur GitHub cette semaine. Les équipes de Google veulent le rendre accessible pour permettre aux chercheurs du monde entier d’avouer leurs systèmes d’intelligence artificielle. Concrètement, le système permet de créer une boucle virtuelle durant laquelle, à chaque étape, un agent choisit une action qui affecte l’état de l’environnement. Ce dernier révèle alors une observation que l’agent utilise pour informer ses prochaines actions, de sorte que l‘environnement modélise le système et la dynamique d’un problème et que les observations servent de données.

Un modèle pour rendre les IA plus responsables

Prenons une situation classique : la demande d’un prêt auprès d’une banque. Le modèle d’intelligence artificielle prend une décision : accepter ou rejeter la demande, ensuite l’environnement détermine si le demandeur réussit à rembourser ou non son crédit et ajuste sa côte de crédit en conséquence.

Le ML-fairness-gym : l'outil de Google pour évaluer l'équité d'une IA.

Tout au long du processus, le ML-fairness-gym simule les résultats afin de pouvoir évaluer l’équité des politiques de la banque. Les chercheurs précisent qu’il est important de noter que le ML-fairness-gym évite intelligemment les pièges de l’analyse d’ensembles de données statiques. Le docteur Srinivasan, à l’origine de ce modèle, précise que :

« Les systèmes d’apprentissage automatique sont de plus en plus utilisés pour faciliter les prises de décisions à fort impact, comme la détermination des peines, l’évaluation des enfants, les personnes aptes à recevoir des soins médicaux et bien d’autres choses encore. Nous sommes enthousiasmés par le potentiel de la ML-fairness-gym pour aider d’autres chercheurs et développeurs du machine learning à mieux comprendre les effets que les algorithmes ont sur notre société. Nous voulons permettre à nos confrères de créer des systèmes d’apprentissage plus responsables et plus équitables ».

En octobre 2019, un algorithme de santé présentait des caractéristiques discriminatoires. En effet, une intelligence artificielle attribue un score à chaque patient pour déterminer le montant des aides à percevoir pour se soigner. Des chercheurs prouvaient à l’époque que l’IA sous-estime systématiquement les besoins des patients noirs.

Évidemment l’algorithme ne prend pas directement en compte les origines ethniques des patients, mais d’après les chercheurs. En revanche, il prendrait en compte les antécédents des coûts médicaux des personnes en fonction de leur origine ethnique. Ces indicateurs sont assimilés par l’algorithme pour fournir des scores et proposer des aides “adéquates”. Concrètement, les chercheurs ont prouvé que l’algorithme sous-estime systématiquement les besoins des patients noirs. Voici un risque potentiel qui pourra être évité grâce au ML-fairness-gym.