Intelligence artificielle : quelle approche des biais algorithmiques ?

Les bienfaits de l’intelligence artificielle sont vantés sans demi-mesure. Et cela, d’autant plus que les technologies et processus qui la composent commencent à être réglementés en Europe. Après plusieurs années d’études, de rapports et de concertations avec les groupes d’experts, la Commission Européenne a révélé le 21 avril 2021 sa proposition de loi qui réglementerait l’IA. Une proposition très attendue, aussi longue que vague, et aux clauses autant applaudies que critiquées.

L’intelligence artificielle jouit d’une réputation double, évoquant à la fois le progrès, et un futur incertain où l’homme pourrait se faire engloutir par la machine qu’il a créée. Ce mythe de l’intelligence artificielle en tant que menace participe à entretenir une défiance, partagée par bon nombre. S’il est vrai que la complexité des algorithmes d’un système d’intelligence artificielle n’est pas à la portée de tous, ceux-ci devraient-ils nous effrayer ? Les peurs irrationnelles liées à “l’effet black box” sont compréhensibles, tant les représentations cinématographiques et littéraires d’IA malveillante foisonnent. Des représentations parfois confirmées par des exemples réels, qui ne font que renforcer nos croyances. Même effet pour notre perception de l’intelligence artificielle : dénuée d’émotions, d’éthique, de bon sens et d’humanité, aux potentialités effrayantes pour l’homme.

On connaît de nombreux cas où l’IA peut représenter un risque pour la démocratie, comme dans son utilisation sur les réseaux sociaux, ou encore un risque pour l’accès à l’emploi et l’égalité, comme dans son utilisation par les recruteurs. Cependant, les systèmes qui la composent apportent d’inégalables perspectives pour la médecine, l’éducation ou l’économie.

Par ailleurs, certains problèmes systémiques comme les crises climatiques ou la pauvreté dans les pays en développement trouvent un allié dans l’IA. Elle propose des solutions pratiques et technologiques. Pourquoi avoir peur de l’IA, si elle affiche de si nobles intentions et potentialités ? Car l’enfer est pavé de bonnes intentions. Aussi fructueuse et innovante peut être l’intelligence artificielle, ses systèmes comportent de nombreux risques, notamment pour les personnes.

On parle souvent des biais algorithmiques de par le fait qu’ils ont tendance à porter des risques de discrimination pour certaines populations. Cette discrimination a été mise en évidence dans les livres de Cathy O’Neil, appelant les algorithmes utilisés par l’intelligence artificielle des “armes de destruction mathématiques” (Weapon of math destruction). Autre figure de la lutte contre les discriminations liées aux algorithmes, Joy Buolamwini, data scientist ghanéenne au MIT Media Lab, dont l’histoire de son “aspire mirror” qui ne reconnaissait pas son visage a été l’objet de débats, et même d’un documentaire.

Il y a évidemment une grande (mais pas évidente) différence, entre un biais et de la discrimination. Les biais sont naturels, loin d’être nécessairement négatifs, et partagés par tous. Il est complexe d’empêcher un cerveau d’user de raccourcis dans ses raisonnements, et de faire reposer ce dernier sur les informations (ou “data”) dont il dispose. Chacun est limité par sa connaissance du monde. Si un individu n’a observé que des races de chien de petite taille au cours de sa vie, il est probable qu’il ait une réaction biaisée à la vue d’un chien de grande taille, partant du principe que celui-ci est anormal. Le principe est le même pour les algorithmes “entraînés”, dont les informations sur lesquelles ils sont entraînés peuvent créer des biais.

La différence entre les individus biaisés et les algorithmes, c’est l’impact pratique qu’ils ont sur la vie et sur la société. Un biais cognitif n’est pas nécessairement exprimé comme de la discrimination : l’individu rencontrant un chien de grande taille ne le repousse pas forcément, et peut réaliser assez vite sa normalité. En d’autres termes, les biais cognitifs sont naturels, et ne mènent pas toujours à de la discrimination, tandis que les biais algorithmiques ont des conséquences plus complexes.

Des données biaisées mènent souvent à un système d’intelligence artificielle excluant, aux risques élevés. Quand les algorithmes sont construits en étant entraînés sur une portion d’information ne représentant pas la complexité du réel, les minorités, ou informations les plus rares (mais pas moins importantes) en pâtissent souvent. C’est là que ces systèmes peuvent être appelés “discriminants”. Petit tour d’horizon des biais algorithmiques, des risques et solutions pour y pallier, en compagnie de Romain Warlop, PhD spécialiste de l’IA et Data Science Manager chez la société fifty-five.

Qu’est-ce qu’un biais en intelligence artificielle ?

Les biais existent en dehors de l’IA et des algorithmes. Avant toute chose, ils existent chez les humains, et se manifestent sous la forme de “raccourcis” pris par le cerveau, menant à des conclusions ou des décisions incorrectes et très subjectives. On parle de biais cognitifs, totalement inconscients, sujets de nombreuses études, et même de vulgarisation par d’entières chaînes YouTube dédiées à l’éducation du public. Au total, on en dénombre plus ou moins 180, qui altéreraient notre jugement. Pour y pallier, certaines entreprises organisent des séminaires, des formations, afin d’en rendre leurs employés plus conscients, et donc moins biaisés.

Par exemple, un biais peut se manifester sous la forme d’une décision inconsciemment sexiste de la part d’un recruteur, qui considérera, à cause de modèles intégrés et de préjugés, un homme plus apte à occuper un poste à responsabilités qu’une femme à compétences égales. Un cas mettant en pratique ces biais peut être la publicité sur Facebook, qui en 2019, laissait ses annonceurs cibler une audience en fonction de leur sexe, appartenance ethnique et religion. Les femmes se retrouvaient majoritairement avec des offres d’emploi pour des postes d’infirmière ou de secrétaire, tandis que d’autres offres traditionnellement plus associées à la masculinité comme les concierges et les chauffeurs de taxi, étaient proposées davantage aux hommes issus de minorités.

Les biais au sein des algorithmes viennent en fait de deux endroits, pas si distincts entre eux. D’un côté, ils proviennent des biais cognitifs des programmeurs qui conçoivent le système, et de l’autre, de la composition des données, et leur complétude. “Il y a aussi des biais mathématiques, qui sont le problème du programmeur. Puis, il y a tous les biais cognitifs, que le programmeur peut oublier, ou partiellement ne pas prendre en compte, s’il se concentre sur la performance” explique Romain Warlop.

Si les données utilisées ne sont pas complètes, elles peuvent ne pas être représentatives et donc inclure des biais. Par exemple, il a été démontré que la plupart des études de recherche en psychologie comprennent des résultats d’étudiants de premier cycle. Ils constituent un groupe spécifique et ne représentent pas l’ensemble de la population. “Le rôle de programmeur est celui de qualifier des variables qui vont venir qualifier un cas. Pour une décision de justice, il faut définir la manière dont l’algorithme va processer les données en entrée. Être au courant de certains biais cognitifs peut faire réfléchir le programmeur différemment” explique l’expert de fifty-five.

Parfois, enlever des variables peut ne pas avoir d’effets sur le résultat et le potentiel discriminatoire du système à long terme : “si on enlève la variable “couleur de la peau” mais que l’on garde la variable “géolocalisation” par exemple, il se peut que le degré de corrélation entre les deux n’efface pas la présence et l’influence de la couleur de la peau dans les résultats” continue Romain Warlop.

D’ailleurs, qui est vraiment responsable des biais des algorithmes, et des conséquences qu’ils engendrent ? Avant tout, les biais viennent des données qui sont collectées et utilisées. Sans données représentatives, pas de prise en compte de tous les cas de figure : le risque est alors d’exclure. La responsabilité va aussi aux programmeurs qui ne pensent pas toujours en amont aux risques liés aux défaillances du système, et à la discrimination qu’ils peuvent engendrer. Selon Romain Warlop, on peut aussi pointer du doigt les RH de l’entreprise, puisque “pour penser ces risques dont il est question, il est nécessaire d’avoir des points de vue différents, et d’avoir une équipe de programmeurs diverse, multiculturelle, multilingue” et interdisciplinaire.

Des risques multiples

Au cours des phases de conception d’une IA, on distingue différents degrés de risques d’introduire des biais. “Si on arrive à théoriser de manière parfaite les modalités d’une décision, les raisons d’un choix, en fonction de chaque cas, l’algorithme ne pourra pas se tromper, ou très peu. La question est maintenant : comment trouve-t-on cet algorithme ? C’est là toute la difficulté de l’IA, et le problème des biais. Dans le chemin pour fabriquer cet algorithme parfait, beaucoup d’erreurs sont faites, ce qui pousse à reconnaître qu’il est peu probable d’espérer des algorithmes parfaits” prévient notre expert de fifty-five.

La première phase, lorsqu’un programme est construit, est celle qui consiste à récolter des données. C’est une des étapes sensibles, puisque les données peuvent être source de biais. Celles-ci, d’après Romain Warlop, dépendent du but que l’on donne au système que l’on veut concevoir, et sont de différentes natures. Des algorithmes de reconnaissance faciale devront utiliser des données sous forme d’image, tandis que des algorithmes de reconnaissance textuelle utiliseront du texte. Plus précisément, dans le cas de l’IA appliqué à la justice (ou LegalTech), les données compilées seront des décisions de justice, des lois, des dossiers judiciaires, etc.

Ensuite intervient la phase de création du modèle. Les questions posées par le concepteur sont : que veut-on labelliser ? Que veut-on classifier, et être capable de reconnaître ? Dans le cas de la LegalTech, à partir des documents, le système peut aussi bien juger un prévenu coupable ou non coupable, que de prédire les récidives, ou de juger de la sentence la plus adaptée pour cette personne.

Puis, le système passe à la phase de test : le programmeur vérifie que l’algorithme marche. Il y a évidemment des tests automatiques, afin de libérer l’attention de l’humain, mais des tests manuels sont aussi nécessaires. “C’est là où la diversité des programmeurs rentre grandement en compte pour vérifier les biais”, ajoute Romain Warlop.

Enfin, arrive la phase de mise en place dans le monde réel. Autant les données collectées peuvent être biaisées, autant, une fois le système fonctionnant, elles peuvent être plus volumineuses, d’après notre expert. Les erreurs peuvent donc être démultipliées, comme ce fut le cas de Microsoft et de son chatbot. Ce dernier cas est un exemple bien connu des défaillances qui peuvent intervenir au cours des phases de conception d’un programme d’intelligence artificielle.

En 2016, le réseau social a déployé un chatbot qu’il a décrit comme une expérience de “compréhension conversationnelle” nommé Tay. Seul problème, plus ce robot a appris, et plus il a généré des messages misogynes, racistes, ou antisémites. En l’espace de 15 heures, Tay a qualifié le féminisme de “culte” et de “cancer”, tout en écrivant d’un autre côté que “l’égalité des sexes = féminisme” et qu’elle aimait “le féminisme maintenant”. Cette application illustre bien les risques associés à l’intelligence artificielle, et l’importance de la conception des algorithmes.

D’autres secteurs que les réseaux sociaux ont un impact bien plus tangible, et sont bien plus sensibles aux biais et à la discrimination. Il n’est pas exagéré de dire que dans les secteurs obtenant le plus de bénéfices et gagnant le plus de l’automatisation et de la précision des algorithmes, les risques d’erreurs ont un impact qui peut s’avérer grave. Pour Romain Warlop, “certains secteurs nécessitent plus de perfection et de perfectionnement. Diagnostiquer une maladie qui n’existe pas réellement, ou à l’inverse ne pas diagnostiquer une grave maladie, a des incidences importantes sur la vie des gens, bien supérieures à celles liées au fait d’être mal conseillé par l’algorithme de Netflix”.

En général, on peut distinguer plusieurs conséquences des biais présents dans l’IA. La perte d’opportunité en est une : c’est le fait de discriminer certains groupes de la population, les empêchant d’accéder à un emploi, à une université, ou toute autre opportunité d’éducation et de carrière. Les logiciels de traitement des CV y sont sujets, tout comme la fameuse plateforme Parcoursup. Une autre conséquence est évidemment le préjudice social, qui intervient par exemple lorsque l’algorithme de YouTube nous place dans une bulle numérique, ne nous donnant pas la possibilité de découvrir des vidéos éloignées de nos goûts qui pourraient nous enrichir. Également, la perte économique et la perte de liberté figurent également parmi ces conséquences, du fait des secteurs ayant recours aux algorithmes comme celui de la justice, ou de la banque et de l’assurance.

Un autre exemple de privation de liberté se manifeste avec les systèmes de reconnaissance faciale. Ils font l’objet d’un examen minutieux, et d’un traitement particulier dans la récente proposition de loi sur l’IA de la Commission Européenne. Le déséquilibre des groupes de population est un problème majeur dans les logiciels de reconnaissance faciale. Le dataset (ou “ensemble de données”, un extrait de la population concernée utile à la construction du système et censé être représentatif) “Faces in the Wild” contenait des données à 70% d’hommes et à 80% de blancs. Problème ? Il est resté pendant longtemps considéré comme la référence pour construire, tester et entraîner les logiciels de reconnaissance faciale.

Une intelligence artificielle éthique ?

Les discussions récentes sur le biais algorithmique reflètent les lacunes des systèmes d’IA “si parfaits”, et aux grands potentiels pour de nombreux secteurs. “Qu’il soit question d’agriculture de précision, de diagnostics médicaux plus fiables ou de conduite autonome sécurisée, l’intelligence artificielle nous ouvrira de nouveaux mondes. Mais ces mondes ont aussi besoin de règles”, avait déclaré en septembre la présidente de la Commission européenne, Ursula Von der Leyen, dans son discours sur l’état de l’Union.

Le manque d’équité et de justice qui résulte de la performance d’un système informatique et des algorithmes soulève des problèmes de société. En effet, de nombreux biais proviennent des humains eux-mêmes, responsables de la création des systèmes et logiciels. L’intelligence artificielle ne fait que refléter et amplifier des problèmes existants sans elle, et avant elle. À partir de là, comment espérer des résultats non biaisés ? Et d’abord, devrait-on y tendre ?

Notons que les entreprises ont toutefois évolué, au fil de la prise de conscience des impacts sociétaux des biais algorithmiques. Pendant longtemps, avant même que “l’éthique” commence à s’appliquer à l’IA, “on se concentrait sur la concordance entre les réponses de l’algorithme et celles que supposaient les données historiques utilisées pour l’entraîner”, explique Romain Warlop. La métrique qui jugeait de la perfection de l’algorithme se concentrait, par exemple, sur le taux de reconnaissance faciale d’un système comparé à l’œil humain. Si l’œil a un taux de réussite de 95%, tandis que le système IA a un taux de 97%, l’algorithme était bon. “Mais, est-ce que la perfection c’est “faire mieux qu’un humain”, ou bien devrait-on tendre au 0% d’échecs ? Ce dernier cas est-il atteignable ?” se demande notre expert.

Aujourd’hui, la recherche met en place d’autres métriques afin d’évaluer un algorithme, qui ne repose pas seulement sur la performance de ceux-ci. Une des raisons à cela est que les données historiques utilisées par les algorithmes sont souvent labellisées (ou classifiées) humainement, ce qui introduit nécessairement des biais. Par ailleurs, ces données historiques, par définition, reposent sur le passé, qui pourrait ne pas offrir un modèle à suivre et bloquer la prise en compte de certaines évolutions sociales. C’est le cas des données du système PredPol, par exemple, qui reposaient sur une époque et une conjoncture de ségrégation raciale aux États-Unis. Ce système de prédiction des usages de drogues a été utilisé dans de grandes villes comme Chicago à partir de 2012. Il a été pointé du doigt pour avoir créé des boucles d’amplification, à cause des informations avec lesquelles il avait été construit. Reposant sur des données impliquant le racisme, la conséquence de son utilisation a été de le perpétrer.

Aux métriques fondées sur la performance de l’algorithme ont ainsi été ajoutées d’autres métriques s’assurant de l’éthique de celui-ci. Ces nouvelles statistiques mises en place sont des métriques secondaires, jugeant de la justice et de la justesse des résultats des systèmes utilisant des algorithmes. Un des aspects qu’elles prennent en considération est l’existence de groupes protégés, qu’il faut prédéfinir. La différence entre les genres, par exemple, la couleur de la peau ou l’appartenance à un groupe particulier. Toute information sensible qui pourrait potentiellement biaiser la solution est à prendre en compte.

Par la suite, l’évaluation de l’algorithme consiste simplement à vérifier si celui-ci fait un traitement équitable de ces catégories de population. “Y a t-il une égalité des chances ? Une égalité des sexes ? Est-ce qu’une femme à compétence égale d’un autre homme, a les mêmes chances que lui de voir son CV accepté par le système IA qui les juge ?” sont autant de questions importantes que doivent se poser les concepteurs des systèmes IA dans tous les secteurs, selon Romain Warlop. La question cruciale à se poser est la suivante : quelle est la cause fondamentale de l’introduction de biais dans les systèmes d’IA, et comment peut-on l’éviter ?

L’IA pour le bien commun : combattre les biais

Combattre les biais au sein des algorithmes semble ne pas être évitable, pour un monde meilleur, plus juste, plus inclusif, mais aussi aligné avec les objectifs des Nations Unies pour 2030. Pourtant, peut-on vraiment espérer les gommer, et avoir un programmeur libéré des 180 biais cognitifs auxquels il peut être sujet ? Mitiger est davantage l’objectif. “L’idée est de gommer les imperfections humaines, les erreurs humaines, sans les reproduire, au maximum. Le but serait alors plus de s’approcher de la perfection que de l’atteindre” explique l’expert de fifty-five.

Plusieurs solutions se présentent, pour concevoir une IA plus juste, et moins biaisée. D’abord, l’opportunité d’utiliser l’IA pour identifier et réduire l’effet des préjugés humains, afin d’en éviter les effets négatifs. Ce peut être des systèmes conçus en incluant les résultats de recherche en psychologie, et la documentation impressionnante sur les biais inconscients. Par ailleurs, les critères sont importants, et là intervient le rôle des pouvoirs publics, et notamment de l’Union Européenne. Déjà, avant la publication du projet de règlement tant attendu, le groupe d’experts de haut niveau de l’UE sur l’intelligence artificielle avait élaboré des lignes directrices applicables à la construction de modèles, pour une IA éthique et juste. Ces exigences incluent la partialité, la robustesse, l’éthique ou encore le caractère légal. Elles ont le mérite de proposer une feuille de route aux ingénieurs et leurs équipes.

Une autre solution peut être d’améliorer les systèmes d’IA eux-mêmes, dans la façon dont ils exploitent les données, la façon dont ils sont développés, déployés et utilisés, pour les empêcher de perpétuer les préjugés humains et sociétaux. Or, comme le pointe Michael McKenna, un modèle digne de confiance contiendra toujours de nombreux biais, car “le biais (dans son sens le plus large) est l’épine dorsale de l’apprentissage automatique”. Les humains étant biaisés eux-mêmes, et les algorithmes dépendant des humains dans de nombreuses phases de leur conception, il est peu probable d’espérer l’objectivité. La question à se poser n’est pas “mon modèle est-il biaisé ?”, car la réponse est toujours oui.

Une autre des solutions est de former les humains qui conçoivent les systèmes IA à reconnaître leurs propres biais, ou à les tempérer par un travail en équipe diverse, mixte et interdisciplinaire, qui cherchera à se poser la question de l’impact sur l’humain, plus que de la performance ou du profit. On pourrait encore aller plus loin, et penser à toutes les solutions visant à tempérer les effets des biais algorithmiques sur le court terme, en attendant que le cadre légal soit établi, et que la barre des exigences vienne à être placée plus haut en termes de justice et d’éthique dans l’IA. “L’Algorithmic Justice League” de Joy Buolamwini, par exemple, fait un travail de vulgarisation et de simplification des problèmes rencontrés par les systèmes de reconnaissance faciales, propose des datasets représentatifs et incluant toutes les minorités et les genres, et permet aux citoyens de reporter eux-mêmes les biais dont ils sont victimes par les systèmes IA. De nombreuses initiatives comme celle-ci existent, du secteur associatif, privé, ou publique, cherchant à éveiller les consciences sur ce problème de société à l’aspect impénétrable.

Le problème se pose, par ailleurs, sur les définitions de l’équité. Comment trancher sur la composition des données utilisées ? Qu’est-ce qu’un dataset représentatif : des données qui reposent sur la présence actuelle du groupe au sein de l’environnement étudié, ou une approche plus prescriptive qui dicterait l’égalité entre tous ? Un exemple peut être celui d’un algorithme destiné à l’environnement du travail, dans un secteur à majorité masculine. Quelle est la composition des données que l’algorithme devrait avoir : le pourcentage de femmes présentes aujourd’hui, ou le pourcentage “juste” de 50 pour cent, même si la réalité n’est pas reflétée ?

En résumé…

Les biais algorithmiques et la question de l’éthique au sein de l’intelligence artificielle posent plus de questions qu’ils n’apportent de réponses. Le débat est actif, et même brûlant, entre les divers acteurs, chercheurs et pouvoirs publics, et ce depuis des années. En Europe, la Commission européenne a fini par trancher, offrant un texte censé définir ce qui fera un bon système IA, et un mauvais. Responsabilité, conformité, légitimité : le texte statue sur les critères et les exigences qui seront posés. Introduisant le principe de garantie humaine afin de veiller à la composition des données et à la conception des algorithmes, l’UE espère modérer les biais algorithmiques et leurs conséquences néfastes sur les droits humains, la démocratie et l’économie. Le but ? Faire de l’IA un allié, et non une menace. Reste encore à voir si ces clauses s’avéreront suffisantes, face aux défis qu’elles affrontent.