USA : un algorithme de santé présente des caractéristiques discriminatoires

Des chercheurs viennent de démontrer comment les algorithmes de santé pouvaient prendre en compte des caractéristiques ethniques pour attribuer un score. Beaucoup le craignaient, aujourd’hui nous le savons de manière certaine : certains algorithmes sont discriminatoires et défavorisent les personnes noires.

L’algorithme prend en compte des préjugés raciaux

Ziad Obermeyer, Brian Powers, Christine Vogeli et Sendhil Mullainathan sont les 4 auteurs principaux de cette nouvelle étude. Ils ont cherché à comprendre comment un algorithme de santé pouvait favoriser ou défavoriser une personne en fonction de son origine ethnique. Leur étude révèle que des algorithmes prennent en compte des préjugés raciaux significatifs.

Sans le nommer, les chercheurs parlent d’un algorithme de prédiction du risque largement utilisé aux États-Unis. Il serait développé par un fournisseur de soins de santé important dans le pays et présenterait des caractéristiques « raciales significatives ». Cet algorithme permettrait de définir le montant des aides financières a attribuer à un patient.

L’IA sous-estime les besoins des patients noirs

Évidemment l’algorithme ne prend pas directement en compte les origines ethniques d’un patient, mais d’après les chercheurs, il prendrait en compte les antécédents des coûts médicaux des personnes en fonction de leur origine ethnique. Ces indicateurs sont assimilés par l’algorithme pour fournir des scores et proposer des aides « adéquates ». Concrètement, les chercheurs ont prouvé que l’algorithme sous-estime systématiquement les besoins des patients noirs.

Cela signifie qu’une personne noire gravement malade pourrait recevoir le même score de risque qu’une personne blanche en meilleure santé. Les chercheurs sont convaincus qu’en éliminant cette caractéristique algorithmique discriminatoire, le pourcentage de patients noirs considérés comme étant malades, pourrait passer de 17,7% à 46,5%. Cela signifie que des millions de personnes n’ont pas été traitées à la hauteur de leur problème de santé.

Certains États veulent lutter contre ces discriminations

Pour tenter de contrer cette tendance, la ville de San Francisco a annoncé qu’elle utiliserait l’intelligence artificielle pour lutter contre les préjugés raciaux. Une fois de plus, l’État de Californie démontre qu’il n’utilisera pas l’intelligence artificielle de la même manière que le reste du pays. La ville de San Francisco prévoit de lutter contre les préjugés raciaux en mettant en place un algorithme capable d’expurger les informations qui font mention de l’origine ethnique d’un suspect, sur des rapports officiels. Il n’y aura plus aucune distinction de faite entre un blanc, un noir, une personne d’origine latine, ou un asiatique.