Les régulateurs new-yorkais ont ouvert une enquête contre Apple après que des utilisateurs ont dénoncé des biais sexistes dans l’algorithme de la nouvelle carte de crédit, Apple Card. Cette carte sans frais, virtuelle et permettant de bénéficier de cashback, avait été lancée aux États-Unis en août.
Tout est parti d’un tweet, une de ces alertes sur les réseaux qui font frémir les entreprises. David Heinemeier Hansson, un célèbre développeur suivi par 355 000 personnes, a publié le 7 novembre un message rapidement devenu viral: « L’Apple Card est vraiment un p****n de programme sexiste ». Prenant son cas personnel en exemple, il explique que sa femme obtient avec l’Apple Card un plafond de crédit 20 fois inférieur au sien. Ils partagent pourtant la même déclaration de revenus.
Inscrivez-vous à la newsletter
En vous inscrivant vous acceptez notre politique de protection des données personnelles.
The @AppleCard is such a fucking sexist program. My wife and I filed joint tax returns, live in a community-property state, and have been married for a long time. Yet Apple’s black box algorithm thinks I deserve 20x the credit limit she does. No appeals work.
— DHH (@dhh) 7 novembre 2019
En réponse, d’autres utilisateurs ont rapporté des cas similaires. C’est un autre tweet, signé d’un certain Steve Wozniak, co-fondateur d’Apple, qui a porté le coup de grâce à l’Apple Card : « La même chose s’est passée pour nous. J’ai dix fois le plafond de crédit [de ma femme]. Nous n’avons pas de comptes bancaires ou d’actifs séparés. Difficile de joindre un humain pour corriger l’erreur. Ainsi fonctionnent les Gafa en 2019 ».
The same thing happened to us. I got 10x the credit limit. We have no separate bank or credit card accounts or any separate assets. Hard to get to a human for a correction though. It's big tech in 2019.
— Steve Wozniak (@stevewoz) 10 novembre 2019
Le co-fondateur d’Apple met le doigt sur le problème de cette affaire : un algorithme « boîte noire » détermine une donnée aussi importante pour la vie des consommateurs qu’un plafond de crédit et il n’y a personne qui répond au téléphone, aucun moyen de faire appel de cette décision.
David Heinemeier Hansson a eu la même désagréable expérience avec le service client : « Le customer service d’Apple Card me met en rage. Ils répondent rapidement, mais personne n’est autorisé à discuter du processus d’évaluation du crédit. Aucun moyen de présenter des preuves. Juste un « désolé, votre femme est considérée comme ayant un plafond de crédit 20 fois inférieur au vôtre, vérifiez à nouveau dans 6 mois ! » ».
Enquête ouverte par le régulateur financier new-yorkais
Le bad buzz est pris très au sérieux par les autorités. Le régulateur des services financiers de l’Etat de New York a annoncé dans la foulée l’ouverture d’une procédure. « Nous allons mener une enquête pour déterminer si la loi de New York a été enfreinte et nous assurer que tous les consommateurs sont traités de manière égale quel que soit leur sexe », a déclaré le bureau de Linda Lacewell, directrice du département des services financiers de New York.
Les problèmes de biais algorithmiques deviennent un sujet majeur pour les régulateurs. L’instance de régulation des assurances de l’Etat de New York a récemment ouvert une enquête au sujet d’un algorithme de prédiction du risque de la compagnie UnitedHealth accusé d’avoir des préjugés raciaux. Cet algorithme permettant de définir le montant des aides financières à attribuer à un patient sous-estimerait systématiquement les besoins des patients noirs.
Avec les algorithmes, la sanction est irrévocable
Alors qu’Apple ne s’est pas exprimé sur la polémique, Mastercard, partenaire de la marque à la pomme pour l’Apple Card, a réagi par la voix de son porte-parole Andrew Williams : « Nos décisions en termes de crédit sont fondées sur la solvabilité des clients et non pas sur le genre, la race, l’âge, l’orientation sexuelle ou tout autre facteur interdit par la loi ».
Il fait peu de doute que l’algorithme n’a pas été écrit directement pour discriminer les femmes, mais les intelligences artificielles, nourries par des années d’historique de données, ont tendance à reproduire les discriminations déjà présentes dans la société. Boîtes noires qui délivrent une sanction irrévocable, les algorithmes peuvent prendre des décisions non seulement injustes mais non motivées et sans voie de recours. Comme le réclame Hansson, les entreprises doivent reprendre le contrôle sur leurs machines.
Apple and Goldman Sachs have both accepted that they have no control over the product they sell. THE ALGORITHM is in charge now! All humans can do is apologize on its behalf, and pray that it has mercy on the next potential victims. https://t.co/LFyPYbtRlh
— DHH (@dhh) 10 novembre 2019
