Concept de système de reconnaissance faciale.

« Les risques posés par l’IA sont réels » : l’UE prend des mesures pour battre les algorithmes qui ruinent des vies | Intelligence Artificielle (IA)

jeCela a commencé avec un seul tweet en novembre 2019. David Heinemeier Hansson, un entrepreneur technologique de haut niveau, a attaqué la nouvelle carte de crédit d’Apple, la qualifiant de “sexiste” pour avoir offert à sa femme une limite de crédit 20 fois la sienne.

Les allégations se sont répandues comme une traînée de poudre, Hansson soulignant que l’intelligence artificielle – désormais largement utilisée pour prendre des décisions d’emprunt – était le coupable. “Peu importe l’intention des représentants individuels d’Apple, peu importe l’ALGORITHME auquel ils accordent toute leur confiance. Et ce qu’il fait, c’est de la discrimination. C’est dur à cuire.

Alors qu’Apple et ses souscripteurs Goldman Sachs ont finalement été nettoyés par les régulateurs américains d’avoir enfreint les règles de prêt équitables l’année dernière a relancé un débat plus large sur l’utilisation de l’IA dans les secteurs public et privé.

Les décideurs politiques de l’UE prévoient désormais d’introduire le premier modèle mondial complet de réglementation de l’IA, alors que les institutions automatisent de plus en plus les tâches de routine dans le but d’accroître l’efficacité et, en fin de compte, de réduire les coûts.

Cette législation, connue sous le nom de loi sur l’intelligence artificielle, aura des conséquences au-delà des frontières de l’UE et, comme le règlement général sur la protection des données de l’UE, s’appliquera à toute institution, y compris les banques britanniques, au service des clients de l’UE. “L’impact de la loi, une fois adoptée, ne peut être surestimé”, a déclaré Alexandru Circiumaru, responsable des politiques publiques européennes à l’Institut Ada Lovelace.

En fonction de la liste finale des utilisations “à haut risque” de l’UE, il y a une pression pour introduire des règles strictes sur la façon dont l’IA est utilisée pour filtrer les demandes d’emploi, d’université ou d’aide sociale ou – dans le cas des prêteurs – pour évaluer la crédibilité des emprunteurs potentiels . .

Les responsables de l’UE espèrent qu’avec une surveillance supplémentaire et des restrictions sur le type de modèles d’IA pouvant être utilisés, les règles réduiront le type de discrimination basée sur les machines qui peut influencer des décisions qui changent la vie, comme si vous pouvez vous permettre une maison ou un prêt étudiant. . .

“L’IA peut être utilisée pour analyser l’ensemble de votre santé financière, y compris les dépenses, l’épargne et les autres dettes, afin d’obtenir une image plus globale”, a déclaré Sarah Kocianski, consultante indépendante en technologie financière. “S’ils sont conçus correctement, ces systèmes peuvent offrir un accès plus large à un crédit abordable.”

Mais l’un des plus grands dangers est le biais involontaire, dans lequel les algorithmes finissent par refuser des prêts ou des comptes à certains groupes, notamment les femmes, les migrants ou les personnes de couleur.

Une partie du problème est que la plupart des modèles d’IA ne peuvent apprendre qu’à partir des données historiques qui ont été introduites, ce qui signifie qu’ils apprendront à quel type de client a été précédemment prêté et quels clients ont été marqués comme indignes de confiance. “Il y a un danger qu’ils soient biaisés sur ce à quoi ressemble un ‘bon’ emprunteur”, a déclaré Kocianski.Notamment, le sexe et l’ethnicité jouent souvent un rôle dans les processus décisionnels de l’IA en fonction des données sur lesquelles elle a été enseignée : des facteurs qui ne sont en aucun cas pertinents pour la capacité d’une personne à rembourser un prêt. »

De plus, certains modèles sont conçus pour ne pas tenir compte des caractéristiques dites protégées, ce qui signifie qu’ils ne doivent pas tenir compte de l’influence du sexe, de la race, de l’ethnie ou du handicap. Mais ces modèles d’IA peuvent toujours discriminer en raison de l’analyse d’autres points de données, tels que les codes postaux, qui peuvent être en corrélation avec des groupes historiquement défavorisés qui n’ont jamais demandé, obtenu ou remboursé des prêts ou des hypothèques.

L’un des plus grands dangers est le biais involontaire, dans lequel les algorithmes discriminent certains groupes, notamment les femmes, les migrants ou les personnes de couleur. Photographie : metamorworks/Getty Images/iStockphoto

Et dans la plupart des cas, lorsqu’un algorithme prend une décision, il est difficile pour quiconque de comprendre comment il en est arrivé à cette conclusion, ce qui entraîne ce que l’on appelle communément le syndrome de la “boîte noire”. Cela signifie que les banques, par exemple, peuvent avoir du mal à expliquer ce qu’un demandeur aurait pu faire différemment pour se qualifier pour un prêt ou une carte de crédit, ou si le fait de changer le sexe d’un demandeur d’homme à femme pourrait entraîner un résultat différent.

Circiumaru a déclaré que la loi sur l’IA, qui pourrait entrer en vigueur fin 2024, profiterait aux entreprises technologiques qui ont réussi à développer ce qu’il a appelé des modèles “d’IA de confiance” conformes aux nouvelles règles de l’UE.

Darko Matovski, directeur général et co-fondateur de la startup londonienne d’intelligence artificielle causaLens, pense que son entreprise en fait partie.

La startup, qui a été lancée publiquement en janvier 2021, a déjà concédé sa technologie sous licence à des entreprises telles que le gestionnaire d’actifs Aviva et la société de trading quantitatif Tibra, et affirme que plusieurs banques de détail sont en train de signer des accords avec l’entreprise avant les règles de l’UE. entre dans la force.

L’entrepreneur a déclaré que causaLens offre une forme d’IA plus avancée qui évite les biais potentiels en tenant compte et en contrôlant les corrélations discriminatoires dans les données. “Les modèles basés sur la corrélation apprennent des injustices du passé et ne font que le répéter à l’avenir”, a déclaré Matovski.

Il pense que la prolifération de soi-disant modèles d’IA causals comme le sien conduira à de meilleurs résultats pour les groupes marginalisés qui ont peut-être manqué des opportunités éducatives et financières.

“Il est vraiment difficile de comprendre l’ampleur des dégâts déjà causés car nous ne pouvons pas vraiment inspecter ce modèle”, a-t-il déclaré. « Nous ne savons pas combien de personnes ne sont pas allées à l’université à cause d’un algorithme incontrôlable. Nous ne savons pas combien de personnes n’ont pas obtenu leur hypothèque à cause de biais algorithmiques. Nous ne savons tout simplement pas.

Matovski a déclaré que la seule façon de se protéger contre une discrimination potentielle est d’utiliser des caractéristiques protégées comme le handicap, le sexe ou la race comme entrée, mais de s’assurer que, indépendamment de ces entrées spécifiques, la décision n’a pas changé.

Il a déclaré qu’il s’agissait de veiller à ce que les modèles d’IA reflètent nos valeurs sociétales actuelles et évitent de perpétuer toute prise de décision raciste, habile ou misogyne du passé. “La société pense que nous devrions traiter tout le monde de la même manière, quel que soit le sexe, le code postal, la race. Les algorithmes ne doivent donc pas simplement essayer de faire cela, ils doivent le garantir”, a-t-il déclaré.

<gu-island name="EmbedBlockComponent" deferuntil="visible" props="{"html":"”,”caption”:”Abonnez-vous aux e-mails quotidiens de Business Today ou suivez Guardian Business sur Twitter à @BusinessDesk”,”isTracking”:false,”isMainMedia”:false,”source”:”The Guardian” ,”sourceDomain” :” theguardian.com”}”>

Abonnez-vous au courrier électronique quotidien de Business Today ou suivez Guardian Business sur Twitter à @BusinessDesk

Alors que les nouvelles règles de l’UE sont susceptibles d’être un grand pas en avant vers la réduction des préjugés basés sur les machines, certains experts, y compris ceux de l’Institut Ada Lovelace, font pression pour que les consommateurs aient le droit de se plaindre et de demander réparation s’ils estiment avoir été mis dans une ornière désavantageuse.

“Les risques posés par l’IA, en particulier lorsqu’elle est appliquée dans certaines circonstances spécifiques, sont réels, importants et déjà présents”, a déclaré Circiumaru.

“La réglementation de l’IA doit garantir que les individus sont correctement protégés contre les dommages, qu’ils approuvent ou non les utilisations de l’IA, et qu’ils disposent de recours lorsque les systèmes d’IA approuvés fonctionnent mal ou entraînent des dommages. Nous ne pouvons pas prétendre que les systèmes d’IA approuvés fonctionneront toujours parfaitement et ne se prépareront pas aux cas où ils ne fonctionneront pas.

Leave a Comment

Your email address will not be published.