Cristina Silcox

Comment comprendre et corriger les biais dans les outils de santé basés sur l’IA

Avec l’aimable autorisation de Cristina Silcox

Les outils médicaux activés par l’intelligence artificielle (IA) peuvent grandement améliorer les soins de santé en aidant à résoudre les problèmes, à automatiser les tâches et à identifier les modèles. L’IA peut aider aux diagnostics, prédire le risque que les patients développent certaines maladies et aider à déterminer les communautés qui ont le plus besoin de soins préventifs. Mais les produits d’IA peuvent également reproduire – et pire, exacerber – les biais et les disparités existants dans les soins aux patients et les résultats de santé. Pour atténuer ces biais, il faut d’abord comprendre d’où ils viennent.

Christina Silcox, Ph.D., directrice de recherche pour la santé numérique au Duke-Margolis Center for Health Policy, et son équipe ont identifié quatre sources de biais d’IA et des moyens de les atténuer dans un rapport récent financé par The Pew Charitable Trusts. Elle a parlé à Pew des résultats.

Cette interview avec Silcox a été éditée pour plus de clarté et de longueur.

Comment les biais de l’IA affectent-ils les soins de santé ?

Les outils d’IA ne doivent pas être biaisés. Mais si nous n’y prêtons pas attention, nous enseignons à ces outils de refléter les préjugés existants chez les humains et les soins de santé, ce qui conduit à la persistance ou à l’aggravation des inégalités en matière de santé. Il est particulièrement préoccupant si cela se produit dans des groupes qui ont historiquement reçu des soins médiocres, tels que ceux touchés par le racisme structurel et les disparités institutionnalisées telles que le manque d’accès à une assurance et à des soins de santé abordables. Par exemple, lorsque des outils basés sur l’apprentissage automatique sont formés sur des données de santé réelles qui reflètent des soins inégaux, nous courons le risque de perpétuer et même d’exacerber ces inégalités. Ces outils peuvent finir par entraîner des diagnostics plus lents ou des traitements incomplets, un accès réduit ou une qualité globale réduite des soins – et c’est la dernière chose que nous voulons faire.

Leurs recherches ont identifié quatre façons dont les biais peuvent survenir dans l’IA. L’un est le cadrage inégal – qu’est-ce que c’est et comment cela conduit-il à des préjugés ?

Un cadrage inégal signifie qu’un outil est programmé pour résoudre la mauvaise question et, par conséquent, finit par répondre à la mauvaise question. Un exemple est un algorithme de « non-présentation », qui peut prédire quels patients ne se présenteront pas aux rendez-vous. Sur la base de ces prévisions, de nombreuses cliniques et hôpitaux réservent certains patients en double pour tenter de minimiser les pertes de revenus.

Le problème est que les patients noirs, latinos, amérindiens ou autochtones de l’Alaska sont confrontés de manière disproportionnée à des obstacles systémiques aux soins, tels qu’un manque de transport fiable et un accès limité à des congés de maladie payés ou à une assurance maladie abordable, ce qui peut les empêcher d’arriver. Au médicin. Bureau. Et la double réservation de ces rendez-vous ne fait qu’exacerber ces problèmes, car lorsque les deux patients se présentent, soit ils ne sont pas pris en charge rapidement, soit ils se précipitent à leurs rendez-vous.

Demander à un outil d’IA “qui ne se présentera pas ?” et la double réservation ne résout qu’un problème financier. Une meilleure approche consiste à concevoir des outils permettant de prédire « quelle mesure d’accompagnement est susceptible d’aider ce patient à venir au rendez-vous ? Qui a besoin de transport ? Qui bénéficierait d’un appel de rappel ? Qui devrait être programmé pour un rendez-vous vidéo plutôt qu’en personne ? » Ce cadre résout à la fois le problème financier et le problème de santé.

Les autres domaines de biais que vous avez identifiés sont les données d’entraînement non représentatives et les données d’entraînement biaisées. Quelle est la différence entre eux et comment conduisent-ils à des préjugés ?

Des données non représentatives signifient que les données collectées ne correspondent pas aux lieux et aux populations dans lesquels l’outil sera utilisé. Par exemple, former un outil avec des données provenant de centres médicaux universitaires urbains du nord-est ou de grands instituts de recherche, puis l’amener dans une clinique communautaire rurale du sud-ouest et l’utiliser sur la population locale. Les flux de travail, l’accès à certains tests et traitements, la collecte de données, la démographie des patients et la probabilité de certaines maladies varient entre les différents emplacements et types d’hôpitaux, de sorte qu’un outil formé sur un ensemble de données de patients peut ne pas bien fonctionner lorsque les données ou les populations de patients changent de manière significative .

Mais même si vous disposez de données représentatives, il peut y avoir des biais dans les données. Nous l’avons vu avec des outils d’intelligence artificielle qui utilisaient les données des oxymètres de pouls, des appareils semblables à des pinces à doigts qui mesurent le niveau de saturation en oxygène du sang. Ces outils ont été utilisés pour aider à guider les décisions de triage et de thérapie pour les patients atteints de COVID-19 pendant la pandémie. Mais il s’avère que les capteurs d’oxymétrie de pouls ne fonctionnent pas aussi bien pour les personnes à la peau plus foncée, les personnes aux doigts plus petits ou les personnes à la peau plus épaisse. Ces données sont moins précises pour certains groupes de personnes que pour d’autres. Et il est intégré à un algorithme qui conduit potentiellement les médecins à prendre des décisions de traitement inappropriées pour ces patients.

Le dernier domaine de biais que vous avez identifié était la sélection et la conservation des données. Comment cela affecte-t-il l’IA ?

Les développeurs d’IA doivent sélectionner les données utilisées pour former leurs programmes, et leurs choix peuvent avoir de graves conséquences. Par exemple, il y a quelques années, les systèmes de santé utilisaient un outil pour prédire quels patients risquaient de contracter une maladie grave afin de mieux répartir les services visant à prévenir ces maladies. Des chercheurs ont découvert que lors du développement de l’outil, les développeurs d’IA ont choisi d’utiliser les données sur les coûts de santé des patients comme indicateur de la gravité de leur maladie. Le problème avec cela est que les patients noirs ont historiquement eu moins accès aux soins de santé – et donc des coûts inférieurs – même lorsqu’ils sont très malades. Les coûts sont une approximation raciale de la gravité de la maladie. Par conséquent, l’outil a sous-estimé la probabilité de problèmes de santé graves pour les patients noirs.

Les décisions en matière de conservation des données peuvent également entraîner des biais. Les données sur la santé sont compliquées et déroutantes. Il y a un désir de le nettoyer et d’utiliser uniquement les données les plus complètes, ou des données avec peu ou pas d’informations manquantes. Mais les personnes qui ont tendance à avoir des informations manquantes dans leurs dossiers médicaux sont celles qui ont le moins accès aux soins, celles qui ont un statut socio-économique inférieur et celles qui sont le moins susceptibles d’avoir une assurance. La suppression de ces personnes de l’ensemble de données d’entraînement peut réduire les performances de l’outil pour ces populations.

Que peut-on faire pour aider à atténuer ces biais ?

Les développeurs d’IA ont la responsabilité de constituer des équipes dotées d’une expertise diversifiée et d’une compréhension approfondie du problème à résoudre, des données utilisées et des différences qui peuvent survenir entre les différents sous-groupes. Les acheteurs de ces outils ont également l’énorme responsabilité de les tester sur leurs propres sous-populations et d’exiger des développeurs qu’ils utilisent bonnes pratiques d’apprentissage automatique—des normes et des pratiques qui aident à promouvoir la sécurité et l’efficacité—dans la création de ces produits.

La FDA a le pouvoir de réglementer certains produits d’IA, en particulier les logiciels considérés comme des dispositifs médicaux. L’agence a la responsabilité de s’assurer que ces dispositifs fonctionnent bien dans tous les sous-groupes, devrait exiger un étiquetage clair et accessible des produits indiquant les populations auxquelles ils sont destinés et travailler à la mise en place de systèmes capables de surveiller les performances biaisées des produits médicaux.

Enfin, les personnes à l’origine des données – les personnes qui mettent les données dans les dossiers de santé électroniques, les personnes qui mettent les données dans les relevés, les personnes qui créent des algorithmes de bien-être et d’autres outils qui collectent des données sur les consommateurs – ont la responsabilité de veiller à ce que les données soient aussi impartiales et équitables que possible, en particulier s’ils prévoient de le partager pour le développement d’outils d’IA ou à d’autres fins. Cela signifie accroître la normalisation et les définitions communes des données sur la santé, réduire les biais dans les descriptions médicales subjectives et noter où les données peuvent différer d’une population à l’autre.

La meilleure option ici est de déterminer la cause du biais, de revenir au développement et de recycler le modèle. L’autre option consiste à préciser dans les instructions d’utilisation du produit et dans vos supports de marketing et de formation que l’outil est uniquement destiné à être utilisé dans certaines populations. Grâce à ces remèdes, nous pouvons nous assurer que les outils d’IA ne reproduisent ni n’aggravent l’état actuel des soins de santé, mais nous aident plutôt à créer un système plus juste et équitable.

Leave a Comment

Your email address will not be published.