Cette intelligence artificielle pense-t-elle comme un humain ? | Nouvelles du MIT

En machine learning, comprendre pourquoi un modèle prend certaines décisions est souvent tout aussi important que de savoir si ces décisions sont correctes. Par exemple, un modèle d’apprentissage automatique peut prédire correctement qu’une lésion cutanée est cancéreuse, mais il aurait pu le faire en utilisant un point non apparenté sur une photo clinique.

Bien qu’il existe des outils pour aider les experts à comprendre le raisonnement d’un modèle, ces méthodes ne fournissent souvent qu’un aperçu d’une décision à la fois, et chacune doit être évaluée manuellement. Les modèles sont généralement formés à l’aide de millions d’entrées de données, ce qui rend presque impossible pour un humain d’évaluer suffisamment de décisions pour identifier des modèles.

Maintenant, des chercheurs du MIT et d’IBM Research ont créé une méthode qui permet à l’utilisateur d’agréger, de trier et de classer ces explications individuelles pour analyser rapidement le comportement d’un modèle d’apprentissage automatique. Sa technique, appelée Shared Interest, intègre des mesures quantifiables qui comparent à quel point le raisonnement d’un modèle correspond à celui d’un humain.

L’intérêt partagé peut aider un utilisateur à découvrir facilement les tendances liées à la prise de décision d’un modèle – par exemple, le modèle peut souvent être encombré de fonctionnalités non pertinentes et gênantes telles que des objets d’arrière-plan sur les photos. L’agrégation de ces informations peut aider l’utilisateur à déterminer rapidement et quantitativement si un modèle est fiable et prêt à être déployé dans une situation réelle.

“En développant Shared Interest, notre objectif est de pouvoir étendre ce processus d’analyse afin que vous puissiez comprendre à un niveau plus global quel est le comportement de votre modèle”, explique l’auteure principale Angie Boggust, étudiante diplômée du groupe de recherche. le Laboratoire d’Informatique et d’Intelligence Artificielle (CSAIL).

Boggust a écrit l’article avec son conseiller, Arvind Satyanarayan, professeur adjoint d’informatique qui dirige le groupe de visualisation, ainsi que Benjamin Hoover et l’auteur principal Hendrik Strobelt, tous deux d’IBM Research. Le document sera présenté à la Conférence sur les facteurs humains dans les systèmes informatiques.

Boggust a commencé à travailler sur ce projet lors d’un stage d’été chez IBM, sous la direction de Strobelt. Après leur retour au MIT, Boggust et Satyanarayan ont élargi le projet et poursuivi leur collaboration avec Strobelt et Hoover, qui ont aidé à mettre en œuvre les études de cas qui montrent comment la technique peut être utilisée dans la pratique.

Alignement humain-IA

L’intérêt partagé exploite des techniques populaires qui montrent comment un modèle d’apprentissage automatique a pris une décision spécifique, appelées méthodes de saillance. Si le modèle classe des images, les méthodes de saillance mettent en évidence les zones d’une image qui sont importantes pour le modèle lorsqu’il prend sa décision. Ces zones sont visualisées sous la forme d’une carte thermique, appelée carte en relief, qui est généralement superposée à l’image d’origine. Si le modèle a évalué l’image comme un chien et que la tête du chien est mise en surbrillance, cela signifie que ces pixels étaient importants pour le modèle lorsqu’il a décidé que l’image contenait un chien.

L’intérêt partagé fonctionne en comparant les méthodes de saillance aux données réelles. Dans un jeu de données d’image, les données réelles sont généralement des annotations générées par l’homme qui entourent les parties pertinentes de chaque image. Dans l’exemple précédent, la boîte envelopperait tout le chien sur la photo. Lors de l’évaluation d’un modèle de classification d’images, Shared Interest compare les données de saillance générées par le modèle et les données réelles générées par l’homme pour la même image afin de voir comment elles s’alignent.

La technique utilise diverses mesures pour quantifier cet alignement (ou désalignement), puis classe une décision spécifique dans l’une des huit catégories. Les catégories vont de parfaitement alignées avec l’homme (le modèle fait une prédiction correcte et la zone en surbrillance sur la carte en relief est identique à la boîte générée par l’homme) à complètement distraites (le modèle fait une prédiction incorrecte et n’utilise aucune caractéristique d’image trouvée dans la boîte générée par les humains).

“À une extrémité du spectre, votre modèle a pris la décision pour exactement la même raison qu’un humain, et à l’autre extrémité du spectre, votre modèle et l’humain prennent cette décision pour des raisons entièrement différentes. En quantifiant cela pour toutes les images de votre ensemble de données, vous pouvez utiliser cette quantification pour les classer », explique Boggust.

La technique fonctionne de la même manière avec les données textuelles, où les mots-clés sont mis en surbrillance au lieu des régions d’image.

analyse rapide

Les chercheurs ont utilisé trois études de cas pour montrer comment Shared Interest peut être utile à la fois aux non-experts et aux chercheurs en apprentissage automatique.

Dans la première étude de cas, ils ont utilisé Shared Interest pour aider un dermatologue à déterminer s’il doit faire confiance à un modèle d’apprentissage automatique conçu pour aider à diagnostiquer le cancer à partir de photos de lésions cutanées. L’intérêt partagé a permis au dermatologue de voir rapidement des exemples de prédictions de modèles correctes et incorrectes. Finalement, le dermatologue a décidé qu’il ne pouvait pas faire confiance au modèle car il faisait trop de prédictions basées sur des artefacts d’image plutôt que sur des lésions réelles.

“La valeur ici est qu’en utilisant Shared Interest, nous pouvons voir ces modèles émerger dans le comportement de notre modèle. En une demi-heure environ, le dermatologue a pu prendre une décision confiante quant à savoir s’il fallait ou non faire confiance au modèle et l’implanter ou non », explique Boggust.

Dans la deuxième étude de cas, ils ont travaillé avec un chercheur en apprentissage automatique pour montrer comment Shared Interest peut évaluer une méthode de saillance spécifique, révélant des pièges jusque-là inconnus dans le modèle. Sa technique a permis au chercheur d’analyser des milliers de décisions correctes et incorrectes en une fraction du temps requis par les méthodes manuelles typiques.

Dans la troisième étude de cas, ils ont utilisé Shared Interest pour se plonger dans un exemple spécifique de classification d’images. En manipulant la zone réelle de l’image, ils ont pu effectuer une analyse de simulation pour voir quelles caractéristiques de l’image étaient les plus importantes pour des prédictions spécifiques.

Les chercheurs ont été impressionnés par la performance de Shared Interest dans ces études de cas, mais Boggust prévient que la technique n’est aussi bonne que les méthodes de saillance sur lesquelles elle est basée. Si ces techniques contiennent des biais ou sont inexactes, Shared Interest héritera de ces limitations.

À l’avenir, les chercheurs souhaitent appliquer l’intérêt partagé à différents types de données, en particulier les données tabulaires utilisées dans les dossiers médicaux. Ils souhaitent également utiliser l’intérêt partagé pour aider à améliorer les techniques de saillance actuelles. Boggust espère que cette recherche inspirera davantage de travaux visant à quantifier le comportement du modèle d’apprentissage automatique d’une manière qui a du sens pour les humains.

Ce travail est financé, en partie, par le MIT-IBM Watson AI Lab, le United States Air Force Research Laboratory et l’United States Air Force Artificial Intelligence Accelerator.

Leave a Comment

Your email address will not be published.