Gérer les risques des systèmes d’intelligence artificielle visuelle inévitablement biaisés

Les scientifiques ont depuis longtemps développé des machines qui essayer d’imiter le cerveau humain. Tout comme les humains sont exposés à des injustices systémiques, les machines apprendre les stéréotypes humains et les normes culturelles à partir de données socioculturelles, en acquérant des préjugés et des associations dans le processus. notre recherche montre que le biais se reflète non seulement dans les modèles de langage, mais également dans les ensembles de données d’images utilisés pour former des modèles de vision par ordinateur. En conséquence, les modèles de vision par ordinateur largement utilisés tels que iGPT et DALL-E 2 génèrent de nouvelles caractérisations et stéréotypes explicites et implicites qui perpétuent les préjugés existants sur les groupes sociaux, qui façonnent davantage la cognition humaine.

Ces modèles de vision par ordinateur sont utilisés dans des applications en aval pour surveillance de sécurité, évaluation des candidats à l’emploi, contrôle des frontièreset la recherche d’informations. Des préjugés implicites se manifestent également dans les processus de prise de décision des machines, créant des impacts durables sur la dignité et les opportunités des personnes. De plus, des acteurs néfastes peuvent utiliser des modèles préformés facilement disponibles pour usurper l’identité de personnalités publiques, corruption, tour, plagier, provoquer une distorsion cognitive, et influencer l’opinion publique. Ces données générées par la machine constituent une menace importante pour l’intégrité des informations dans la sphère publique. Alors que les machines progressent rapidement et peuvent offrir certaines opportunités d’utilisation dans l’intérêt public, leur application dans des contextes sociaux sans réglementation appropriée, compréhension scientifique et sensibilisation du public à leur sécurité et à leurs implications sociales soulève de sérieuses préoccupations éthiques.

associations de genre biaisées

Un bon exemple pour explorer de tels préjugés apparaît dans les associations de genre biaisées. Pour comprendre comment les associations de genre se manifestent dans les tâches ultérieures, iGPT demandé pour compléter une image donnée le visage d’une femme. iGPT est un modèle auto-supervisé formé sur un grand ensemble d’images pour prédire la prochaine valeur de pixel, permettant l’imagerie. Cinquante-deux pour cent des images complétées automatiquement avaient des bikinis ou des hauts décolletés. En comparaison, les visages des hommes étaient remplis automatiquement avec des costumes ou des vêtements liés à la carrière 42 % du temps. Seulement sept pour cent des images masculines auto-complétées comportaient des vêtements révélateurs. Pour fournir une analyse complète des biais dans les modèles de vision par ordinateur auto-supervisés, nous avons également développé le test d’association d’intégration d’images pour quantifier les associations de modèles implicites qui peuvent conduire à des résultats biaisés. Nos résultats révèlent que le modèle contient des associations anodines telles que des fleurs et des instruments de musique étant plus agréables que des insectes et des armes. Cependant, le modèle intègre également des appartenances à des groupes sociaux biaisées et potentiellement nuisibles liées à l’âge, au sexe, au poids corporel et à la race ou à l’origine ethnique. Les préjugés à l’intersection de la race et du genre sont conformes aux théories sur l’intersectionnalité, reflétant les préjugés émergents non expliqués par la somme des préjugés uniquement pour la race ou l’identité de genre.

La perpétuation des préjugés entretenus à travers les inégalités structurelles et historiques par ces modèles a des implications sociales importantes. Par exemple, des outils d’évaluation biaisés des candidats perpétuent la discrimination entre les membres de groupes historiquement défavorisés et prédéterminent les opportunités économiques des candidats. Lorsque l’administration de la justice et le maintien de l’ordre reposent sur des modèles qui associent certaines couleurs de peau, races ou ethnies à des valences négatives, les personnes de couleur souffrir injustement les conséquences qui changent la vie. Lorsque les applications de vision par ordinateur traitent directement ou indirectement des informations liées aux attributs protégés, elles contribuent à ces biais, exacerbant le problème en créant un cercle vicieux de biais, qui se poursuivra à moins que des stratégies d’atténuation des biais techniques, sociaux et politiques ne soient mises en œuvre. mis en œuvre.

Des modèles de vision par ordinateur pré-formés à la pointe de la technologie tels que iGPT sont intégrés dans la prise de décision conséquente dans les systèmes complexes d’intelligence artificielle (IA). Les avancées récentes de l’IA multimodale combinent efficacement les modèles de langage et de vision. L’intégration de plusieurs modalités dans un système d’IA complique davantage les implications en matière de sécurité de la technologie de pointe. Alors que l’IA pré-formée est très coûteuse à construire et à exploiter, les modèles accessibles au public sont librement déployés dans des environnements de prise de décision commerciaux et critiques et facilitent les décisions prises dans des domaines bien réglementés tels que l’administration de la justice, Éducation, la main-d’oeuvreet soins de santé. Cependant, en raison de la nature exclusive des systèmes d’IA commerciaux et du manque de surveillance réglementaire de l’IA et des données, il n’existe aucun mécanisme de transparence normalisé qui documente officiellement quand, où et comment l’IA est déployée. Par conséquent, les effets secondaires nocifs involontaires de l’IA persistent longtemps après la mise à jour ou la suppression de ses créateurs.

Établir des utilisations inacceptables de l’IA, nécessitant des contrôles et une sécurité supplémentaires pour les produits à haut risque (tels que ceux le projet de loi sur l’intelligence artificielle de l’Union européenne), et la normalisation du processus d’amélioration du modèle pour chaque modalité et combinaison multimodale afin de publier des mises à jour de sécurité et des rappels sont des approches prometteuses pour relever certains des défis qui peuvent entraîner des dommages irréparables. Les modèles peuvent également aider à guider les développeurs. Par exemple, le National Institute of Science and Technology (NIST) a publié la publication spéciale «Vers un standard d’identification et de gestion des biais en intelligence artificielle» en 2022 et un projet de cadre de gestion des risques liés à l’IA résumant bon nombre de ces risques et suggérant des normes de fiabilité, d’équité, de responsabilité et de transparence.

Les audits et les évaluations d’impact par des tiers peuvent également jouer un rôle important dans la responsabilisation des responsables de la mise en œuvre – par exemple, un projet de loi de la Chambre au sein du sous-comité (la loi de 2022 sur la responsabilité algorithmique) nécessite des évaluations d’impact des systèmes de décision automatisés, mais Les audits tiers avec une réelle attente de responsabilité sont rares. L’essentiel est que les chercheurs en éthique de l’IA appelé à audits publics, systèmes de notification des incidents de dommages, implication des parties prenantes dans le développement des systèmes et avertissement des individus lorsqu’ils sont soumis à une prise de décision automatisée.

La réglementation des préjugés et de la discrimination aux États-Unis est un effort continu depuis des décennies. Les stratégies d’atténuation des biais au niveau politique ont effectivement, mais lentement, réduit les biais dans le système et, par conséquent, dans l’esprit des humains. Les humains et les systèmes de vision apprennent inévitablement des préjugés à partir des données socioculturelles à grande échelle auxquelles ils sont exposés – de sorte que les efforts futurs pour améliorer l’équité et corriger l’injustice historique dépendront de systèmes d’IA de plus en plus influents. Le développement de méthodes de mesure et d’analyse des biais de l’IA, entraînées sur des données socioculturelles, permettrait de faire la lumière sur les biais dans les processus sociaux et automatisés. Ainsi, des stratégies actionnables peuvent être développées grâce à une meilleure compréhension de l’évolution et des caractéristiques des biais. Alors que certaines applications de vision peuvent être utilisées pour de bon (par ex. technologies d’assistance et d’accessibilité conçues pour aider les personnes handicapées), il faut se méfier des risques connus et prévisibles de l’IA.

Alors que les scientifiques et les chercheurs continuent de développer des méthodes et des mesures appropriées pour analyser les risques et les avantages de l’IA, les collaborations avec les décideurs et les agences fédérales éclairent l’élaboration de politiques d’IA fondées sur des preuves. L’introduction des normes nécessaires pour une IA de confiance affecterait la façon dont l’industrie met en œuvre et déploie les systèmes d’IA. Pendant ce temps, communiquer les propriétés et l’impact de l’IA aux parties prenantes directes et indirectes sensibilisera à la façon dont l’IA affecte tous les aspects de nos vies, de la société, du monde et du droit. Prévenir une réalité technodystopique nécessite de gérer les risques de ce problème socio-technique par des approches éthiques, scientifiques, humanistes et réglementaires.