Les outils Azure d’IA responsable : le Responsible AI Dashboard

Article corédigé par Fawzi Rida et Nathalie Fouet

A l’horizon 2025, avec le règlement européen sur l’Intelligence Artificielle (IA Act), les fournisseurs de certains systèmes d’IA devront se conformer à de nouvelles obligations pour leur mise sur le marché (voir notre article sur Les propositions de la Commission européenne pour une IA de confiance).

L’objectif de cet article est de vous expliquer comment, en tant que Data Scientist par exemple, vous pouvez vous outiller pour répondre à ces nouvelles obligations.

Pourquoi « l’IA responsable » ?

L’IA Responsable s’assure qu’un produit IA a été développé et va être utilisée d’une manière éthique, équitable, transparente et s’assure du bien-être des individus et de la société dans son ensemble.

Généralement, pour dire qu’un modèle Machine Learning est performant ou non, les Data Scientists ont recours aux métriques d’évaluations, par exemple l’accuracy pour une classification et RMSE pour une régression. Cependant, ces techniques d’évaluation ML ne sont pas suffisantes. Certes, elles sont importantes pour évaluer les performances d’un modèle, mais elles rencontrent des limites :

• Elles ne fournissent pas une image complète du comportement du modèle dans des scénarios réels.
• Elles ne tiennent pas compte des implications éthiques, sociales et juridiques de l’utilisation du modèle.

Imaginons un scénario dans le domaine médical. Les techniques d’évaluation traditionnelles peuvent considérer qu’un modèle est très précis dans la détection des tumeurs. Mais une IA responsable examinerait également si le modèle est exempt de biais qui pourraient affecter négativement certains groupes de personnes et fournirait des explications sur sa prise de décision.

Note importante : L’IA Responsable, ne va pas remplacer les métriques traditionnelles de l’évaluation des modèles ML, elle les complète.

Dans un précédent article sur ces fameux outils, nous vous avions parlé du Dashboard Responsible AI disponible dans Azure Machine Learning (lire l’article sur le Run d’un projet IA : garder sous contrôle le cycle de vie d’un modèle ML)

L’Intelligence Artificielle « responsable » par Microsoft

Comment faire des produits IA responsables ?

Microsoft a présenté sa vision de l’IA responsable il y a 2 ans, avec une liste de principes :

Aperçu des principes de « l’IA responsable » par Microsoft

Pour qu’un produit IA soit responsable, il doit être :

Fair : sans préjugés ni discrimination, et traite tous les utilisateurs équitablement.

Nos conseils :

• Utiliser des datasets divers et représentatifs pour entraîner les modèles ML.
• Tester et surveiller régulièrement le système pour détecter les biais. Pour cela, on a le package FairLearn qu’on peut facilement intégrer dans les pipelines Azure Machine Learning.

Explainable : capable d’expliquer ses décisions.

Nos conseils :

• Si possible, utiliser des modèles facilement interprétables tels que les arbres de décision.
• Fournir des outils de transparence expliquant les prédictions du modèle. Il existe plusieurs packages, comme : SHAP, InterpretML, etc.

Safe : conçu pour être fiable, afin de minimiser le risque d’erreur.

Notre conseil : Utiliser des méthodes de test rigoureuses telles que des tests simulés et réels pour garantir que le système fonctionne bien dans différentes conditions. Sur le Service Azure Machine Learning, on a les dahsboards responsible IA qui contiennent des sections counterfactuals et causal analysis pour des What-if simulations.

Private : protéger la vie privée et ne pas violer les droits ou les attentes des individus. ​

Nos conseils :

• Utiliser des méthodes sécurisées de stockage et de transmission des données.
• Assurer la transparence et le contrôle de l’utilisation des données.

Transparent : transparent sur ses capacités et ses limites.

Nos conseils :

• Fournir des informations claires et précises sur les performances et la fiabilité du système.
• Être ouvert et transparent sur tout problème. Sur le Service Azure Machine Learning, on peut transformer les dashboards responsible AI en rapports PDF qu’on nomme Responsible AI ScoreCard. C’est une sorte de carte d’identité du modèle qui respecte un certain standard permettant d’être comprise aussi bien par des profils techniques (Data Scientists …) que non techniques (chefs de projet, décideurs, département juridique…).

Responsible : développer et utiliser d’une manière éthique, équitable et transparente, et qui favorise le bien-être des individus.

Notre conseil : impliquer toutes les parties prenantes dans le processus de développement et mettre en place des directives et des stratégies claires pour garantir que le système est utilisé de manière responsable.

Suite à la présentation de sa vision Responsible AI, Microsoft a lancé en décembre 2021 un projet open source appelé la boîte à outils d’IA responsable, qui a abouti au développement d’un composant dans Azure Machine Learning : Dashboard Responsible AI.

Le Responsible AI Dashboard dans Azure Machine Learning

Le Responsible AI Dashboard offre une interface unique permettant la mise en place des best practices Responsible AI. Ce dashboard est interactif et s’adapte en temps réel à nos choix (nous pouvons lui associer des instances de calcul, modifier à la volée les features et métriques sur lesquelles nous souhaitons nous concentrer).

La procédure de création de ce Dashboard Responsible AI pour vos modèles Azure ML est simple :

1. Dans le Azure Machine Learning Studio, commencez par enregistrer nos modèles dans « Models » sous le format MLFLOW :

2. Puis sélectionnez le modèle sur lequel nous souhaitons attacher un Dashboard responsible AI :

3. Allez sur Responsible AI et cliquez sur Create Responsible AI insights :

4. Suivez le guide de création :

5. Sélectionnez les Train et Test datasets et choisissez la Modeling task :

6. Il existe deux types de visualisations dans le Dashboard Responsible AI :

• Model Debugging visualizations : ils permettent de comprendre et de debug un modèle ML.
• Real-life interventions visualizations : pour des tests rigoureux dans des scénarios réels (what-if scenarios)

7. Choisissez et validez un choix de création de visualisations. Un job sera lancé pour la phase de construction du dahsboard :

Notre Dashboard Responsible AI est créé !

Ce Dashboard Responsible AI est composé de 6 grandes sections :

• Section I : Error Analysis

Elle fournit une compréhension plus approfondie de la distribution d’erreur du modèle et aide à identifier les cohortes de données erronées.

Illustration Tree Map: Identifie les cohortes de données avec un taux d’erreur élevé

Illustration Heat Map : découpe les données en une grille 1D ou 2D par les features d’entrées

• Section II: Model overview

Donne une vue globale des métriques d’évaluations des modèles ML et des métriques pour le calcul du biais.

Illustration des métriques d’évaluation ML

• Section III: Data Analysis

Permet l’exploration statistique des données et l’identification des problèmes de sur-représentation et sous-représentation des données.

Illustration de la distribution statistique des données

• Section IV: Feature Importance

Permet le diagnostic des prédictions des modèles ML pour une meilleure interprétabilité.

Illustration des features les plus importantes du modèle ML

• Section V: Counterfactuals

Permet de voir ce que le modèle prédirait en changeant les données d’entrées, pour mieux comprendre le modèle ML, et donne une meilleure expérience de debugging.

Illustration des scenarios counterfactuals

• Section VI: Causal Analysis

Permet l’estimation de l’effet d’une feature sur le résultat et la mise en place des stratégies de traitements

• Section VI. 1: Aggregate causal effects : Présente les features avec un effet important sur nos outputs

Illustration aggregate causal effects

• Section VI. 2 : Individual causal what-if (visualisation dans un cas de modèle de régression) : Présente le changement d’une feature d’un point et son impact sur l’output (current vs new)

Illustration individual causal what-if

• Section VI. 3: Treatment policy : Présente la stratégie de traitement à appliqué par rapport à une feature dite sensible (qui a un effet important sur nos outputs)

Illustration treatment policy

Voici pour les différentes visualisations présentes dans le Dashboard !

Et la cerise sur le gâteau, on peut transformer ce dashboard en un rapport sous format PDF (une sorte de carte d’identité du modèle), qui est facilement partageable entre les équipes, à votre chef de projet ou votre direction juridique ! Pour créer une scorecard, il faut sélectionner un dashboard existant et cliquer sur Generate new PDF scorecard.

Ci-dessous, quelques visualisations présentes dans la scorecard :

Pour plus d’informations sur ce Dashboard ou sur le document scorecard, nous vous invitons à Consulter la documentation Microsoft.

Vous souhaitez être accompagnés sur vos projets d’IA responsable ? Contactez-nous !