La boîte à outils d’IA responsable soutenue par IBM et Red Hat lancée en 2019 est plus que jamais essentielle aujourd’hui. La communauté TrustyAI doit évoluer et s’intégrer avec d’autres communautés open source, telles que KubeFlow et EleutherAI. Explications.
En tant que communauté open source, TrustyAI occupe une position unique au sein de l’espace de l’IA responsable. La communauté est convaincue qu’il est essentiel de démocratiser la conception et la recherche en matière d’outils d’IA responsable via un modèle open source. Le constat est le même que celui d’OpenLLM en France avec LUCIE. Le moment est venu de la faire entendre la voix du libre dans le domaine de l’IA éthique et responsable.
De quoi parle-t-on ?
TrustyAI est une communauté open source qui s’efforce de proposer un ensemble d’outils variés destinés à favoriser le développement et le déploiement de l’intelligence artificielle (IA) responsable.
Créée en 2019 dans le cadre de Kogito, communauté open source dédiée à l’automatisation, elle est soutenue par Red Hat et IBM principalement.
Depuis 2021, TrustyAI s’est affranchie de Kogito et a gagné en taille et en portée en raison du récent boom de l’IA.
Ce que fait TrustAI
La communauté TrustyAI développe plusieurs projets d’IA responsable, centrés autour de l’explicabilité, du monitoring, du déploiement et de l’intégration responsable de modèles. Deux cas d’usage sont connus.
- Le premier concerne un modèle de machine learning « traditionnel » qui prédit l’acceptation de sinistres dans le domaine de l’assurance.
- Le second concerne le déploiement d’un modèle d’IA générative destiné à servir de tuteur dans le domaine de l’algèbre.
Développons ce second scénario. Il imagine l’obtention d’un modèle d’IA générative destiné à faire office de tuteur d’algèbre. Pour s’en assurer, il serait préférable de vérifier que ce modèle possède de bonnes connaissances spécifiques en la matière et de cantonner les interactions avec les utilisateurs à ce domaine précis. Afin de contrôler les capacités du modèle en matière d’algèbre, il est possible d’effectuer des évaluations à l’aide du service Language Model Evaluation de TrustyAI. Celui-ci s’appuie sur lm-evaluation-harness, la bibliothèque d’EleutherAI, et effectue une suite d’évaluations automatisées afin de mesurer un large panel d’aspects liés à la performance du modèle. Dans le cas qui nous intéresse, il suffit de sélectionner trois sous-ensembles de l’évaluation Massive Multitask Language Understanding : l’algèbre abstraite, les mathématiques dans l’enseignement supérieur et les mathématiques dans l’enseignement secondaire. Si le modèle obtient un bon score lors de ces examens, cela renforcera la confiance dans le fait qu’il s’agit d’un outil adapté afin de servir de tuteur fiable en algèbre.
Une fois que les performances du modèle dans le domaine souhaité sont jugées satisfaisantes, il est possible de mettre en place un déploiement limité à l’aide de TrustyAI Guardrails. Dans le cas qui nous intéresse, il est possible d’appliquer des garde-fous à l’entrée et à la sortie qui vérifient que le contenu et la conversation concernent les mathématiques.
Les projets communautaires de TrustyAI
La communauté TrustyAI fournit plusieurs outils.
Pour les développeurs Java, elle propose la TrustyAI Java library, le plus ancien projet encore actif au sein de la communauté. Son objectif est de permettre la mise en place d’un workflow d’IA responsable au sein des applications Java, ce qui en faisait la seule bibliothèque de ce type au sein de l’écosystème Java au moment où elle a été développée.
Pour les data scientists et les développeurs qui utilisent Python, TrustyAI met à disposition sa bibliothèque Java via la TrustyAI Python library. Dans ce cas, les algorithmes de TrustyAI sont intégrés avec des librairies communes de data science, telles que Numpy ou Pandas. Il est prévu d’ajouter des algorithmes Python natifs à la bibliothèque, ce qui étendra la compatibilité de TrustyAI en l’intégrant avec des bibliothèques comme PyTorch ou TensorFlow. Un exemple d’un tel projet est trustyai-detoxify, un module intégré à la bibliothèque TrustyAI Python qui propose des garde-fous, la détection du langage toxique et de capacités de reformulations pour un usage avec des LLM.
Pour les grandes entreprises et les cas d’usage de MLOps, TrustyAI fournit le TrustyAI Kubernetes Service and Operator, qui inclut les algorithmes de TrustyAI dédiés à la détection des biais, à l’explicabilité et à la dérive au sein d’un environnement cloud, tout en proposant des interfaces pour les fonctionnalités Language Model Évaluation et Guardrails. Le service et l’opérateur sont tous deux intégrés au sein de Open Data Hub et Red Hat OpenShift AI. Actuellement, le service Kubernetes de TrustyAI prend en charge les modèles tabulaires fournis dans KServe ou ModelMesh.
L’avenir de TrustyAI
Le principal contributeur de TrustyAI est Red Hat (et sa maison-mère IBM). L’entreprise entend favoriser la collaboration pour grandir et estime qu’il faut intégrer TrustyAI avec d’autres communautés open source, telles que KubeFlow et EleutherAI, afin de « favoriser la croissance et l’expansion de tous ».
Vous pouvez consulter les orientations et les feuilles de route communautaires de TrustyAI ou rejoindre le canal Slack de la communauté.
