IA générative et santé : le projet LLM4All est Open Source

Le CNRS, HuggingFace et LINAGORA annoncent cette semaine que l’ANR va financer une nouvelle initiaitve ouverte, LLM4All, portée par un consortium d’acteurs stratégiques et complémentaires issus des secteurs de la technologie et de la recherche. Les détails.

• Pourquoi c’est important : L’IA et les LLM sont partout, soulignant l’importance de la taille comme critère déterminant pour la qualité des modèles. L’initiative LLM4All se lance enfin officiellement, avec comme ambition majeure de développer des LLM de grande envergure pour résoudre des défis cruciaux dans des domaines où la souveraineté est requise. Notamment, celui de la santé.
• Quels sont les défis ? L’ambition est là, mais le défi est complexe et il est double. Le premier est la mise à jour automatique des modèles. Le second est de rendre ces modèles plus accessibles en termes de coûts de calcul.

IA éthique pour la santé

En route pour une IA générative au service de la santé et en mode open source. Deux cas d’usage en matière de santé ont été identifiés :

1. Le résumé automatique de réunions. Un grand modèle de langage (Large Language Model ou LLM) actualisé sera formé sur un ensemble de données de réunions sera mis à disposition sous licence Open Source.
2. L’analyse des appels d’urgence du SAMU. Un modèle combinant les aspects RAP et NLP sera spécifiquement adapté pour analyser un ensemble d’appels d’urgence simulés, enrichi par des données externes, y compris des éléments vocaux et des ontologies médicales.

« Avec LLM4All, les partenaires du consortium associent leurs capacités en R&D et ingénierie combinant innovation, efficacité et accessibilité pour répondre aux besoins croissants en termes d’IA Générative multimodale souveraine et Open Source. »
Michel-Marie Maudet, Directeur Général de LINAGORA

CLAIRE, la première version du modèle

Il suffit pas de continuer à former un LLM avec de nouvelles données. Sans des processus d’apprentissage adéquats, ces modèles risquent d’ « oublier » des informations précédentes. LLM4All s’attaque à ce défi en explorant des approches comme l’intégration de réseaux neuronaux expansifs et de techniques de parcimonie. L’objectif est de fournir des LLM multilingues constamment actualisés, en s’appuyant sur de nouvelles techniques développées dans le cadre du projet. Le projet vise également à valider ces avancées technologiques sur des applications concrètes en langue française.

LLM4All prépare actuellement la construction d’une première version d’un modèle dénommée – CLAIRE – visant à tester ces différentes approches sur un ensemble de datasets « propres » qui respectent les exigences visées par l’IA Act. L’objectif du consortium LLM4All est d’entraîner CLAIRE sur les prochaines semaines afin d’obtenir un modèle opérationnel avant la fin de mois d’octobre.