Google vient de publier en open source LMEval, un framework dédié à l’évaluation des grands modèles de langage (LLMs). Conçu pour les développeurs et les chercheurs, cet outil facilite les benchmarks à grande échelle entre modèles provenant de fournisseurs différents, sur des jeux de données variés.
Avec l’arrivée constante de nouveaux modèles IA, il devient essentiel de pouvoir les comparer rapidement, objectivement et efficacement. LMEval entend répondre à ce besoin en permettant des tests croisant plusieurs modèles (OpenAI, Google, Hugging Face, Anthropic, etc.), sans devoir gérer chaque API individuellement. Le framework repose sur LiteLLM pour offrir une compatibilité directe avec les principaux fournisseurs.
LMEval prend en charge l’évaluation multimodale (texte, image, code), divers formats de tests (choix multiple, questions booléennes, génération libre) et plusieurs métriques de scoring. Il gère aussi la détection de réponses non fiables (safety/punting) et stocke les résultats dans une base SQLite chiffrée pour garantir leur sécurité.
Côté performances, LMEval adopte une logique incrémentale : seuls les nouveaux modèles, prompts ou questions sont (ré)évalués, ce qui évite les tests redondants et accélère les cycles. Un moteur multi-threadé assure une parallélisation efficace.
Pour mieux visualiser les résultats, LMEval propose aussi LMEvalboard, un tableau de bord interactif qui permet de comparer rapidement les performances, analyser un modèle dans le détail, ou effectuer des comparaisons en tête-à-tête entre modèles.
LMEval est déjà utilisé dans le cadre du Phare benchmark de Giskard, qui mesure la sécurité et la robustesse de modèles IA populaires. Vous pouvez explorer le projet, contribuer ou l’intégrer à vos workflows via le dépôt GitHub officiel.
Pour en savoir plus sur les objectifs de LMEval, rendez-vous sur le blog open source de Google.
