Avec ses 12 milliards de paramètres, Pixtral 12B propose non pas la génération, mais l’analyse d’image. Il s’agit du premier modèle multimodal de la start-up française. Bonne nouvelle : il peut être utilisé, modifié et amélioré, car il est open source.
Mistral AI a décidé de s’attaquer aux modèles multimodaux et, le moins que l’on puisse dire, c’est qu’il s’agit d’un coup de maître. Pixtral 12B, c’est son nom, est nativement multimodal. Il est formé avec des données d’images et de texte entrelacées.
L’architecture comprend un nouvel encodeur de vision de 400 millions de paramètres, formé à partir de zéro. Le décodeur multimodal de 12 milliards de paramètres est, lui, basé sur Mistral Nemo. La licence choisie est open source, Apache 2.0. Toutes les invites seront bien open source.
Pixtral peut être utilisé pour comprendre avec précision des diagrammes, graphiques et documents complexes en haute définition, tout en garantissant des vitesses d’inférence rapides pour de petites images comme des icônes, des cliparts et des équations.
Mistral explique avoir « réévalué toute une série de modèles open-source et propriétaires via le même cadre d’évaluation : pour chaque ensemble de données, l’invite a été choisie pour reproduire les résultats des modèles multimodaux connus (GPT-4o et Claude-3.5-Sonnet). Tous les modèles ont ensuite été évalués avec cette même invite ».
Dans l’ensemble, Pixtral surpasserait, selon Mistral AI, tous les modèles open source de sa taille. Dans certains cas, il surpasserait des modèles propriétaires tels que Claude 3 Haiku. Pixtral égale les performances de modèles beaucoup plus grands comme LLaVa OneVision 72B sur les benchmarks multimodaux. Enfin, il dépasserait Qwen2-VL 7B, LLaVa-OneVision 7B et Phi-3.5 Vision dans le suivi des instructions.
Vous pouvez tester Pixtral 12B sur La Plateforme ou sur Le Chat. La manière la plus simple d’exécuter Pixtral localement est d’utiliser mistral-inference. Tous les détails sont fournis par Mistral AI dans cet article de blog très technique (en anglais), à destination notamment des développeurs.
