L’accord entre Mistral et Microsoft passe mal (voir notre article) ? IBM a la solution. L’entreprise propose une version optimisée de Mixtral-8x7B. Particularité ? Il reste bien open source. Et ce n’est pas le seul modèle ouvert disponible.
IBM propose une version optimisée de Mixtral-8x7b (open source). Le modèle Mixtral-8x7B peut traiter et à analyser rapidement de grandes quantités de données. Lors de tests internes à IBM et Red Hat, le modèle a permis d’augmenter le débit de 50 % par rapport au modèle standard.
Traduction : cela pourrait réduire le temps de latence de 35 à 75 %, en fonction de la taille du prompt. Ce résultat est théorique évidemment, mais il a été obtenu grâce à un processus appelé quantization, qui réduit la taille du modèle et les besoins en mémoire pour les LLMs.
Pour une intelligence artificielle au service de l’intelligence humaine
IBM rappelle que Mixtral-8x7B (utilisé par Brave notamment) a été conçu en combinant le Sparse modeling – elle n’utilise que les parties les plus essentielles des données pour créer des modèles plus efficaces – et la technique de Mixture-of-Experts, qui combine différents modèles (« experts ») qui se spécialisent dans différentes parties d’un problème et les résolvent.
D’autres modèles open source disponibles
Mistral n’est pas le seul éditeur à être proposé par IBM, qui adopte une position très neutre et ouverte sur la question des LLM. La semaine dernière, la maison-mère de Red Hat a également annoncé la disponibilité d’ELYZA-japanese-Llama-2-7b, un modèle LLM japonais Open-Source d’ELYZA Corporation, sur watsonx. IBM propose également les modèles open-source Llama-2-13B-chat et Llama-2-70B-chat de Meta, ainsi que d’autres modèles de tiers sur watsonx, et d’autres encore seront disponibles au cours des prochains mois.
