Applications
Développement
Goodtech

Mixtral 8x22B, le nouveau modèle open source de Mistral, est (bien) là

• Bookmarks: 6


Sans grande publicité (et sans le moindre communiqué de presse officiel), Mistral vient de publier il y a quelques jours une nouvelle version de son modèle d’IA open source. Qu’attendre de Mixtral 8x22B ?

Non, Mistral n‘abandonne pas entièrement l’open source. Le modèle Mixtral 8x7B est désormais remplacé par 8x22B.

Le contexte : Le nouveau modèle Mixtral 8x22B a été lancé discrètement via le réseau X avec la publication d’un lien torrent le 10 avril.

 

Il a ensuite été rendu disponible sur les plateformes AI HuggingFace et Together AI avec quelques informations complémentaires.

Que sait-on de Mixtral 8x22B ?

Réponse sur Hugging Face :

Le modèle de langage large (LLM) Mixtral-8x22B est un modèle génératif pré-entraîné, constitué d’un mélange sparse d’experts.

🧠 ~176 milliards de paramètres, ~44 milliards actifs pendant l’inférence
🪟 Fenêtre de contexte de 65 000 jetons
🕵🏾‍♂️ 8 experts, 2 par jeton
🤓 Taille du vocabulaire de 32 000
✂️ Tokeniseur similaire à celui du 7B

Qu’est-ce que cela signifie ?

Que Mixtral-8x22B se pose en concurrent à des LLM comme le GPT 3.5 d’OpenAI et le Llama 2 de Meta (dont la version 3 est prévue dans les semaines à venir).  La fenêtre de contexte est de 65 000 jetons et le nouveau LLM dispose de 176 milliards de paramètres, ou variables, avec lesquels il peut prendre des décisions et faire des prédictions potentielles. Nouveauté : malgré ses 176 milliards de paramètres, le nouveau LLM peut se contenter de 44 milliards de paramètres actifs.

6 recommended
bookmark icon
Mastodon