Mistral entre sur le marché de la synthèse vocale avec une proposition claire : open source, compact, et suffisamment léger pour tourner sur une montre connectée. Voxtral TTS, lancé jeudi, repose sur Ministral 3B et se positionne directement face à ElevenLabs, Deepgram et OpenAI sur un marché estimé à 24 milliards d’euros d’ici 2028. Les poids sont disponibles sur Hugging Face.
« Nos clients réclamaient un modèle de synthèse vocale. Nous avons donc construit un modèle vocal de petite taille qui peut fonctionner sur une montre connectée, un smartphone, un ordinateur portable. Son coût représente une fraction de tout ce qui existe sur le marché, tout en offrant des performances de pointe« , déclare Pierre Stock, vice-président des opérations scientifiques chez Mistral, dans une interview à TechCrunch.
90 millisecondes, clonage vocal en 5 secondes, 9 langues
Les chiffres sont concrets : délai avant le premier son de 90 millisecondes pour un échantillon de 500 caractères, facteur de temps réel de 6x (un clip de 10 secondes généré en environ 1,6 seconde). Le modèle clone une voix personnalisée à partir de moins de cinq secondes d’audio, en capturant accents, inflexions et irrégularités vocales. Il bascule entre les langues sans perdre les caractéristiques vocales – une fonctionnalité clé pour le doublage et la traduction en temps réel.
Les neuf langues compatibles à ce stade : anglais, français, allemand, espagnol, néerlandais, portugais, italien, hindi et arabe. La documentation technique complète est disponible.
Une chaîne audio complète pour concurrencer les solutions propriétaires
Voxtral TTS complète Voxtral Transcribe 2, lancé plus tôt cette année pour la transcription dans 13 langues. Mistral dispose désormais des deux composants essentiels d’une chaîne de traitement audio : transcription et génération. « Nous prévoyons d’avoir une plateforme de bout en bout capable de gérer des flux d’entrée multimodaux, incluant l’audio, le texte et l’image », annonce Stock.
La stratégie est la même que celle qui a permis à Mistral de s’imposer de nouveau dans les LLM : des modèles sous licence Apache 2.0 face aux systèmes fermés d’OpenAI et Google. ElevenLabs approche une valorisation de 2,7 milliards d’euros avec une plateforme entièrement dépendante du cloud – Mistral parie sur l’embarqué, la vie privée et l’open source.
