Le géant chinois publie Hy4-preview, un (nouveau) monstre MoE de 770 milliards de paramètres (49 milliards activés par jeton) avec une fenêtre de 1 million de tokens. On vous donne les détails techniques et les accès open weight.
Tencent a longtemps été considéré comme l’un des géants technologiques chinois en retard dans la course aux modèles fondateurs. Son virage stratégique vers l’open weight change brutalement la donne. Le groupe de Shenzhen vient de publier la version préliminaire de Hy4-preview, son nouveau modèle phare basé sur une architecture à mélange d’experts (Mixture-of-Experts – MoE). Avec un total vertigineux de 770 milliards de paramètres, cette publication marque une accélération majeure par rapport aux générations précédentes.
Les poids du modèle sont désormais accessibles librement sur l’annonce officielle de Tencent ainsi que sur sa fiche Hugging Face de Hy4-preview, marquant la volonté de l’entreprise d’irriguer l’écosystème open source mondial.
Une architecture MoE à 78 couches
Sur le plan de l’ingénierie, Hy4-preview déploie une structure massive capable de traiter une fenêtre de contexte étendue à 1 million de tokens. Même si le modèle compte 770 milliards de paramètres au total, il n’en active que 49 milliards par jeton, réduisant ainsi les coûts d’inférence.
Le réseau de neurones s’organise autour d’une colonne vertébrale à 78 couches : la première couche s’appuie sur un réseau denses classique (FFN), tandis que les 77 couches suivantes basculent sur un système MoE comprenant 256 experts orientés et 1 expert partagé. Chaque jeton active en permanence les 8 meilleurs experts orientés en plus du module partagé. Pour accélérer la génération de texte, Tencent a directement intégré une couche native MTP (Multi-Token Prediction) de 10 milliards de paramètres dédiée au décodage spéculatif.
Inspirée des récentes avancées de DeepSeek et GLM, l’attention s’appuie sur le mécanisme Gated DeepSeek Sparse Attention (Gated DSA) couplé à IndexCache pour réutiliser les index rares entre les couches, tandis que le flux d’informations résiduel exploite la technologie iHC (identity Hyper-Connections).
| Spécification technique | Génération précédente (Hy3) | Nouvelle version (Hy4-preview) |
|---|---|---|
| Paramètres totaux | 295 milliards | 770 milliards |
| Paramètres activés / token | 21 milliards | 49 milliards |
| Fenêtre de contexte | 256 000 tokens | 1 000 000 tokens |
| Décodage spéculatif | Non spécifié | MTP natif (10B params) |
7,1 milliards d’euros sur la table
Ce bond technologique s’explique par un effort financier titanesque. Tencent a augmenté ses dépenses d’investissement de 176 % pour atteindre 7,1 milliards d’euros (52,8 milliards de yuans / 7,9 milliards de dollars) au dernier trimestre, consacrant l’essentiel de cette enveloppe à l’entraînement des modèles fondateurs Hunyuan et aux capacités de calcul nécessaires à leur inférence.
Les résultats de cette stratégie se font déjà sentir dans les produits du groupe : Hy4-preview alimente désormais l’écosystème d’outils professionnels de l’éditeur, notamment WorkBuddy (devenu l’agent bureautique IA le plus populaire en Chine), CodeBuddy, Yuanbao et ima. Lors d’évaluations internes menées par 163 experts sur 203 tâches, Hy4-preview a obtenu une note moyenne de 2,99 / 4,00, devançant d’une courte tête GLM-5.3 de Z.ai (2,92) et Kimi K3 de Moonshot AI (2,94).
Outre Hugging Face, le code source et les poids sont téléchargeables depuis le dépôt GitHub officiel de Hy4-preview et la plateforme Tencent AI Studio. Tencent concède toutefois que cette version *preview* comporte encore des limites, comme une tendance à l’auto-vérification excessive sur les problèmes complexes et l’absence temporaire de fonctionnalités multimodales (vision ou vidéo). Une édition complète de Hy4, enrichie de sessions d’entraînement supplémentaires, est attendue dans les prochains mois pour parachever l’offensive du groupe dans l’IA ouverte.
🦋 L’actualité de l’open source en français dans votre flux. Suivez Goodtech sur Bluesky (ou vos applications AT Protocol comme W Social et Mu) grâce à notre compte officiel. Suivez, partagez, abonnez-vous à @goodtech.info !
