Google ouvre sa pile technologique pour défier la domination de NVIDIA sur l’inférence IA ! TPU Raiden est une bibliothèque C++ sous licence Apache 2.0 qui orchestre le cache KV entre puces TPU avec des débits jusqu’à 200 Go/s.
L’heure est au déverrouillage stratégique. Dans la foulée de son récent billet d’étape sur sa stratégie d’IA ouverte, le groupe déploie sur le dépôt GitHub de TPU Raiden sa toute nouvelle solution d’optimisation d’inférence sous licence Apache 2.0. Un signal clair montrant que la firme souhaite externaliser sa pile matérielle pour séduire les grands acteurs du secteur.
Cette brique logicielle native en C++ équivaut directement à la couche NIXL développée par NVIDIA pour ses processeurs graphiques. Elle résout le principal goulet d’étranglement de l’inférence moderne sur les grands modèles de langage : l’orchestration et le transfert de la mémoire active du modèle, le **cache KV**.
Transferts zéro-copie
Pour exécuter efficacement les phases de prefill (traitement du contexte d’entrée) et de decode (génération des jetons un par un), les centres de calcul séparent ces tâches sur des pools de puces distincts. L’enjeu réside dans la vitesse de transmission du cache KV généré par le prefill vers les puces de génération. C’est exactement le rôle dévolu à TPU Raiden.
Le framework s’exécute sous les orchestrateurs Python (comme JAX ou PyTorch) et tire parti d’une ingénierie bas niveau très performante. La bibliothèque extrait directement les descripteurs matériels sans passer par des allocations tampons sur le processeur central, assurant un transfert direct entre puces. Les opérations de communication et de routage s’effectuent sur des threads C++ en arrière-plan pendant que les TPU calculent, évitant toute pause d’exécution. Enfin, le cache stocké en mémoire RAM hôte utilise la mémoire partagée POSIX. En cas de redémarrage du serveur, le système se rattache instantanément au cache sans recalculer le prefill.
Faire sauter les verrous d’adoption face au monopole de NVIDIA
Si Google ne commercialise pas ses puces TPU sous forme de cartes d’extension individuelles, ses accès cloud se développent rapidement chez des géants comme Anthropic ou OpenAI. Ces clients exploitent déjà des moteurs d’inférence ouverts comme vLLM ou SGLang. En fournissant une couche logicielle équivalente à NIXL, Google permet aux équipes d’ingénierie de basculer leurs charges de travail vers ses TPU avec un effort de réécriture minimal.
Ce mouvement répond à l’ouverture par NVIDIA de ses API cuFile au sein d’une organisation multi-fournisseurs. L’équipe de développement précise toutefois dans sa documentation que TPU Raiden reste en développement actif et s’adresse pour l’instant aux déploiements expérimentaux et aux partenaires chevronnés.
🦋 L’actualité de l’open source en français dans votre flux. Suivez Goodtech sur Bluesky (ou vos applications AT Protocol comme W Social et Mu) grâce à notre compte officiel. Suivez, partagez, abonnez-vous à @goodtech.info !
