« L’exception indique où la charge s’est arrêtée, pas où la panne a commencé » : NVIDIA publie Attribution en open source

Dans les fermes d’entraînement d’intelligence artificielle, diagnostiquer l’origine exacte d’un échec relève trop souvent du casse-tête pour les équipes d’ingénierie. C’est pour couper court à ces enquêtes chronophages que le constructeur américain vient d’officialiser la publication de son framework interne Attribution en open source.

Éprouvée depuis plusieurs années sur ses propres infrastructures pour ausculter des millions de charges de travail hebdomadaires, la solution de NVIDIA est désormais librement accessible sur GitHub sous l’égide du projet dsx-ai-factory.

Distinguer l’étincelle initiale du feu de forêt logiciel

Dans un cluster distribué adossé à des protocoles de communication comme NCCL et des réseaux à haut débit RDMA, la perte d’un unique composant produit un effet domino dévastateur. Une anomalie de signal sur un bus NVLink génère immédiatement des interruptions en chaîne sur les rangs voisins, modifie l’état de l’ordonnanceur et inonde les journaux applicatifs. Pour l’ingénieur d’astreinte, le point de rupture visible n’est presque jamais le point d’origine.

Le moteur d’Attribution applique des règles déterministes à travers un pipeline rigoureux en quatre étapes successives :

• Délimitation du périmètre d’exécution : identification précise de la fenêtre temporelle de la tentative et de la liste exacte des nœuds alloués par le gestionnaire de tâches.
• Collecte des observations brutes : extraction conjointe des syslogs, des messages des pilotes, des données de Fabric Manager et des compteurs matériels.
• Extraction et filtrage des signaux : décodage des erreurs spécifiques, comme un code XID 149 traduisant un problème d’intégrité de signal sur une liaison NVLink, tout en rétrogradant les erreurs NCCL annexes au statut d’éléments de preuve secondaires.
• Restitution d’un verdict structuré : génération d’un rapport formalisé précisant le statut final, la cause première attribuée, le nœud fautif et le niveau d’incertitude (marqué « ambigu » si plusieurs hypothèses coexistent ou « non attribué » si la télémétrie est lacunaire).

Deux briques modulaires prêtes pour Kubernetes et Slurm

Le projet accessible sur le dépôt GitHub de NVIDIA Attribution sépare nettement la logique algorithmique de son environnement d’exécution. D’un côté, Attribution Service encapsule le moteur derrière une API HTTP pour délivrer un verdict par tentative. De l’autre, Attribution Blueprint propose un orchestrateur de référence en langage Python accompagné d’un tableau de bord de consultation en lecture seule.

Cette articulation garantit une intégration transparente dans les architectures existantes des centres de données. L’outil dialogue nativement avec les ordonnanceurs Slurm et Kueue, tandis que ses connecteurs d’ingestion captent directement les métriques issues de Loki, des pods Kubernetes et des requêtes PromQL sans imposer de refonte des piles de supervision en place.

git clone https://github.com/dsx-ai-factory/attribution.git nvidia-attribution
cd nvidia-attribution
docker build -f blueprint/docker/Dockerfile -t attribution-blueprint-web:quickstart "$PWD"
mkdir -p .attribution-sample
docker run -d --rm --name attribution-blueprint-web-local -e ATTRIBUTION_DB=/data/attributions.db -p "127.0.0.1:8000:8000" -p "127.0.0.1:8080:8080" -v "$PWD/.attribution-sample:/data" attribution-blueprint-web:quickstart

Le couplage avec NVIDIA Recovery

Cette ouverture de code s’accompagne de celle de NVIDIA Recovery, une brique intégrée à DSX OS dédiée à la remédiation automatisée. Lorsqu’une interruption survient, Recovery isole le nœud défaillant et relance la tâche depuis le dernier point de contrôle (checkpoint), en s’appuyant directement sur les diagnostics d’Attribution pour affiner sa prise de décision. Déployé sur un cluster en production entre juillet et octobre, ce dispositif a consigné plus de 8 550 détections d’anomalies, affichant une réactivité moyenne de 69 secondes pour la détection et de 94 secondes pour la reprise effective du calcul.

En mettant ces outils à disposition de la communauté sous licence libre, NVIDIA s’adresse aux opérateurs d’infrastructures d’IA et aux équipes DevOps désireux d’automatiser la résilience de leurs parcs. Dans un écosystème où chaque minute d’indisponibilité d’un supercalculateur engendre des coûts énergétiques et financiers considérables, rationaliser l’analyse des incidents matériels devient le préalable indispensable à toute exploitation d’IA souveraine et pérenne.