Alors que les dépôts de modèles ouverts comme Hugging Face explosent avec plus de deux millions de références, une question hante les RSSI et les responsables data : d’où vient réellement ce modèle ? Cisco a publié le Model Provenance Kit, une boîte à outils Python open source conçue pour vérifier si deux modèles partagent une origine commune. Ce que la société appelle un « test ADN pour l’IA » vise à assainir une chaîne d’approvisionnement devenue opaque, où les métadonnées peuvent être falsifiées ou supprimées.
L’enjeu est de taille. Sans traçabilité, une entreprise peut involontairement déployer un modèle « empoisonné », hériter de licences restrictives ou se retrouver en infraction avec l’EU AI Act, qui impose une documentation stricte pour les systèmes à haut risque.
Comment ça marche
Le Model Provenance Kit ne se contente pas de lire les fichiers de configuration. Il utilise un pipeline en deux étapes pour authentifier la lignée d’un modèle :
-
Criblage architectural (Stage 1) : une analyse rapide des métadonnées et de la structure du modèle. Si les spécifications diffèrent, le test s’arrête là.
-
Analyse profonde des poids (Stage 2) : si le doute persiste, l’outil analyse les paramètres appris (les poids). C’est ici que l’analogie avec l’ADN prend tout son sens. L’outil extrait cinq signaux uniques qui survivent même après un ajustement fin (fine-tuning).
| Signal | Description technique |
| EAS (Embedding Anchor Similarity) | Compare les relations géométriques entre les embeddings de tokens. |
| END (Embedding Norm Distribution) | Analyse la magnitude des embeddings, signature de la fréquence des mots apprise. |
| NLF (Norm Layer Fingerprint) | Lit les couches de normalisation, extrêmement stables après entraînement. |
| LEP (Layer Energy Profile) | Compare les courbes d’énergie à travers la profondeur du réseau. |
| WVC (Weight-Value Cosine) | Comparaison directe des valeurs de poids sur un échantillon de couches. |
L’heure de la transparence
Cette boîte à outils répond à un besoin urgent de gouvernance. « La traçabilité des modèles sera au cœur de la sécurité de l’IA », affirme Amy Chang, responsable de la recherche en sécurité de l’IA chez Cisco. L’outil permet notamment de détecter si un développeur prétend avoir entraîné un modèle from scratch alors qu’il s’agit d’une simple copie modifiée d’un modèle tiers.
Lors de tests sur 111 paires de modèles, l’outil a atteint un rappel de 100 % sur les dérivés standard et les changements d’organisation. Le kit est livré avec une base de données initiale de « fingerprints » couvrant 150 modèles de base (Meta, Mistral, Alibaba, etc.).
Le projet est disponible sous licence Apache-2.0 sur GitHub.
