Une étude de METR, publiée en juillet dernier, révèle que l’intelligence artificielle pourrait parfois ralentir les développeurs open source aguerris plutôt que d’accélérer leur travail. Le créateur de Django et Datasette, Simon Willison, en a proposé une lecture éclairante sur son blog.
L’organisation indépendante METR (Model Evaluation and Transparency) a mené au début de l’année une expérience auprès de seize développeurs open source expérimentés. Objectif : mesurer concrètement l’impact de l’IA sur leur productivité en comparant le temps nécessaire pour accomplir des tâches avec et sans assistance.
Les résultats ont de quoi surprendre. Alors que les participants estimaient à l’avance que l’IA leur ferait gagner environ 20 % de temps, l’étude a montré l’effet inverse : en moyenne, les tâches ont pris 19 % de temps supplémentaire avec l’aide d’outils d’IA.
Comme l’explique Simon Willison sur son blog, plusieurs raisons peuvent expliquer ce paradoxe. L’intégration de l’IA dans un flux de travail n’est pas immédiate : les suggestions générées par les modèles nécessitent souvent d’être corrigées, ce qui peut prendre plus de temps que d’écrire le code directement. De plus, l’IA peine encore à comprendre le contexte implicite d’un projet collaboratif, un domaine où l’expérience humaine reste irremplaçable.
Cependant, tout n’est pas négatif. L’étude note que les développeurs ayant déjà accumulé plus de cinquante heures d’usage d’outils d’IA ont commencé à en tirer de véritables gains de vitesse. En clair, l’IA devient un atout productif lorsqu’elle est utilisée avec méthode et entraînement.
Pour la communauté open source, ces résultats rappellent qu’il ne faut pas céder à l’illusion d’un gain automatique. La clé réside dans la formation, l’adaptation des workflows et la transparence des résultats de recherche.
L’étude complète est disponible (en anglais) au format PDF.
