On les présente comme des révolutions capables d’accélérer la création logicielle. Et pourtant, selon une étude rigoureuse menée par METR, des développeurs open source aguerris seraient en réalité 19 % moins productifs lorsqu’ils utilisent un assistant IA comme Cursor. Une conclusion contre-intuitive qui écorne sérieusement le discours dominant sur les bénéfices de l’IA générative dans le développement logiciel.
L’étude « Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity » a été menée en double aveugle sur 16 développeurs open source ayant en moyenne 4,9 ans d’expérience sur les projets analysés. 246 tâches leur ont été confiées, avec ou sans assistant IA. Surprise : les participants ont mis 19 % de temps en plus avec IA, alors qu’ils pensaient aller 20 % plus vite ! À l’opposé des estimations de GitHub, qui clament que 88 % des utilisateurs de Copilot se sentent plus productifs.
Les chercheurs ont écarté les biais liés à l’usage ou à la familiarité avec l’outil. Le constat est clair : dans des environnements complexes, l’IA introduit une charge cognitive supplémentaire (prompts, vérification, adaptation), qui finit par ralentir le processus plutôt que de l’accélérer.
Un signal d’alerte pour les projets open source
Cette étude prend une résonance particulière pour la communauté open source. La promesse des assistants IA, souvent basés sur des modèles fermés, entre en tension avec les exigences de transparence, de lisibilité et de reproductibilité propres au développement collaboratif. Là où l’open source exige de comprendre chaque ligne de code, l’IA peut injecter des suggestions difficiles à vérifier, voire des erreurs subtiles.
Dans des bases de code de plus de 50 000 lignes, les assistants IA se heurtent à des problèmes de contexte. Ils produisent du code syntaxiquement correct mais fonctionnellement hasardeux, ce qui alourdit les revues et peut introduire des régressions difficiles à diagnostiquer. Difficile, dans ce cadre, d’en faire un atout pour la qualité du logiciel.
L’IA utile… ailleurs
Tout n’est pas à jeter. L’IA reste une aide précieuse pour les développeurs débutants ou dans les tâches simples et répétitives : génération de tests unitaires, documentation, reformulation, aide syntaxique. Là, les gains de productivité peuvent être spectaculaires.
Mais dans des environnements complexes, collaboratifs et fortement contextualisés – comme les projets open source matures – le développement assisté par IA reste un équilibre fragile. Ce n’est pas la qualité de l’IA qui est en cause, mais la façon dont elle s’intègre (ou pas) au cycle de production.
L’étude METR ne condamne pas les assistants IA, mais rappelle qu’ils ne sont pas magiques. Leur usage doit être adapté à la maturité du projet, au niveau d’expérience de l’équipe et à l’environnement technique. Pour les développeurs open source aguerris, le gain de temps pourrait bien se situer… dans la déconnexion temporaire de l’assistant.
