Les outils de codage assistés par l’intelligence artificielle (IA) ont révolutionné les workflows des développeurs logiciels ces dernières années. Des outils comme Cursor et GitHub Copilot promettent d’améliorer la productivité en écrivant automatiquement des lignes de code, en corrigeant les bugs et en testant les changements. Cependant, une nouvelle étude remet en question l’efficacité de ces outils pour les développeurs expérimentés.
Une étude qui soulève des questions
La non-profit METR a mené une étude randomisée contrôlée en recrutant 16 développeurs open-source expérimentés et en leur demandant de compléter 246 tâches réelles sur de grands dépôts de code qu’ils contribuent régulièrement. Les développeurs ont été assignés aléatoirement à utiliser ou non des outils de codage IA pour les tâches. Contrairement aux attentes, l’utilisation d’outils de codage IA n’a pas réduit le temps de completion, mais l’a au contraire augmenté de 19%. Les développeurs ont pris plus de temps pour utiliser les outils de codage IA que pour coder eux-mêmes.
Des raisons derrière les résultats
Les chercheurs ont identifié plusieurs raisons qui pourraient expliquer pourquoi les outils de codage IA n’ont pas amélioré la productivité des développeurs. Premièrement, les développeurs passent beaucoup de temps à promouvoir l’IA et à attendre sa réponse, ce qui prend du temps. Deuxièmement, les outils de codage IA ont du mal à fonctionner dans les bases de code complexes et grandes, comme celles utilisées dans l’étude. Les auteurs de l’étude notent cependant que ces résultats ne signifient pas que les outils de codage IA ne fonctionnent pas pour les développeurs. D’autres études à grande échelle ont montré que ces outils peuvent améliorer la productivité des développeurs.
Une raison de plus pour être sceptique
Ces résultats ajoutent une nouvelle raison de douter des gains de productivité promis par les outils de codage IA. D’autres études ont montré que ces outils peuvent introduire des erreurs et des vulnérabilités de sécurité. Les développeurs doivent être prudents et ne pas prendre pour acquis que les outils de codage IA amélioreront automatiquement leur productivité.