Une étude menée par GitHub sur Copilot Chat a cherché à savoir si son utilisation améliorait la qualité, réduisait le temps de révision et permettait de produire un code qui passait les tests unitaires. La qualité du code rédigé et révisé était meilleure dans tous les cas, note GitHub.
Parmi les principales conclusions de l’étude, on remarque que 85 % des développeurs se sentent plus confiants dans la qualité de leur code lorsqu’ils créent du code avec GitHub Copilot et GitHub Copilot Chat. Les revues de code sont plus exploitables et réalisées 15 % plus rapidement avec GitHub Copilot Chat. Enfin, 88% des développeurs ont déclaré avoir maintenu un état de flux avec GitHub Copilot Chat parce qu’ils se sont sentis plus concentrés, moins frustrés et ont pris plus de plaisir à coder.
GitHub précise que pour cette étude seuls 36 développeurs ont utilisé GitHub Copilot et Copilot Chat pour créer et réviser du code – « un petit échantillon en partie dû à la nouveauté de l’outil, mais les premiers résultats sont intéressants. »
Lire aussi...
L'article de la semaine
Le développement impacté par l’IA générative
« Le développement est impacté par les services d’IA génératives. Les développeurs n’ont pas attendu ChatGPT pour avoir à disposer cette aide. GitHub avait diffusé une première de CoPilot en juin 2021. Ce qui change aujourd’hui, c’est la « généralisation » de ces services de génération auprès des développeurs. Les dernières évolutions du service tendent à améliorer la qualité des codes générés.« , explique François Tonic, rédacteur en chef de Programmez !, un magazine de référence pour les développeurs, interrogé sur le sujet par Solutions Numériques.
Concernant la portée de cette étude pour laquelle seuls 36 développeurs ont utilisé GitHub Copilot et Copilot Chat pour créer et réviser du code, il l’estime est très limitée : l’échantillon est « beaucoup trop faible pour tirer des conclusions ou des tendances« . Il précise : « Nous sommes d’accord sur un point : le service génère moins de frustrations et peut générer du code utilisable plus rapidement et nécessitant moins de corrections. Les relectures de code bénéficient aussi de ces services et l’étude estime que le code review est plus rapide de 15 %, ce qui est finalement assez faible. Tout dépend de la complexité du code et de sa qualité. Et de conclure : « Attendons quelques mois pour pouvoir réellement comprendre et mesure l’impact de CoPilot, et des autres services. »
