Les modèles d’IA des laboratoires OpenAI, anthropiques et d’autres meilleurs laboratoires AI sont de plus en plus utilisés pour aider à la programmation des tâches. Le PDG de Google Sundar Pichai dit en octobre Ce 25% du nouveau code de l’entreprise est généré par l’IA et le méta-PDG Mark Zuckerberg a exprimé des ambitions pour déployer largement les modèles de codage d’IA au sein du géant des médias sociaux.
Pourtant, même certains des meilleurs modèles ont aujourd’hui du mal à résoudre les bogues logiciels qui ne trébucheraient pas les développeurs expérimentés.
UN nouvelle étude De Microsoft Analysis, la division R&D de Microsoft, révèle que les modèles, notamment Anthropic Claude 3.7 Sonnet Et Openai o3-min, échouez à déboguer de nombreux problèmes dans un benchmark de développement logiciel appelé Swe-Bench Lite. Les résultats sont un rappel qui donne à réfléchir que, malgré audacieux déclarations Des entreprises comme OpenaiL’IA ne correspond toujours pas aux consultants humains dans des domaines tels que le codage.
Les co-auteurs de l’étude ont testé neuf modèles différents comme l’épine dorsale pour un «agent rapide» qui avait accès à un sure nombre d’outils de débogage, y compris un débogueur Python. Ils ont chargé cet agent de résoudre un ensemble organisé de 300 tâches de débogage de logiciels de Swe-Bench Lite.
Selon les co-auteurs, même lorsqu’ils sont équipés de modèles plus forts et plus récents, leur agent a rarement accompli plus de la moitié des tâches de débogage. Claude 3.7 Sonnet avait le taux de réussite moyen le plus élevé (48,4%), suivi par O1 d’OpenAI (30,2%) et O3-MinI (22,1%).
Pourquoi la efficiency décevante? Certains modèles ont eu du mal à utiliser les outils de débogage à leur disposition et à comprendre remark différents outils pourraient aider à différents problèmes. Le plus gros problème, cependant, était la pénurie de données, selon les co-auteurs. Ils spéculent qu’il n’y a pas suffisamment de données représentant des «processus de prise de décision séquentiels» – c’est-à-dire des traces de débogage humain – dans les données de formation des modèles actuels.
«Nous croyons fermement que la formation ou le réglage fin (modèles) peuvent en faire de meilleurs débogateurs interactifs», a écrit les co-auteurs de leur étude. «Cependant, cela nécessitera des données spécialisées pour réaliser une telle formation de modèle, par exemple, des données de trajectoire qui enregistrent les brokers interagissant avec un débogueur pour collecter les informations nécessaires avant de suggérer un correctif de bogue.»
Les résultats ne sont pas exactement choquants. De nombreuses études ont indiqué Cette IA générateurs de code have a tendency à introduire des vulnérabilités et des erreurs de sécurité, en raison de faiblesses dans des domaines comme la capacité de comprendre la logique de programmation. Une évaluation récente de Devinun outil de codage AI populaire, a constaté qu’il ne pouvait effectuer que trois des 20 checks de programmation.
Mais le travail Microsoft est l’un des seems les plus détaillés à ce jour sur un problème persistant pour les modèles. Il ne s’amortira probablement pas enthousiasme des investisseurs Pour les outils d’help alimentés par AI, mais avec un peu de likelihood, cela fera que les développeurs – et leurs supérieurs – réfléchissent à deux fois à permettre à l’IA d’exécuter le spectacle de codage.
Pour ce que cela vaut, un nombre croissant de cooks de technologie ont contesté l’idée que l’IA automatisera les emplois de codage. Le co-fondateur de Microsoft Invoice Gates a dit qu’il considérait la programmation comme une career est là pour rester. Aussi Replit PDG Amjad Masad, PDG d’Okta Todd McKinnonet Le PDG d’IBM Arvind Krishna.
