Авторы исследования заключили, что принятие исправлений от программ-помощников, работающих с кодом, связано с историей работы агента в репозитории, а не с содержанием исправления. Само слияние исправления не подтверждает заявленное ускорение.
В выборку вошли 1 262 исправления проблем с производительностью, которые шесть агентов внесли в 582 репозитория. Из 30 слитых исправлений 18 соответствовали критерию авторов, а девять не дали заметного прироста производительности или ухудшили её.
Проверка утверждений:
- Авторы исследования заключили, что принятие исправлений от coding-агентов связано с историей их работы в репозитории, а слияние само по себе не подтверждает заявленное ускорение. (подтверждено самой публикацией: доказательство; «The outcome tracks the repository’s history with the agent rather than the coded content of the fix, and a merge does not show that the fix delivers what it claims.»)
- В выборку вошли 1 262 исправления проблем с производительностью, которые внесли шесть агентов в 582 репозиториях. (подтверждено самой публикацией: доказательство; «From the 71,677 agent PRs of AIDev v4, a text filter and codebook coding by language models and by the authors select 1,262 performance issues fixed by six agents in 582 repositories.»)
- Из 30 слитых исправлений 18 выполнили критерий авторов, а девять не дали заметного выигрыша или ухудшили производительность. (подтверждено самой публикацией: доказательство; «of the 30 merged fixes, 18 met our delivery criterion, 3 fell short of the claim, 9 showed no significant gain or regressed»)
Первоисточники:
оценка 53,2 из 100 · тип: исследование