Armature публикува изследване за това как coding агентите, програми, които помагат да се пише и променя код, намират и избират инструменти. Компанията измери 16 893 сесии с Claude Code, Codex и Cursor.
В първата публикувана вълна авторите запазиха 5 292 сесии в 51 кодови бази от 18 сектора. И трите агента избраха един и същ инструмент само в 42% от клетките.
Проверка на твърденията:
- Armature публикува резултатите от изследване за това как coding агентите намират и избират инструменти. (потвърдено от самата публикация: доказателство; «Today we are sharing everything: aggregated results and leaderboards per category, but also every observation and even the entire traces with the user prompts, thinking traces and actual code diffs applied by the agent.»)
- Armature измери 16 893 сесии с Claude Code, Codex и Cursor. (потвърдено от самата публикация: доказателство; «Which tools do Claude Code, Codex and Cursor choose? We measured 16,893 sessions to find out.»)
- В първата публикувана вълна авторите запазиха 5 292 сесии в 51 кодови бази от 18 сектора. (потвърдено от самата публикация: доказателство; «Out of these 16,893 runs, we started by keeping 5,292 sessions on 51 codebases and 18 sectors that we considered valid and ready to be published.»)
- И трите агента избраха един и същ инструмент само в 42% от клетките. (потвърдено от самата публикация: доказателство; «All three agents pick the same tool in only 42% of the cells»)
Публикации:
Първоизточници:
оценка 67.5 · тип research · ревизия 1 · истории st-8u0fhc