Armature опублікувала дослідження про те, як coding-агенти, програми, що допомагають писати й змінювати код, знаходять і обирають інструменти. Компанія виміряла 16 893 сесії з Claude Code, Codex і Cursor.
У першій опублікованій хвилі автори залишили 5 292 сесії на 51 кодовій базі з 18 галузей. Усі три агенти обрали той самий інструмент лише у 42% комірок.
Перевірка тверджень:
- Armature опублікувала результати дослідження про те, як coding-агенти знаходять і обирають інструменти. (підтверджено самою публікацією: доказ; «Today we are sharing everything: aggregated results and leaderboards per category, but also every observation and even the entire traces with the user prompts, thinking traces and actual code diffs applied by the agent.»)
- Armature виміряла 16 893 сесії з Claude Code, Codex і Cursor. (підтверджено самою публікацією: доказ; «Which tools do Claude Code, Codex and Cursor choose? We measured 16,893 sessions to find out.»)
- У першій опублікованій хвилі автори залишили 5 292 сесії на 51 кодовій базі з 18 галузей. (підтверджено самою публікацією: доказ; «Out of these 16,893 runs, we started by keeping 5,292 sessions on 51 codebases and 18 sectors that we considered valid and ready to be published.»)
- Усі три агенти обрали той самий інструмент лише у 42% комірок. (підтверджено самою публікацією: доказ; «All three agents pick the same tool in only 42% of the cells»)
Публікації:
Першоджерела:
оцінка 67.5 · тип research · ревізія 1 · історії st-8u0fhc