Авторы исследования на arXiv собрали набор тестов ParanoiaEval из 200 пар задач в репозиториях, чтобы проверять обоснованность защитных действий ИИ при работе с кодом. В каждой паре задачи различаются только сведениями, от которых зависит выбор меры против риска.

По данным авторов, в экспериментах с восемью моделями ИИ принимал лишние защитные меры в 11,2–58,7% запусков, несмотря на явные сведения об условиях задачи. Доля таких запусков существенно различалась в зависимости от настроек ИИ.

Умение лучше решать задачи не гарантировало более обоснованного выбора защитных мер.

Проверка утверждений:

  • Авторы исследования на arXiv представили ParanoiaEval для оценки обоснованности мер против рисков при работе ИИ с кодом. Набор содержит 200 пар задач в репозиториях. (подтверждено самой публикацией: доказательство; «To bridge this gap, we introduce ParanoiaEval, the first benchmark for unified evaluation of risk-treatment capabilities in coding agents. Grounded in the well-established Avoidance-Transfer-Mitigation-Acceptance framework in software engineering risk management, ParanoiaEval operationalizes its 4 fundamental treatments for coding-agent settings and contains 200 evidence-controlled repository-level task pairs, each differing only in treatment-defining evidence.»)
  • В каждой паре задачи различаются только сведениями, от которых зависит выбор меры против риска. (подтверждено самой публикацией: доказательство; «contains 200 evidence-controlled repository-level task pairs, each differing only in treatment-defining evidence.»)
  • По данным авторов, в экспериментах с восемью моделями ИИ принимал лишние защитные меры в 11,2–58,7% запусков, несмотря на явные сведения об условиях задачи. Доля таких запусков существенно различалась в зависимости от настроек агента. (подтверждено самой публикацией: доказательство; «Large-scale experiments on 8 representative models and a post-hoc human study reveal that (I) unnecessary risk treatment occurs in 11.2%-58.7% of runs despite explicit evidence, with substantial variation across agent configurations;»)
  • По данным авторов, более высокая способность решать задачи не гарантировала более обоснованного выбора мер против рисков. (подтверждено самой публикацией: доказательство; «(II) stronger task capability does not ensure more appropriate risk treatment,»)

Первоисточники:

оценка 51,7 из 100 · тип: исследование