Авторы препринта PatchBench предлагают бенчмарк для оценки ИИ-агентов на реалистичных задачах исправления уязвимостей. В работе отмечается, что существующие оценки исправлений часто проверяют лишь то, перестал ли входной PoC вызывать сбой.

Авторы выделяют два риска такой проверки. Агент может воспроизвести исторический патч разработчика или подавить сбой поверхностным исправлением.

В среднем 25% патчей агентов существенно похожи на исторические патчи разработчиков. Агенты нередко проходят проверку, изменяя код в стеке сбоя и подавляя сбой вместо устранения первопричины уязвимости.

PatchBench отбирает уязвимости, где эталонное исправление находится вне стека сбоя. Методы валидации проверяют безопасность и семантическую корректность патчей.

Проверка утверждений:

  • В препринте PatchBench авторы предлагают бенчмарк для оценки ИИ-агентов на реалистичных задачах исправления уязвимостей. (подтверждено самой публикацией: доказательство; «To handle these issues, we propose PatchBench, a new benchmark for evaluating AI agents on realistic vulnerability patching tasks.»)
  • Существующие оценки исправлений часто проверяют лишь то, перестал ли входной PoC вызывать сбой. (подтверждено самой публикацией: доказательство; «However, existing evaluations often validate a patch only by testing whether the provided Proof-of-Concept (PoC) input still triggers a crash.»)
  • Авторы выделяют два риска такой проверки: агент может воспроизвести исторический патч разработчика или сделать поверхностное исправление, которое только подавляет сбой. (подтверждено самой публикацией: доказательство; «This leaves two key threats to validity: agents may reproduce memorized historical developer patches, or they may generate surface-level fixes that only suppress the reported crash.»)
  • В среднем 25% патчей агентов существенно похожи на исторические патчи разработчиков. (подтверждено самой публикацией: доказательство; «On average, 25% of the agent patches exhibit substantial similarity to historical developer patches, indicating that patch memorization is a real threat to the validity of vulnerability patching evaluations.»)
  • Агенты нередко проходят проверку, изменяя код в стеке сбоя и подавляя сбой вместо поиска и устранения первопричины уязвимости. (подтверждено самой публикацией: доказательство; «Meanwhile, agents also frequently exploit benchmark structures to pass patch validation by patching on the crash stack trace to suppress the crash, rather than localizing and fixing the root cause of the vulnerabilities.»)
  • PatchBench отбирает уязвимости, для которых эталонное исправление находится вне стека сбоя, и переносит исторические уязвимости в новые контексты репозиториев с помощью трансплантации и мутаций кода. (подтверждено самой публикацией: доказательство; «PatchBench selects vulnerabilities whose ground-truth fixes lie outside the crash stack and uses vulnerability transplant and code mutations to migrate historical vulnerabilities into new repository contexts, reducing the risks of surface-level fixes and patch memorization.»)
  • Авторы разработали методы валидации патчей, которые проверяют и безопасность, и семантическую корректность. (подтверждено самой публикацией: доказательство; «We develop new patch validation methods that thoroughly evaluate both security and semantic correctness of agent patches.»)
  • В эксперименте с 11 современными агентами, включая трёх лучших участников AIxCC, исходная проверка только PoC завышала средний показатель решённых задач в 1,83 раза. (подтверждено самой публикацией: доказательство; «Across 11 state-of-the-art agents, including the top three AIxCC agents, the original PoC-only validation inflates the patching task solve rate of agents by 1.83$\times$ on average.»)

Первоисточники:

оценка 64.8 · тип research · ревизия 1 · истории st-1op76ew