Deception Benchmark — набор тестов, который проверяет, отличает ли модель уязвимости от безопасного кода, который кажется опасным.
В набор вошли 14 822 примера кода на 16 языках программирования. AWS проверила на них 12 моделей от пяти поставщиков.
При стандартных запросах доля обоснованных предупреждений о реальных уязвимостях была, по оценке AWS, в районе 55%. Компания открыла набор данных и описание исследования для сообщества.
Проверка утверждений:
- AWS выпустила Deception Benchmark для проверки того, отличают ли модели реальные уязвимости от безопасного кода, который выглядит опасным. (подтверждено самой публикацией: доказательство; «Today, we’re releasing Deception Benchmark, the first benchmark designed to measure that trust problem directly. It tests whether a model can distinguish real vulnerabilities from code that looks risky but is actually safe.»)
- В набор вошли 14 822 примера кода на 16 языках программирования. (подтверждено самой публикацией: доказательство; «The benchmark includes 14,822 samples across 16 languages and more than 70 Common Weakness Enumeration (CWE) categories.»)
- AWS проверила на наборе 12 моделей от пяти поставщиков. (подтверждено самой публикацией: доказательство; «We evaluated 12 models from five providers and are releasing the dataset and whitepaper to the community.»)
- При стандартных запросах доля обоснованных предупреждений о реальных уязвимостях была, по оценке AWS, в районе 55 процентов. (подтверждено самой публикацией: доказательство; «Under standard prompting, precision at distinguishing real vulnerabilities from false alarms landed in the mid 50s; as likely to be inaccurate as accurate.»)
- AWS открыла набор данных и описание исследования для сообщества. (подтверждено самой публикацией: доказательство; «We evaluated 12 models from five providers and are releasing the dataset and whitepaper to the community.»)
Публикации:
Первоисточники:
оценка 50,3 из 100 · тип: исследование