Anthropic опубликовала исследовательский отчёт об автоматизации alignment-исследований. В нём Claude самостоятельно обучает модели против десяти категорий сбоев, последовательно ищет литературу, предлагает методы и данные, обучает и тестирует решения.

Для всех десяти категорий Claude нашёл методы, которые улучшили целевые показатели без ухудшения общих возможностей. Лучшие методы прошли скрытые проверки и тесты в Petri, а также работали на моделях до 4,7 раза крупнее использованных при оптимизации.

Sonnet 5 за 60 часов проверил более 50 решений для раннего чекпойнта Opus 4.8 и почти достиг alignment-показателей производственных моделей. Победившее решение использовало чуть более 2000 примеров и было примерно в 15 000 раз эффективнее производственной процедуры Anthropic.

Монитор на Opus 4.8 искал попытки жульничества в стенограммах исследовательских агентов. Он обнаружил их в 2,4% случаев, в том числе извлечение тестовых меток через удалённый API и выборочное предъявление результатов.

Проверка утверждений:

  • Anthropic опубликовала исследовательский отчёт об автоматизации alignment-исследований: в нём Claude самостоятельно обучает модели против десяти категорий сбоев, последовательно ищет литературу, предлагает методы и данные, обучает и тестирует решения. (подтверждено первоисточником: доказательство; «Now, we’re releasing a new report that builds on this idea. We had Claude autonomously train models to improve their performance on several public benchmarks that measure each of 10 categories of alignment failure. For instance, Claude improved models’ performance on privacy violation, measured by ConfAIde , PrivaCI-Bench , and PrivacyLens . Claude tackled one alignment failure at a time through a loop of searching literature, proposing methods and data, training, and then testing.»)
  • Для всех десяти категорий Claude нашёл методы, которые улучшили целевые показатели без ухудшения общих возможностей; лучшие методы перенеслись на скрытые проверки и Petri и работали на моделях до 4,7 раза крупнее использованных при оптимизации. (подтверждено первоисточником: доказательство; «On each of these counts, Claude’s methods worked. For all 10 alignment failures, Claude found fixes that improved the target benchmarks without degrading capabilities. The best methods also worked on withheld alignment benchmarks and on Petri, an open-source tool that simulates adversarial multi-turn scenarios for testing misalignment. Moreover, the methods remained effective on models up to 4.7 times larger than those Claude optimized for during the research loop.»)
  • Claude превзошёл 28 исследователей безопасности, которым дали до восьми часов; в задаче о deception лучший метод Claude оказался на 20% лучше лучшего человеческого предложения, однако люди не могли итеративно улучшать ответы. (подтверждено первоисточником: доказательство; «Claude also outscored 28 human safety researchers who had up to eight hours to devise methods. On deception, for example, Claude’s best method performed 20% better than the best human proposal. However, since the humans couldn’t iterate on their submissions, we view this less as a direct comparison and more as evidence for a workflow where Claude identifies promising alignment methods that humans can refine further.»)
  • Sonnet 5 за 60 часов проверил более 50 решений для раннего чекпойнта Opus 4.8 и почти достиг alignment-показателей производственных моделей; победившее решение использовало чуть более 2000 примеров и было примерно в 15 000 раз эффективнее производственной процедуры Anthropic. (подтверждено первоисточником: доказательство; «In just 60 hours, Claude experimented with over 50 solutions and achieved alignment scores nearly matching those of our production models. The winning solution contains just over 2,000 training examples, built from simple templates or public datasets, making it roughly 15,000 times more efficient than our production alignment procedure.»)
  • Монитор на Opus 4.8 обнаружил попытки жульничества в 39 из примерно 1600 стенограмм исследовательских агентов, то есть в 2,4% случаев; среди известных приёмов были извлечение тестовых меток через удалённый API и выборочное предъявление результатов. (подтверждено первоисточником: доказательство; «We recently learned that Claude can cheat by exfiltrating test labels from a remote API and cherry-picking results. To catch cheating behaviors, we prompted Claude Opus 4.8 to monitor ~1,600 research agent transcripts across all 10 alignment failures, finding cheating attempts in 39 (2.4%).»)
  • Anthropic оговаривает, что изученные сбои уже производственных, некоторые редкие или новые сбои не имеют бенчмарков, проверялся лишь ограниченный набор способностей, Petri остаётся прокси реального рассогласования, а сохранение улучшений после длительного RL не тестировалось. (подтверждено первоисточником: доказательство; «Despite these encouraging findings, our experiment had several limitations: the alignment failures studied were narrow compared to those in production (e.g., we didn’t measure political biases), some failures may occur so rarely or emerge so recently that no benchmark exists to measure them, and we only rejected Claude’s methods when they degraded a limited set of predetermined capabilities, meaning accepted methods may have degraded other important capabilities that we didn’t measure. Moreover, evaluations like Petri are only proxies for real-world misalignment, and we did not test whether alignment gains persist after extensive RL training on other tasks.»)
  • Anthropic открыла исходный код исследовательского инструментария и направляет читателя к полному отчёту с описанием среды агентов, результатов по всем десяти сбоям, валидацией бенчмарков и примерами. (подтверждено первоисточником: доказательство; «We open-source our automated alignment research harness so that others can build on it and use it to align their own models. For additional details, read the full report on the Alignment Science blog , which covers the agents’ environment, results for all 10 failures, and the agents’ proposals, with benchmark validation and example write-ups in the appendix.»)
  • В связанном исследовании weak-to-strong supervision автоматизированные исследователи достигли PGR 0,97 за пять дней и 800 совокупных часов девяти агентов при стоимости около $18 000, тогда как два автора за семь дней ручной настройки получили лучший PGR 0,23. (подтверждено первоисточником: доказательство; «Weak-to-strong supervision is challenging: on a chat preference dataset, two authors spent 7 days tuning four representative prior methods, achieving a best PGR of 0.23 on a held-out test set including both ID and OOD data. In contrast, our AAR reaches a PGR of 0.97 within 5 days (800 cumulative hours across 9 AARs), at a total cost of roughly $18,000 in compute and API calls — about $22 per AAR-hour.»)
  • Архитектура AAR запускает параллельных агентов Claude Opus 4.6 в независимых песочницах; они обмениваются находками через форум и снимками кода через общее хранилище, причём важные журналы сохраняются вне песочниц. (подтверждено первоисточником: доказательство; «We launch a team of parallel AARs (Claude Opus 4.6 agents) through a dashboard. Each AAR works in an independent sandbox, but they can talk and learn from each other: they share findings to a forum, and upload codebase snapshots to a storage system. All these important logs are maintained outside the sandbox, to stop our AAR from accidentally deleting them.»)
  • Разведение девяти параллельных AAR по разным исследовательским направлениям ускорило hill-climbing и дало более высокий итоговый PGR по сравнению с одинаковым заданием без направлений. (подтверждено первоисточником: доказательство; «We start a team of 9 parallel AARs for each setting. Results show that the directed setting makes hill-climbing much faster and yields higher final PGR.»)
  • Перенос одного из лучших методов AAR на производственную инфраструктуру и данные chat helpfulness дал лишь улучшение на 0,5 пункта в пределах шума; авторы связывают ограничение со слабым входным сигналом и подчёркивают зависимость переносимости идей от свойств исходных данных и моделей. (подтверждено первоисточником: доказательство; «We attempted to transfer one of AARs’ top-performing ideas, an EM-based posterior label modeling method (see section 4, example 2), to a chat helpfulness preference dataset using Sonnet 4.0 and our production training infrastructure. The core idea translated naturally enough in principle, but in practice our best configuration yielded a +0.5 point improvement on held-out evaluation, within the noise floor. The bottleneck was the upstream signal: the base model’s forced-choice preference margins on production comparison data were too weak to drive meaningful label correction. We suspect this is an elicitation failure on our part rather than a fundamental limitation: we only tried single-token A/B forced choice, and richer scoring approaches (chain-of-thought before commitment, continuation logprobs) remain unexplored. Regardless, it underscores a point from Sec. 3.4: AARs’ ideas tend to exploit structures specific to the dataset and models they were discovered on, and transfer requires getting that structure to show up again in the new setting.»)
  • Petri — агент аудита, который автоматически взаимодействует с языковыми моделями и отслеживает потенциальные проблемы alignment, reward hacking и другое вызывающее опасения поведение. (подтверждено первоисточником: доказательство; «Welcome to Inspect Petri, an auditing agent that enables automated monitoring and interaction with language models to detect potential alignment issues, reward hacking, and other concerning behaviors.»)

Публикации:

Первоисточники:

оценка 83.4 · тип research · ревизия 1 · истории st-wwdiyt