Нюансы инструкций

4282-й пример того, почему context engineering это все еще сложно и не всегда надежно даже для компаний, которые создают передовые модели.

Мне понадобилось перевести 50 файлов на три языка. Точного попадания в стиль или других усложнений нет, поэтому, по идее, справится любая более-менее современная модель. Codex дает бесплатные лимиты для пользователей с подпиской на ChatGPT, почему бы не воспользоваться этим.

Проблема в том, что, несмотря на прямую инструкцию “не используй скрипты”, GPT-5.2 пыталась то написать скрипт для обхода директорий, то скрипт для перевода через внешнюю модель, то однострочник '/bin/zsh -lc "cat <<'"'"'EOF'"'"' > index.en.md для сохранения файла.

Казалось бы, писать скрипт для сохранения файла, когда у тебя есть инструмент для записи в файл, - очевидная глупость. Но это для нас, а не для модели. У неё в системном промпте codex чётко написано:

Try to use apply_patch for single file edits, but it is fine to explore other options to make the edit if it does not work well. Do not use apply_patch for changes that are auto- generated (i.e. generating package.json or running a lint or format command like gofmt) or when scripting is more efficient (such as search and replacing a string across a codebase).

И в итоге модель при любой более-менее массовой операции пытается писать скрипты, даже если они не имеют никакого смысла.