Нюанси інструкцій

4282-й приклад того, чому context engineering це все ще складно і не завжди надійно навіть для компаній, які створюють передові моделі.

Мені знадобилося перекласти 50 файлів на три мови. Точного попадання в стиль або інших ускладнень немає, тому, по ідеї, впорається будь-яка більш-менш сучасна модель. Codex дає безкоштовні ліміти для користувачів з підпискою на ChatGPT, чому б не скористатися цим.

Проблема в тому, що, незважаючи на пряму інструкцію “не використовуй скрипти”, GPT-5.2 намагалася то написати скрипт для обходу директорій, то скрипт для перекладу через зовнішню модель, то однорядковий скрипт '/bin/zsh -lc "cat <<'"'"'EOF'"'"' > index.en.md для збереження файлу.

Здавалося б, писати скрипт для збереження файлу, коли у тебе є інструмент для запису у файл, — очевидна дурість. Але це для нас, а не для моделі. У її системному промпті codex чітко написано:

Try to use apply_patch for single file edits, but it is fine to explore other options to make the edit if it does not work well. Do not use apply_patch for changes that are auto- generated (i.e. generating package.json or running a lint or format command like gofmt) or when scripting is more efficient (such as search and replacing a string across a codebase).

І в підсумку модель при будь-якій більш-менш масовій операції намагається писати скрипти, навіть якщо вони не мають жодного сенсу.