Нюанси на инструкциите

4282-ият пример за това защо context engineering все още е труден и не винаги надежден дори за компаниите, които създават авангардни модели.

Трябваше да преведа 50 файла на три езика. Няма изисквания за точно съвпадение на стила или други усложнения, така че теоретично всеки горе-долу съвременен модел би се справил. Codex предоставя безплатни лимити за потребители с абонамент за ChatGPT, защо да не се възползвам от това.

Проблемът е, че въпреки директната инструкция “не използвай скриптове”, GPT-5.2 се опитваше или да напише скрипт за обхождане на директории, или скрипт за превод чрез външен модел, или едноредов скрипт '/bin/zsh -lc "cat <<'"'"'EOF'"'"' > index.en.md за записване на файл.

Изглежда очевидна глупост да се пише скрипт за записване на файл, когато имаш инструмент за запис във файл. Но това е за нас, а не за модела. В нейния системен промпт codex ясно е написано:

Try to use apply_patch for single file edits, but it is fine to explore other options to make the edit if it does not work well. Do not use apply_patch for changes that are auto- generated (i.e. generating package.json or running a lint or format command like gofmt) or when scripting is more efficient (such as search and replacing a string across a codebase).

И в резултат на това моделът се опитва да пише скриптове при всяка малко по-масова операция, дори ако те нямат никакъв смисъл.