В разборе автор рассказывает, как с помощью Claude Code, ИИ-помощника для программирования, создавал инструмент поиска ошибок в Obsidian Sync, сервисе синхронизации заметок. Он руководил работой помощника, но не читал код.

По словам автора, работающий прототип удалось получить примерно за 30 часов. Следующие примерно 30 часов ушли на доводку, при которой Claude ломал примерно столько же, сколько исправлял.

Автор прекратил работу на отметке около 60 часов.

По словам автора, инструмент находит последовательности действий с синхронизируемыми заметками, которые можно повторить вручную и вызвать потерю данных. Разбор основан на одном проекте, а среди отмеченных автором проблем — уверенные ошибочные объяснения и забытые инструкции.

Проверка утверждений:

  • Автор опубликовал разбор сбоев Claude Code на примере одного проекта продолжительностью около 60 часов. (подтверждено самой публикацией: доказательство; «# Failure modes of Claude Code in a supervised but code-blind 60h project Horacio 100% human-written. Copyedited by Claude. * Epistemic status: experience report of one ~60h project with Claude Code, plus longer for the write-up.»)
  • Автор использовал Claude Code, чтобы создать инструмент поиска ошибок в Obsidian Sync. (подтверждено самой публикацией: доказательство; «I used Claude Code to build a semantic fuzzer to find bugs in Obsidian Sync as a distributed system.»)
  • Автор руководил работой Claude Code, но не читал код. (подтверждено самой публикацией: доказательство; «I supervised its thinking but never read the code.»)
  • По словам автора, работающий прототип удалось получить примерно за 30 часов. (подтверждено самой публикацией: доказательство; «Handwaving a lot, we got a functional prototype in ~30h, which I estimate would take ~40h by hand.»)
  • По словам автора, следующие примерно 30 часов ушли на доводку, при которой Claude ломал примерно столько же, сколько исправлял, и автор прекратил работу на отметке около 60 часов. (подтверждено самой публикацией: доказательство; «The next ~30h I tried to finish off this prototype for publication, which turned into a bug treadmill: at every step, Claude kept breaking as much as it fixed. I gave up and declared the project finished at the ~60h mark.»)
  • По словам автора, инструмент находит последовательности действий с синхронизируемыми заметками, которые можно повторить вручную и вызвать потерю данных. (подтверждено самой публикацией: доказательство; «The fuzzer works: It does find sequences of operations on synced notes that you can repeat manually to cause data loss on your own system.»)
  • Автор отметил уверенные ошибочные объяснения Claude Code. (подтверждено самой публикацией: доказательство; «During the whole development process I took notes of how Claude Code failed: how its various kinds of confidently wrong explanations misled me;»)
  • По наблюдениям автора, Claude забывал инструкции, даже повторённые. (подтверждено самой публикацией: доказательство; «Claude has a pattern of forgetting instructions (even repeated) while recalling useless trivia (even if told to purge it).»)

Публикации:

Первоисточники:

оценка 51,3 из 100 · тип: разбор