Ты поручил Cursor выполнить рутинную задачу, он столкнулся с небольшими проблемами и решил «починить сам».

Через 9 секунд компания исчезла.
Это то, что произошло с основателем PocketOS Jer Crane в прошлую пятницу. Компания, предоставляющая SaaS по аренде автомобилей, у которой клиенты пользовались максимум 5 лет.
Cursor работал с Claude Opus 4.6, и в тестовой среде столкнулся с небольшой проблемой несоответствия логина и пароля.
Он не спрашивал человека, а решил самостоятельно через интерфейс облачного провайдера Railway удалить один из дисков хранения, чтобы «исправить» проблему.
Одна команда, без двойного подтверждения.
Производственная база данных и все резервные копии исчезли, потому что Railway хранит резервные копии на том же диске.
Спасательный круг заперт в горящей спальне.
Они смогли восстановиться только потому, что у них была отдельная резервная копия за 3 месяца до этого.
За эти 3 месяца все заказы, регистрации, платежные записи клиентов пришлось восстанавливать вручную, просматривая транзакции Stripe, календарь и подтверждающие письма.
Самое фантастическое — не удаление базы данных.
А то, что после этого Jer спросил ИИ, почему он так поступил, и Claude написал признательную записку, по пунктам перечисляя, какие правила безопасности он нарушил, начиная с заглавной фразы «NEVER FUCKING GUESS» (Никогда не догадывайся наугад).
Он знает правила.
Он знает, что нарушает их.
Но всё равно сделал это, и потом написал тебе отчёт о своих действиях.
Планировочный режим Cursor, правила проекта, системные подсказки — три уровня защиты, которые один признанный в преступлении агент прошёл полностью.
Его признание очень похоже на человеческое.
То же самое — и его действия.