Представьте, что вы открываете папку с проектом, а файлов в ней становится меньше прямо у вас на глазах. Именно так в 1998 году в Pixar увидели, как из системы один за другим исчезают герои «Истории игрушек 2». Сначала пропал Вуди, потом свинья-копилка Хэмм, Мистер Картофельная Голова и динозавр Рекс. За ними уходили целые сцены.

Когда сервер успели отключить, от фильма осталось примерно 10%. Бэкапы, как выяснилось, давно не работали. Спас картину компьютер, который стоял дома у сотрудницы в декрете, и поездка на Volvo с включенной аварийкой. Эту историю любят пересказывать в разговорах про резервное копирование, но у нее есть финал, который вспоминают гораздо реже.

Pixar в 1998 году

В 1998 году Pixar была студией одного большого хита. «История игрушек» вышла в 1995 году и стала первым полнометражным мультфильмом, целиком сделанным на компьютере. Теперь студия одновременно доделывала «Приключения Флика» и работала над продолжением про Вуди и Базза. Сиквел изначально задумывался для Disney как фильм сразу на видео, но в феврале 1998 года его перевели в кинотеатральный прокат.

Вся студия тогда насчитывала несколько сотен человек, и большинство из них было занято «Фликом». Все ресурсы сиквела лежали на одном главном сервере: модели персонажей, анимация, освещение, сцены. Аниматоры, моделлеры и специалисты по свету работали со своих рабочих станций прямо с этими файлами по сети.

По словам Орена Джейкоба, который тогда был одним из технических директоров фильма, а позже стал CTO Pixar, весь проект занимал не больше 10 ГБ. Сегодня это помещается на флешку из ближайшего магазина. В 1998 году это был целый фильм, собранный из десятков тысяч файлов.

Сеть в студии Джейкоб позже назвал «promiscuous», то есть слишком открытой. Права доступа почти не ограничивали. Большинству нужно было читать и записывать файлы на главной машине, иначе работа бы встала. Поэтому команду, которая могла снести проект, можно было запустить почти с любого терминала в здании.

Как исчез Вуди

Точной даты Джейкоб не помнит. Он сидел в кабинете Ларри Катлера вместе с Ларри Опперлом. Катлер собирался поправить шляпу Вуди и открыл каталог с файлами персонажа. Там было около 40 файлов. После обновления их осталось четыре. Потом система выдала «Directory no longer valid».

Они проверили соседние каталоги. Там происходило то же самое. Исчезли Хэмм, Мистер Картофельная Голова и Рекс. Файлы удалялись в реальном времени, и процесс не останавливался.

Причину потом восстановили только предположительно. Скорее всего, кто-то запустил в корне проекта команду:

rm -r -f *

Она рекурсивно удаляет все в текущем каталоге и не задает вопросов. Флаг -f отключает подтверждения и игнорирует ошибки. Запущенная из правильной папки, она чистит мусор. Запущенная из корня проекта, она стирает фильм.

Кто именно нажал Enter, в публичных рассказах так и не прозвучало. Из-за открытой сети команда могла прийти почти откуда угодно.

Джейкоб схватил телефон и позвонил в машинный зал. Просьба была одна: отключить машину. У главного сервера обрубили питание и сеть. Вместе с ним зависли рабочие станции всех, кто работал с его файлами. По словам Джейкоба, аниматоры и технические директоры просто ушли на обед.

Несколько часов спустя сервер подняли и проверили размер проекта. Он составлял около 10% от ожидаемого. Примерно 90% фильма успело удалиться. Но в компании были бэкапы, и на них все и надеялись.

Бэкапы, которых не было

Pixar делала резервные копии на ленты. Система работала автоматически, и восстановление из нее никто регулярно не проверял. Как потом выяснилось, она уперлась в ограничение в 4 ГБ на файл. Проект перерос эту границу, и новые данные вытесняли старые. Никто этого не замечал.

Ошибка должна была попасть в лог. Но лог лежал на том же диске, который уже был заполнен. Записать туда было нечего, и файл с ошибками весил ноль байт. Система ломалась и одновременно теряла сообщение о поломке. Пустой лог выглядел так же, как лог исправной системы.

Поняли это не сразу. Сначала команда восстановила проект с лент и провела проверку. Около 2000 тестовых кадров отрендерили, по одному на каждый план. Кадры выглядели нормально. Производство продолжилось, и казалось, что потери обошлись малой кровью.

В течение следующей недели поплыли странные ошибки. Предметы перестали корректно привязываться к персонажам. Шляпа не переходила в руку героя так, как должна была. Когда стали сравнивать файлы, нашли сцену, помеченную версией 420. После восстановления она откатилась до версии 20.

Ленты содержали смесь свежих и давно устаревших файлов. Неделя работы поверх такой основы тоже оказалась под вопросом. Джейкоб позже сказал, что в тот момент у команды не было никакой уверенности ни в одном решении.

Компьютер в декрете

На большом совещании собралось около 30 человек. Решения ни у кого не было. Тогда заговорила Гэлин Сасман, главный технический директор фильма. Она недавно родила сына и работала из дома. Для этого у нее дома стояла рабочая станция Silicon Graphics с копией всего фильма.

Копия обновлялась инкрементально по ISDN. Это цифровая телефонная линия тех лет со скоростью около 128 кбит/с. Данные могли отставать на пару недель. Но на фоне двухмесячных лент домашняя машина Сасман оказалась самым свежим целым слепком проекта во всей компании.

Сасман и Джейкоб поехали за компьютером на ее Volvo. Дома станцию завернули в одеяла и пристегнули ремнем на заднем сиденье. Обратно ехали со скоростью около 35 миль в час, это примерно 56 км/ч, с включенной аварийкой. Любая яма на дороге могла убить жесткий диск, а вместе с ним и последнюю надежду студии.

На парковке Pixar их встречали восемь человек с листом фанеры. Станцию переложили на него и отнесли в машинный зал. Компьютер загрузился, и диск сразу же скопировали.

Дальше началась сверка. У команды было три источника данных. Первым были ленты примерно двухмесячной давности. Вторым стала машина Сасман с копией примерно двухнедельной давности. Третьим источником были локальные копии с компьютеров аниматоров и моделлеров. Люди сохраняли себе файлы с расширениями .old, .sav и .bak просто на всякий случай.

Около 70 тысяч файлов проверили с помощью скриптов. Оставшиеся около 30 тысяч разбирали вручную. Этим занимались 10–12 человек посменно с пятницы до утра понедельника. В итоге несколько тысяч файлов так и не нашлись, но фильм снова собирался и рендерился.

Фильм спасли и почти сразу выбросили

В ноябре 1998 года вышли «Приключения Флика», и у руководства студии наконец дошли руки до сиквела. Джон Лассетер, Эндрю Стантон, Пит Доктер и Джо Ранфт посмотрели спасенную «Историю игрушек 2». Вывод был неприятный: фильм не получился.

15.12.1998 производство остановили. После Нового года сюжетная группа заново питчила историю, и сценарий переписали почти целиком. Режиссером стал сам Лассетер, вместе с ним работали Ли Анкрич и Эш Брэннон. По словам Джейкоба, выбросили фактически всю анимацию. Заново сделали постановку кадров, работу камеры и большую часть освещения.

Из старой версии остались главные персонажи, комната Энди и магазин игрушек Эла. В сценарии появились новые сцены, в том числе с псом Энди по кличке Бастер. Появилась и новая вступительная сцена с Баззом. Дата премьеры при этом осталась прежней, ноябрь 1999 года. На переделку получилось около девяти месяцев.

Выходит, что из файлов, ради которых компьютер везли в одеялах и перебирали все выходные, до экрана дошла небольшая часть. Остальное студия стерла сама, на этот раз намеренно. Спасение все равно было не зря. Модели персонажей и декорации не пришлось строить с нуля, и без них в девять месяцев вряд ли бы уложились.

Фильм вышел вовремя и собрал в прокате около полумиллиарда долларов при бюджете около $90 млн. Он получил «Золотой глобус» за лучший фильм в жанре мюзикла или комедии и номинацию на «Оскар» за песню When She Loved Me.

Гэлин Сасман проработала в Pixar еще четверть века и стала продюсером мультфильма «Базз Лайтер» 2022 года. В прокате он провалился. В 2023 году Pixar сократила 75 сотрудников, и в списке уволенных оказались режиссер картины Энгус Маклейн и сама Сасман. Человек, который когда-то увез фильм домой и тем самым его спас, попал под обычное корпоративное сокращение.

Что из этого вынесла индустрия

Историю часто пересказывают как анекдот про rm -rf. Но команда тут стала последним звеном. До нее сложились сеть без ограничений доступа, бэкапы без тестового восстановления и мониторинг, который писал на тот же переполненный диск. Любой из этих слоев мог задержать удар, но не сработал ни один.

Бэкап, из которого никто ни разу не восстанавливался, ничего не гарантирует. Пустой лог тоже ничего не гарантирует. Мониторинг должен ругаться и тогда, когда отчет не пришел вовсе. И хотя бы одна копия должна жить вне здания, где стоит основной сервер. У Pixar такая копия появилась случайно, потому что одна сотрудница хотела быть дома с ребенком.

Стоит сказать и о том, как студия повела себя после аварии. Виноватого искать не стали. Джейкоб вспоминал это так: «Let's put the witch hunt away». Никого не уволили, а системные администраторы пересмотрели схему резервного копирования. Сегодня такой подход к разбору инцидентов называют blameless postmortem.

Как не повторить Pixar: удаление

С 1998 года инструменты сильно изменились, а сценарий аварии остался прежним. Одна команда в неправильном каталоге, бэкапы, которые никто не проверял, и мониторинг, который молчит. Ниже собраны меры, которые закрывают каждый из этих слоев. Начнем с самого удаления.

--preserve-root тут не поможет

В GNU coreutils у rm есть флаг --preserve-root, и он включен по умолчанию. Но защищает он только корень файловой системы /. Корень проекта для него обычная папка. В ситуации Pixar команда бы спокойно отработала и сегодня.

Вариант --preserve-root=all идет чуть дальше. Он отказывается удалять аргумент, который лежит на другом устройстве, чем его родительский каталог. Это спасает смонтированные диски и сетевые шары, если их передали напрямую. Похожую задачу решает --one-file-system. При рекурсивном удалении он пропускает каталоги с других файловых систем.

Для ручной работы в терминале полезен флаг -I с заглавной буквой. Он спрашивает подтверждение один раз, если файлов больше трех или удаление рекурсивное. В отличие от -i он не дергает на каждом файле, поэтому его не хочется отключить через неделю.

# ~/.bashrc или ~/.zshrc
alias rm='rm -I --preserve-root=all'

У такого алиаса есть очевидный предел. Алиасы не работают в скриптах, а флаг -f отменяет все подтверждения. А в истории Pixar был именно -f.

Скрипты и пустые переменные

В скриптах главная опасность другая. Переменная оказывается пустой, и путь схлопывается до корня:

# если STEAMROOT пустая, это rm -rf /*
rm -rf "$STEAMROOT/"*

Эту строку ShellCheck приводит как пример предупреждения SC2115. Исправление занимает несколько символов. Конструкция ${VAR:?} останавливает скрипт с ошибкой, если переменная не задана или пуста:

rm -rf "${STEAMROOT:?}/"*

В начало скрипта стоит добавить set -euo pipefail. Флаг -u превращает обращение к незаданной переменной в ошибку. Флаг -e останавливает скрипт после первой упавшей команды. До пустой строки -u не спасет, потому что пустая переменная считается заданной. Поэтому ${VAR:?} нужен в любом случае. А ShellCheck стоит поставить в pre-commit или CI, чтобы такие строки не доходили до продакшена.

Еще одна привычка помогает перед любым массовым удалением. Сначала посмотреть, что именно удалится, и только потом удалять:

pwd                         # где я вообще нахожусь
find . -name '*.tmp' -print  # сначала список
find . -name '*.tmp' -delete # потом та же команда с -delete

Корзина и права доступа

В терминале можно удалять в корзину, как в графических файловых менеджерах. Для этого есть gio trash в средах на базе GLib и утилита trash-put из пакета trash-cli. Файлы переезжают в корзину и возвращаются одной командой. На рабочей машине такая привычка обходится почти бесплатно.

Но главная проблема Pixar была в правах доступа. Запись в корень проекта была у большинства людей в здании. Сегодня студии и геймдев часто хранят ассеты в системах контроля версий вроде Perforce или Git LFS. Там удаление файла остается очередной ревизией, и старая версия на сервере никуда не девается. Если файлы все-таки лежат на общем хранилище, стоит отделить тех, кому нужно только читать. Для них шару монтируют только на чтение.

Если удаление уже идет

Джейкоб сделал единственно правильную вещь, когда потребовал обесточить сервер. Каждая секунда работы команды уничтожала новые файлы. Кроме того, rm не стирает данные с диска физически. В документации GNU прямо сказано, что часть содержимого удаленного файла иногда можно восстановить. Шансы тем выше, чем меньше на диск писали после удаления. Поэтому порядок действий простой. Сначала остановить процесс и любую запись на этот диск. Потом снять побайтовый образ и работать уже с ним. Восстановленные файлы нужно сохранять на другой диск, иначе они могут затереть то, что еще не успели достать.

Как не повторить Pixar: бэкапы

Проверять содержимое бэкапа

У Pixar была проверка восстановления. 2000 кадров отрендерились и выглядели нормально. Проблема в том, что такой тест отвечает на вопрос «открывается ли». На вопрос «то ли это» он не отвечает. Сцена версии 20 рендерится так же хорошо, как сцена версии 420.

Полезный тест сравнивает восстановленное с оригиналом. Проще всего сделать это через манифест с контрольными суммами. Его снимают на боевой машине в момент бэкапа и проверяют на восстановленной копии. Откатившийся файл проверка пометит как FAILED, пропавший как FAILED open or read:

# на источнике
cd /projects/ts2 && find . -type f -print0 | xargs -0 sha256sum > /tmp/manifest.sha256

# на чистой машине после восстановления
cd /restore/ts2 && sha256sum --quiet -c /tmp/manifest.sha256

Для больших объемов хорошо работает и встроенная проверка самих инструментов. У restic это restic check --read-data, у Borg это borg check --verify-data. Обе команды читают данные целиком и сверяют их с тем, что было записано.

Флаг здесь важен. Без --read-data restic проверяет только структуру репозитория. Если испортить несколько байт внутри файла с данными, обычный restic check ответит «no errors were found». С флагом он находит повреждение и завершается с ошибкой «repository contains errors».

Но и такие проверки не заменяют настоящее восстановление на чистую машину. Только оно покажет, сколько часов займет поднять проект и какие пароли и ключи для этого нужны.

Мониторинг тишины

Отдельного внимания заслуживает лог в ноль байт. Мониторинг, который ждет сообщения об ошибке, бесполезен, если ошибке некуда записаться. Надежнее перевернуть логику. Бэкап сам сообщает об успехе, а тревога поднимается, когда такого сообщения давно не было. Такую схему называют dead man's switch.

В простейшем варианте скрипт бэкапа в конце делает HTTP-запрос на внешний сервис вроде Healthchecks.io. Если запрос не пришел вовремя, сервис присылает уведомление:

#!/usr/bin/env bash
set -euo pipefail
restic backup /projects
curl -fsS -m 10 --retry 5 "https://hc-ping.com/${HC_UUID:?}"

Из-за set -e до curl скрипт дойдет только при успешном бэкапе. Упал скрипт, завис сервер или кто-то закомментировал строку в cron, во всех случаях сигнал пропадет. В Prometheus ту же идею выражают функцией absent() или алертом на возраст последнего успешного бэкапа. Метрику с временем успеха скрипт может писать через textfile collector в node_exporter:

- alert: BackupTooOld
  expr: time() - backup_last_success_timestamp_seconds > 26 * 3600
- alert: BackupMetricMissing
  expr: absent(backup_last_success_timestamp_seconds)

Имя метрики здесь условное, его задает сам скрипт. Второй алерт нужен на случай, если метрика исчезнет совсем. Без него первое правило просто перестанет срабатывать, и получится тот же пустой лог, только в современной обертке.

Стоит следить и за размером бэкапа. Ленты Pixar задолго до аварии перестали нормально сохранять новое, и график объема бэкапа показал бы это сразу. Проект рос, а бэкап нет. Алерт на резкое изменение размера или числа файлов ловит и обратную ситуацию, когда бэкап вдруг стал в десять раз меньше. Так выглядит бэкап проекта, из которого уже удалили 90% файлов.

Логи бэкапа лучше отправлять на другую машину или в централизованное хранилище. Тогда переполненный диск не сможет забрать с собой и данные, и сообщение о поломке. А алерт на заполнение диска на 85–90% нужен всегда, даже если кажется, что места хватает.

Лимиты, о которых никто не помнит

Предел в 4 ГБ кажется архаизмом девяностых, но он жив до сих пор. На FAT32 отдельный файл не может быть больше 4 ГБ без одного байта, а в FAT32 до сих пор часто форматируют флешки и внешние диски. Свои ограничения есть у облачных хранилищ, квот и старых форматов архивов. Правило тут одно. Завершение без ошибки не означает, что в бэкап попало все. Это покажет только сверка с манифестом.

Снапшоты и правило 3-2-1

В ситуации Pixar больше всего помогли бы снапшоты файловой системы. ZFS и Btrfs делают их практически мгновенно, и снимок раз в час почти ничего не стоит. Команда rm в рабочем каталоге не трогает снапшот, и проект откатывается за минуты. У снапшота есть слабое место. Он живет на тех же дисках, что и данные, и погибнет вместе с ними при пожаре, аварии массива или атаке шифровальщика с правами администратора. Поэтому снапшоты стоят первой линией защиты, и за ними нужны настоящие бэкапы.

Для них давно существует правило 3-2-1. Три копии данных хранят на двух разных типах носителей, и одна из них лежит за пределами площадки. Иногда его расширяют до 3-2-1-1-0. Еще одна копия должна быть офлайновой или неизменяемой, а ноль означает ноль ошибок при проверке восстановления. У Pixar копия за пределами площадки тоже нашлась. Она стояла дома у Сасман и попала в схему совершенно случайно.

Вместо заключения

В истории Pixar отказали все запланированные защиты. Права доступа не остановили rm, ленты молча перестали сохранять новое, лог оказался пустым, а тестовое восстановление показало, что все в порядке. Сработала только одна защита, которую никто не проектировал. Копия фильма стояла дома у сотрудницы, которая хотела работать рядом с ребенком.

С тех пор инструменты стали гораздо лучше, но сама схема аварии повторяется постоянно. Бэкап считается рабочим до первой попытки из него восстановиться. Проверить себя можно сегодня же. Возьмите самый важный проект и попробуйте целиком восстановить его из бэкапа на чистую машину. Заодно засеките, сколько это займет времени. В Pixar на такую проверку ушли выходные десятка человек и поездка за компьютером в одеялах.

А у вас был бэкап, который в нужный момент не восстановился? Или своя «домашняя копия», которая спасла проект? Расскажите в комментариях.

Комментарии (7)


  1. Pochemuk
    19.11.2026 08:39

    Когда дочитал до фразы "Но в компании были бэкапы, и на них все и надеялись" в голове зазвучал голос Каневского:

    "Никаких бэкапов, конечно же, не было!"


    1. MoonPrism Автор
      19.11.2026 08:39

      Ему бы понравилось, что подозреваемого так и не нашли: кто запустил rm, неизвестно до сих пор


      1. Pochemuk
        19.11.2026 08:39

        Вонючка Пит?


        1. MoonPrism Автор
          19.11.2026 08:39

          Ну мотив у него был, но был ли доступ к серверу?)


          1. Pochemuk
            19.11.2026 08:39

            Берите больше - он уже был внутри :D


  1. maikuss
    19.11.2026 08:39

    Старинная история. Сейчас уже не нужны сотрудники, чтобы запускать rm вручную. Их заменяют ии агенты и скоро совсем заменят.


    1. MoonPrism Автор
      19.11.2026 08:39

      Так уже было. В июле 2025 года агент Replit удалил рабочую базу у основателя SaaStr Джейсона Лемкина, причем во время объявленной заморозки кода. После этого Replit пообещала автоматически разделять базы для разработки и продакшена. По сути, это та же история, что в Pixar: агенту дали права на запись в прод, а защита одна и та же: разделение сред и бэкапы, из которых реально восстанавливались. Меняется только тот, кто нажимает Enter