Кошки-мышки

В самом сердце цифрового мира иногда происходят загадочные события. Как-то раз, когда я работал инженером в одном небольшом ЦОДе, заступив на очередную смену, я увидел, как в техническое подполье, через которое в машзалы подаётся холодный воздух, забрался несанкционированный гость. Я успел заметить четыре лапы и один полосатый хвост. Коллеги тут же окрестили «туриста» Васькой. Инженеры охотились за ним несколько дней: то громко звали «Кис-кис-кис!», то шептали: «Вася, Вася, Вася!». Осознав, что ничего не помогает, решили испробовать ещё один проверенный метод, как обхитрить хищника. Принесли колбасы, сыра, пакетики с мясным желе и сухой корм. Такого чуткий кошачий нюх не вытерпел. Голодный мурлыка вылез из подполья, был сытно накормлен, а затем эвакуирован с запретной территории, так как усы и хвост не являются документами для доступа в ЦОД.

Все облегчённо вздохнули, но, как оказалось, рано радовались. Представьте себе моё удивление, когда через пару дней в коридоре у входа в машзал был замечен ещё один хвостатый зверёк, только поменьше. Моим коллегам даже удалось задокументировать момент появления мыши на фото. О том, как её ловили, история умалчивает. Потом мы не раз размышляли с коллегами, было ли это совпадением: пока кот жил в подполье, грызунов в ЦОДе не видели.

Осторожно, двери закрываются!

Эта история случилась во время моей работы в одном крупном банке, где строили машзал, защищённый, как Хогвартс, от любых внешних воздействий. В отличие от школы чародейства и волшебства, главным средством защиты в нашем ЦОДе стали не мощные заклятия и магические лестницы, а особая взрывоустойчивая дверь, которая, вероятно, могла бы выдержать даже удар метеорита. Её механизм исправно работал и не вызывал у инженеров никаких сомнений, а зря: как выяснилось в дальнейшем, эта непростая дверь была призвана проверить не только физическую силу, но и смекалку технических специалистов, и вот как это было.

Однажды инженеры проводили испытания оборудования в машзале за закрытой дверью. Всё завершилось успешно, пошли открывать дверь, но тут случилась неприятное: дверь заклинило. Пришлось инженерам задержаться внутри, пока на помощь не прибыл сотрудник сервисной службы. К счастью, он примчался оперативно, открыл дверь, провел ТО — всё как полагается, а затем решил для верности проверить дверь ещё раз. Зашёл в машзал и закрыл себя изнутри, даже не догадываясь, какое коварство его поджидает: дверь не позволила открыть себя обратно. По досадной случайности свободных специалистов, которые могли бы справиться с непростым характером двери, на тот момент не осталось, поэтому нашему «везунчику» пришлось томиться в плену больше суток, пока один из его напарников не освободился от рабочих задач и не вызволил коллегу из заточения.

«Веселые» покатушки

Раздражают ли вас бахилы так же, как сотрудников ЦОДа?

Дело в том, что в ЦОДах используются фальшполы, пространство под которыми служит для подачи холодного воздуха. По этой причине пол в помещениях расположен на разных уровнях, а перемещаться между ними часто приходится по пандусам. Казалось бы, при чём тут слабоумие и отвага? Но условия эксплуатации ЦОДа подразумевают, что сотрудники носят бахилы, а эти одноразовые изделия коварны и не добавляют коэффициента трения обуви с поверхностью. Я видел, как испытать это на себе довелось нашему инженеру.

Как-то вечером он с целой грудой оборудования в руках отправился в машзал, и на его пути возник пандус. Восхождение продолжалось успешно примерно до середины, а далее физические законы оказались беспощадны: со всей горой «железа» мой напарник рухнул вниз. И таких историй с «веселыми покатушками» за свою инженерную жизнь я наблюдал несколько, к счастью, травм не встречал. Так что будьте особенно внимательны, когда надели бахилы.

Без галстука лучше

Однажды, когда я был молодым и ещё не знал всех премудростей обращения с оборудованием, мне случайно довелось довольно близко познакомиться с одной замечательной штукой — HP Superdome. Чтобы все понимали, этот серверный компьютер по размерам напоминает огромный холодильник, а сверху на нём усердно крутятся четыре больших вентилятора — гарантия непрерывного и мощного охлаждения. А знакомство наше произошло вот при каких обстоятельствах.

На тот момент моим руководителем был директор по ИТ, который придерживался строгих принципов, и считал, что все сотрудники с высшим образованием обязаны носить костюмы и галстуки. Мне, человеку, обслуживающему оборудование, тоже приходилось соблюдать правила. Как-то раз нужно было протянуть оптические кроссировки по лоткам под потолком в машзале, где стоял Superdome. Я снял пиджак, забрался на стремянку и довольно долго спокойно занимался делом, пока мой галстук не попал в один из вентиляторов этого «супердома». Видимо, строгий деловой стиль пришёлся не по вкусу этому монстру, и его лопасти забунтовали и остановились, а вместе с ними встала и вся эта махина за много миллионов денег. Вот так авария. Я сохранял спокойствие и решил, что дотяну кроссировку, а затем пойду открою тикет в HP.

Каково же было моё удивление, когда на выходе из машзала меня встретил наш блюститель дресс-кода и два инженера HP, которые примчались устранять аварию. Оказалась, эта дорогущая система стояла на мониторинге не только в нашей компании, но и в самом HP, и время реакции техподдержки исчислялось чуть ли не минутами.

А закончилась эта история хорошо: мне разрешили не носить галстук, и многие мне завидовали.

Когда «зима близко»

Переезд целой компании в новый офис похож на сборку конструктора: много маленьких деталей, и если какую-то забыть или сложить их неправильно, то весь замысел может развалиться.

Как-то раз при переезде из одного бизнес-центра в другой мне с командой поставили задачу: спроектировать небольшое серверное помещение в подвале нового офиса. В бюджете нас не ограничивали, поэтому мы решили сделать всё по-человечески, как в больших ЦОДах: фальшпол, приличный бесперебойник, мощная система кондиционирования.

Однако в процессе переезда выяснилось, что размер серверной оказался меньше заявленного изначально. В результате в эту маленькую комнату влезла только половина оборудования, а вторую часть пришлось отвезти в ЦОД, где арендовали стойки. Только вот про мощную систему кондиционирования, которую тоже следовало бы пересчитать, не вспомнили. Когда уже поставили и настроили всё оборудование, среди ночи дорогущая серверная система отправила сигнал SOS: «Помогите, я замерзаю!». Мы проверили температуру подаваемого воздуха, и она оказалась 5,5 градусов. Скажем так, обычно у людей возникают проблемы с перегревом оборудования, а у нас были — с переохлаждением. И тут-то мы вспомнили, что система-то кондиционирования была рассчитана на всё оборудование, а не на часть.

Пришлось импровизировать: мы перераспределили воздуховоды, перепрограммировали саму логику работы системы кондиционирования, и тогда получилось сделать подаваемый воздух теплее, чем 15 градусов. Причём иногда температура всё равно опускалась до 15 градусов, а это по умолчанию критически мало для оборудования, поэтому нам продолжали приходить оповещения об авариях, хотя это и было некритично.

А какие удивительные ИТ-приключения случались с вами? Делитесь в комментариях. Поможем друг другу находить выходы из непростых ситуаций и сохранять чувство юмора, даже когда судьба неожиданно подбрасывает баги.