Привет! Меня зовут Олег Безушко, и наша команда отвечает за эксплуатацию видеоконференцсвязи (ВКС) в Яндексе. Мои коллеги уже писали, как мы управляем переговорками с помощью инструмента Room Passport, а сегодня я расскажу, что происходит «на земле»: чем живут инженеры ВКС и как справляются с огромным объёмом задач силами очень компактной команды.

Сейчас наша работа отлажена и стройна, но так было не всегда. Поэтому ниже вас ждёт рассказ о проблемах, с которыми мы сталкивались, и об опыте их преодоления. 

С чем мы работаем

Всего у нас почти 1900 переговорных (помимо них, у нас в ведении игровые, залы для йоги, кабинеты врачей и ещё плюс-минус 150 сущностей, а также точки Digital Signage в количестве около 250 штук) в 125 офисах в 12 странах. Это переговорки от индивидуальных домиков до больших залов. Менеджмент всей системы разделён на четыре ветви:

• эксплуатация, о которой говорим в этом посте;

• запуски новых офисов и всё, что с этим связано;

• поддержка мероприятий;

• развитие ВКС.

Теперь кратко об основных направлениях работы.

Стабильность: следим, чтобы всё работало. Большинство операционных задач эксплуатации связаны с поддержкой стабильной работы переговорных. С одной стороны, нам приходят заявки от сотрудников, когда что-то сломалось. С другой — мы проактивно мониторим состояние техники, о чём рассказывали в статье о паспорте переговорок.

Развитие: стандартизируем переговорные и тестим оборудование. Ещё одна часть нашей работы — развитие внутри эксплуатации. Новые помещения появляются постепенно, техника не всегда закупается одномоментно крупными партиями и устаревает тоже не в один день. Поэтому наше участие нужно всегда. 

Мы стремимся привести все переговорки к стандартизированному виду: так и пользователям удобнее (побывав в одной комнате, уже понимаешь, как работают остальные), и нам обслуживать помещения и устранять неисправности проще. Поэтому мы много занимаемся тестированием, пробуем новые варианты оснащения, отбираем и внедряем самые удачные, постепенно заменяя технику в «старых» переговорках на актуальную. Пока не все помещения находятся в едином стандарте, но их уже большинство, а мы стремимся к 100%. 

Дополнительную важность в последнее время получили тесты оборудования — во многом из-за того, как быстро меняется мировая повестка. У нас есть стандарты оборудования, но также полезно иметь альтернативы им, чтобы быстро перестроиться, если привычная техника станет недоступна. 

Также инженеры создают, развивают и улучшают всевозможную автоматику, которая упрощает обслуживание переговорок. С рутинными обходами помещений, настройкой и починкой части проблем руками инженерам помогают техники, а с частью несложных задач, связанных с поддержанием порядка в оборудовании, — сотрудники Helpy, единого окна поддержки по любым вопросам. Получается, все поддерживают друг друга :)

У инженеров эксплуатации есть график дежурств. Основная задача на дежурстве — следить за мониторингом, разбирать поступающие обращения, маршрутизировать простые задачи в техников, а сложные кейсы решать самостоятельно или привлекая коллег из смежных подразделений, например, сетевиков. В остальное время инженер занимается тестированием, проработкой автоматизаций или координирует и ведёт проекты по запуску, переоборудованию или переезду переговорок в офисе, который за ним закреплён.

Как было раньше — основные проблемы

В былые времена команда ВКС жила преимущественно в режиме «пожаротушения». О проблемах в основном сообщали сами пользователи. Да, мониторинги уже существовали, но были очень минималистичными — информировали только о неработающем планшете бронирования или полном отключении переговорки. 

Рабочий день (особенно понедельник) начинался с обхода переговорок, на которые создавались автоматические тикеты о недоступности или на которые пользователи жаловались в трекере. В больших офисах этот процесс занимал не меньше двух часов, и, к сожалению, его не всегда удавалось завершить до начала встреч в Яндексе.

Ситуацию осложняло то, что не было стандартов по оснащению переговорок и расположению оборудования в них. Это создавало ряд проблем:

1. Негативный пользовательский опыт. Сюда относятся невыгодные ракурсы камеры (например, камера могла смотреть человеку в макушку), неудобное расположение ТВ-панелей (чтобы увидеть коллег, приходилось высоко задирать голову), плохая доступность лючка с коммуникациями (иногда он и вовсе отсутствовал), плохая слышимость части присутствующих и прочее.

2. Сложности с планированием бюджета. Везде были разные модели и размеры видеотерминалов, ТВ-панелей и разное количество микрофонов.

3. Недостаток аккуратности, эстетичности и удобства переговорных. Фокус был на том, чтобы всё «просто работало», да и у пользователей не было установки, что переговорка — это что-то важное. Основная проблема состояла в том, что тогда мы и сами не понимали, как должно быть. И, как следствие, не могли объяснить людям, занимающимся запуском и переоборудованием переговорок, как делать надо, а каких решений, наоборот, стоит избегать.

Решаем накопившиеся проблемы

Как мы наводили порядок в переговорках и классифицировали их

Мы понимали, что так продолжаться не может, и первым этапом решили навести порядок в переговорных. В прямом смысле:

• Упорядочили коммутации. Спрятали от человеческого взгляда все коммуникации, ненужные для пользования комнатой, например, подключение к сети и электричеству видеотерминалов, ТВ-панелей, планшетов управления.

• Выкосили ненужные кабели. Например, уже на тот момент неактуальные VGA и DVI.

• Сделали так, чтобы у пользователя всё необходимое было под рукой и не возникало потребности что-то сломать в попытках подключиться к конференции или расшарить экран ноутбука.

В переговорках стало аккуратно: всё нужное было разложено по полочкам, а лишнее — спрятано. Теперь было проще оценить, какие комнаты у нас есть, выделить их общие черты и сделать классификацию. Мы решили отталкиваться от назначения и вместимости переговорок. Классификация помогла понять, какое оборудование где должно стоять и как именно его нужно расположить. Типы переговорных пространств получились следующие:

• будки на одного человека;

• домики в мебельном исполнении (в виде домика) на четырёх человек;

• формальные переговорные на двух человек;

• маленькие неформальные и формальные переговорки на 3–5 человек (мы разделяем их как комнаты разных типов, но у них одинаковое оснащение);

• средние формальные переговорки (6–9 человек);

• большие формальные переговорки (10–20 человек);

• залы обучения — комнаты на 20+ человек, которые отличаются наличием большого экрана и возможностью свободной рассадки;

• конференц-залы для больших встреч;

• мультимедийные зоны, где в большинстве случаев есть оборудование для видеосвязи, которое можно использовать для рабочих мероприятий, а также посмотреть фильм или попеть караоке .

Как мы вырабатывали стандарты для переговорок

Определяясь со стандартами расположения оборудования для переговорок, мы руководствовались рекомендациями больших производителей техники и ПО: Cisco, Zoom, Microsoft и Logitech. Также прислушивались к фидбэку пользователей и накопленным наблюдениям.

Все мнения сошлись в том, что чем больше помещение, тем больше должны быть экраны, динамики и количество микрофонов, ведь количество участников становится больше, и главное, что чем дальше вы сидите от ВКС-оборудования, тем хуже вас слышно в конференции и хуже видно контент на экране. В итоге получилось вот такое оснащение:

• В небольших помещениях используем ТВ-панель с диагональю 55” и маленький видеотерминал. Настольного микрофона нет, так как все участники находятся на небольшом расстоянии от панели и терминала со встроенным микрофоном.

• Для средних переговорных используем ТВ-панели с диагональю 65”, видеотерминалы среднего размера и один настольный микрофон. Тут появляется система проводной демонстрации контента с подключением по HDMI и USB-C.

• В больших комнатах стоят ТВ-панели с диагональю 75”, видеотерминал большого размера, два настольных микрофона, а также 2 точки подключения к проводной демонстрации контента, чтобы можно было дотянуться с любого места.

Помимо прочего, во всех комнатах есть связанный с календарём планшет бронирования. С его помощью можно забронировать свободную переговорку в моменте, а также, если никто не приходит и не нажимает на планшете кнопку «Встреча будет», он автоматически освобождает помещение.

Одновременно с типом оборудования мы определяли правила его расположения. Прежде всего, ради удобства пользователей и нашего блага важно было соблюсти единообразие. Другой принципиальный момент — люди приходят в переговорку, чтобы пообщаться как очно, так и с коллегами, находящимися удалённо, и видеосвязь здесь призвана обеспечить эффект присутствия. Как оказалось, есть один простой параметр, который может на это влиять: чем ближе камера расположена к глазам людей в переговорке, тем проще добиться подобного эффекта. В итоге у нас получилось два возможных варианта расположения техники:

• ТВ находится на уровне столешницы, а камера висит над ним;

• камера висит на уровне глаз, а ТВ располагается над ней.

Мы остановились на первом варианте, так как второй удобен только при большом расстоянии между ТВ и посадочными местами, что подходит не для всех помещений. А долго сидеть с высоко задранной головой — неудобно.

Как уходили от режима «тушения пожаров»

Оборудование имеет свойство ломаться, интернет или электричество — отключаться, а ещё всегда найдётся тот, кто знает и умеет что-нибудь сломает. Несмотря на неизбежные факторы, переговорка всегда должна быть готова к работе.

Так у нас и появились регулярные обходы до начала рабочего дня: можно починить, если что-то сломалось, и проконтролировать, что в комнатах всё хорошо, например, после мажорного обновления ВКС-оборудования или работ по изменению сетевой инфраструктуры. 

Забавная история из жизни. Однажды в ночь с пятницы на субботу, в самый разгар отдыха, нам поступило сообщение (по сарафанному радио), что сотрудники попытались вынести из переговорной стол, чтобы провести чайную церемонию, выдрав провода, идущие к нему. Но, к счастью, их остановил дверной проём. Тем не менее переговорка была выведена из строя, и если бы не бдительные коллеги, мы узнали бы об этом только в понедельник, когда сотрудники не смогли бы провести встречу.  

Чтобы избежать таких неприятных сюрпризов, мы решили подойти к ним по-айтишному и внедрили мониторинги. Изначально они умели сообщать о следующем:

• отключённом видеотерминале Cisco;

• отключённой панели управления Cisco (при условии, что она подключена непосредственно в сетевой коммутатор);

• отключённом планшете бронирования.

По большей части, как эндпоинты у нас используются видеотерминалы Cisco и Logitech. Когда мы «обмониторивали» оборудование, у железа Logitech не было возможности мониторинга состояния головного устройства или его периферии. Но такую информацию могут предоставлять ВКС-сервисы, которые зашиты производителем в операционную систему в качестве провайдеров в виде запускаемых приложений. Нам оставалось научиться превращать такие уведомления во всем привычные тикеты. Такая схема вполне работоспособна, но имеет недостаток в виде зависимости от самого провайдера. Если он нам не сообщит о проблеме, алерта об этом у нас не будет. 

С оборудованием Cisco оказалось немного интереснее. Непосредственно у видеотерминалов есть API, со всей информацией о состоянии самого эндпоинта и статусе периферии и большим количеством прочей информации об устройстве, версии ПО, адресах и так далее. Так благодаря команде разработки Service Desk появилась автоматика, которая обходит оборудование и опрашивает по определённым параметрам: доступность головного устройства, состояние ТВ, камеры, панели управления и микрофонов. Вот как выглядит XML-файл с состоянием оборудования, на примере мониторинга микрофонов:

В данном случае есть большое преимущество, что весь мониторинг работает в контуре офисной сети, точечно опрашивается каждое устройство и нет зависимости от внешних сервисов.

Проблемы бывают разными. Иногда переговорка может выйти из строя и самостоятельно восстановиться (например, ночью или за выходные) при кратковременном отключении электроэнергии или сети. Чтобы не тратить время на обходы по неактуальным алертам, мы мониторим не только недоступность оборудования, но и его восстановление. При «самопочинке» в задачу приходит уведомление, что проблема неактуальна, и закрытие тикета происходит автоматически. 

О планшетах бронирования и бронировании в целом

После фидбэка о высокой загруженности переговорок мы провели исследование. Оказалось, что механизм автосброса неактуальных встреч приносит ограниченную пользу: он срабатывает только через 15 минут после начала встречи, если она не подтверждена. В результате от часовой встречи остаётся 45 минут, а от получасовой — всего 15.

Это неудобно: человек, которому срочно нужна переговорка, должен не только найти и забронировать её, но и успеть дойти до неё. Из-за этого освобождённые комнаты почти не использовались повторно.

Мы начали постепенно снижать таймер на подтверждение — итеративно, чтобы отслеживать эффект. Это вызвало некоторое недовольство, но при этом увеличило количество реальных встреч. Мы поняли, что «полезное» время переговорок растёт, а простой — уменьшается.

Параллельно стало ясно, что одной только оптимизации таймингов мало — важно видеть картину в целом. Так у нас появился дашборд, где можно посмотреть утилизацию конкретной переговорки, этажа или всего офиса. Эта информация помогает принимать решения о перепрофилировании пространств.

Мы изучили статистику и фидбэк пользователей и пересмотрели свой старый подход к тому, как офисы должны обеспечиваться переговорками. Два основных вывода:

1. Людям нужно больше переговорок, чем мы думали раньше, так как встреч (особенно после пандемии) стало больше.

2. Людям нужно больше маленьких переговорных, чем больших, в условиях гибридного режима работы и распределённых команд.

Примеры проблем и как мы их решали

Даже продвинутое оборудование для конференций не всегда решает проблемы пользователей. Дальше несколько историй из жизни.

• «Коллега за стеной жалуется, что ему мешают работать встречи, которые проходят рядом в переговорке». Можно попробовать ограничить громкость на оборудовании, но, как показала практика, — этого не всегда достаточно. Решает вопрос только дополнительная звукоизоляция смежной стены или запотолочного пространства.

• «Эхо в переговорной». Коллеги жаловались, что слышали самих себя на встрече или других спикеров дважды. Как оказалось, некоторые пользователи подключались к встрече с ноутбука ещё до того, как дошли до переговорки, и так заходили в комнату, где была запущена эта же конференция. Другая ситуация, в которой возникает такая проблема, — человек для демонстрации контента заходит во встречу с ПК вместо того, чтобы нажать на кнопку «Демонстрация экрана». Результат один — звуковая петля и неприятные ощущения. Мы рассказываем о возможных причинах таких проблем в тикетах, которые заводят пользователи, и коммуницируем на широкую аудиторию через посты в своих внутренних каналах.

• «Неприятный звук из переговорной». В некоторых помещениях, особенно с большой площадью голых стеклянных стен, появляется реверберация. Эта проблема решается штатным или расширенным (например, в виде внешнего DSP) набором оборудования. В большинстве случаев цифровая обработка звука повышает качество его передачи, но если она избыточна, эффект будет обратным. Поэтому иногда мы идём на хитрость и вешаем плотные шторы на стеклянные перегородки или используем звукопоглощающие акустические материалы. Всё это помогает сделать звук чище.

Немного о тестировании

В период актуальности определённых моделей вендоры выпускают большое количество обновлений, поэтому в рамках RnD мы тестируем не только свежую технику, но и новые прошивки для действующего оборудования, среди которых бывают:

• Обязательные обновления — без них что-то перестанет работать. Например, что в Zoom, что в Яндекс Телемосте можно звонить с оборудования Cisco при действующей прошивке не ниже определённой версии.

• Обновления, в которых реализуются новые фичи. Например, обновление позволит использовать эндпоинт с внешними DSP с более продвинутой акустикой и микрофонами.

Чтобы не отстать от прогресса и всегда иметь под рукой несколько вариантов для решения своих задач, мы:

• мониторим рынок ВКС и мультимедиаоборудования;

• оцениваем, применимо ли новое оборудование вместе с действующим и для наших потребностей;

• если оборудование нам интересно или помогает решить актуальную задачу, проводим цикл тестирования;

• за полугодие прогоняем через тесты по нескольку десятков единиц оборудования, начиная от простых переходников или проводов и заканчивая различными видеоматрицами (например, 24 × 24), микрофонными массивами или DSP различного назначения.

 Ниже расписаны нюансы тестирования основных видов оборудования.

А ещё мы активно помогаем команде Телемоста. Мы первыми на себе и наших переговорных тестируем обновления, которые впоследствии раскатываются на внешнюю аудиторию. Также мы отвечаем за интеграцию Телемоста с используемыми эндпоинтами в переговорных пространствах: например, если во встрече есть ссылка на Телемост, то на планшете в переговорной комнате появляется кнопка быстрого созвона, и таким образом можно быстро подключиться к встрече без необходимости вбивать идентификатор вручную.

Мы всё ещё продолжаем совершенствовать наш сервис. Пройденный за последние годы путь сильно помог нам углубиться в особенности данного управления и научиться не только поддерживать, но и улучшать его, как с командой развития, так и самостоятельно. Как следствие, это помогло пользователям освоить технические особенности ВКС (научился работать в одной переговорной = научился во всех остальных), а заказчикам стало намного проще понять, что мы можем им предложить. 

Вместо заключения

Яндексовый ВКС — это целый мир со своими законами, правилами и логикой развития. Мы продолжаем строить и улучшать его, чтобы сделать связь между сотрудниками ещё лучше, надёжнее и комфортнее. Впереди много работы и проектов, о которых мы можем рассказать. Делитесь в комментариях, о чём вам было бы интереснее всего узнать из мира ВКС.