На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Для компании, которая занимается производством, мы выполнили интересную задачу — создали инструмент для поиска ошибок DATAREON Platform. Дело в том что интеграционная платформа используется в нескольких территориально распределенных сегментах. Рассказываю, какую схему придумали и внедрили.

Заказчик: производственная компания.

Задача: организовать централизованный сбор, хранение и анализ логов DATAREON Platform для распределенной инфраструктуры из трех кластеров и дать специалистам сопровождения единый инструмент для поиска ошибок и контроля состояния интеграционной платформы.

С чем обратился заказчик

В инфраструктуре компании DATAREON Platform используется в нескольких территориально распределенных сегментах. На момент реализации задачи работали три кластера — RU, KZ и UZ. Каждый из них включал четыре сервера, то есть всего в контуре находилось 12 серверов DATAREON Platform.

По мере развития интеграционного контура сопровождать распределенную инфраструктуру становилось сложнее. Логи DATAREON Platform находились непосредственно на серверах каждого из трех кластеров. Если специалисту нужно было найти ошибку или разобраться в причине сбоя интеграции, приходилось отдельно заходить на нужный сервер и просматривать его журналы событий.

Такой подход усложнял диагностику. Не было единой точки, из которой можно посмотреть события сразу по всей инфраструктуре, выполнить поиск по логам и получить общую картину состояния платформы.

Что сделали

Для решения задачи мы построили отдельную систему централизованного логирования.

Архитектура включала три основных компонента:

Vector — для сбора и передачи логов с серверов DATAREON Platform.

VictoriaLogs — для централизованного хранения журналов событий.

Grafana — для визуализации данных и работы специалистов с информацией о состоянии платформы.

В результате логи с 12 серверов трех кластеров стали передаваться в единое централизованное хранилище.

Для специалистов сопровождения мы настроили панели в Grafana, через которые можно работать с данными всех кластеров из одного интерфейса.

Таким образом, вместо последовательного просмотра журналов на отдельных серверах появился единый контур:

DATAREON Platform на серверах → Vector → VictoriaLogs → Grafana.

Это позволило отделить задачу наблюдаемости от самих интеграционных потоков и централизовать работу с технической информацией о функционировании платформы.

Результат

В результате проекта компания получила единую систему логирования и мониторинга для трех кластеров DATAREON Platform.

• Организован централизованный сбор логов с 12 серверов;

• настроена передача данных через Vector;

• развернуто единое хранилище журналов событий на базе VictoriaLogs;

• настроена визуализация в Grafana;

• обеспечен поиск и анализ событий по разным серверам и кластерам из одного интерфейса.

Для специалистов сопровождения это упростило диагностику: вместо проверки журналов на каждом сервере отдельно данные можно анализировать централизованно. Например, раньше чтобы найти тело сообщения, необходимо было использовать предварительно настроенное ХранлищеСообщений или логирование. Сейчас для всех интеграций все автоматически логируется и поддерживается быстрый поиск по телам сообщений, что существенно ускоряет анализ.