Представьте: ваши дашборды, от которых зависят ежедневные решения, внезапно перестали обновляться. Скрипты интеграций сломались, а поддержка отвечает шаблонными письмами. Знакомая ситуация? После ухода Qlik, Tableau и других игроков многие российские компании оказались в аналитическом вакууме. Мы прошли через это же и в ответ создали Sigla Vision. В этой статье я покажу, как мы решали технические вызовы, с которыми сейчас сталкиваетесь вы.

Привет, Habr! Меня зовут Сергей Чернышков, владелец продукта Sigla Vision в компании DataMind. После ухода ряда международных вендоров российские компании столкнулись с серьёзными ограничениями в области бизнес-аналитики. Сегодня расскажу о том, как мы создавали отечественную платформу для работы с данными.

Статья выходит в блоге нашего интегратора GlowByte — наша компания DataMind разрабатывает продукт, а GlowByte занимается его внедрением и поддержкой у клиентов.

Контекст и технические вызовы

После ухода международных вендоров российские компании оказались перед необходимостью быстрого поиска альтернатив. При этом требования к BI-системам только ужесточились:

• регуляторные требования — соответствие 152-ФЗ, требованиям ЦБ и других ведомств;

• технологическая независимость — стабильная поддержка и развитие на территории России;

• интеграционная совместимость — работа с существующей инфраструктурой без кардинальных изменений;

• производительность — обработка больших объёмов данных и высокая доступность.

Что такое Sigla Vision

Sigla Vision – замена решений ушедших западных вендоров: Qlik , Tableau, Power BI. Это Self-service BI нового поколения с интуитивно понятным интерфейсом.

Ключевые факты о продукте:

• Зарегистрирован в реестре российского ПО (№22806 от 06.06.2024):

• Поддерживает работу в средах Astra Linux, Ред ОС и Windows.

• Имеет сертификаты совместимости с российскими ОС: Astra Linux, Ред ОС.

• Работает в браузере.

Sigla Vision – система для визуализации и анализа данных. Решение позиционируется как инструмент для аналитики самообслуживания (self-service BI). Решение с помощью интуитивно понятного web-интерфейса позволяет пользователю подключаться к большому количеству источников, трансформировать данные из этих источников и строить сложные интерактивные дашборды.

Архитектура Sigla Vision

Sigla Vision написана на Java. Платформа построена на распределенной архитектуре с разделением вычисления и хранения данных с возможностью горизонтального и вертикального масштабирования. 

Технические характеристики производительности:

• максимальный размер кластера более 100 узлов;

• пиковая нагрузка на один узел/ноду:

  • конкурентных разработчиков >200,

  • конкурентных пользователей >2000;

• обработка до 1 млрд строк данных внутри BI-системы (не ограничение, рекомендация);

• скорость обновления данных >100 MB/s;

• In-memory кеширование для ускорения запросов;

• горизонтальное масштабирование под нагрузкой.

Подход к сайзингу

При планировании развертывания приложения необходимо опираться на следующие показатели:

Функциональные возможности

Sigla Vision помогает бизнесу быстро и эффективно анализировать данные. Платформа использует архитектуру, оптимизированную для работы в реальном времени, обеспечивая поддержку интеграций, колоночное хранение и вычисления, что позволяет обрабатывать данные с высокой скоростью и точностью.

Подключения

Sigla Vision позволяет подключаться к базам данных в 2 режимах (прямое подключение и экстракт), что позволяет решать различные бизнес-задачи: строить оперативную отчетность с актуальными данными или готовить аналитические дашборды с высокой скоростью работы, не создавая нагрузки на источник.

Современный движок обработки данных Polars-M позволяет загружать (экстракт данных) миллиарды строк данных из источников.

Нативная поддержка источников данных:

• СУБД: PostgreSQL, ClickHouse, MS SQL Server, Oracle, MySQL и многие другие;

• Файлы: Excel (.xlsx/.xls), CSV, JSON, XML.

Для подключения к нестандартным источникам доступна возможность загрузить свои JDBC-драйверы. 

Параметризация SQL-запросов поддерживается, также может использоваться для оптимизации, но не обязательна к использованию.

ETL без программирования

Sigla Vision — предоставляет минималистичный, простой в освоении ETL, который позволяет трансформировать и агрегировать загруженные в платформу данные. Доступны типовые операции: join, union, filter, aggregate, добавление новых колонок и др.

Доступна иерархическая загрузка данных – датасет может быть построен на другом датасете и т. д.

Доступна инкрементальная загрузка данных в таблицы по дате и целочисленным идентификаторам.

Модель данных

Sigla Vision работает с табличными моделями. Создавать отчет можно сразу после загрузки таблиц и выбора связей между ними.

Например, если источник – Excel-файл (любое количество атрибутов), то нужно создать один объект. 

Модель данных выглядит как ER-диаграмма, имеется возможность создавать специализированные вычисления, использовать функцию WINDOW (аналог оконных функций):

Формы ввода и pixel-perfect/ регламентная отчетность

Sigla Vision позволяет разрабатывать формы с возможностью записи данных в различные СУБД . Введенные данные сразу становятся доступны в Отчетах.

C помощью форматированных отчетов можно подготовить табличные формы с возможностью выгрузки в PDF и Excel с сохранением форматирования.

Кроме того, в Sigla Vision есть возможность разрабатывать табличные формы с формульной логикой, вплоть до каждой ячейки. Настройка рассылки отчетов выполняется через специализированный интерфейс “График задач”. Доступные форматы выгрузки: xlsx, pdf, pptx и др.

Интерфейс создания визуализаций

Гибкие возможности в визуализации данных

BI-инструмент предоставляет широкий набор встроенных визуализаций (таблицы, KPI, столбчатые и каскадные диаграммы, пузырьковые диаграммы и др.) с гибкой системой настройки внешнего вида.

Можно создавать множество визуализаций “из коробки”, использовать библиотеки ECharts для создания визуализаций на основе JavaScript.

• Есть возможность выбирать меру через параметр (например, выбрали “Продажи” - отобразилась столбчатая диаграмма, выбрали “Прибыль” – отобразилась линейная диаграмма вместо столбчатой).

• Графики и визуальные элементы могут накладываться друг на друга:

• Возможен drill down в другие отчеты с учетом контекста:

• Можно создавать темы и применять к выбранном дашборду:

Встраивание в сторонние приложения

Sigla Vision предоставляет базовые возможности для встраивания в порталы через iframe с возможностью анонимного доступа или sso-аутентификацией.

• Любому отчету/дашборду/форме ввода можно назначить “ публичную” ссылку, при необходимости задать для нее пароль и срок действия.

• Нет ограничений по количеству активных сессий по этой ссылке.

• Можно делится ссылкой с сотрудниками, кому по какой-то причине не выделена именная лицензия.

• Можно использовать ссылку для встраивания в сайты и сторонние приложения без дополнительных лицензий.

Производительность и масштабирование

Реальные показатели с клиентских инсталляций: построение дашборда (50 виджетов) – ~3-5 секунд. 

Высокая скорость была достигнута за счет перехода на новую архитектуру, движок обработки данных Polars и путем подключения сервиса/БД хранения данных S3. Данные дашбордов могут хранится на файловом сервере MinIO или в облаке S3.

Кто использует Sigla Vision

Профили пользователей:

• аналитики данных — для создания сложных моделей и отчётов;

• бизнес-пользователи — для самостоятельной аналитики без IT;

• руководители — для мониторинга KPI и принятия решений;

• IT-администраторы — для настройки доступов и интеграций.

Типичные отрасли: госсектор, банки, телеком, ритейл, промышленность, логистика.

Размер внедрений: от 20 до 5000+ пользователей.

Заключение

Sigla Vision показывает, что российские BI-решения могут конкурировать с международными аналогами не только по соответствию требованиям регуляторов, но и по функциональности. Продукт активно развивается и уже сейчас покрывает большинство корпоративных сценариев использования.

Мы будем рады ответить на ваши вопросы в комментариях. Особенно интересно обсудить, с какими именно сложностями вы столкнулись после миграции с западных BI-систем и какие функции для вас критичны. Ваши идеи помогут нам сделать продукт лучше.

Ресурсы для изучения

• Узнать подробнее о Sigla Vision— contact@siglavision.ru.

• Техническая документация — API, инструкции.

• GlowByte — консультации по внедрению, обучению и тех. поддержке.

Планы на будущее:

Развиваем BI-платформу непрерывно. В следующих статьях расскажу о технических решениях, которые стоят за красивым интерфейсом:

• Установка и настройка: пошаговое руководство

• Создание дашбордов: от простого к сложному

• API и расширения возможностей

• Архитектура под капотом

• Безопасность и контроль доступа

• Инструменты для аналитиков