Здравствуйте! Антон Боев, исполнительный директор веб-интегратора DD Planet. В текущей статье поговорим о том, что внутри моей команды вызывает горячие дискуссии практически каждый день. Итак, речь пойдет об ИНТЕГРАЦИЯХ.
Интеграция как криптовалюта
В нашей команде каждый день звучат одни и те же вопросы: «Как подключиться быстрее?», «Какую архитектуру использовать?», «Где взять устойчивое решение для этого сервиса?» Ответы на них не просто технические решения. Это опыт, который накапливается годами. И я хочу предложить вам посмотреть на него под неожиданным углом - как на криптовалюту веб-интегратора.
В этой статье я расскажу о том, как изменился процесс интеграции за десятилетие, почему одной API-документации уже недостаточно, и как мы превратили хаос интеграций в систему, которая работает надежно, прозрачно и масштабируемо.
Итак, начнем с анализа изменений в подходах и способах создания интеграций за последнее десятилетие.
Способы интеграций, есть ли изменения?
Организовать взаимодействие двух сервисов можно разными способами:
Подход |
Описание |
Точка-точка |
Прямые соединения между системами, когда нужна простая и быстрая связь без лишних слоёв |
Асинхронное взаимодействие через очереди |
Системы обмениваются данными независимо друг от друга, обеспечивая отказоустойчивость и гибкость |
Шина данных (ESB) |
Централизованная система маршрутизации, которая берёт на себя сложные преобразования и управление потоками |
API-шлюзы |
Единая точка входа для всех запросов, с контролем доступа, лимитами и мониторингом |
Интеграционные платформы |
Облачные или локальные решения, упрощающие подключение, настройку и управление связями между сервисами |
Webhook’и, Event-driven архитектура |
Реакция на события в реальном времени |
Эти методы существовали и 20 лет назад, принципиально здесь не появилось ничего нового. Однако раньше по многим из них не было ни описания кейсов использования, ни профильной литературы, ни практик и паттернов реализации.
Какие же изменения в мире IT подтолкнули к развитию способов/технологий/практик создания интеграций?
Тренд |
Результат |
Появление микросервисной архитектуры | |
|
Потребность в эффективном взаимодействии между сервисами - появились новые интерфейсы взаимодействия, такие как: gRPC, GraphQL, WebSockets, Apache Kafka и мн. другие. Также это привело к развитию корпоративных шин данных(ESB) и интеграционных платформ Потребность в оркестровке и управлении сервисами , что привело к развитию таких решений, как Docker, Kubernetes и др.. |
|
Бурное развитие кибер-безопасности в России | |
Внедрение требований ФСБ, Роскомнадзора и законов о персональных данных потребовало шифрование при передаче данных, аутентификацию и авторизацию через новые протоколы (OAuth 2.0, JWT), мониторинг и логирование (SIEM, IDS/IPS) |
|
Ужесточение законов по хранению персональных, биометрических данных | |
|
Обмен ПДн между системами стал возможен только при соблюдении строгих норм: шифрование, контроль доступа, логирование. Требования закона обязали внедрять специальные шлюзы и прокси для обработки конфиденциальных данных. Внедрение Data Loss Prevention (DLP) систем стало критически важным при интеграции сервисов. Увеличился интерес к децентрализованным решениям и обезличиванию данных при интеграции. |
|
Развитие AI | |
|
Автоматическое обнаружение и описание API(автоматическое построение OpenAPI/Swagger-спецификации; определение, какие методы доступны, какие параметры принимаются; генерация документации на основе поведения системы Автоматическая трансформация данных(распознавание структуры данных, маппинг полей, распознавание типов и связей и т.д.) Генерация кода для интеграции на основе спецификации сервисов Тестирование интеграций. ИИ может генерировать тестовые сценарии на основе спецификаций, создавать моки сервисов |
|
Прогресс не стоит на месте, и бурное развитие IT технологий также не прошло стороной процесс интеграций. Развитие микросервисной архитектуры, кибер-безопасности, законодательной базы и искусственного интеллекта сильно повлияло на разработку интеграционных решений. Интеграция перестала быть технической "прокладкой" - она превратилась в стратегический элемент архитектуры, определяющий скорость, безопасность и интеллектуальность современных цифровых систем.
Интеграция как криптовалюта
Каждая интеграция уникальна и веб-интеграторам просто необходимо накапливать опыт по созданию интеграционного взаимодействия в зависимости от сферы бизнеса, типа взаимодействия, уровня критичности, технологии и протоколов и др..
Интеграции можно рассматривать как своеобразную криптовалюту в деятельности веб-интегратора. Почему это так?
1. Ценность и накопление
Как криптовалюта, интеграции могут быть средством накопления ценности, но не материальной, а интеллектуальной.
Каждая интеграция - это "монета", которая добавляет в твой "портфель" опыт, знания, воспоминания и связи.
2. Децентрализация опыта
Никто не может дать точную оценку твоего опыта, как никто не может точно сказать, сколько будет стоить биткоин завтра.
3. Блокчейн памяти
Можно представить, что каждая интеграция, которую ты реализовал, записывается в личный блокчейн воспоминаний . Эти записи неизменны и уникальны.
Классы, методы, сигнатуры функций, ответы вызовов - это твои «транзакции», подтверждающие факт работы над взаимодействием 2 систем и проживания опыта.
4. Майнинг через открытия
Вместо майнинга крипты ты "майнишь" новые технологии, методы интеграции. Чем больше ты исследуешь, тем больше "ресурсов" (опыта) получаешь.
Подобно процессу майнинга криптовалюты, где необходимо увеличивать размеры фермы для увеличения добычи, компании майнят интеграции через проекты, экосистемы, в которых участвуют.
Результат майнинга нашей компании за последние 10 лет
В “крипто-кошельке” компании на текущий момент содержится 107 интеграций с внешними системами (без учета внутренних взаимодействий), охватывающих различные категории по функциональному назначению, и этот список не конечный.
Класс сервиса |
Наименование сервиса |
Описание |
Геолокация и справочные сервисы | ||
Преобразование адресов в координаты и обратно. |
||
Отображение статических карт и меток. |
||
Сервис для нормализации, уточнения и проверки данных. Полезен для обработки адресов, ИНН, КПП. |
||
Дополнение и уточнение данных (адреса, ФИО, организации) через Dadata |
||
Открытый аналог Google Maps. Подходит для международных проектов. |
||
Государственные и муниципальные системы | ||
Центральный банк РФ: данные по лицензиям, реестрам, финансовым организациям |
||
База адресов и населённых пунктов. Используется для точного геоописания. |
||
Одна из самых авторитетных правовых систем в России. |
||
Горсерв |
Маркетплейс бытовых услуг |
|
Поставщик УЦН и услуг ЭП |
||
Платформа для жителей Московской области. Интеграция с порталом госуслуг региона. |
||
Реестры юридических лиц и индивидуальных предпринимателей |
||
Единая информационная система в сфере закупок |
||
Авторизация через Госуслуги. Используется в федеральных и региональных порталах. |
||
ПО для работы с электронной подписью (ЭП) в России |
||
Система ветеринарного учёта и контроля за оборотом животноводческой продукции |
||
Росреестр API |
Доступ к данным о недвижимости: проверка объектов, запросы по кадастровому номеру. |
|
Федеральная налоговая служба: проверка юрлиц, ИП, ККТ, ЕГРЮЛ/ЕГРИП, выписки |
||
Взаимодействие с налоговой службой через ЕГАИС или Госуслуги. |
||
Открытые данные о валютах, курсах, финансовых организациях. |
||
Система маркировки товаров (одежда, обувь, лекарства, табак и др.) |
||
Коммуникационные каналы | ||
Платформа для SMS-рассылок и уведомлений. Подходит для массовой коммуникации с пользователями. |
||
Push-уведомления для мобильных приложений: FCM (Firebase Cloud Messaging) - Android, APNS (Apple Push Notification Service) - iOS. |
||
Казахстанский провайдер SMS-рассылок |
||
Мощная система email-рассылок. Используется для маркетинговых кампаний, транзакционных писем, аналитики доставки. |
||
Email, SMS, push-рассылки, чат-боты |
||
Платформа для отправки SMS-сообщений. Подходит для уведомлений, подтверждений, двухфакторной аутентификации. |
||
Российский сервис для отправки SMS-уведомлений и голосовых сообщений |
||
Российский провайдер SMS, голосовых сообщений и MMS. |
||
Ujin.io |
Интеграция с умными домофонами и системами доступа. Полезна для недвижимости, логистики, безопасности. |
|
Сервис email-рассылок |
||
Unisender Go - API-версия сервиса email-рассылок |
||
Платежные шлюзы/POS/KKT | ||
Онлайн-касса и платформа от компании "Тензор" (1С). Подходит для розницы, сферы услуг, маркетплейсов. |
||
Сервис для сдачи отчетности, ЭДО, работы с ЭП |
||
Один из крупнейших операторов фискальных данных (ОФД) в России. Обеспечивает передачу данных в ФНС и интеграцию с кассовым ПО. |
||
Банковская система для расчетов и платежей |
||
Прием платежей через интернет. Поддержка карт, рассрочки, QR-кодов. |
||
Производитель ККТ и ПО для автоматизации торговли |
||
Облачная касса для малого бизнеса (онлайн-касса) |
||
Сервис от Яндекса для приема онлайн-платежей. Поддерживает карты, электронные кошельки, SberPay. |
||
Российская платёжная система для e-commerce. Поддерживает карты, банковские переводы. |
||
Лидер на рынке POS-систем для HoReCa. Полный цикл управления: касса, склад, доставка, CRM, онлайн-заказы. |
||
Технические сервисы | ||
API Яндекс.Директа для управления рекламными кампаниями |
||
Перевод текста с помощью Yandex Translate API |
||
Преобразование текста в речь (Text-to-Speech) |
||
Централизованное управление пользователями, доступом и политиками безопасности в корпоративных сетях Microsoft. |
||
Платформа Microsoft для управления разработкой (CI/CD, репозитории, бэклоги) |
||
Google reCAPTCHA - защита от ботов |
||
Облачное хранилище Yandex Cloud (совместимо с Amazon S3) |
||
Финтех.Банки | ||
Лидер по цифровизации, один из самых открытых API в РФ |
||
Региональный банк Дальнего Востока |
||
Крупный универсальный банк с развитой API-инфраструктурой |
||
Второй по величине банк в РФ, широкий спектр API |
||
Крупнейший банк в России по активам, активно развивает цифровые сервисы |
||
Государственная корпорация по жилищному развитию (ранее АИЖК) |
||
Банк с фокусом на розничных клиентах и онлайн-сервисах |
||
Банк с упором на логистику, транспорт, МСБ |
||
Банк промышленной группы «Металлоинвест» |
||
Банк с фокусом на корпоративных клиентах и IT-интеграциях |
||
Банк с фокусом на малый и средний бизнес |
||
Банк с фокусом на оборонно-промышленный комплекс и госсектор |
||
Международный банк (выводится из РФ), ранее активно использовался в B2B-сценариях |
||
Банк группы компаний |
||
Банк, специализирующийся на потребительском кредитовании |
||
Крупнейший банк в сельском хозяйстве и агробизнесе |
||
Крупнейший банк России, один из лидеров по цифровизации |
||
Банк группы «Синара», обслуживает промышленные предприятия |
||
Международный банк, выведенный из РФ в 2023 году |
||
Крупный российский банк, активно развивает API для онлайн-кредитования |
||
Цифровой банк с открытым API для платежей, карт, счетов, переводов |
||
Банк, созданный специально для индивидуальных предпринимателей (ИП) и малого бизнеса |
||
Банк с фокусом на корпоративных клиентах и инвестициях |
||
Банк, ориентированный на поддержку инновационных проектов |
||
Уральский универсальный банк |
||
Финтех.Страховые системы | ||
Оформление ОСАГО через АльфаСтрахование |
||
ВСК - оформление ОСАГО |
||
API Ингосстрах для ОСАГО |
||
Макромикро (МАКС) - оформление ОСАГО |
||
Курсы валют, акций, облигаций |
||
API РГС для ОСАГО |
||
API РЕСО для оформления ОСАГО |
||
B2B API Согласие для ОСАГО |
||
Агрегатор ОСАГО, КАСКО, кредитов |
||
B2B-агрегатор полисов (ОСАГО, КАСКО, ипотека) |
||
API для оформления туристической страховки (ранее Cherehapa) |
||
Исторические данные по акциям, индексам, валютам за рубежом |
||
Агрегатор финансовых услуг, в т.ч. ОСАГО |
||
Расчёт стоимости КАСКО через API |
||
Данные для расчета ОСАГО (например, КБМ, история ДТП) |
||
BI, аналитика и отчетность | ||
Мобильная аналитика: поведение пользователей, события, источники трафика. |
||
Веб-аналитика: сбор данных о посетителях, поведении, источниках трафика |
||
Аналитика веб- и мобильного трафика от Google |
||
Анализ трафика сайтов: источники, география, поведение |
||
Инструмент для создания интерактивных дашбордов и отчётности. |
||
CRM и микрозадачи | ||
Многофункциональная платформа для управления проектами, CRM, коммуникаций и автоматизации бизнес-процессов. |
||
Онлайн-сервис для подбора персонала (ATS) |
||
Платформа для выполнения микрозадач людьми. Полезна для обучения нейросетей, проверки данных. |
||
Крупнейшая платформа по подбору персонала в РФ |
||
CRM-система с поддержкой чатов, email, телефонии. Удобна для call-центров и support-отделов. |
||
ERP-системы | ||
Лидер среди ERP-систем в России. Используется для учета, управления складом, сотрудниками. |
||
Онлайн-сервис для взаимодействия с государственными органами по вопросам трудовых отношений и кадрового учета. |
||
Российская система электронного документооборота для управления делопроизводством, договорами, кадрами и бухгалтерией. |
||
Глобальная ERP-система, популярная в крупных компаниях. |
||
Сервисы классифицированы по 11 отраслям: Финтех.Банки, Государственные и муниципальные системы, Финтех.Страховые системы, Платежные шлюзы/POS/KKT, Технические сервисы, Коммуникационные каналы, Геолокация и справочные сервисы, BI, аналитика и отчетность, CRM и микрозадачи, ERP-системы.
Как видно из диаграммы, большая часть интеграции (порядка 40%) приходится на сферу фин.тех. Связано это с тем, что в контуре компании ведется продуктовая разработка финансового маркетплейса по банковским продуктам Выберу.ру, где производится массовый обмен информацией между площадкой и банками/страховыми компаниями.
Что делать, когда интеграций становится больше 100? Как сохранять эффективность разработки, когда в компании уже более сотни активных интеграций?
Регламент как необходимость эффективной разработки
Каждая интеграция, даже в рамках одного сегмента, уникальна: она зависит от особенностей внешней системы, используемых протоколов, форматов данных и требований безопасности.
В связи с этим в компании разработан и внедрен внутренний регламент интеграции для каждой из систем, включающий типовые решения, проверенные практики и архитектурные шаблоны. Это позволяет значительно сократить сроки подключения, обеспечить высокую степень отказоустойчивости, поддерживать масштабируемость и гарантировать стабильную работу интеграционных каналов.
При построении интеграционного решения, простого изучения документации больше не хватает: современные интеграционные задачи требуют понимания архитектурных особенностей, требований законодательства, поведения систем в условиях нагрузки и механизмов отказоустойчивости.
Выводы
Эффективная интеграция требует системного подхода, включающего глубокое понимание архитектуры, протоколов, обработки ошибок и особенностей каждой платформы.
В условиях растущего числа внешних систем подход c введением регламента по интеграции систем становится ключевым конкурентным преимуществом, позволяя компании быстро адаптироваться к изменениям и эффективно создавать интеграции в эко-системе заказчика.
P.S. А каков размер криптокошелька в вашей компании? Делитесь в комментариях!
onyxmaster
Какое отношение статья имеет к хабу .NET?