Если вы управляете достаточно крупным бизнесом, вы неизбежно будете собирать аналитические данные. Вы же хотите точно понимать, почему меняются показатели продаж или какие товары будут пользоваться спросом в следующем месяце. Звучит логично и понятно, пока вы не начнете плотно работать с цифрами и графиками. И тут, как и почти в любой сфере, кто-то рано или поздно должен был внедрить AI-ассистента. Посмотрим, что из этого получилось.
Мы подготовили этот материал на основе интервью с PO InSales — Александром Кумаром и CTO R 77 — Ярославом Шмулевым.
InSales — это онлайн-платформа для продавцов, и им удалось решить описанную проблему при помощи AI-ассистента. Он понимал вопросы пользователей, анализировал графики и возвращал подробные ответы — по сути, выполнял роль штатного аналитика.
Как возникла проблема
Изначально InSales уже имела готовые дашборды для клиентов, однако для работы с ними пользователям нужно было владеть BI-инструментами. Те не хотели разбираться в сложных интерфейсах с множеством графиков, таблиц и фильтров. В результате значительная часть клиентов просто игнорировала доступную аналитику. Вместо этого поддержка тонула в типовых запросах:
«Почему снизились продажи за последние дни?»
«Какие товары лучше продавались на прошлой неделе?»
«Что не так с рекламой на Ozon и Wildberries?»
Однако чаще всего вопрос звучал просто: «Как увеличить продажи?»
Сотрудники поддержки старались отвечать пользователям, но все же они не аналитики. Поиск ответов занимал уйму времени и сил — и часто больше напоминал попытку попасть пальцем в небо.
Основная проблема заключалась в следующем: нужно было прочитать данные таким образом, чтобы сделать по ним выводы.
«Наш пользователь не аналитик. Он хочет быстро понять, почему падают продажи, а не изучать отчёты. Поэтому мы решили дать клиентам возможность задавать простые вопросы и сразу получать ответы, минуя интерфейс BI-системы».
Александр Кумар, PO InSales
Надо делать просто: открыл и понятно
Первым делом провели исследование аудитории. Основные запросы пользователей звучали следующим образом:
«Мне не нужны все эти графики. Скажите, что сломалось и что с этим делать».
«Хочу открыть аналитику и сразу понять: у меня всё нормально или уже горит?»
«Открыл аналитику и закрыл. Не понимаю, куда смотреть»
Далее сформулировали конкретную задачу для нового инструмента — он должен выполнять роль аналитика-помощника. Ассистенту следовало отвечать на вопросы пользователей простым языком, переводя их в SQL-запросы и извлекая данные напрямую из аналитических таблиц компании.
Важно, чтобы ИИ-аналитик умел обосновывать свой ответ, поскольку вопрос недоверия пользователей оставался ключевым.
Далее определили метрики успешности нового сервиса. Был риск, что пользователю воспримут его как баловство — поиграют, посмотрят, но не станут использовать постоянно.
В качестве таких метрик выбрали следующие показатели:
количество уникальных пользователей в неделю и отношение ко всей базе клиентов;
среднее количество посещений в неделю;
среднее количество вопросов и ответов;
соотношение положительных и отрицательных ответов
Когда видение бизнеса было оформлено, команда перешла к поиску решения — вначале протестировали готовое open-source решение Vanna AI.
Однако на практике оно оказалось недостаточно стабильным, а точность ответов составляла около 24%. Это означало, что три четверти SQL-запросов не соответствовали ожиданиям. При этом формально модель работала, но на практике выдавала много ошибочных или нерелевантных ответов, что делало ее непригодной для обслуживания клиентов.
Поэтому команда решила разработать собственное решение на базе LLM, использовав Retrieval-Augmented Generation (RAG) — без дорогостоящего переобучения модели с нуля.
Retrieval-Augmented Generation (RAG) — это метод работы с большими языковыми моделями, в рамках которого к запросу пользователя добавляется дополнительный контекст. Он позволяет модели выдать более полный и релевантный ответ.
ML Impact — про ML и AI без хайпа
Мы запустили ресурс, на котором разбираем реальную пользу ИИ для бизнеса.
Как это работает теперь
Ассистент работает по следующему алгоритму.
Пользователь задает вопрос в чат.
Ассистент генерирует SQL-запрос к подготовленным витринам на основе примеров из заранее подготовленного датасета.
SQL-запрос проверяется, чтобы избежать ошибок.
Пользователь получает ответ и пояснение к нему.
А еще модель предлагает продолжить диалог — например, добавить дополнительные комментарии или нарисовать график.
Команда занимается как промт-инженерией для работы с последовательностью размышления модели, так и контекстной инженерией для повышения качества ответов и точности генерации SQL.
В результате получился кастомный датасет — команда вручную собрала 1800 пользовательских вопросов с SQL-запросом для каждого из них.
Вопросы имитировали реальные формулировки селлеров: простые, неформальные, часто с нарушенной логикой.
SQL-запросы были составлены и проверены экспертами, чтобы соответствовать структуре и бизнес-логике платформы.
Охватывались основные пользовательские сценарии: падение выручки, эффективность рекламы, сравнительный анализ категорий и т.д.
Одним из артефактов стала база знаний (domain knowledge) — глоссарий и другие объяснения бизнес-домена.
«Мы не просто собрали примеры — мы разметили их, стандартизировали и добились того, чтобы модель обучалась на наших типовых запросах — иначе она не понимала специфику витрины и логику наших клиентов».
Ярослав Шмулев, СTO R-77
После добавления кастомного датасета и настройки логики промптинга точность модели выросла до 94% — по следующим метрикам на собственном датасете.
Exact Match — совпадает ли с эталонным SQL дословно.
Soft Accuracy — позволяет понимать вопросы пользователей в разных формулировках.
R-VES — проверка релевантности и валидации результата на уровне схемы данных.
Это открыло возможность запускать MVP в тестирование с реальными пользователями.
Какие сложности возникли с пилотом
Даже после настройки модели и улучшения точности команда столкнулась с рядом вызовов — без них не обходится ни одно внедрение ML.
Проблема №1: галлюцинации модели
Команда заметила, что модель пыталась придумать связи между таблицами, которых в реальности не было. Ответы выглядели очень правдоподобно, но были неправильными. Поэтому даже несмотря на высокое качество генерации, модель иногда формировала некорректные SQL-запросы. Например, обращалась к несуществующим таблицам или строила запросы, не соответствующие бизнес-логике.
Решение: внедрили цепочку проверок:
техническая валидация SQL-запроса перед отправкой в базу;
логическая проверка структуры запроса;
объяснение reasoning в интерфейсе, чтобы пользователь мог сам оценить ход рассуждений.
Проблема №2: нестабильные API и данные
Иногда данные от маркетплейсов могли приходить с задержкой или быть неполными Иногда данные от маркетплейсов могли приходить с задержкой или быть неполными (например, за предыдущий день еще не прогрузились или в системе был какой-то сбой).Бывало, что система возвращала нулевой результат, и пользователь думал, что это ошибка модели. Хотя проблема была в источнике данных.
Решение: реализовали автоматические уведомления (алерты), которые сообщают о пустых или частично обновленных данных и предлагают повторить запрос позже.
Проблема №3: недоверие пользователей
На ранних этапах пользователи воспринимали ответы ассистента как черный ящик. Даже правильный результат вызывал сомнения, если для него не было объяснения.
Решение: в интерфейс добавили пошаговое пояснение логики расчета — Chain-of-Thought. Теперь по ответу модели было понятно, как она рассуждает.
Что в итоге получил бизнес
Для InSales запуск такой инициативы стал важным шагом к трансформации пользовательского опыта и продуктовой модели. По сути, это движение в сторону полноценного ИИ-ассистента для селлера на платформе.
Перечислим несколько самых заметных результатов.
Увеличение длины диалога — пользователи стали задавать не один вопрос, а вести более развернутые беседы. Это указывало на повышение вовлеченности и доверия к инструменту.
Появление новых сценариев использования — пользователи стали интересоваться не только текущим состоянием метрик, но и возможностями детализации и анализа (стали спрашивать «почему», «в каком сегменте», «что дальше»).
Снижение потребности в ручной поддержке — часть типовых аналитических запросов, ранее обрабатывавшихся через чат или поддержку, теперь обрабатываются в AI-интерфейсе.
Что касается следующих шагов — сейчас команда развивает несколько направлений.
Во-первых, прорабатываются полноценные сценарии, которые выходят за рамки одиночных запросов — например, автоматическое выявление товаров, близких к out-of-stock, с последующим автозаказом.
Во-вторых, внедряются алерты: если ключевые показатели уходят в «красную зону», пользователь получает автоматическое уведомление. Третье направление — персонализация.
Поведение ассистента адаптируется под каждого пользователя: если клиент чаще запрашивает аналитику по товарам, система предлагает ему дополнительные отчеты и метрики. Если интересует рынок в целом — отправляет дайджесты по динамике ниш и категорий.
Чему другие компании могут научиться на кейсе InSales
Проект InSales — это пример зрелого, прагматичного подхода к внедрению ML: не ради трендовой технологии, а для устранения понятной бизнес-проблемы.
Вот три ключевых вывода, которые стоит взять на вооружение другим компаниям.
1. Начинайте с конкретной роли, а не с абстрактного AI
InSales не пытался «внедрить ИИ» во все бизнес-процессы сразу. Вместо этого была выбрана одна прикладная роль — аналитик-помощник, с четко измеримой пользой: сократить путь от вопроса до ответа.
Такой подход позволяет быстро выйти на MVP и увидеть реальные метрики поведения пользователей, не тратя месяцы на инфраструктуру или ресерч.
2. Подготовка собственных данных — обязательный этап
Без кастомного датасета точность модели составляла 24%. Только после создания и экспертной разметки 1800 пар «вопрос–SQL» модель достигла 94% точности. Это стало критической точкой перехода от прототипа к продукту.
Не существует универсального ML, который «просто работает». Ваши данные = ваша специфика. Без них вы либо будете жить с ошибками, либо не сможете масштабироваться.
3. ML-продукт должен быть не только точным, но и понятным
Даже при высокой точности пользователи сначала не доверяли ассистенту. Преодолеть недоверие получилось за счет визуализации процесса рассуждения модели. Люди начали понимать не только что им говорят, но и почему.
Без прозрачности и доверия любой ML-инструмент останется в тени: его не будут использовать или воспримут как игрушку.