Введение
Знакомая ситуация: созвон закончился, всё обсудили, о чём-то договорились и разошлись работать дальше. А через пару дней начинается: «Подождите, а кто вообще должен был этим заниматься?» В лучшем случае у кого-то сохранились хаотичные заметки, в худшем - всё держится на человеческой памяти. А ведь встречи бывают не только онлайн, но и очные с десятком участников и часами обсуждений.
В компании Софрос мы столкнулись с этой проблемой в полный рост. Внутренние планёрки, встречи с клиентами, технические синхронизации - контекст терялся постоянно. Кто-то записывал аудио на телефон, кто-то конспектировал в блокноте, а потом всё это нужно было как-то собрать в единый протокол. На расшифровку часовой встречи вручную уходит около трёх часов - непозволительная роскошь, когда встреч десятки.
Так родился SOFROS AI Секретарь - система, которая автоматически превращает любую встречу в структурированный протокол с задачами и ответственными. Расскажу, как мы это сделали и что из этого вышло.
Проблема: контекст умирает после «Завершить звонок»
Встреча - это не просто разговор. Это:
решения, которые кто-то должен запомнить;
задачи, которые нужно кому-то назначить;
договорённости, которые легко забыть через неделю;
идеи, которые теряются в потоке речи.
Мы пробовали разные подходы. Диктофонные записи - расшифровывать их вручную долго и муторно. Стенографирование во время встречи - почти невозможно: человек говорит в три раза быстрее, чем мы печатаем. Полагаться на память - плохая идея.
Нужно было решение, которое:
записывает встречу (и онлайн, и офлайн);
расшифровывает речь и переводит в текст;
понимает, кто что сказал;
выделяет главное и формирует задачи;
делает всё это автоматически и быстро.
Решение: SOFROS AI Секретарь
Мы построили систему, которая берёт на себя всю рутину по ведению протоколов. Всё, что нужно пользователю - загрузить файл или вставить ссылку на видеоконференцию и дождаться готового протокола. Система автоматически:
расшифровывает речь (транскрибирует);
определяет, кто и что говорил;
выделяет ключевые темы;
формирует список задач и ответственных;
создаёт готовый протокол в форматах MD, DOCX, PDF.
отправляет сформированные файлы на электронную почту участникам рабочей группы проекта.
Но давайте по порядку.
Проекты: контейнеры для встреч
Первое, что мы сделали - ввели понятие проекта. Это контейнер, в котором хранятся все встречи, относящиеся к одной теме, команде, направлению или проекту внедрения.
Проект-контейнер позволяет:
группировать встречи по темам;
назначать участников, которые имеют доступ к встречам проекта;
указывать email группы для рассылки уведомлений.
Каждый проект имеет рабочую группу - список пользователей с доступом. Есть роли: Владелец (полный доступ), Участник (доступ к проекту, создание встреч, просмотр протоколов) и Администратор (глобальный доступ ко всем проектам). Любой участник рабочей группы может опубликовать встречу в проекте, и её результаты станут тут же доступны всем участникам проекта.
Важный нюанс: у каждого пользователя есть виртуальный проект «Проект не указан». Это автоматическая «корзина» для встреч, созданных без привязки к проекту. Встречи оттуда можно перетащить мышкой в любой другой проект.
Встречи: от загрузки до готового протокола
Создать встречу можно тремя способами:
нажать кнопку «Новая встреча» в верхней панели;
выбрать «Новая встреча» в меню проекта;
перетащить файл на карточку проекта.
Форма создания встречи позволяет загрузить контент одним из способов:
Файлы - аудио (MP3, WAV, OGG, FLAC, AAC, M4A, WMA, OPUS), видео (MP4, AVI, MKV, MOV, WMV, WEBM) или текстовые файлы (TXT, MD, JSON, MASHA, CSV). Можно загрузить несколько файлов - они склеятся в указанном порядке.
Ссылка - URL-адрес файла или ссылка на видеоконференцию (Zoom, Google Meet, Microsoft Teams и др.). Система автоматически определит источник.
Транскрипция - готовый текст расшифровки.
После загрузки встреча попадает в список со статусом:
В очереди - ожидает начала обработки;
Выполняется - идёт обработка (показывается процент и этап);
Завершено - протокол готов;
Ошибка - во время обработки произошла ошибка;
Остановлено - обработка остановлена вручную.
Гибкие пайплайны обработки
Одна из ключевых особенностей системы - гибкие пайплайны обработки. Мы не зашивали жёсткий алгоритм, а сделали возможность выбора схемы обработки в зависимости от типа контента и потребностей пользователя.
При создании встречи система автоматически определяет доступные схемы (пайплайны) в зависимости от типа загружаемого контента (файл/ссылка, аудио/текст). Пользователь может выбрать нужную схему из выпадающего списка. Если для данного источника доступна только одна схема, она будет выбрана автоматически.
Например, при выборе варианта «С исправлением ошибок» обработка займёт столько же времени, сколько шла встреча. Вариант «Без исправления ошибок» - в два раза быстрее. Это даёт пользователю гибкость: можно пожертвовать скоростью ради качества или наоборот.
В настройках встречи всегда можно посмотреть, какой пайплайн используется. А в чат-ассистенте отображается название текущего пайплайна, и если доступно несколько - их можно переключать прямо из интерфейса чата.
Протокол: всё, что нужно, в одном месте
Когда встреча завершена, пользователь видит страницу протокола со следующими секциями (их можно сворачивать и разворачивать):
Краткое содержание - основные итоги встречи.
Темы встречи - перечень обсуждавшихся тем с временными метками.
Задачи встречи - список задач с исполнителями, сроками и приоритетами.
Протокол совещания - полный текст протокола.
Транскрипция - полная расшифровка речи с временными метками, именами спикеров и кнопками воспроизведения для каждого фрагмента.
Каждую секцию можно скачать отдельно в форматах MD, DOCX или PDF. Аудиозапись доступна для скачивания из секции транскрипции.
Чат-ассистент: задай вопрос протоколу
Одна из самых востребованных функций - чат-ассистент. Справа от протокола находится панель чата, где можно задавать вопросы по содержанию встречи. AI-ассистент отвечает на основе данных из протокола и транскприпта встречи.
Например:
«Какие задачи были назначены Иванову?»
«Что решили по поводу бюджета?»
«Кто выступал за это решение?»
Ассистент использует данные из протокола, поэтому ответы всегда релевантны и точны. Также мы работаем над RAG-системой, чтобы в будущем стали возможны вопросы: «Кому и когда была поставлена эта задача? Была ли она выполнена?»
Доступна статистика запроса: нажмите на иконку в верхней части чата, чтобы увидеть метрики - количество отправленных/полученных токенов, скорость обработки (токенов в секунду), время формирования ответа, использованную модель и пайплайн. Это особенно полезно для технических специалистов, которые хотят понимать производительность системы.
Выбор AI-моделей: никаких ограничений
Мы понимаем, что разные задачи требуют разных моделей. Поэтому в SOFROS AI Секретарь пользователь может выбирать модель для работы с протоколом. В чат-ассистенте доступен выпадающий список с локальными и облачными моделями. Пользователь может переключать модели прямо во время работы - перед отправкой вопроса выбрать ту, которая лучше подходит для конкретной задачи. Это даёт возможность экспериментировать и находить оптимальный баланс между скоростью и качеством ответов.
Расширение для браузера: запись встреч локально
Для онлайн-встреч мы сделали браузерное расширение AI-ассистент секретаря (работает в Chrome, Edge, Яндекс.Браузере и других на базе Chromium).
Как это работает:
Устанавливаете расширение (загружается из личного кабинета на сайте сервиса).
Открываете вкладку со встречей (Zoom, Яндекс телемост, MS Teams).
Нажимаете кнопку «Запись» в расширении.
Расширение записывает аудио с активной вкладки, автоматически включает субтитры если они возможны, собирает транскрипцию с именами спикеров.
Останавливаете запись - файл автоматически уходит на сервер для обработки.
Важно: расширение работает локально - запись ведётся прямо в браузере, без передачи данных на сторонние серверы во время записи. Все данные отправляются только после остановки записи и только на ваш корпоративный сервер.
Расширение AI-ассистент секретаря автоматически останавливается через 4 часа (ограничение браузера). При закрытии браузера запись останавливается и загружается на сервер. Если сервер недоступен, файл сохраняется локально - можно загрузить вручную позже.
Публичная ссылка и отправка по email
Протоколом нужно делиться. Мы сделали две возможности:
Публичная ссылка - нажмите кнопку «Поделиться ссылкой», и система сгенерирует уникальную ссылку с защитным хешем. Ссылка действительна неограниченное время, показывает все секции протокола (включая транскрипцию и задачи), но скрывает кнопки управления. Аудиофрагменты доступны для воспроизведения даже без авторизации.
Отправка по email - кнопка «Email» открывает форму, где можно выбрать получателей (из списка участников проекта или ввести вручную), тему письма, формат вложений (PDF, DOCX или MD) и конкретные документы для отправки.
Фильтры, поиск и горячие клавиши
Когда встреч становится много, нужны удобные инструменты навигации. Мы добавили:
«Мои встречи» / «Доступные мне» - переключение между встречами, где вы автор, и теми, где вы участник проекта.
Поиск по названию - мгновенная фильтрация списка.
Фильтр по дате - выбор диапазона дат проведения встреч.
Фильтр по статусу - можно показать только завершённые, только в очереди и т.д.
Для администраторов - фильтры по пользователю и по компании.
Локальное развертывание и контроль данных
Мы сделали SOFROS AI Секретарь решением для локального развертывания. Все компоненты системы - серверная часть, база данных, модели AI - могут быть установлены на локальной инфраструктуре. Это даёт полный контроль над данными: никакая информация не покидает контур компании. Также решение весьма нетребовательно к ресурсам и позволяет запустить его на серверах без GPU.
Расширение для браузера также работает локально: запись ведётся прямо в браузере пользователя без передачи на сторонние серверы. Файлы загружаются только на ваш корпоративный сервер.
Что в итоге?
SOFROS AI Секретарь решил нашу главную проблему: контекст встреч больше не теряется. Каждая встреча - онлайн или офлайн, с файлом или по ссылке - превращается в структурированный протокол с задачами, ответственными и возможностью задавать вопросы AI-ассистенту.
Мы перестали тратить часы на расшифровку и конспектирование. Вместо этого мы просто загружаем запись и через несколько минут получаем готовый результат. Гибкие пайплайны позволяют выбирать между скоростью и качеством. Возможность переключать AI-модели даёт свободу экспериментировать. А локальное развертывание гарантирует, что все данные остаются под нашим контролем.
Встречи стали прозрачнее, задачи чётче, а команда эффективнее.
Нам интересно понять, насколько эта задача актуальна для других компаний. Если у вас есть буквально минута — ответьте, пожалуйста, на три коротких вопроса. Мы хотим понять, насколько подобные инструменты востребованы и как компании решают эту задачу сегодня. Если вы хотите узнать как создаются подобные приложения, мы будем рады продолжить статьи по данной тематике.
keelai
Хороший практический кейс. Я бы в такой системе жёстко разделял «получили расшифровку» и «получили протокол, которому можно доверять». Ошибка на первом слое легко превращается на втором в уверенно сформулированную, но неверную задачу.
Для продакшена полезно хранить рядом с каждым пунктом протокола не только ответственного и срок, но и ссылку на исходный фрагмент с таймкодом, уверенность распознавания и статус подтверждения человеком. Тогда спорную задачу можно быстро проверить, а не переслушивать весь час встречи.
И метрики я бы считал не только по WER: полнота извлечения action items, доля ложных задач, время до готового протокола и процент пунктов, которые пришлось исправлять вручную, лучше показывают реальную ценность локального контура.