Всем привет! Вероятно, у каждого бывало: ты открываешь Телеграм-чат, а там тысячи новых сообщений за день. И где-то внутри этой «солянки» важный ответ на твой вопрос или обсуждение нужной темы. Или вам нужно отслеживать определённые сообщения для бизнес-целей.

Можно, конечно, потратить кучу времени на ручной поиск, но намного интереснее научить юзербота самостоятельно парсить историю чата и составлять из неё удобную базу для поиска по смыслу.

Здесь в дело вступает связка из векторной базы Qdrant и LLM:

• Юзербот собирает сообщения и превращает их в эмбеддинги.

• Qdrant хранит эти векторы и по запросу вытаскивает только самые близкие фрагменты.

• LLM получает именно эти куски и формулирует итоговый ответ человеческим языком.

Если какой-то из терминов для вас непонятен, рекомендуем ознакомиться с нашими прошлыми статьями про работу с Qdrant. Ссылки на них будут предоставлены в конце статьи.

В этой статье разберёмся, как создать такое приложение: от простейшего парсинга чата до поиска по смыслу с помощью LLM.

В чём суть работы по парсингу Telegam через бота

Когда мы говорим «поиск по смыслу», важно понимать, что это не магия, а вполне конкретная цепочка шагов.

Давайте разберёмся со всем по порядку:

1. Сбор сообщений

Первый этап — это юзербот (например, на Telethon). Он подключается к вашему аккаунту Telegram и «слушает» выбранные чаты. Как только приходит новое сообщение, бот его сохраняет. При желании можно догрузить и старую историю, но чаще всего достаточно обрабатывать новые входящие.

Почему именно юзербот? Обычный бот не имеет доступа к истории чата (он видит только то, что пишут при нём). А юзербот = вы сами, только в виде программы, значит, у него полный доступ ко всем сообщениям.

2. Превращение текста в векторы (эмбеддинги)

Чтобы компьютер умел «понимать смысл» сообщений, нужно превратить текст в числовое представление.
Это и есть эмбеддинги — набор чисел (вектор), который описывает не форму слов, а их значение.

Пример:

• «ошибка при оплате» и «не проходит платеж» — разные наборы слов, но их векторы окажутся близки друг к другу, потому что смысл одинаковый.

• А вот «сегодня была хорошая погода» будет где-то далеко, потому что тематика другая.

Сейчас есть куча моделей для эмбеддингов: от OpenAI (text-embedding-3-small) до полностью локальных (e5-base, mxbai-embed-large).

3. Хранение в Qdrant

Все полученные векторы мы складываем в векторную базу Qdrant. Она заточена именно под такие данные: быстро ищет ближайшие векторы среди миллионов записей.
Каждое сообщение в базе хранится с нашими настраиваемыми метаданными:

• id сообщения;

• сам текст;

• автор (можно анонимизировать);

• дата и время.

Это значит, что в любой момент мы можем спросить: «Дай мне самые похожие на это сообщение куски чата» и Qdrant найдёт их за миллисекунды.

4. Запрос пользователя

Теперь представим, что вы хотите узнать: «Какие цвета обсуждали вчера?»
Ваш вопрос точно так же превращается в вектор и отправляется в Qdrant.
База ищет самые близкие по смыслу фрагменты чата и возвращает их (например, 5–10 штук).

5. Обработка в LLM

И уже наступает время большой языковой модели (LLM).
Мы берём найденные фрагменты и подкладываем их в промпт:

Вопрос: "Какие цвета обсуждали вчера?"
Контекст из чата:
1) [12:30] user1: Мой любимый цвет — черный
2) [12:35] user2: Думаю перекрасить сайт в синий, будет посвежее
3) [12:40] user3: Я за зелёный, он спокойнее смотрится
4) [12:50] user4: Красный лучше привлекает внимание
...
Сформулируй ответ кратко и по делу.

LLM видит только этот маленький кусок контекста, а не весь чат целиком, и формулирует итог:
«Вчера обсуждали несколько цветов: чёрный, синий, зелёный и красный.»

6. Что мы получаем в итоге

• Никаких километров скроллинга.

• Ответ приходит в человеческом виде.

• При желании можно прикладывать ссылки на оригинальные сообщения, чтобы проверить контекст, но пока будет достаточно времени.

Таким образом, LLM никогда не падает под весом тысячи сообщений: она работает только с выборкой, которую заранее подготовил Qdrant.

Дополнительно: могут ли за это забанить?

Технически Telegram не одобряет использование юзерботов, так как это доступ к аккаунту через неофициальные клиенты. Но на практике за чтение истории и хранение сообщений риска почти нет. Миллионы людей используют Telethon и Pyrogram. Бан чаще прилетает за спам или агрессивную активность. Для спокойствия можно завести отдельный аккаунт под юзербота, чтобы не рисковать основным.

Где развернем парсер

На помощь в развертывании нам приходит Amvera — сервис для простого и быстрого деплоя IT-приложений.

• Сервис при регистрации предоставляет бонусные 111 рублей без дополнительных условий. Это дает нам возможность без страха тестировать приложение, дорабатывать его и даже некоторое время покрутить бесплатно.

• Сервис также предоставляет бесплатное проксирование до OpenAI, Gemini, Grok AI и множества других сервисов, имеющих региональные ограничения.

• Недавно в Amvera появилась возможность подключить инференс LLM LLaMA, что освобождает нас от нужны покупать через иностранные карты токены от того же OpenAI. Как раз его мы используем для обработки сообщений.

• Приложение достаточно легко развернуть: достаточно лишь настроить несколько параметров в конфигурации и выполнить 4 команды в термиле для загрузки файлов через git push (и то можно обойтись без них - есть возможность загружать файлы через интерфейс).

Qdrant (как преднастроенный сервис) и юзербота мы развернем именно здесь. Также подключим инференс LLaMA от Amvera.

Почему это важно: удобно, когда доступ ко всем сервисам вашего приложения (в нашем случае - LLM, Qdrant и сам юзербот) лежит на одном аккаунте, а не на множестве разных.

Практическая часть: собираем MVP бота-парсера Telegram

Чтобы не углубляться в тонкие настройки, сделаем минимальный рабочий пример:

• юзербот читает сообщения из чата;

• превращает их в эмбеддинги;

• складывает в Qdrant;

• а потом по запросу достаёт релевантные куски и отдаёт их в LLM.

Само приложение будет запускаться как два отдельно живущих модуля, выполняющие свои функции. Первый — bot.py будет собирать все новые входящие сообщения. Второй (search.py) — выполнять поиск по ним.

1. Зависимости

В requirements.txt добавим:

telethon==1.36.0
qdrant-client==1.12.1
httpx==0.27.2
python-dotenv==1.0.1
sentence-transformers==5.1.0

2. Переменные окружения

Рекомендуется все важные и секретные данные, такие как токен от ботов и пароль к Qdrant хранить в переменных окружения. В Amvera, где мы развернем наш сервис, это вкладка «Переменные».

Для данного проекта у нас используются следующие переменные:

API_ID = 123456
API_HASH = your_api_hash
SESSION_PATH = /data/tg.session # Сохраняем 

QDRANT_URL = http://localhost:6333
QDRANT_COLLECTION = chat_messages

LLM_BASE_URL = https://kong-proxy.yc.amvera.ru/api/v1/models/llama
LLM_API_KEY = ключ
LLM_MODEL = llama70b

PYTHONUNBUFFERED = 1

Следить за актуальными методами можно в свагере

2.1. Как получить API_ID и API_HASH для юзербота

Чтобы юзербот мог подключаться к вашему аккаунту Telegram, нужны специальные ключи:

• API_ID

• API_HASH

Их можно получить на официальном сайте Telegram для разработчиков:

1. Зайдите на my.telegram.org под своим аккаунтом Telegram.

2. Выберите пункт API development tools.

3. Введите название приложения (можно любое, например chat-search), короткое имя и заполните форму.

4. После сохранения появятся ваши API_ID и API_HASH.

3. Юзербот на Telethon

bot.py:

import os, asyncio
from dotenv import load_dotenv
from telethon import TelegramClient, events
from qdrant_client import QdrantClient
from qdrant_client.models import VectorParams, Distance, PointStruct
from sentence_transformers import SentenceTransformer
import httpx

load_dotenv()

API_ID = int(os.getenv("API_ID"))
API_HASH = os.getenv("API_HASH")
SESSION_PATH = os.getenv("SESSION_PATH", "session")

QDRANT_URL = os.getenv("QDRANT_URL", "http://localhost:6333")
COLLECTION = os.getenv("QDRANT_COLLECTION", "chat_messages")

LLM_BASE_URL = os.getenv("LLM_BASE_URL")
LLM_API_KEY = os.getenv("LLM_API_KEY")
LLM_MODEL = os.getenv("LLM_MODEL")

client = TelegramClient(SESSION_PATH, API_ID, API_HASH)
qdrant = QdrantClient(url=QDRANT_URL)
embedder = SentenceTransformer("intfloat/e5-small")

# создаём коллекцию (один раз)
try:
    qdrant.get_collection(COLLECTION)
except:
    qdrant.create_collection(
        collection_name=COLLECTION,
        vectors_config=VectorParams(size=384, distance=Distance.COSINE)
    )

async def embed_text(text: str):
    return embedder.encode(text).tolist()

@client.on(events.NewMessage)
async def handler(event):
    # Рекомендуем добавить условие для проверки чата. В данной реализации сохраняются все сообщения
    text = event.message.message
    if not text:
        return
    emb = await embed_text(text)
    point = PointStruct(
        id=event.message.id,
        vector=emb,
        payload={"text": text, "chat_id": event.chat_id}
    )
    qdrant.upsert(COLLECTION, points=[point])
    print(f"Сохранили сообщение: {text[:50]}...")

async def main():
    await client.start()
    print("Юзербот запущен")
    await client.run_until_disconnected()

if __name__ == "__main__":
    asyncio.run(main())

4. Поиск по смыслу + LLM ответ

В отдельном файле search.py:

import os
import asyncio
import httpx
from dotenv import load_dotenv
from qdrant_client import QdrantClient
from sentence_transformers import SentenceTransformer

load_dotenv()

QDRANT_URL = os.getenv("QDRANT_URL", "http://localhost:6333")
QDRANT_COLLECTION = os.getenv("QDRANT_COLLECTION", "chat_messages")

LLM_BASE_URL = os.getenv("LLM_BASE_URL")  # например: https://kong-proxy.yc.amvera.ru/api/v1/models/llama
LLM_API_KEY = os.getenv("LLM_API_KEY")
LLM_MODEL = os.getenv("LLM_MODEL", "llama8b")

qdrant = QdrantClient(url=QDRANT_URL)
embedder = SentenceTransformer("intfloat/e5-small")

def embed_text(text: str):
    return embedder.encode([text], normalize_embeddings=True).tolist()[0]

async def llm_answer(question, context):
    headers = {
        "X-Auth-Token": f"Bearer {LLM_API_KEY}",
        "Content-Type": "application/json"
    }
    payload = {
        "model": LLM_MODEL,
        "messages": [
            {"role": "system", "text": "Ты помогаешь находить важное в чате. Отвечай коротко, по делу. На русском языке"},
            {"role": "user", "text": f"Вопрос: {question}\nКонтекст:\n{context}"}
        ]
    }
    async with httpx.AsyncClient(timeout=120.0) as http:
        r = await http.post(LLM_BASE_URL, headers=headers, json=payload)
        r.raise_for_status()
        data = r.json()
        return data["choices"][0]["message"]["text"]

async def search(question):
    vec = embed_text(question)
    results = qdrant.search(collection_name=QDRANT_COLLECTION, query_vector=vec, limit=5)
    context = "\n".join([p.payload["text"] for p in results])
    answer = await llm_answer(question, context)
    print("Вопрос:", question)
    print("Ответ:", answer)

if __name__ == "__main__":
    q = input("Введите вопрос: ")
    asyncio.run(search(q))

Пример входных выходных данных.

Вопрос: "Какие цвета обсуждали вчера?"
Контекст из чата:
1) [12:30] user1: Мой любимый цвет — черный
2) [12:35] user2: Думаю перекрасить сайт в синий, будет посвежее
3) [12:40] user3: Я за зелёный, он спокойнее смотрится
4) [12:50] user4: Красный лучше привлекает внимание
...
Сформулируй ответ кратко и по делу.

5. Как это работает вместе

1. Запускаем bot.py — юзербот слушает чат и сохраняет все новые сообщения в Qdrant.

2. Запускаем python search.py — вводим вопрос, получаем ответ от LLM.

3. Дополнительно потребуется развернуть базу данных (Qdrant в нашем случае) и подключить LLM по API.

Пример:

Вопрос: Какие цвета обсуждали вчера?
Ответ: Вчера обсуждали несколько цветов: чёрный, синий, зелёный и красный.

Деплой парсера Telegram

Итак, когда у нас уже будет готова база юзербота и всего необходимого функционала, нам нужно будет где-то развернуть все сервисы.

Разберем всё по очереди.

Регистрация

Первое, что потребуется — завести аккаунт в Amvera.
После быстрой регистрации (почта) вы сразу получаете бонусные 111 рублей на баланс. Этого достаточно, чтобы:

• протестировать юзербота;

• погонять Qdrant;

• приобрести тестовый пакет токенов для LLM.

Создание проекта с Qdrant

Прежде чем запускать юзербота, стоит подготовить хранилище — базу Qdrant. В Amvera это можно сделать буквально в несколько кликов.

1. Откройте панель проектов.

2. Нажмите «Создать проект».

3. В поле Тип сервиса выберите «Преднастроенное приложение из маркетплейса».

4. В разделе Задайте параметры сервиса откройте категорию Базы данных.

5. В списке выберите Qdrant.

6. Жмем «Далее», в новом окне выбираем название проекта и тариф.

7. Снова «Далее», задаем версию Qdrant. Рекомендуется оставить ту, что будет указана по умолчанию. Завершаем создание

После этого сервис автоматически развернется, и у вас будет готовая векторная база, к которой можно подключать бота.

Как адрес для подключения используем внутреннее доменное имя, доступное во вкладке "Инфо" проекта. Сам же проект будет доступен в блоке «Преднастроенные сервисы».

Получение токена Amvera LLM Inference API

Осталась последняя зависимость нашего проекта - LLM. Мы будем использовать модель llama70b LLaMA.

Список доступных моделей доступен в документации;
Доступные методы описаны в Swagger

Для подключения прежде всего необходимо приобрести пакет токенов. Для этого переходим в блок «LLM (Preview)», выбираем нужную модель и жмём соответствующую кнопку.

Выберем любой тариф, на первый раз можно использовать «20000 токенов бесплатно на месяц (однократно)».

После приобретения пакета, открываем страницу модели и во вкладке "Инфо" перевыпускаем и копируем токен.

Деплой юзербота

Теперь, когда все зависимости доступны, мы можем развернуть наше приложение как отдельный проект. Для этого также открываем панель проектов и жмём «Создать проект».

1. В поле Тип сервиса выберите «Приложение». Жмём «Далее».

2. Задаем название проекта и выбираем тариф. Рекомендуется использовать «Начальный» или «Начальный плюс».

3. На следующем этапе будет доступна загрузка данных. Вы можете как использовать Git, так и загрузку через интерфейс. На данный момент пропустим загрузку.

4. На этапе создания «Переменные» рекомендуется прописать все переменные окружения, которые мы задавали ранее.

5. Следующий этап пропускаем - конфигурацию создадим после загрузки кода. Завершаем создание проекта и открываем его.

Если вы планируете вдальнейшем переодически обновлять проект, мы рекомендуем использовать Git как способ загрузки данных. Если же обновлений не планируется — можно загрузить через интерфейс.

Загружаем данные проекта (вместе с requirements.txt) любым удобным способом, убеждаемся в том, что переменные окружения созданы и переходим во вкладку «Конфигурация».

Во вкладке конфигурации мы можем сгенерировать amvera.yml - файл с инструкциями для сборки проекта. Подробнее можно прочитать в документации.

Для Python-проекта выбираем окружение Python и инструмент Pip. В version задаем версию Python, указываем в scriptName название запускаемого .py файла.

В моем случае конфигурация выглядит так:

Сохраняем конфигурацию и жмём кнопку сборки.

После выполненных действий ожидаем сборку и если все пройдет без ошибок — проект запустится и будет работать.

Нюанс запуска

Важно, что доступа к консоли проекта нет. Поэтому возможности указать номер телефона и код от Telegram для запуска сессии нет.

Однако, это все достаточно легко обойти, загрузив файл сессии в репозиторий проекта по пути, который мы указывали ранее в переменной SESSION_PATH переменных окружения.

Тут /data — пусть к постоянному хранилищу Amvera. В нашем случае его использовать не обязательно, т.к. файл сессии неизменяемый. Но все изменяемые в процессе работы приложения файлы необходимо сохранять в постоянное хранилище Data, иначе после каждой пересборки/перезапуска файлы обнулятся. Это относится к любым файлам, будь то .txt или файл базы SQLite.

Подробнее здесь: https://docs.amvera.ru/applications/storage.html#data

Ни в коем случае не публикуйте файл сессии в GitHub или любые другие Git-сервисы, если будете использовать их для деплоя!

Это только пример парсинга каналов, групп и чатов Telegram через бота

Мы показали самый простой pipeline, который можно собрать на Python, Qdrant и LLaMA. Такой код работает, но это больше учебный каркас, чем готовое приложение на прод.

Почему так:

• у каждого проекта разный масштаб (от маленькой группы до корпоративного чата на сотни тысяч сообщений);

• разные требования к приватности (где-то можно хранить историю целиком, где-то нужно анонимизировать авторов или чистить персональные данные);

• разные модели эмбеддингов и LLM дают разные результаты (одни лучше подходят для коротких сообщений, другие для длинных диалогов).

Поэтому не следует воспринимать пример как последнее слово техники. Гораздо полезнее взять этот шаблон и попробовать самим.

Релевантные статьи

1. Свой ChatGPT на документах: делаем RAG с нуля.

2. Всё про Qdrant. Обзор векторной базы данных.

3. Универсальный парсинг сайтов на Python: requests vs headless, токены, куки, прокси и ротация IP.