Делаю «Канал 15» — рацию‑компаньон для Euro Truck Simulator 2: восемнадцать выдуманных дальнобойщиков болтают в эфире у игрока, отвечают на голос и запоминают его между рейсами. К озвучке у нас три движка: ElevenLabs (eleven_v3), OpenAI‑совместимый gpt‑audio через OpenRouter и локальный клон на XTTS. Пул текстов — порядка четырёх тысяч реплик, и почти сразу выяснилось, что все три движка по‑разному, но уверенно ставят русские ударения не туда. Ночное приветствие «гудни» читалось как «гУдни» — как команда, «йогУрты», «кОзел» вместо, ну вы поняли, клички и позывные вроде «михалЫч» и «биби, кни» ломались каждый по‑своему. Здесь — что я построил, где уперся в стену и что так и осталось открытым вопросом.

Шаг 1. Проверка ударений до синтеза, а не после

Переозвучка стоит денег (платные движки считают символы, локальный — часы GPU‑времени), поэтому «сгенерируем и послушаем» как стратегия не проходит. Сначала нужен детектор проблемных слов в тексте реплики. Остановился на ruaccent (1.5.8.3) с моделью omograph turbo2: библиотека расставляет ударения по контексту и отдаёт текст с маркером + перед ударной гласной.

Поверх — проектный словарь stress_dict.json: слово с эталонным ударением, IPA‑транскрипция, источник и опциональный xtts_override — эмпирическую форму под наш клон. Сейчас там 41 слово, и половина — клички, позывные и жаргон, которых ни в одном словаре нет.

Ключевое решение — это гейт, а не линтер. Неподтверждённое срабатывание (слово без ударения от модели и не в словаре, либо жаргон вне словаря) останавливает генерацию до траты символов. Обход существует, но только явным флагом --stress-ok, и факт обхода печатается в лог:

bad = [(w, p, r) for w, p, r, ok in sc.check_line(text) if not ok]
if bad:
    for w, p, r in bad:
        print(f"   УДАРЕНИЕ? {w} → {p or '???'} ({r}) | {text[:70]}")
    raise SystemExit("stress_check: неподтверждённые флаги — правьте stress_dict.json "
                     "или запустите с --stress-ok (фиксируется в выводе)")

Отдельная тонкость — ложные срабатывания. Модель turbo2 не ставит + на части коротких слов в контексте («или», «когда», «что‑то»), и это не риск для синтеза, а особенность модели. Для таких слов сделан «вайтлист пропусков», который пополняется прогонами: если слово в одиночную прогонку получает ударение, а в контексте его нет, флаг игнорируется.

Прогон всего эфира: 4280 строк, 41 подтверждённый флаг (все — по словарю), 0 неподтверждённых. Девственно чисто, но это заслуга словаря, а не модели.

Шаг 2. Словари произношения ElevenLabs оказались закрыты

Логичный путь для eleven_v3 — pronunciation dictionaries: загружаешь словарь с phoneme/alias‑тегами, модель произносит как скажешь. Не вышло: на нашем тарифе (creator) endpoint словарей отвечает HTTP 401 Ручной тест 16.11, результат зафиксирован комментарием прямо в коде генератора. На более дорогих тарифах, судя по доке, словари доступны, но проект бесплатный и платить за озвучку выдуманных мужиков столько не готов.

Отдельно проверили SSML: по официальной доке ElevenLabs модели Eleven v3 и v4 SSML не поддерживают вообще, вместо разметки у них свои аудио‑теги [whispers], [sighs] и тому подобное. Есть упоминание, что v3 вроде бы ест IPA‑транскрипцию, но там же честно написано «not 100% consistent» — то есть контроль качества всё равно нужен, и я его описали в шаге 1.

Шаг 3. Рабочий обход: подмена текста перед синтезом

То, что реально работает у всех трёх движков, — фонетическая подмена только в тексте, который уходит в синтез. Отображаемые тексты, субтитры и хэши‑сигнатуры (по ним решаем, что переозвучивать) не трогаю — иначе любая правка словаря пересобирала бы весь эфир.

Приём простой: ударную гласную удваиваем. «гудни» → «гуднии», «километр» → «киломеетр». Слух модели принимает удвоенную гласную как сигнал «ударение сюда», а в отображаемом тексте игрок видит нормальное слово. Словарь подмен строится из того же stress_dict.json, есть отдельные эмпирические формы, которые лучше слышит наш клон:

for e in json.loads((ROOT / "phrases" / "stress_dict.json").read_text(encoding="utf-8")):
    if e.get("xtts_override"):
        m[e["word"]] = e["xtts_override"]   # форма, которую лучше слышит наш клон
        continue
    s = e["stressed"]
    for i, ch in enumerate(s):
        if ch in "АЕЁИОУЫЭЮЯ":
            m[e["word"]] = (s[:i] + ch.lower() * 2 + s[i + 1:]).lower()
            break

Подмена — регэкспом по собранной таблице, идемпотентно, регистронезависимо:

XTTS_STRESS_RX = _re_mod.compile("|".join(XTTS_STRESS), _re_mod.IGNORECASE)
return XTTS_STRESS_RX.sub(lambda m: XTTS_STRESS[m.group(0).lower()], text)

Понимаю, что это латание на уровне «работает — не трогай». Плюс один: один и тот же словарь обслуживает три разных движка. Минус: подмена меняет акустику слова, и иногда слышно лёгкое «завывание» на удвоенной гласной, особенно у XTTS на длинных словах.

Шаг 4. Точечная переозвучка вместо полной

Раз тексты и сигнатуры разделены, переозвучка стала дешёвой: снимаем подпись нужных реплик в манифестах эфира, пересинтезируем только их, расход символов считаем до запуска. Контроль качества — faster‑whisper (small, CPU, int8): распознаём результат и сравниваем с эталоном через difflib.SequenceMatcher, порог приёмки 0.95, всё что ниже 0.85 — «послушать ухом». В Whisper‑контроле, правда, есть слепая зона: он русскоязычный, поэтому реплики на других языках идут одним дублем без проверки, а там, где whisper в ветке не подключён, остаётся только слушать самому.

Открытые вопросы

Именно за этим пост и пишу. Ударения в русской речи на закрытых TTS — вечная боль, но у сообщества наверняка накопился арсенал получше нашего:

  1. Кто‑нибудь заставил eleven_v3 стабильно произносить нетривиальные ударения без словарей и подмен? IPA‑теги реально работают в проде или «not 100% consistent» означает «не работает»?

  2. Морфологическая разметка перед синтезом — делают ли её серьёзно: pymorphy3 → словарная форма → ударение из словаря → возврат флексии с сохранённым ударением? Есть ли готовая связка, или все всё равно хардкодят подмены?

  3. Наш гейт — проприетарный словарь на 41 слово. Есть ли открытый словарь русских «ударенческих исключений» (слова вроде «йогурт», «договор», «красивее»), который не стыдно подключить как зависимость?

  4. Альтернатива в лоб: гнать весь вход через ruaccent заранее и хардкодить подмены для всех слов, где модель расставляет + не так, как мы слышим. Это масштабируется лучше ручного словаря, но утонет в ложных срабатываниях или жить можно?

Буду благодарен за опыт, ссылки и особенно за примеры «у нас работает так».

Комментарии (6)


  1. MorevPro
    16.11.2026 18:56

    Тут уже все прокопали? https://github.com/alphacep/awesome-russian-speech


    1. Jeleziaka Автор
      16.11.2026 18:56

      спасибо продолжаю копать


  1. FlyingDutchman
    16.11.2026 18:56

    Я воюю с ударениями в своём любительском проекте по многоголосой озвучке итальянских фильмов. Прошу Claude сразу, при переводе субтитров расставлять ударения во всех словах, имеющих более одного слога, даже во вполне очевидных. Потом всё равно, во время правки субтитров (а пост-правки всё равно приходится делать + прописывать кто именно говорит данную фразу) еще раз пробегаюсь по всем диалогам и проверяю лично все слова. Каждый фильм содержит 1000-1700 диалогов, так что труд немаленький, но лучше решения не нашёл пока. Пробовали ставить питоновский пакет "ruaccent-predictor" - он справляется, мягко говоря, средне. Так что пока, ручная проверка ударений - это лучшее, что есть.

    Сама звуковая дорожка генерируется с помощью скрипта на питоне и elevenlabs.ai, в котором я уже заранее создал нужные мне кастомные голоса. Скрипт отправляет в elevenlabs каждую фразу и индекс нужного голоса, получает оттуда сгенерированный mp3 файл с произношением запрошенной фразы. Потом Claude проверяет каждый диалог на время - чтобы русская речь не вылезала за пределы оригинального диалога. Если диалог не помещается во временные рамки, что случается частенько, учитывая скорость итальянской речи, то либо убыстряем ненамного фразу, либо сокращаем фразу и перегенерируем нужную реплику.

    В итоге, из получившихся фраз, Claude собирает звуковую дорожку, приглушая оригинальные голоса и добавляя поверх звук из сгенерированных mp3 файлов. Получается вполне неплохо для домашнего проекта, где никто из реальных людей ничего не говорит, всё генерируется AI.


    1. Jeleziaka Автор
      16.11.2026 18:56

      Благадарю за информацию, а где можно ознакомится с вашим проектом?


      1. FlyingDutchman
        16.11.2026 18:56

        Увы, нигде. Это мой частный проект для меня самого (вернее, для жены, которая не говорит на итальянском языке).
        Я написал сюда не для того, чтобы порекламировать свой проект, а чтобы рассказать о трудностях, с которыми столкнулся. И никакой ИИ никогда не поймет, почему в данном контексте мукА, а не мУка. Так что ручной контроль останется всегда, именно из-за неявных правил ударений в русском языке. Увы, это не итальянский язык, где правила ударений и произношений определены очень чётко, их можно автоматизировать.

        Я тоже думал завести словарь, но я не собираюсь постоянно заниматься этим проектом, перевёл три фильма. Может переведу еще парочку - и на этом всё.


    1. Jeleziaka Автор
      16.11.2026 18:56

      У меня та же схема с ElevenLabs: 18 персонажей, у каждого свой кастомный голос, скрипт шлёт фразу + voice_id, получает mp3. И тот же вывод про ruaccent — пробовали, средне. В итоге пришел к похожей ручной схеме, только с одной надстройкой: завели «словарь ударений» проекта — json, куда заносим каждое слово, на котором модель споткнулась, с правильной подменой (текст с большой буквой на ударном слоге, EL это неплохо понимает). Скрипт перед отправкой фразы прогоняет её по словарю автоматически. Разница с ручной разметкой всех слов — словарь растёт только на реальных факапах, а не на всех 1700 диалогах сразу. У вас фильмы — у меня игровой эфир, объёмы меньше, так что хватает.

      А вот проверку после генерации я автоматизировал — может, пригодится: прогоняю готовый mp3 через локальный Whisper и сравниваем с исходным текстом. Если распознанное сильно расходится — фраза улетает на перегенерацию с подменой. Ударение так, конечно, не поймаешь (Whisper пишет без ударений), но отлавливает «съеденные» слова и кривые интонации, где модель слово переиначила.

      Про тайминги у вас интересно — у меня проблема зеркальная: реплики живут в радиоэфире игры, и мне наоборот надо, чтобы паузы между голосами выглядели естественно. Убыстрять фразы пробовали — звучит нервно, лучше сокращать текст.

      Удачи с итальянцами! Если дойдёт до автоматической сверки — заглядывайте, обменяемся скриптами.