Д.4 TTS: как компьютер говорит

Задача TTS - превратить текст в аудио, которое звучит естественно, с правильными интонациями, паузами и эмоциями.

Три поколения TTS

Современные TTS (2025–2026)

Что такое клонирование голоса

Вы даёте модели 5–10 секунд записи своего голоса. Модель обучается имитировать ваши интонации, тембр, манеру говорить. Затем она может «сказать» любой текст вашим голосом. Это используется в персонализированных ассистентах, аудиокнигах, а также в deepfake-атаках (поэтому технологии клонирования голоса становятся предметом регулирования).

Д.5 Единые мультимодальные модели: конвейер уходит в прошлое?

Традиционный подход - конвейер из трёх моделей - имеет недостатки:

Латентность.

ASR → NLU → TTS - три последовательных вызова. Даже если каждый работает быстро, суммарная задержка может достигать 3–5 секунд.

Потеря информации.

Эмоция в голосе пользователя (злость, радость, грусть) теряется при превращении в текст. ASR выдаёт «да», но не передаёт, что это было саркастическое «да».

Сложность отладки.

Если ассистент ответил не так, непонятно, кто виноват: ASR не расслышал, NLU не понял или TTS плохо произнёс?

Решение - единая мультимодальная модель:

одна нейросеть принимает аудио на вход и выдаёт аудио на выходе. Без промежуточного текста.

Примеры

Google USM (Universal Speech Model) - обучена на 300+ языках, может распознавать и генерировать речь.

SpeechGPT - модификация GPT, которая работает с аудио напрямую.

AudioPaLM (Google) - объединяет текстовую и аудиомодальность.

Пока эти модели уступают конвейеру по качеству и скорости, но тренд очевиден. Через 3–5 лет голосовые ассистенты будут работать на единой модели.

Д.6 Латентность и интерактивность: почему 5 секунд - это много

Человек в разговоре ожидает ответа примерно через 0.5–1 секунду. Если пауза затягивается до 2–3 секунд, он начинает думать: «меня не слышат? я неправильно сказал?». Если ответ приходит через 5 секунд - диалог ломается.

Из чего складывается латентность голосового ассистента:

Как сокращать латентность

Стриминг ASR.

Модель не ждёт, пока пользователь закончит фразу, а отдаёт распознанный текст по мере произнесения. Можно начинать обрабатывать команду, не дожидаясь паузы.

Кэширование частых ответов.

«Какая погода?» - можно сохранить результат на 10 минут и не дёргать LLM.

Маленькие модели для простых команд.

Не используйте LLM для «поставь будильник». Выделяйте намерение быстрым классификатором.

Аппаратное ускорение TTS.

TTS на GPU работает в 5–10 раз быстрее, чем на CPU. Если ассистент живёт в облаке - используйте GPU.

Предсказание следующей фразы.

Если ассистент знает, что после «какая погода в Москве?» часто спрашивают «а в Питере?», он может заранее сгенерировать ответ на второй вопрос.

Д.7 Практические рекомендации для инженера

Если вы строите голосового ассистента (или добавляете голосовой интерфейс в существующего чат-бота), вот чек-лист.

Выбор ASR

· Нужно высокое качество, не жалко денег → Whisper API (OpenAI).

· Нужно бесплатно, open-source, можно дообучать → Whisper (self-host).

· Нужно офлайн, на телефоне → Vosk.

· Нужно специализированно под русский → SberDevices или Vosk.

Выбор NLU/LLM

· Простые команды (до 20–30 интентов) → маленький классификатор (fastText, BERT).

· Сложные диалоги, вопросы по документам → LLM (GPT-4o, LLaMA, GigaChat).

· Комбинируйте: детектор сложности направляет запрос в нужную модель.

Выбор TTS

· Лучшее качество, не жалко денег → ElevenLabs.

· Open-source, свои серверы → VITS.

· Русский язык, облако → Yandex SpeechKit.

· Офлайн, телефон, не нужно эмоций → Silero.

Безопасность

Клонирование голоса - потенциальный вектор атаки. Не позволяйте ассистенту представляться другим человеком без явного согласия.

Храните аудиозаписи пользователей только при их согласии и с чёткими сроками удаления.

Добавьте «стоп-слово», которое мгновенно прерывает ассистента (например, «молчи»).

Мониторинг

Логируйте ASR-текст (что услышали), NLU-интент (что поняли), TTS-текст (что сказали). Это поможет отлаживать ошибки.

Измеряйте латентность каждого этапа отдельно.

Собирайте статистику по сбоям: «ассистент не расслышал» vs «ассистент не понял» vs «ассистент неправильно произнёс».