Разбор
Разговор голосом с перебиваниями: почему он нужен и почему его нет в нашем MVP
Полный дуплекс это разговор, в котором ассистент слушает и говорит одновременно. Мы считаем его правильным интерфейсом для разговора о сделке и объясняем, почему не стали делать его за одиннадцать дней.
- Разговор, в котором ассистента можно перебить, уже есть в массовых приложениях и в готовых API.
- В инвестициях он нужен сильнее, чем в быту: перед сделкой человек возражает и переспрашивает.
- Перебивания у лидеров работают. Не решена связка "перебивания плюс точный вызов инструмента": лучшая система решает такие задачи с первого раза в 6 случаях из 10.
- Наш сценарий это именно такая связка: заявку надо услышать без ошибки в числах и проверить кодом.
- У Т-Банка сильные речевые технологии. Там, где голос встречается с деньгами, банк сам идёт осторожно.
- Поэтому в MVP хакатона голоса нет. После хакатона мы готовы сделать его отдельным проектом, план в конце.
Голос в ассистентах бывает трёх уровней.
- Озвучка. Готовый текст читается вслух. Это есть в любом агентском харнесе, и говорить об этом отдельно незачем.
- Разговор по очереди. Сказал, подождал, услышал ответ. Перебить нельзя, пауза считается концом реплики.
- Полный дуплекс. Ассистент слушает и говорит одновременно. Его можно перебить на полуслове, короткое "угу" не сбивает его с мысли, пауза посреди фразы не принимается за конец реплики.
Мерка здесь человеческая. В живом разговоре пауза между репликами порядка 0,2 секунды, хотя на подготовку ответа человеку нужно больше 0,6 секунды: слушающий заранее угадывает, где кончится фраза.4
Дальше речь только о третьем уровне.
Мы формулируем это так: не "скажи цену бумаги", а разговор со сценариями и возражениями, который ведёт к осознанному выбору.
- Перед сделкой человек спорит. Защитник показал, что нарушено правило. Естественная реакция: "стой, это правило я писал про другое". Текстовая карточка на это не отвечает.
- Объяснение это диалог. Мы обещаем объяснять на уровне собеседника. Уровень выясняется в разговоре: вопрос "что такое льгота за три года?" меняет весь дальнейший рассказ.
- Сделки на эмоциях совершаются быстро. Голос успевает туда, куда не успевает чтение.
Гипотеза
По данным Т-Банка, ИИ-агентам задают больше 14 млн вопросов в месяц, а сделки через них совершают около 5% пользователей.16 Мы предполагаем, что голос, который можно перебить, ближе к разговору с личным менеджером, чем к чату, и доверия к нему больше. Это не измерено, это предмет пилота.
- GigaChat. Режим "Общаться голосом" в бета-версии: в обзоре от 18 ноября 2025 года ассистента перебивают посреди ответа, и он меняет ход мысли.1
- Алиса AI. С июня 2026 года в приложении есть голосовой режим "Поговорить" для свободной беседы.2
- Готовые API. Google описывает свой Live API как разговор с низкой задержкой, в котором пользователь может прервать ответ модели голосом.3
Вывод
Разговор голосом перестал быть экспериментом: он есть в массовых приложениях, и его можно подключить как сервис.
В 2026 году появились проверки, где ассистенту приходится не только уступать слово, но и вызывать инструменты по ходу разговора. Это ровно наш случай: проверка заявки и есть вызов инструмента.
- 6 из 10задач с инструментами решает с первого раза лучшая система, GPT-Realtime5
- 4–10 сзадержка ответа в таких задачах: от самой быстрой системы до каскада из распознавания, модели и синтеза5
- 82,5%случаев, когда открытая модель верно выбирает инструмент. Точность аргументов авторы называют местом для улучшения6
- Full-Duplex-Bench-v3, апрель 2026 года. Живая человеческая речь с оговорками и задачи с цепочкой вызовов. Самые устойчивые сбои: самоисправления говорящего и многошаговые задачи.5
- NemotronLabs VoiceChat, сентябрь 2026 года. Открытая модель полного дуплекса с вызовом инструментов. После перебивания уступает слово в 100% случаев, а точность аргументов вызова остаётся слабым местом.6
- DuplexAct, октябрь 2026 года. Новая система оценки: восемь действий в разговоре, 24 условия, 4691 пример. Отрасль ещё договаривается, как это мерить.7
Вывод
Перебивать ассистента уже можно. Нельзя пока положиться на то, что в таком разговоре он без ошибки вызовет инструмент с числами.
- Голосовой помощник с 2019 года. "Олег" запущен в июне 2019 года.8 Банк называет его первым в мире голосовым помощником в сфере финансовых и лайфстайл-услуг.9
- VoiceKit. Платформа распознавания и синтеза речи в реальном времени, в том числе в потоковом режиме.10 На ней работает телефонный секретарь для людей с нарушениями слуха.11
- "Тая". В июле 2026 года голосовое общение было названо среди будущих функций ассистента.12
- Голосовые переводы. В марте 2026 года банк тестировал их на закрытой группе и говорил, что о скором запуске речи нет: нужно больше времени на проработку и безопасность.13 По данным RB.ru, до подтверждения операции дошли 15% участников теста на Android и 4% на iOS.14
- Голосовые сообщения в поддержке. С октября 2026 года, пока для подписки Pro.15
Вывод
Речевые технологии у банка есть, и давно. А там, где голос встречается с деньгами, банк идёт осторожно. Защитник как раз про эту точку.
Оговорка
Мы судим по открытым источникам. Отсутствие новости не значит отсутствия в планах.
Сборка MVP идёт с 23 ноября по 3 декабря. Нас двое, и за это время нужно собрать ядро: проверку заявки кодом.
- Числа и тикеры. "Продай тысячу ОФЗ двадцать шесть двести тридцать восемь" надо услышать без ошибки. Иначе защитник честно проверит не ту заявку. Наука называет это слабым местом: аргументы вызова и самоисправления говорящего. Значит, нужен экран подтверждения, и голос перестаёт экономить шаги.
- Свободная речь и граница совета. Защитник не торгует и не советует. В живом разговоре модель отвечает на лету, и одно "я бы продал" ломает это обещание. Речь нужно строить из готовой карточки, а не доверять модели, и это отдельная конструкция.
- Задержка. Наш порог приёмки: вердикт за 2 секунды. Для текста это быстро, для разговора это долгая тишина. Нужны слова-мостики вроде "секунду, сверяю с вашими правилами" и правила, когда их говорить.
- Нечем принять работу. У ядра есть пороги: 8 примеров из 10, 2 секунды. У голоса таких порогов нет. Их надо придумать, набрать сценарии и прогнать на живых людях: послушали, поправили, послушали снова.
- Выбор метода сам по себе работа. Каскад из распознавания, модели и синтеза, модель "речь в речь" или готовый сервис. У каждого пути свои вопросы: качество на русской речи с числами, размещение в контуре банка, доступ. Синтез VoiceKit, например, доступен только юридическим лицам.10
- Сцена. Шум зала, сеть, эхо. Живое демо голоса падает чаще остального.
Вывод
Это проект на несколько недель. В хакатоне он съел бы ядро.
- Опыт. Николай спроектировал и построил агентский харнес и добавил в него голосовой интерфейс полного дуплекса: агент одновременно слушает и говорит, его можно перебить.
- Место в архитектуре. Вердикт выносит код, модель только объясняет. Для голоса это то, что нужно: говорить можно только о том, что уже посчитано.
- Простой голос не требует отдельной работы. Если инвестор говорит с агентом голосом, карточку озвучит сам агент. От защитника нужен текст, написанный для уха.
Это предложение, а не план с обязательствами.
| Этап | Срок | Что делаем | Как принять |
|---|---|---|---|
| Карта методов | 1 неделя | Сравниваем каскад, модели "речь в речь" и готовые сервисы на русской речи с числами и тикерами | Выбран стек, записано почему |
| Объяснение карточки | 2 недели | Только выход: защитник рассказывает карточку, его можно перебить и переспросить | Перебивание останавливает речь за полсекунды. Ни одного совета на 50 разговоров |
| Заявка голосом | 2 недели | Вход: инвестор диктует заявку, экран её подтверждает | После подтверждения заявка верна в 10 случаях из 10 |
| Проверка на людях | 1 неделя | От 5 до 10 инвесторов, записи, разбор | Инвесторы пересказывают карточку своими словами без ошибок |
Сначала выход, потом вход. Объяснить карточку голосом безопасно: ошибка стоит непонятой фразы. Принять заявку голосом опасно: ошибка стоит неверной проверки.
Голос с перебиваниями мы умеем и считаем его правильным интерфейсом для разговора о сделке. В MVP хакатона он не вошёл, потому что в инвестициях у него цена ошибки выше, чем в быту: заявку надо услышать без ошибки в числах и не сказать лишнего.
Это отдельный проект на несколько недель. Мы готовы взяться за него вместе с командой банка.
- Умеет ли VoiceKit остановить синтез по перебиванию и доступен ли он участникам хакатона.
- Есть ли у "Таи" в планах голос именно для инвестиций.
- Как измерять, что голосовое объяснение понято. Мы предлагаем пересказ карточки своими словами, но это ещё надо проверить.
Рынок
- 1ГигаЧат заговорил: обзор режима "Общаться голосом"iPhones.ru, 18.11.2025
- 2Июньские обновления Алисы AIблог Яндекса, июнь 2026
- 3Gemini Live API referenceдокументация Google
Наука
- 4Levinson, Torreira. Timing in turn-taking and its implications for processing models of languageFrontiers in Psychology, 2015
- 5Full-Duplex-Bench-v3: Benchmarking Tool Use for Full-Duplex Voice Agents Under Real-World DisfluencyarXiv, 06.04.2026
- 6NemotronLabs VoiceChat: An Open Full-duplex Speech-to-Speech Model with Tool Calling CapabilitiesarXiv, 18.09.2026
- 7DuplexAct: How Interactive Are Frontier Full-Duplex Spoken Language Models?arXiv, 13.10.2026
Т-Банк
- 8"Тинькофф" запустил "Олега"ComNews, 13.06.2019
- 9Новые навыки Олегановости Т-Банка, 21.07.2020
- 10T-Bank VoiceKitпортал разработчика Т-Банка
- 11"Т-Банк" запустил телефонного ИИ-секретаря для пользователей с особенностями слухаХабр, 09.06.2025
- 12"Т-Банк" создал финансового ИИ-ассистентаIT Speaker, 20.07.2026
- 13Т-Банк тестирует возможность голосовых переводов между физлицамиВедомости, 05.03.2026
- 14Т-Банк тестирует переводы через голосового ассистентаRB.ru, со ссылкой на Ведомости
- 15Т-Банк представил восьмую версию приложенияКоммерсантъ, 07.10.2026
- 16"Алиса AI" и брокерские счета Т-ИнвестицийРИА Новости, 16.11.2026