ElevenLabs представила Eleven Realtime — новую линейку моделей для голосовых ИИ-агентов. Они ведут разговор в реальном времени, понимают перебивания и могут отвечать на сложные вопросы. Старшая модель начинает говорить в среднем через 0,57 секунды после реплики пользователя.
Компания выпустила две модели: Eleven Realtime v1 Mini для быстрых диалогов и v1 Max для сложных задач, включая поддержку клиентов и работу с внешними сервисами. Подробнее в материале Postium.
Читайте также: 10 лучших нейросетей для написания сценариев
Нейросеть Eleven Realtime — что умеет и как работает
Eleven Realtime объединяет распознавание речи, языковую модель и синтез голоса в одной системе. Разработчикам не нужно отдельно подбирать и настраивать каждый компонент.
При этом модели учитывают особенности живого разговора: определяют, когда собеседник закончил говорить, реагируют на перебивания и продолжают ответ, если человек произносит короткие подтверждения вроде «угу».
ElevenLabs выпустила две версии:
- Eleven Realtime v1 Mini — быстрая и более дешёвая модель для голосовых ассистентов, обучающих приложений и интерактивных персонажей. Основной упор сделан на скорость ответа и естественность диалога.
- Eleven Realtime v1 Max — модель для сложных обращений. Может выполнять многошаговые инструкции, искать информацию через подключённые инструменты и совершать действия. Например, уточнить детали заявки, проверить данные клиента и помочь решить вопрос с заказом.
Обе версии поддерживают более 90 языков и голоса из библиотеки ElevenLabs.
Скорость и результаты тестов
По результатам тестирования Artificial Analysis, Eleven Realtime v1 Max правильно ответила на 98,8% вопросов в тесте Big Bench Audio, который проверяет способность модели рассуждать над устными запросами.
Среднее время до начала голосового ответа составило 0,57 секунды. По заявлению ElevenLabs, среди моделей в рейтинге Artificial Analysis нет другой, которая одновременно превосходила бы v1 Max по скорости и точности в этих измерениях.
Как пользоваться Eleven Realtime
Обе модели доступны на платформе ElevenAgents. Чтобы подключить одну из них, нужно открыть настройки голосового агента, выбрать режим Realtime и затем нужную модель — Mini или Max.
Готового агента можно подключить к сайту, телефонной линии, WhatsApp или контакт-центру. Сохраняются возможности платформы, включая базы знаний, инструменты и настройку голоса.
Также можно использовать Realtime API, совместимый с протоколом OpenAI Realtime API. Доступ к новым моделям в ElevenAgents открывается постепенно.
Стоимость складывается из платы за минуты работы агента и использованные токены модели. Версия Max дороже Mini.
Ранее ElevenLabs выпускала отдельные модели для распознавания речи, включая Scribe v2 Realtime, и генерации голоса, в том числе Eleven v4. Теперь компания предлагает готовую систему для голосового общения, в которой эти функции уже согласованы между собой.
