Разработчики добавили в модель Kling AI версии 1.6 инструменты, которые помогут создавать видео с реалистичным звуковым сопровождением, делая процесс творчества ещё проще и интереснее.
Новая функция получила название Lip Sync и позволяет синхронизировать аудиодорожку с видеорядом. Показываем, как работает обновление.
Читайте также: 7 нейросетей для пересказа текста
Как сделать видео со звуком в Kling AI 1.6
Теперь в созданных или загруженных видео можно синхронизировать движения губ персонажей с любой аудиодорожкой, или сгенерировать звук для видео.
Как это работает:
- Поддерживаются видео продолжительностью до 10 секунд.
- Можно использовать готовую аудиозапись или синтез речи (Text-to-Speech). Пока доступны только китайский и английский языки.
- Синхронизации делает движения губ максимально естественными и соответствующими звуку.
Как пользоваться. Зайдите на сайт Kling AI, войдите в свой аккаунт и перейдите на страницу генерации видео. Далее перейдите во вкладку «Lip Sync».
Откроется окно, где можно сгенерировать видео со звуком. Рассмотрим этот шаг более подробнее.
- Video for Lip Sync: здесь вы можете загрузить видео, для которого хотите создать звук или выбрать видео из предложенных.
- Text-to-Speech: здесь пишем текст, который нейросеть превратит в аудио и которые будет произносить персонаж в вашем ролике.
- Upload local Dubbing: здесь вы можете загрузить готовое аудио со своего устройства.
- Voices: выбираем голос, которым будет говорить персонаж (мужской, женский, диктор, ведущий новостей и прочее). Для каждого голоса доступно предварительное прослушивание.
- Speech Rate: скорость речи, можно зажать, перетаскивая ползунок. Стандартная скорость 1x.
- Emotion: выбираем эмоциональный окрас речи — обычный, счастливый, злой и прочее.
Нововведение позволит авторам оживить свои проекты, добавив реалистичное звуковое сопровождение. Например, персонажи смогут петь или произносить отрывки текста с чёткой артикуляцией, что сделает видео ярче и эмоциональнее.
Обновление уже доступно на сайте, правда на момент написания этого материал, время ожидания составляет более часа.
Ранее компания xAI запустила приложение чат-бота Grok для iOS.
