Яндекс объявил о запуске бета-версии нейросети YandexART (Vi), способной создавать пятисекундные видео.
Модель научилась воспроизводить плавные движения объектов в видео, например, бегущая собака, опадение листвы с деревьев или брызги воды.
Нейросеть может быть полезна как обычным пользователям для создания уникальных анимированных заставок на телефон, так и блогерам, мультипликаторам, креаторам и другим специалистам. YandexART (Vi) уже доступна в приложении Шедеврум.
В прошлом году компания выпустила предыдущую версию модели, предназначенной для создания видео на основе текстовых описаний. Это решение генерировало анимации, в которых казалось, что движение происходит за счет перемещения камеры, а не самих объектов. Более того, объекты заметно изменялись между кадрами, что влияло на целостность изображения.
YandexART (Vi) теперь способна воспроизводить реалистичные движения и сохранять связь между кадрами, благодаря чему создаются более плавные и цельные видеоролики. Для достижения этого нейросеть была обучена на видео с движущимися объектами, такими как проезжающие автомобили или крадущиеся кошки.
Алгоритм нейросети генерирует ряд последовательных кадров, плавно переходящих друг в друга, что позволяет формировать непрерывное видео.
Сначала пользователь задаёт модели текстовый запрос, указывающий, что должно происходить на экране (например: «Милый пёсик бежит по осеннему парку»). На основе этого запроса нейросеть сначала создаёт изображение для начала анимации, а затем постепенно из цифрового шума создаёт последовательные кадры, ориентируясь на это изображение и текстовое описание.
Ранее Шедеврум добавил возможность создавать клипы и добавлять музыку.
