Яндекс начал тестировать функцию генерации видео с помощью нейросети «Шедеврум». Нововведение позволит генерировать короткие ролики, гифки и динамические аватарки для соцсетей.
Чтобы сгенерировать видео, нужно отправить текстовый запрос с описанием содержания ролика. Нейросеть предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. После этого «Шедеврум» сгенерирует серию измененных версий выбранного изображения и объединит их с анимационным эффектом.
Сейчас на выбор доступно 7 эффектов: зум (приближение), таймлапс (ускоренная перемотка), полет, панорама, вращение, подъем и морфинг (постепенное изменение).
При генерации видео используется метод каскадной диффузии. На первом этапе нейросеть создает картинки в соответствии с текстом запроса, далее постепенно увеличивает их разрешение, насыщая деталями.
Нейросеть генерирует видео с частотой 24fps и хронометражем 4 с. Видео можно поделиться с друзьями или сохранить в формате MP4.
Сейчас функция работает в режиме тестирования и доступна только активным пользователям «Шедеврума». Однако сгенерированные видео могут увидеть все пользователи в ленте нейросети.
Ранее Нейросеть показала, как выглядит Барби из разных сериалов и фильмов.
А что делать, если у тебя нет этой функции?
Ждать, когда появится. Пока доступ открыт самым активным пользователям.