Компания RhymesAI объявила о запуске ИИ-модели Allegro, которая умеет генерировать видео на основе текстового описания. Allegro может генерировать 6-секундные видео с разрешением 720p и частотой 15 кадров в секунду.
Модель успешно справляется с созданием как реалистичных, так и фантастических сцен: от крупным планом снятых животных в действии до причудливых сюжетов, например, астронавта на лошади в пустыне. При этом модель использует всего 9.3 GB оперативной памяти, что делает её довольно компактной и эффективной для использования на современных графических процессорах.
Allegro сочетает в себе несколько передовых технологий: обработку огромных объемов видеоданных, сжатие видео в визуальные токены с использованием специально разработанного VideoVAE и создание видеокадров с помощью диффузионного трансформера (VideoDiT). Благодаря этим подходам модель справляется с генерацией реалистичных и динамичных видеороликов, преобразовывая текстовые описания в визуальные сцены.
Главные особенности ИИ-модели Allegro:
- Открытый исходный код: доступен на GitHub под лицензией Apache 2.0.
- Возможности генерации видео: от реалистичных сцен с людьми и животными до фантастических сюжетов.
- Высокое качество: создание 6-секундных видеороликов с разрешением 720p и возможностью увеличения кадров до 30 FPS.
- Эффективное использование ресурсов: компактная модель, требующая минимум вычислительных мощностей для генерации видео.
В будущем планируется добавить генерацию видео из изображений, управление движениями объектов и создание более длинных роликов с сюжетами. Открытый доступ модели и исходному коду даёт возможность разработчикам экспериментировать с технологией и вносить свой вклад в её развитие.
Модель уже доступна для скачивания на платформе Hugging Face, а полное техническое описание можно найти в отчете команды RhymesAI на arXiv.
Ранее Pika Labs представила обновление ИИ-модели PIKA 1.5, добавив возможность применять эффекты к объектам на видео.
