Alibaba открыла публичное бета-тестирование Wan3.0 — новой версии ИИ-модели для генерации видео. Она создаёт ролики длительностью до 30 секунд за один запуск и может использовать в качестве референсов текст, изображения, аудио, видео, документы и веб-страницы.
Wan3.0 уже доступна для тестирования через Alibaba Cloud Model Studio и Qwen Cloud. Чтобы получить доступ к бете, нужно подать заявку. Кроме того, модель уже появилась на платформе Wan.video. Детали в материале Postium.
Читайте также: 7 лучших нейросетей для генерации видео
Что умеет нейросеть Wan3.0
Одно из главных изменений — длительность генерации. Wan3.0 может создать ролик продолжительностью до 30 секунд за один запуск. Предыдущая версия, Wan2.7, генерировала видео длиной до 15 секунд. Alibaba также добавила автоматический подбор длительности по запросу и возможность продолжать уже созданное видео.
Модель работает сразу с несколькими типами референсов. Помимо текста, изображений, видео и аудио, ей можно передавать документы и веб-страницы: DOC, XLS, PPT, PDF, TXT, Keynote, Pages, Numbers, Markdown, а также URL. Например, пользователь может загрузить презентацию или документ вместе с изображениями и попросить модель сделать по ним видео.
Alibaba заявляет, что Wan3.0 лучше сохраняет внешность персонажей, детали объектов, расположение элементов и голос между кадрами. Компания также доработала генерацию лиц, мимики, интерфейсов и моушн-графики.
Сколько стоит генерация через API? Qwen Cloud тарифицирует Wan3.0 API по длительности готового видео. Генерация в 480p стоит $0,05 за секунду, в 720p — $0,10 за секунду. Таким образом, 30-секундный ролик обойдётся в $1,50 или $3 соответственно.
Как пользоваться
На Wan.video откройте раздел Generate и выберите Wan3.0 в панели генерации. Там же можно настроить параметры ролика: разрешение, соотношение сторон, длительность и другие доступные опции.
Введите описание видео в поле промта. В режиме Omni к запросу можно добавить референсы через Media или упоминание «@», а затем запустить генерацию. На показанном интерфейсе для Wan3.0 доступны, в частности, настройки 720p, Smart Ratio и длительности ролика.
Почему это важно? Лимит в 30 секунд сокращает количество генераций отдельных клипов, которые после создания нужно соединять при работе над длинной сценой. В Wan2.7 максимальная продолжительность составляла 15 секунд, поэтому Wan3.0 вдвое увеличивает длину одного сгенерированного ролика.
Поддержка документов на вход расширяет набор исходных материалов для генерации. Теперь модели можно передать PDF, презентацию или веб-страницу вместе с промтом и визуальными референсами. Например, это позволяет превратить презентацию или другой текстовый материал в видеоролик без ручного переноса всего содержимого в промт.
Напомним, совсем недавно вышли ещё две видеомодели с похожим набором функций. ByteDance представила Seedance 2.5, которая генерирует ролики до 30 секунд, принимает до 50 референсов и поддерживает редактирование отдельных фрагментов видео. MiniMax выпустила H3 с открытыми весами — модель работает с текстом, изображениями, видео и аудио и создаёт ролики длительностью от 5 до 15 секунд.
Итог: Wan3.0 увеличивает максимальную длительность одной генерации до 30 секунд и принимает документы и веб-страницы в качестве референсов наряду с текстом, изображениями, аудио и видео.
