Команда Wan-AI открыла веса и скрипты Wan-Animate-2 — 14-миллиардной модели для анимации персонажей по исходному изображению и видео с движением.

Модель распространяют по лицензии Apache 2.0. Доступны базовая и дистиллированная версии, а также код для локального запуска. Подробности — в материале Postium.

Реклама. Erid 2VtzqwMXQT6. ООО «Клик.ру». Промопульт
Реклама. Erid 2Vtzqx3YjaU. ООО «Клик.ру». Промопульт

Читайте также: 9 нейросетей для оживления фото

Нейросеть Wan-Animate-2: что умеет и как работает

Модель получает изображение персонажа и видео с движением. Она переносит движения из ролика на персонажа и формирует новый клип. Отдельный текстовый запрос описывает внешность персонажа и фон.

Wan-AI открыла веса Wan-Animate-2 для анимации персонажей

Разработчики отказались от промежуточных модулей извлечения движения. Они также добавили управление ракурсом через текст: камеру в результате можно задать отдельно от видео-референса.

В работе описана облегчённая версия Wan-Animate-2-Lite. Авторы заявляют, что она сокращает задержку до уровня, необходимого для потоковой анимации.

Как пользоваться

Скачайте код Wan-Animate-2 и создайте окружение Python 3.11. Затем установите PyTorch, зависимости проекта и загрузите веса с Hugging Face или ModelScope.

Для генерации понадобятся изображение персонажа, видео с движением и текстовое описание. В стандартной конфигурации модель рассчитана на восемь ускорителей NVIDIA A800 и выводит видео 720p; вариант 480p разработчики тестировали на двух A800.

Как работает Wan-Animate-2

Также доступна онлайн-демонстрация в ModelScope Studio. На момент публикации модель не представлена у Hugging Face Inference Providers.

Wan-Animate-2 также поддерживается библиотекой Hugging Face Diffusers. Для базовой и дистиллированной версий доступны отдельные пайплайны.

Что это меняет? Модель можно запускать локально и встраивать в собственный видеопроцесс без обязательного обращения к закрытому API. При этом официальные тесты рассчитаны на серверное оборудование: разработчики указывают конфигурацию с восемью A800 для 720p и двумя A800 для 480p. Требования для потребительских видеокарт в документации не указаны.

Итог: Wan-Animate-2 даёт разработчикам открытые веса для анимации персонажей по изображению и видео-референсу, а также возможность использовать модель через Diffusers и другие инструменты экосистемы.

Ранее Alibaba открыла публичное бета-тестирование Wan3.0. Модель генерирует видео длительностью до 30 секунд за один запуск.

⭐ Наш Telegram-канал, где мы показываем, как применять ИИ в работе: промты, кейсы, гайды и рабочие схемы. Подписывайтесь → «Промты — и точка».

⭐ Наш Telegram-канал, где мы показываем, как применять ИИ в работе: промты, кейсы, гайды и рабочие схемы. Подписывайтесь → «Промты — и точка».

Комментарии: Wan-AI открыла веса Wan-Animate-2 для анимации персонажей
⚡ В тренде
Фото в стиле GTA 6 цепляет взгляд в ленте сильнее обычных картинок: яркие цвета, неоновый город, глянец и тропический вайб. Такой постер можно использовать не только для себя, но и как контент для постов, аватарок, обложек и сторис. Ошибка — идти в нейросеть с запросом «сделай фото в стиле GTA 6». Это слишком общий запрос: […]
LEGO представила семь наборов, посвящённых 50-летию «Звёздных войн». В коллекцию вошли объёмный постер «Новой надежды», увеличенная фигурка Люка Скайуокера, истребитель Y-wing, шлем штурмовика, настенное панно Дарта Вейдера и две сцены поединков. Первые шесть наборов поступят в продажу 1 января 2027 года. Юбилейная серия приурочена к выходу первого фильма в 1977 году. LEGO представила коллекцию 12 […]
Google представила Gemini Decision 1 — ИИ-модель, которая за доли секунды выбирает ответ из заданных вариантов. Она пригодится для проверки документов, распределения задач между ИИ-агентами и автоматической оценки контента. Нейросеть обрабатывает до 1000 вопросов за один запрос и уже доступна разработчикам через Gemini Decisions API в Google AI Studio. Детали в материале Postium. Читайте также: […]
Razer представила Soma Pro и Soma Sensa HD Haptics — игровые кресла со встроенными вибромоторами, которые передают удары, взрывы и другие события в играх. Отдельная накладка с тактильной отдачей для этого не требуется. Обе модели оснащены шестью вибромоторами и поддерживают беспроводное подключение. Старшая Soma Pro дополнительно получила встроенные динамики с пространственным звуком THX Spatial Audio […]
OpenAI начала запуск ChatGPT Wallet — кошелька, с помощью которого ИИ-агент может оплатить выбранный товар или забронировать отель от имени пользователя. При оплате используются токенизированные реквизиты карты: настоящий номер не передаётся агенту и продавцу. Перед покупкой пользователь проверяет заказ и подтверждает оплату с помощью Face ID, Touch ID или другой поддерживаемой биометрии. Wallet поддерживает карты American […]
Блоги компаний
Новости
Свежие статьи