Компания Runway запустила новый ИИ-инструмент Act-One, который позволяет создавать анимированных персонажей на базе видео с мимикой и жестами пользователя.
Это существенно упрощает процесс анимации, так как для работы с Act-One не требуется дорогостоящее оборудование для захвата движения. По принципу работы напоминает MIMO от Alibaba, которая позволяет анимировать персонажей на основе видео с движениями.
Читайте также: 5 нейросетей для создания цифрового аватара
Как работает Act-One от Runway и как её использовать
Основное преимущество Act-One заключается в том, что она способна переносить эмоции и жесты реального человека на цифрового персонажа, сохраняя все нюансы его выражений. То есть, сначала нужно загрузить в ИИ-модель видео, которое будет использовано, как исходное.
При этом, не нужно дорогое специальное оборудование, достаточно записать видео на свой смартфон. Этого исходника будет достаточно, чтобы на его основе анимировать тысячи различных персонажей в разных стилях.
Модель создаёт кинематографичные и реалистичные результаты при любых ракурсах и фокусных расстояниях. Она позволяет вам выражать глубокие эмоции, открывая новые возможности для творчества.
Создатели подчёркивают, что одна запись может использоваться для генерации нескольких персонажей в разных стилях, что открывает возможности как для создания мультфильмов, так и для кино.
Благодаря технологии отслеживания взгляда, Act-One точно передаёт микровыражения, темп и подачу.
Особое внимание уделено безопасности: внедрены механизмы для предотвращения создания дипфейков и несанкционированного использования образов публичных персон.
Runway уже начала предоставлять доступ к Act-One, и в ближайшее время функция станет доступна всем пользователям.
Ранее RhymesAI запустила ИИ-модель Allegro, которая умеет генерировать видео на основе текстового описания.
