Китайская компания Alibaba Group представила новую ИИ-модель под названием MIMO для визуализации персонажа в движении на основе двумерного изображения (фото или картинки).
Нейросеть может превратить любую картинку и видео в анимированных персонажей. Проще говоря, вы можете взять своё фото и видео на котором Роналду забивает гол, а затем совместить их с помощью MIMO и получить ролик, в котором вы забиваете гол в финале Лиги Чемпионов.
Чтобы создать анимированного персонажа, необходимо добавить исходную картинку и видео, после этого нейросеть объединит их.
В качестве исходника можно использовать фото реального человек или картинку персонажа. Исходное видео должно содержать движения, которые должен воспроизвести ваш персонаж. Например, движения из танца.
MIMO проста и эффективна в использовании. Она не требует многоракурсной съёмки или отдельного обучения для каждого персонажа. Вместо этого она объединяет 2D-видеоинформацию и 3D-пространственное моделирование, что повышает эффективность создания персонажей.
Технологию MIMO можно использовать в разных областях: от анимации до спецэффектов в кино и дизайна игровых персонажей. Она может управлять движением персонажей и применять сложные действия из реальных видео. Это позволяет персонажам взаимодействовать с объектами в реальных сценах и создавать более реалистичную анимацию.
Пользователи могут комбинировать разные элементы, например, изображение персонажа, последовательности действий или видео сцен, чтобы достичь разнообразных анимационных эффектов. Благодаря MIMO создание анимированных персонажей становится проще и доступнее.
Ссылка на проект: https://menyifang.github.io/projects/MIMO/index.html.
Ранее нейросеть Kling AI представила версию 1.5 и функцию Motion Brush.
