Нейросеть Runway добавила возможность задавать композицию будущего изображения или видео с помощью схем и рисунков. Новая функция работает в режиме References и позволяет точно размещать объекты в кадре — от предметов интерьера до людей на постере.
Обновление стало доступно пользователям с моделью Gen-4, подписка на которую начинается от $15 в месяц.
Об этом сообщил сооснователь стартапа Кристобаль Валенсуэла в X:
«Теперь можно буквально нарисовать, где в кадре должен быть стол, человек или дерево — и модель это учтёт. А потом вы можете оживить эту сцену в видео».
Он продемонстрировал несколько примеров. В одном из них нейросеть по фотографии Уиллема Дефо и схеме с вазой и бананом сгенерировала реалистичную сцену с актёром.
Пользователи в соцсетях подхватили тренд. Один из них создал рекламный постер Nivea в бассейне, загрузив схему с точным расположением флаконов. При изменении композиции и добавлении уточки модель также скорректировала сцену.
Другой пользователь использовал мудборд и схему для интерьера — нейросеть точно передала стиль предметов.
Автор под ником StelfieTT «посадил» актёров у бассейна, не описывая сцену словами — модель поняла всё по референсу.
Runway распознаёт не только геометрические схемы, но и наброски, сделанные в графических редакторах. Это расширяет возможности визуального сторителлинга: теперь дизайнеры, маркетологи и создатели видео могут не только писать текстовые запросы, но и буквально рисовать, что хотят получить.
Runway остаётся одним из главных игроков на рынке генеративного видео. С выходом Gen-4 в 2024-м улучшилась детализация и точность кадров, а теперь модель ещё и умеет ориентироваться в пространственных схемах.
Ранее OpenAI пришлось признать, что ChatGPT стал льстить всем подряд.
