Google DeepMind анонсировала новую модель Genie 3, предназначенную для создания интерактивных 3D-миров на основе текстовых описаний. Модель значительно улучшена по сравнению с предыдущей версией Genie 2.
Если в Genie 2 взаимодействие с миром было ограничено несколькими секундами, то в Genie 3 пользователи могут взаимодействовать с созданной средой в течение нескольких минут. Модель обеспечивает более высокое качество визуализации — 720p с 24 кадрами в секунду — и добавляет поддержку физики, включая движения воды и освещение.
Читайте также: 10 нейросетей для дизайна и дизайнеров
Что умеет Genie 3 — ключевые возможности
Генерация 3D-миров по текстовому описанию. Genie 3 позволяет создавать 3D-окружение, просто описывая его словами. Например, текст «средневековый город на фоне гор» будет преобразован в готовую виртуальную среду. Это открывает новые возможности для разработчиков игр, дизайнеров и архитекторов, позволяя создавать уникальные локации без необходимости в ручной проработке всех деталей.
Поддержка физических свойств мира. Модель научилась учитывать физику виртуального мира, включая динамику воды, освещение и взаимодействие объектов. Это позволяет создавать более реалистичные сцены, которые учитывают природные явления. Genie 3 учитывает природные явления, такие как движение воды и изменение освещения в зависимости от времени суток, что добавляет реалистичности и улучшает погружение в созданные миры.
Управление событиями с помощью текстовых команд. В Genie 3 реализована возможность изменять состояние мира с помощью текстовых команд. Можно, например, изменить погоду, добавить новых персонажей или изменить ландшафт, чтобы адаптировать мир под конкретные нужды. Такая гибкость открывает новые горизонты для создания интерактивных историй и динамичных сюжетов.
Длительное взаимодействие и сохранение контекста. В отличие от предыдущих версий, где взаимодействие было ограничено временем (не более 20 секунд), Genie 3 позволяет пользователям взаимодействовать с миром в течение нескольких минут, сохраняя контекст и физическую консистентность. Например, если вы вернётесь в определённую точку, расположение объектов останется прежним, что позволяет создавать более последовательные и детализированные виртуальные миры.
Genie 3 ускоряет создание игровых миров, адаптирующихся под действия игроков, а также улучшает опыт в VR, предлагая интерактивные 3D-среды. Модель также подходит для тренажёров и симуляторов, полезных для обучения ИИ-агентов и подготовки специалистов.
На данный момент Genie 3 доступна лишь для ограниченной группы разработчиков в рамках предварительного исследования. Это позволяет команде Google анализировать возможности модели, выявлять её сильные и слабые стороны, а также улучшать производительность перед более широким запуском.
Ранее Runway открыла доступ к своему новому ИИ-видеоредактору Runway Aleph.
