Китайская компания 4DV AI представила новую технологию 4D Gaussian Splatting, которая меняет представление о видео.
Теперь обычный 2D-ролик можно превратить в интерактивную 4D-сцену: пользователь сможет вращать камеру, приближать объекты и менять ракурс — прямо во время воспроизведения. Всё это дополняется синхронизированным пространственным звуком, создающим эффект полного присутствия.
Читайте также: 10 лучших курсов по работе с нейросетями
Как работает 4D Gaussian Splatting и что умеет делать
Gaussian Splatting — это способ визуализации, при котором видео разбивается на «облака точек» с цветом, формой и координатами в 3D. Новая разработка 4DV AI добавляет к этому измерение времени, позволяя создавать динамичные 4D-модели, основанные на обычных видеозаписях.
Всё это работает в реальном времени: сцена заново пересобирается под выбранный ракурс при каждом движении камеры. Посмотрите демки можно на официальном сайте сервиса.
На практике это означает, что можно смотреть клип, документалку или спортивный повтор и свободно «ходить» по сцене, приближаясь, отдаляясь или разворачиваясь, как в 3D-игре. Технология уже показывает впечатляющую производительность — до 467 FPS на RTX 4090, с качеством визуализации выше предыдущих решений на 2,4 dB (по PSNR).
4DV AI превращает пассивный просмотр в активное исследование. Примерные сценарии использования:
- Кино и клипы — зритель сам выбирает, на что смотреть.
- Образование — виртуальные экскурсии и лаборатории.
- Электронная коммерция — объёмные презентации товаров.
- Спорт и события — повторы с любого угла.
- Музеи и архивы — реконструкция утерянных пространств.
- Forensics — анализ событий с возможностью свободного обзора.
Платформа работает прямо в браузере, без установки ПО, благодаря WebGL и движку PlayCanvas. Интерфейс похож скорее на редактор, чем на типичный технодемо: пользователь просто загружает видео (лучше 2K или 4K), система анализирует данные и выдает управляемую сцену.
Ранее появилась нейросеть Higgsfield Speak, которая позволяет создавать видео с ИИ-аватарами.
