Компания Adobe запустила бета-версию новых инструментов генерации видео на базе ИИ-модели Firefly для Premiere Pro.
Теперь пользователи могут создавать видеоролики из текстовых подсказок и изображений, а также увеличивать хронометраж готовых видео.
Первый инструмент — Generative Extend — вышел в бета-версии для Premiere Pro. Его можно использовать, чтобы увеличить хронометраж ролика, добавив кадры в начале или конце, или чтобы внести небольшие корректировки в середине видео, например, для исправления смещения линий взгляда или неожиданного движения.
Видео можно продлить только на 2 секунды, поэтому Generative Extend актуален только для внесения небольших изменений, но это может заменить необходимость переснимать материал для исправления мелких ошибок. Увеличение роликов может быть создано с разрешением 720p или 1080p при 24 кадрах в секунду.
Generative Extend в Premiere Pro может создать недостающие кадры в уже готовом материале, которые в противном случае потребуют пересъём, например, продлить многозначительный взгляд на крупном плане.
Новый инструмент также можно использовать для аудио. Например, он может продлить звуковые эффекты и окружающий «комнатный тон» до десяти секунд, но не разговорный диалог или музыку.
Text-to-Video и Image-to-Video — инструменты для генерации видео теперь доступны в веб-версии, однако пока могут создавать видео длиной до 5 секунд и разрешением 720p. Инструменты Text-to-Video и Image-to-Video от Adobe, впервые анонсированные в сентябре, теперь выпускаются в виде ограниченной публичной бета-версии в веб-приложении Firefly.
Text-to-Video работает точно также, как и другие нейросети для создания видео, такие как Runway и Sora от OpenAI — пользователь просто вводит промпт (текстовый запрос), с указанием того, что нужно сгенерировать.
Firefly может имитировать различные стили для видео, такие как кинематографичность, 3D-анимацию и покадровую анимацию, а сгенерированные ролики можно дополнительно уточнить с помощью набора «элементов управления камерой», которые имитируют такие вещи, как углы камеры, движение и расстояние съёмки.
Ранее нейросеть Kling AI запустила функцию Motion Brush.
