Nvidia сделала открытым исходный код Audio2Face — ИИ-модели, которая по аудиозаписи создаёт мимику и синхронные движения губ у 3D-персонажей.
В открытый доступ компания выложила модели, SDK и тренировочный фреймворк, чтобы разработчики могли адаптировать систему под разные языки, стили анимации и конкретные задачи — от игр до приложений с виртуальными собеседниками.
Читайте также: Бесплатные нейросети для озвучки текста голосом
Что умеет нейросеть Audio2Face и где скачать исходник
Модель анализирует «акустические признаки» речи — фонемы, интонацию, акценты — и переводит их в анимационные данные. Эти данные автоматически мапятся на параметры лица (blendshapes) аватара, создавая реалистичный липсинк и базовую мимику.
Nvidia отмечает, что инструмент можно использовать как для заранее записанного контента (ролики, катсцены), так и для живых выступлений и стримов.
В комплект входят:
- SDK и плагины для интеграции в игровые движки, включая Unreal Engine 5 и работу с MetaHumans;
- тренировочный фреймворк, позволяющий дообучать модель, например, для поддержки специфических языков или уникального стиля артикуляции;
- дополнительные модули вроде Audio2Emotion, которые распознают эмоциональную окраску голоса и добавляют экспрессию в лицо персонажа.
Кто уже использует
Audio2Face применяют в реальных проектах: например, разработчики добавили его в игру Alien: Rogue Incursion Evolved Edition. Технология помогает ускорить подготовку катсцен и сделать речь героев более естественной.
Audio2Face — часть платформы ACE (Avatar Cloud Engine), которую Nvidia развивает для игр, приложений и сервисов с виртуальными персонажами. Компания рассчитывает, что открытие кода привлечёт больше разработчиков и укрепит экосистему. Однако важно отметить: хотя проект доступен всем, оптимальная производительность достигается на GPU Nvidia, что сохраняет «привязку» к их железу.
Исходники и примеры уже опубликованы на GitHub и доступны разработчикам по всему миру. Инструмент можно использовать бесплатно, дорабатывать под свои задачи и встраивать в существующие пайплайны.
Ранее Nvidia объявила о вложениях до $100 млрд в OpenAI.
