Nvidia научила нейросеть анимировать 3D-модель лица только на основе голоса

[+S.T.A.L.K.E.R 27,524]

Бета-версия Audio2Face с поддержкой русского языка доступна для скачивания.

Получите доступ к приложению Audio2Face

WWW.NVIDIA.COM

---

Audio2Face упрощает создание выразительной лицевой анимации 3D персонажа на основе звуковой дорожки.

 

Программа Audio2Face работает на основе открытой платформы Nvidia Omniverse, позволяющей создавать модели в режиме реального времени. На основе аудиозаписей технология искусственного интеллекта Nvidia делает 3D-анимацию лица, сообщает журнал PC Gamer.

Компания начала выкладывать демонстрационные видео и обучающие ролики весной 2021 года, а теперь на сайте компании можно скачать открытую бета-версию программы. Технология может создавать анимацию как на основе готового файла, так и в реальном времени. Для этого нужно загрузить в приложение уже имеющуюся звуковую дорожку или говорить в микрофон.Демонстрационная версия использует модель персонажа Digital Mark, но для работы можно взять лицо с любыми чертами. Также анимацию, предназначенную для одного персонажа, можно перенести на другого — например, с человека на носорога.

Программа поддерживает четыре языка: английский, французский, итальянский и русский. В компании обещают, что в будущем Audio2Face сможет обрабатывать любые языки.

Похожие технологии создавали и раньше. Например, нейросеть Wav2Lip может адаптировать готовое видео с говорящим лицом под аудиозапись речи.

Nvidia's new tech uses AI to automatically match voice lines to animated faces | PC Gamer

WWW.PCGAMER.COM

---

Watch as these faces say these words in real time.