audio2face 与ue5结合实时语音嘴型同步

audio2face部分

1.安装audio2face以及localserver

2.打开streamingplayer的demo场景

3.localhost/NVIDIA/Assets/Audio2face/blendshape_solve目录下找到male_bs_arkit.usd拖拽到场景

4.选中场景中的male_bs_arkit.usd将分页切换到A2F data convert分页

5.参数设置

6.设置参数后点击set up blendshape solve 

7.通过ominiverse管理界面上的audio2face上的设置位置进入audio2face的安装位置

8. 修改audio2face安装目录下的exts\omni.audio2face.exporter\config目录下的extension.toml文件，最底部添加如下内容

[python.pipapi]
requirements=['python-osc']
use_online_index=true

9.修改安装目录下exts\omni.audio2face.exporter\omni\audio2face\exporter\scripts目录下的facsSolver.py脚本

引用osc脚本

from pythonosc import udp_cli