iPhone表情捕捉3dsMax流程

编制人员	编制时间	修改内容
xxx	2022.11.01	提供初版

资源路径：

利用iphone 前置的深感摄像头捕捉人脸基础表情，但是期望不要太高，捕捉出来的表情动画还是要动画师修整。

捕捉数据为，apple ARkit 标准52个姿势POSE发生信号，如：闭眼表情，输出数据为 0 - 100 ，0 就是眼皮正常，100，就是上眼皮完全闭合这样的数据。

捕捉设备

iPhoneX， 这样带深度摄像的型号都可以。

应用：liveface ，facecap ,ifacialmocap

ISO应用下载

每个应用提供的脸部模型都是开发者个自处理的，并不是统一，可能每个POSE的命名标准不一样，有的开发者喜欢用 _R _L 这样的后缀表现左右pose , 有的直接用Left ， Right ，所以后面复制动画时需要处理pose命名问题。

这里我用 ifacialmocap 支持多平台，MAYA，MAX，Unity，UE。苹果应用商店卖 40 ，有免费版本试用，但是只能录制3秒钟。

ES文件管理器，用于把录制的FBX文件发送到电脑上。

PC应用下载

iFacialMocapSetup.exe ，下载后正常安装即可。

链接：https://pan.baidu.com/s/1W-VPQGUNtjRIMnH6TEVX9g?pwd=7ven 
提取码：7ven 

3dsMax

实时连接

https://www.ifacialmocap.com/tutorial/3dsmax/

手机和电脑必须在同一局域网内，先打开手机上的 iFacialMocap ，然后打开PC端的 iFacialMocap ，如下两图。

在 PC 端的 iFacialMocap 上填入 手机应用上的 IP地址。

FaceObjGrp Nmae 就是 iFacialMocapTestObj.max 文件里面的人脸模型名称。

如果你有制作好 52 个 Morpher 的人脸模型，每个POSE命名标准要和他提供案例一致，也可以直接改成 你的模型名字，就可是实时预览你自己的人脸模型表情效果。

建议使用高版本，3dsMax 2015 我是没有连接成功过的，用2022 次次都可以。

打开 PC 端 的安装路径，找到 iFacialMocap 提供的人脸模型和3dsMax实时连接所需插件。

打开 iFacialMocapTestObj.max ，把 iFacialMocap_to_3dsMax.mse 拖拽进MAX中运行。

点击上图中的 iFacialMocap Panel - wait connection 按钮，然后点击 下图中 Connect to 3dsMax 按钮 即可，不出意外就可以在3dsMax 中预览到实时表情效果。

录制表情数据FBX

直接在 手机 应用中录 FBX文件，然后发送到电脑，可供任意DCC使用。

离线导入数据的效果比实时连接的动画效果要好，而且PC端不需要安装配套的软件。

点击 中间 的 Record ,选择 录制模式，点击 开始录制 按钮即可。

完成录制 之后，点击 发送 按钮，保存FBX文件，最好是选择 FBX 2013 版本，这样低版本3dsMAX 也能导入该FBX文件。

点击 OK，保存到ES文件浏览器。

然后打开 ES文件浏览器 选择 互传 选项，再电脑浏览器中 打开 提示的 IP 连接就可以下载 保存的FBX文件。

数据使用

3dsmax 中 使用 BoneSpape 模块中的 动捕数据 插件，可以直接复制 人脸Morpher的动画数据。

使用方式十分简单，直接就是复制 Morpher 每个pose的动画控制器。

注意点

• MouthClose ,这个诡异的POSE非常重要，如果复制捕捉的表情动画之后，上下嘴唇不会闭合，始终有一条缝，十有八九就是这个POSE没有处理好，下嘴唇往上拉，上嘴唇向下拉。

• 眼球方向 需要单独复制旋转动画，单靠 eyeLook 四方向POSE不够表达眼球转动。

表情信号监视

在上面提供的百度云盘中下载 【动画pose监视2.2.ms】选中有 Morpher 的人脸模型，将脚本 拖进3dsMax中运行。

即可看到每个POSE的信号强度，可以根据动画信息强度来修整对应的POSE．