AI视频动捕产品调研

结论

1. 相机固定，
2. 视角平视，
3. 贴身衣物，

这样的视频生成的动作才有使用价值，但无法代替传统的动捕，可作为辅助动画生产手段。

具体到什么样的视频生成的动作最好，请看 【千面】提供的 视频要求 (opens new window)

单摄

无需自备演员拍摄，网上的视频就可以生成动作，但是因为单目画面缺少深度信息，生成的动作只有正面能看，从侧面看就惨不忍睹。

建议使用固定相机拍摄的视频生成动作，非固定相机视频生成的动作都比较差。

双摄多摄

需要演员和场地拍摄，效果应该是可以媲美传统的穿戴标记动捕效果。

关于深度学习和动作捕捉的科普文章

Evolution of Motion Tracking: From Manual Tracking to Deep Learning - viso.ai (opens new window)

友好型

使用没有门槛，无需本地部署，直接在网页中上传视频即可生成动作文件。

	单摄	双摄	多人	收费策略			评价
千面视频 (opens new window)	✓	×	✓	每个视频消耗4个币，月费 99 送1000币，年费779 送15000币	免费用户需要排队，较慢，	收费用户支持2D修整	4星
DeepMotion (opens new window)	✓	×	✓	免费用户每月60个视频，月费15美元 180视频，48美元月480个	无需排队	全用户支持2D修整	5星
plask.ai (opens new window)	✓	×	✓	免费用户每天 15 秒视频，月费18美元 10 分钟，月费50美元 1 小时	无需排队	无	4星
Rokoko	✓	✓	✓	免费体验 14 天，每月 20 美元，	无需排队	无

专业型

只能看看宣传视频，测试成本过高，无法实际去测试生成动作的效果，这两家从宣传上看是有实力挑战传统标记式动捕的。

	单摄	双摄	多人	收费策略
Move AI	✓	✓		单摄 iPhone 应用14.99美元，双摄基础收费 每月 225 美元，没有免费测试通道	无法测试
青色木偶	×	✓	×	工作室版本软件许可 年费 9899，附带 2 个摄像头，其官网或者其他宣传视频效果均为双摄效果	使用本地算力，无法测试

其他

Dollars MONO (opens new window)	✓	×		免费试用，终身499		3 星
迪迈AGI Mocap (opens new window)	✓	×		月费299，年费960，终身5829，		3 星
ThreeDPoseTracker (opens new window)	✓	×		完全免费		4星

ThreeDPoseTracker (opens new window)这个完全免费的总体上面两家都要强点，无轮是摄像头画面还是视频文件都可以。

输出资源格式

• 除千面视频 (opens new window)支持下载 bip 之外，其他的都支持下载 FBX，BVH 等两种格式。
• Biped 角色支持直接导入 bip 和bvh 动画而无需动画重定向，Biped导入BVH (opens new window)
• plask.ai (opens new window) 下载的 bvh 动画文件，其手指部分骨骼名称中有空格。

测试视频

本文用以下两个视频测试汇总中厂家中有测试通道的产品，部分产品支持面部或者手指等细节部分捕捉，但是这不是本次调研重点，遂放弃测试面部和手指测试。

各家产品测试出的动作文件：AI视频动捕测试.rar

链接：https://pan.baidu.com/s/1JqsOV0dH0nIGn1cFtD6Bfg (opens new window)

提取码：um52

视频1 - 空翻

视频2 - 扭腰

Av1656347603.mp4

2D修整

因为单摄画面出来的骨骼信息是 2D平面的，可能会出现 左右 手脚交换错误，所以需要手动修整回来，此功能在众多测试产品中 只有 【deepmotion (opens new window)】和 千面 (opens new window) 两个产品有，效果也不错的 plask.ai (opens new window) 没有此功能。

直接在画面中拖拽骨骼点即可。

汇总

Move AI

单从宣传视频来看，是非常有商用价值的无标记视频动捕方案。

支持多镜头画面动画，类似于传统的有标记动捕。

https://www.move.ai/ (opens new window)

iPhone 拍摄视频动捕（App $14.99）

Move One on the App Store (apple.com) (opens new window)

其他方式的多镜头无标记视频动捕，基础收费 每月 225 美元 ，没有免费测试通道。

千面视频动捕

只支持单镜像的视频动捕，单人平视角。

https://www.qmai.vip/ (opens new window)

此视频效果是2D 修整之后的效果。免费用户，无法使用 2D 修复动作功能。

免费测试效果，未使用 2D修复动作。

每个视频消耗 4 个 V币。

视频要求细节

上传小贴士 | 文档 (qmai.vip) (opens new window)

RADiCAL

免费，只支持单摄像头画面动捕，测试效果是这么多产品中最差的，2号测试视频因为镜头抖动，无法生成动作。

https://radicalmotion.com/ (opens new window)

上面是宣传效果，

下面视频是测试效果，同视频在`【千面视频】上有测试。

青色木偶

青色木偶科技CYANPUPPETS动作大模型 (opens new window)

出售软件使用许可（使用本地部署算力），和摄像头硬件，无免费测试版本。具体收费不详细，但可以参考外网版本

Rokoko

https://vision.rokoko.com/ (opens new window)

支持双摄像头画面。

单摄像头画面测试效果。

单摄像头动捕是免费，双摄像头画面动捕 最低收费 20 美刀每月，每个账号有 14天免费测试。

plask.ai (opens new window)

只支持单摄像头画面，支持多人，测试效果最佳。

Plask Motion: AI-powered Mocap Animation Tool (opens new window)

Meet Plask - Plask - AI Motion Capture and 3D Animation Tool - YouTube (opens new window)

视频要求细节

Plask Motion: AI-powered Mocap Animation Tool (opens new window)

DeepMotion

https://portal.deepmotion.com/ (opens new window)

仅单摄像头画面，支持多人画面，

支持 2D 修整。

按年订阅更便宜。

meshcapade

Meshcapade | The Digital Human Company (opens new window)

迪迈AGI Mocap

买了一个月的授权，软件比较简单，只能保存出bvh 文件，单从视频来看，比千面强不少。

打开视频，然后点击 录制 BVH 即可，建议如下设置。

AGI Mocap视频动作捕捉AIGC摄像头动捕软件UE实时MetaHuman数字人 (dimocap.com) (opens new window)

AGI Mocap摄像头动作捕捉武术打斗动作实时视频动捕游戏打击动作Blender视觉动捕_哔哩哔哩_bilibili (opens new window)

道乐师 Dollars MoNo

道乐师 - 上海晴观信息科技有限公司 (sunnyview.tech) (opens new window)

ThreeDPoseTracker

TDPT（Windows版） - デジスタSHOP - 展位 (booth.pm) (opens new window)

digital-standard/ThreeDPoseTracker (github.com) (opens new window)

其他产品

How to use Cascadeur's Free Video Mocap Feature (youtube.com) (opens new window)

https://app.wonderdynamics.com/ (opens new window)

AI Video Motion Capture for Blender 4.1 | ThreeDPoseTracker | BVH to Blender | Easy Tutorial (youtube.com) (opens new window)

DreamWorld AI | Full stack digital human virtual production workstation (dream-world.ai) (opens new window)

开源项目

OpenPose

CMU-Perceptual-Computing-Lab/openpose: OpenPose: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation (github.com) (opens new window)

上面测试的单目产品都是从视频帧上得出2D 骨架从而推导出 3D 骨架信息，所以最终效果还是看各家训练的模型实力。 （OpenPose - 3-D Reconstruction Module and Demo (opens new window)）

单视角

这些项目都是 4/5年前的老项目，其效果完全无法和那些专业产品对比。

FORTH-ModelBasedTracker/MocapNET: We present MocapNET, a real-time method that estimates the 3D human pose directly in the popular Bio Vision Hierarchy (BVH) format, given estimations of the 2D body joints originating from monocular color images. Our contributions include: (a) A novel and compact 2D pose NSRM representation. (b) A human body orientation classifier and an ensemble of orientation-tuned neural networks that regress the 3D human pose by also allowing for the decomposition of the body to an upper and lower kinematic hierarchy. This permits the recovery of the human pose even in the case of significant occlusions. (c) An efficient Inverse Kinematics solver that refines the neural-network-based solution providing 3D human pose estimations that are consistent with the limb sizes of a target person (if known). All the above yield a 33% accuracy improvement on the Human 3.6 Million (H3.6M) dataset compared to the baseline method (MocapNET) while maintaining real-time performance (github.com) (opens new window)

facebookresearch/frankmocap: A Strong and Easy-to-use Single View 3D Hand+Body Pose Estimator (github.com) (opens new window)

多视角 + 单目

至今还在活跃的开源社区项目

freemocap/freemocap: Free Motion Capture for Everyone 💀✨ (github.com) (opens new window)

Basic FreeMoCap Workflow | FreeMoCap Main Documentation (opens new window)

浙江大学2021发布的项目，已无维护更新

zju3dv/EasyMocap: Make human motion capture easier. (github.com) (opens new window)

易动动捕捉 |easymocap-public-doc (chingswy.github.io) (opens new window)