《3D人体扫描技术也可以用一种另类的方式达到相似的效果.doc》由会员分享，可在线阅读，更多相关《3D人体扫描技术也可以用一种另类的方式达到相似的效果.doc（3页珍藏版）》请在三一文库上搜索。
1、3D人体扫描技术也可以用一种另类的方式达到相似的效果最近在各社交平台上大火的头号玩家想必大家都看过，抛开片中大量的彩蛋不提，该片搭配的VR技术，展现出的真实沉浸感也非常吸引人。不过，除了VR技术，3D人体扫描技术或许也可以用一种另类的方式达到相似的效果。3D人体扫描技术，是利用光学测量技术、计算机技术、图像处理技术、数字信号处理技术等进行三维模拟人体表面轮廓的非接触自动测量。这种技术的应用在现实生活中并不鲜见。前段时间苹果的Animoji和三星的AR emoji都来源于这种技术，这种技术也可以应用到服装试穿中，甚至有健身房依靠采用这种技术测量各种关乎健康的关键数值（体重指数、体脂成分等等）来吸
2、引顾客。不过，现有的方案有一个缺点，有的扫描装置需要特殊的照相设备来检测景深，有的则需要照相机矩阵来探查人体，而最近，德国布伦瑞克工业大学和 Max Planck Institute for Informatics 的研究人员发表了一篇论文，提出一种新的算法，可以使用单个角度的标准视频素材为人体创建 3D 模型，用时仅需数秒。这篇论文描述了如何为单目视频中的移动人体做准确的 3D 建模。基于参数化的人体模型，论文提出了稳健的处理流程，对穿衣服的人群也能够获得 大约5mm 分辨率的 3D 模型。另外，论文中展示了对大量物体的评估结果，并分析了整体表现。可以说，只需要一个智能手机或者摄像头，这种方
3、法就能让每个人都创造自己的全动画数字孪生体，并可应用到社交 VR 或者在线时装购物的虚拟试穿。图 1：本论文提出的技术首创从人的单个视频序列中提取精确的 3D 人体模型，包括头发和衣服，这些人在摄像机前面移动，从而保证我们能从各个角度看到他们（图片来自论文）具体来说，论文提出的方法由 3 个步骤构成：（1）姿势重建；（2）一致形态评估；（3）帧精炼和纹理图生成。其中第一步基本采用以前的研究，第三步中的纹理获取和时变性细节是可选性的。第一步，论文采用标准可视外壳方法从多个视角捕捉静态形状。穿过图像轮廓点的相机光线可以约束出一个3D人体形状。本论文中，研究者首先拟合 SMPL 模型和 2D 检测，
4、估计每一帧的初始人体形状和 3D 姿势。基于拟合结果，研究者将每一帧中的轮廓点与人体模型中的 3D 点结合起来，根据每个投影光线的对应 3D 模型点的反向变形模型，变换投影光线；处理所有帧的拟合结果后，就得到了一个“可视外壳”，即以标准姿势展示的人体形状。在多个 3D 数据集上的研究结果表明本论文提出的方法可以重建 3D 人类形状，即使单目视频很模糊的情况下，准确率仍然高达 4.5 mm为了评估对象的一致形态，研究者首先计算每个帧的 3D 姿势。他们扩展了 评估的方法，使其鲁棒性更好，以最大化地显示每帧实例中的轮廓。在评估过程中，由于时间的变化，衣物可能会有微小的变形变形，这些姿势的一致形态可
5、能和帧轮廓有轻微的错配。在视频序列中估计几何图形时，研究者需要一次优化多个姿势，更重要的是，优化过程中需要在内存中存储多个模型，使得计算成本高昂，且可行性不强。研究者采用基于 SMPL 高效优化单个位移面的方法，一次性拟合所有帧，这要求只能在内存中存储一个模型。他们的方法首次实现从单个运动人体视频（这样我们可以从各个侧面看到这个人）中提取出准确的 3D人体模型（包括头发和衣服）。最后，为了计算纹理和捕捉时间演化细节，第三步中将对一致形态的偏离进行每一帧的优化，从而给出精炼的逐帧形态，以此计算纹理图。本文的方法依赖于图像的前景分割。因此，研究者使用了中基于 CNN 的视频分割方法，并对每个序列用
6、 3-4 个手工分割图像进行训练。另外，为了克服在单目时3D人体形态重构中模糊性的问题，研究者使用 SMPL 身体模型作为起始点。图 7：定性测试结果：因为重构的模版与 SMPL 人体模型有同样的拓扑结构，我们可以使用 SMPL 来改变重构形体的姿态和外形。虽然 SMPL 不建模带衣着人体的变形，但变形模版看起来还是可信的，从质量上来看足够承担多种应用。图 9：输入图像（竖线左）与构建形象（竖线右）的对比。正如图像右侧所示，用本文方法构建的形体准确地覆盖了输入图像。在右下角还呈现了构建模型的侧面视角。之前我们已经提到过一个可以对人体全身进行识别的技术（Facebook新研究为未来全身AR打下基础），它与这次讨论的技术是有差别的，Facebook的新研究识别出的人体是2D而非3D，但它们之间也有联系，譬如二者都采用基于CNN的视频分割方法来识别人体轮廓和纹理。实际上，论文中也说明识别纹理的方法并不是创新性的。这篇论文中提出的新的人体3D扫描建模技术，完全可以只使用一个摄像头，因此，它可以大量应用到智能手机上。另外，它不仅可以应用到服装的试穿中， 同样可以通过对人体的扫描，让建立出的模型和其它的虚拟物体互动，算是另类的做到了头号玩家的标准。当然，后者对处理器的计算能力要求会很高，也可能不会有更好的沉浸感。对论文感兴趣的同学也可以戳阅读原文下载。