王雁刚团队在三维人体重建研究方面取得重要进展

王雁刚团队在三维人体重建研究方面取得重要进展

2020-06-05

分享到:

【澳门游戏平台大全网6月4日电】(通讯员 吴晓娜)近日,自动化学院模式识别与智能系统学科组暨教育部重点实验室“复杂工程系统测量与控制”王雁刚副教授团队在虚拟现实领域中三维虚拟人重建取得重要进展。团队首次考虑了带物体遮挡的三维人体重建难题,重建结果与精度达到了世界一流水平。相关成果以题为“Object-Occluded Human Shape and Pose Estimation from a Single Color Image”在计算机视觉与模式识别领域顶级会议CVPR 2020上以口头报告(oral)论文发表。据悉,CVPR2020接收有效投稿6656篇,其中录用论文1467篇,录用口头报告论文335篇,口头报告论文接收率仅为5%。  

图1遮挡人体三维重建流程图

人体动态三维重建是计算机视觉、计算机图形学、虚拟现实领域中的一个非常重要的问题。高质量的人体三维重建对新一代信息技术产业的发展至关重要,可能会催生新的产业形态,如运动重定向、第一人称动画等。当前,精确的人体三维重建需要依赖较为复杂的硬件设备(如:多视角相机,IMU传感器等)。近年来,随着深度学习的发展,从单张彩色图像中恢复人体的形状与姿态取得了飞速发展。然而值得一提的是,现有的方法无一不是针对无遮挡或少量自遮挡情形开展研究,在本项工作发表之前,尚未有研究工作针对有严重的物体遮挡进行分析与讨论。事实上,人与物体之间的遮挡在实际场景中非常普遍,如快递员搬运货物等。此项研究工作弥补了物体遮挡的人体三维重建技术和方法的缺失,并提出了有效的解决方案。

本研究中,团队针对复杂物体遮挡的单彩色图像人体三维重建问题,提出基于纹理图的三维人体模型表示方法,将遮挡人体三维建模转化为纹理图补全问题,构建二分支神经网络训练策略,保证隐空间高维特征一致性,实现复杂物体遮挡的实时人体动态三维重建,图1为人体重建的流程框图。本研究提出的方法重建出的三维人体2项指标(MPJPE、PAMPJPE)均领先于世界同期最好结果。

  

该研究工作由自动化学院模式识别学科组硕士一年级学生张天舒、黄步真共同完成,王雁刚副教授为通讯作者,为唯一完成单位。该研究成果受到国家自然科学基金,江苏省自然科学基金,以及至善学者奖励计划资助。

论文链接:http://www.yangangwang.com/papers/ZHANG-OOH-2020-03.pdf


供稿:自动化学院

 

(责任编辑:吴涵玉 审核:宋晓燕)


Baidu
sogou