【东大新闻网6月4日电】（通讯员 吴晓娜）近日，东南大学自动化学院模式识别与智能系统学科组暨教育部重点实验室“复杂工程系统测量与控制”王雁刚副教授团队在虚拟现实领域中三维虚拟人重建取得重要进展。团队首次考虑了带物体遮挡的三维人体重建难题，重建结果与精度达到了世界一流水平。相关成果以题为“Object-Occluded Human Shape and Pose Estimation from a Single Color Image”在计算机视觉与模式识别领域顶级会议CVPR 2020上以口头报告（oral）论文发表。据悉，CVPR2020接收有效投稿6656篇，其中录用论文1467篇，录用口头报告论文335篇，口头报告论文接收率仅为5%。
图1遮挡人体三维重建流程图
人体动态三维重建是计算机视觉、计算机图形学、虚拟现实领域中的一个非常重要的问题。高质量的人体三维重建对新一代信息技术产业的发展至关重要，可能会催生新的产业形态，如运动重定向、第一人称动画等。当前，精确的人体三维重建需要依赖较为复杂的硬件设备（如：多视角相机，IMU传感器等）。近年来，随着深度学习的发展，从单张彩色图像中恢复人体的形状与姿态取得了飞速发展。然而值得一提的是，现有的方法无一不是针对无遮挡或少量自遮挡情形开展研究，在本项工作发表之前，尚未有研究工作针对有严重的物体遮挡进行分析与讨论。事实上，人与物体之间的遮挡在实际场景中非常普遍，如快递员搬运货物等。此项研究工作弥补了物体遮挡的人体三维重建技术和方法的缺失，并提出了有效的解决方案。
本研究中，团队针对复杂物体遮挡的单彩色图像人体三维重建问题，提出基于纹理图的三维人体模型表示方法，将遮挡人体三维建模转化为纹理图补全问题，构建二分支神经网络训练策略，保证隐空间高维特征一致性，实现复杂物体遮挡的实时人体动态三维重建，图1为人体重建的流程框图。本研究提出的方法重建出的三维人体2项指标（MPJPE、PAMPJPE）均领先于世界同期最好结果。
该研究工作由自动化学院模式识别学科组硕士一年级学生张天舒、黄步真共同完成，王雁刚副教授为通讯作者，东南大学为唯一完成单位。该研究成果受到国家自然科学基金，江苏省自然科学基金，以及东南大学至善学者奖励计划资助。
论文链接：https://www.yangangwang.com/papers/ZHANG-OOH-2020-03.pdf
供稿：自动化学院
（责任编辑：吴涵玉 审核：宋晓燕）
