Menu

Menu

使用电子全息显示系统实时重建深度真实场景的三维视频

Image


技术背景:
三维显示可以分为立体显示(stereoscopic display,基于几何光学)、光场显示(light-field display,基于几何光学)和全息显示(基于波动光学)三种。由于立体显示和光场显示只能记录和重建光的强度,在图像的三维重建过程中造成相位丢失,因此三维图像的质量可能会下降。相比之下,由于全息显示器可以将光的强度和相位都记录为全息图,因此全息显示可以准确重建光的相位,从而可以重建具有深度的高质量三维图像电子全息术可以通过在空间光调制器上显示全息图来重建运动图像。为了使用电子全息技术实现三维显示,科研人员已经对现实空间中的三维信息获取、CGH计算和三维图像重建进行了大量研究。虽然已经报道了使用真实三维对象的三维信息进行三维图像重建,但这些研究并未实时执行从获取三维信息到连续重建三维图像的处理。为了实现利用电子全息技术对真实场景的实时重建,需要不断地执行从获取三维信息到重建三维图像的一系列过程。

已有使用光场技术对真实场景进行实时电子全息重建的报道。光场相机可以获取实际物体的三维信息作为光场。由于光场技术可以很容易地实现遮挡剔除,当眼睛位置发生变化时,可以正确重建三维图像的遮挡。在使用光场技术时,如果三维物体与微透镜阵列之间的距离较长,则获取的三维物体的图像质量会明显下降。尽管可以使用与光场相机的位置相对应的多个光线采样平面来解决这个问题,但是为了清晰地获取三维对象的三维信息,需要在改变深度的同时多次采集图像。换言之,使用光场技术无法一次清楚地获取深度较深的三维对象的三维信。由于有效获取深度较深的三维信息需要花费大量时间,因此很难捕捉到人的运动等动态场景。这是实现基于电子全息的下一代三维电视系统面临的严峻问题。

技术要点:
基于此,日本千叶大学的Hidenari Yanagihara和Tomoyoshi Ito等人提出一种不采用光场技术的实时电子全息系统,成功重建了一个人在现实世界空间中移动的三维实时视频(单色为14fps,全彩为5fps)
(1) 使用RGB-D相机获取真实空间中三维对象的三维信息作为具有颜色和位置信息的点云数据(一次拍摄就可获取深度三维对象的三维信息);
(2) 剔除背景信息,只提取人的三维信息,减少物体点,提高CGH计算速度
(3) 使用GPU加速CGH的计算(NVIDIA,”GeForce GTX 1080 Ti”);
(4) 将计算所得CGH显示在空间光调制器上,通过用重建光照射来重建三维图像

Image

图1 系统示意图

实验结果:
显示系统
 
 

单色重建

 
 

全彩重建

 

 

 
 

附录:

Image

重建全彩三维图像的光学装置。AP:aperture, CL:collimator lens, DM:dichroic mirror, F:field lens,H:half mirror,L:laser, M:mirror, OL: objective lens, RL:relay lens, S:SLM


Image


Image


Image


参考文献:Hidenari Yanagihara, Takashi Kakue, Yota Yamamoto, Tomoyoshi Shimobaba, and Tomoyoshi Ito, “Real-time three-dimensional video reconstruction of real scenes with deep depth using electro-holographic display system,” Opt. Express 27, 15662-15678 (2019)
DOI:https://doi.org/10.1364/OE.27.015662

本文注明来源为其他媒体或网站的文/图等稿件均为转载,如涉及版权等问题,请作者在20个工作日之内联系我们,我们将协调给予处理。最终解释权归旭为光电所有。