北邮桑新柱团队3D显示成果集锦
由北京航空航天大学 王琼华 教授组织的”3D 显示技术及应用”专刊发表在《液晶与显示》（ESCI、Scopus收录，中文核心期刊）2022 年第 5 期（专刊链接>），该专刊围绕光场 3D 显示、多视点 3D 显示、全息 3D 显示、近眼显示和3D 交互等内容进行原创成果的展示和研究进展的专题综述。其中，北京邮电大学信息光子学与光通信国家重点实验室桑新柱教授研究团队集中展示了四项重要研究成果。
在全息 3D 显示方面，桑新柱等人提出了基于数字微镜器件的高分辨率计算全息显示，实现了大尺寸高分辨率的动态全息显示效果。在光场 3D 显示方面，高鑫等人提出了基于预处理卷积神经网络提升 3D 光场显示视觉分辨率的方法，展示了 70 度视角的光场显示效果；于迅博等人提出了一种裸眼 3D 显示中的多视点校正方案，解决了空间视点分布和采集分布不匹配的问题。在多视点 3D 显示方面，于迅博等人提出了一种视点均匀分布的桌面式光场显示系统，改善了视点间的串扰问题。以上一系列 3D 显示技术及应用研究成果的展示，希望能为广大 3D 显示领域同行提供借鉴，带来一些有益的启发，同时希望能推动 3D 显示的技术进步和应用推广。
1. 基于数字微镜器件的高分辨率计算全息显示
全息显示技术通过记录和再现物体的波前来重建具有正确深度信息的三维图像，可以克服其他三维显示技术中辐辏调焦不匹配、人眼视觉疲劳等不足，在教育、军事、工业、医疗、娱乐等行业中应用广泛。随着计算机软硬件性能的提升和光电器件技术的发展，基于空间光调制器的计算全息显示成为当前的研究热点，可以存储或显示虚拟的目标物体，方便进行异地传输、远程连接或实时动态显示等。然而，空间光调制器都是像素化的调制器件，其调制动态范围和精度有限，因此计算全息受到光电器件参数（例如器件像素大小和总体尺寸）和计算负荷等的影响，很难实现高分辨率大尺寸的动态全息显示。
针对全息图局部信息可完整再现物面信息的特性，桑新柱、李会等人提出了一种基于数字微镜器件的高分辨率大尺寸全息显示方法。该方法利用计算机渲染或相关变换方法生成高分辨率输入图像，利用菲涅尔衍射算法和傅立叶变换并行计算提升全息图的分辨率，根据数字微镜器件特性进行衍射图像的时空复用与动态融合，有效提升计算全息显示的分辨率与动态效率。实验结果表明，该方法可实现大尺寸高分辨率的动态全息显示效果，突破了数字微镜器件固有的像素数目及分辨率限制，利用并行计算方法大大提升了高分辨率计算全息显示的计算效率。当加载不同时间序列的子全息图时均可达到高分辨率重建，根据人眼的视觉暂留效应，使用像素分辨率为 2K 的数字微镜器件可显示 8K 甚至更高分辨率的重建图像。
图1：实验光路图与高分辨率动态全息显示方法
图源：液晶与显示, 2022, 37(5):625-631.
论文信息
李会, 桑新柱*, 仲崇力, 秦秀娟, 王葵如, 颜玢玢. 基于数字微镜器件的高分辨率计算全息显示[J]. 液晶与显示, 2022, 37(5): 625-631.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0038
2. 基于预处理卷积神经网络提升 3D 光场显示视觉分辨率的方法
3D 光场显示技术因具有较大的观看视角、密集的观看视点而被研究学者们关注。分辨率是 3D 光场显示技术的一个重要参数，提升分辨率的方法较为复杂，因此研究学者们开始关注视觉分辨率。为了提高 3D 光场显示的视觉分辨率，高鑫、于迅博、桑新柱等人提出了基于预处理卷积神经网络提升 3D 光场显示视觉分辨率的方法。首先根据弥散斑之间相互叠加的情况建立了 3D 光场显示视觉分辨率增强模型，然后对现有透镜阵列中的光学元件进行像差分析，提取高斯核阵列，其次基于高斯核阵列、高分辨率的基元图像阵列搭建了深度学习神经网络，网络经过约 50,000 次的迭代可以收敛，用时 1800s。将收敛后的网络应用于初始基元图像阵列，进而得到可用于视觉分辨率增强的预处理基元图像阵列。光学实验中，采用了由定向扩散膜、透镜阵列和 LCD 组成的光场显示系统。透镜阵列规模为 53×30，相邻透镜单元之间的中心距离是 13 mm，LCD 的尺寸为 32 英寸，分辨率为 7680×4320。在 70 度的视角内，由视觉分辨率增强方法产生的 3D 图像更加清晰，并提供了更多的街道细节信息。
图2：未使用优化方法和采用视觉分辨率增强方法的街道场景的三维光场显示
图源：液晶与显示, 2022, 37(5):549-554.
论文信息
于迅博，李涵宇，高鑫*，桑新柱，颜玢玢，粟曦雯，温旭东，徐斌，王越笛. 基于预处理卷积神经网络提升3D光场显示视觉分辨率的方法[J]. 液晶与显示, 2022, 37(5):549-554.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0044
3. 一种裸眼 3D 显示中的多视点校正方案
裸眼 3D 显示中传统的多视点采集方式为均匀采集。研究表明，因柱透镜光栅存在畸变，导致显示器构建的视点分布并不均匀，进而导致显示器视点和采集视点不匹配，产生了视点图像错位、透视关系错误等问题，影响最终的观看体验。因此，提出一种针对裸眼 3D 中多视点图像的校正方案，使采集视点匹配显示器视点分布，并填充正确视点图像，对提升光栅裸眼 3D 显示的观看效果是尤为必要的。
针对上述问题，于迅博、李宁驰、桑新柱等人提出了一种多视点图像分布校正方案，由一种视点筛选算法和中间视点生成网络构成，结合空间视点真实分布规律，针对均匀采集的多视点图像进行视点筛选，以指导中间视点预测网络生成对应位置的虚拟视点，使之匹配显示器构建视点位置；提出了一种基于光流预测模块和融合校正网络的高效中间视点生成网络，在 34 ms 内渲染插值视点，生成视点与真值的 PSNR 在 30 dB 以上。实验证明该方案为显示器视点填充了正确的视差图，有效地解决了显示器空间视点和采集视点的位置不匹配问题、提升了光栅立体显示器的观看质量。该工作有望在虚拟视点生成、平滑运动视差、增强现实等领域得到进一步扩展和应用。
图3：多视点采集校正方案
图源：液晶与显示, 2022, 37(5):605-612.
论文信息
李宁驰，于迅博*，高鑫，颜玢玢，桑新柱，温旭东，徐斌. 一种裸眼3D显示中的多视点校正方案[J]. 液晶与显示, 2022, 37(5): 605-612.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0039
4. 一种视点均匀分布的桌面式光场显示系统
三维电子沙盘可以显示高质量的三维地理地形图像，帮助使用者更加形象具体地判断地理结构和地形细节，从而提高工作的精确性和效率。基于视点分段式体像素的桌面式光场显示系统具有正面观看视区以及 100° 超大视角，能够显示具有全视差的高质量三维图像，是实现三维电子沙盘的一个可靠解决方案。但是，该系统构建的视点在空间中分布不均匀，导致显示的三维图像出现透视关系不正确以及视点间的串扰等问题，影响显示质量。
针对上述问题，于迅博、徐斌、桑新柱等人分析发现系统采用的柱透镜存在像差，使得定向光线经过透镜折射后无法会聚于一点，而是形成弥散斑的形状。根据斯涅尔定律，透镜对边缘光线的折射能力更强，使得视点在视区中间分布密集，视区边缘分布稀疏。为了均匀系统的视点分布，提升显示性能，采用非球面对透镜面型进行优化，能够减少透镜数量，避免复杂的透镜结构。引入非球面对透镜进行光学优化，采用阻尼最小二乘法对初级像差和其他高阶像差进行迭代优化，计算出最优的结果。经过优化后，透镜所形成弥散斑的均方根半径由 66.640 µm 减小为 0.404 µm，透镜的像差得到了极大抑制。采用所设计的透镜进行实验后发现，系统视点的均匀性得到了显著提升，显示图像透视关系不正确以及视点间的串扰等问题都得到了明显改善。
图4：基于视点分段式体像素的桌面光场显示系统的光路图
图源：液晶与显示, 2022, 37(5):573-580.
论文信息
徐斌，于迅博*，高鑫，桑新柱. 一种视点均匀分布的桌面式光场显示系统[J]. 液晶与显示, 2022, 37(5): 573-580.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0041
监制 | 张莹、赵阳
编辑 | 赵唯
本文注明来源为其他媒体或网站的文/图等稿件均为转载，如涉及版权等问题，请作者在20个工作日之内联系我们，我们将协调给予处理。最终解释权归旭为光电所有。
