Menu

Menu

使用衍射解码器做超分辨率图像显示

使用衍射解码器做超分辨率图像显示


技术背景:
AR/VR旨在提供沉浸式和增强用户体验,其追求快速高分辨率大视场投影显示。目前的AR/VR系统大多依赖固定焦距立体显示结构,在能效、设备外形尺寸、对人类视觉系统深度线索(depth cue)支持上都不尽人意。基于相干光照明和空间光调制器(spatial light modulator,SLM)的全息显示可以精确控制和操纵波前、简化了人眼和SLM之间的光学装置,且能仿真目标三维场景的波前(提供人类视觉系统的深度线索,消除定焦显示带来的不舒适感),是一种很有前景的AR/VR显示方案

包括全息显示在内的光学成像系统,都存在一个分辨率和视场不能兼得,即空间带宽积(表明有效像素数)固定的问题受限于当前的SLM技术,全息显示系统的空间带宽积并不高。因此,目前的全息显示不能满足AR/VR的时空需求。早期研究表明,可穿戴AR/VR的SLM必须有~50K x 50K像素,且理想像素尺寸要比可见光波长短。目前最先进的SLM为3840 x 2160像素,像素尺寸通常比可见光波长大5到20倍。即便新开发的SLM能满足所需空间带宽积要求,其功耗、内存使用、算力要求、外形尺寸、系统复杂度等仍然是巨大挑战。

空间复用、时间复用、在光路中添加多个随机扩散片或周期光栅以提高观察角度等手段被探索用于提高全息显示的空间带宽积,但是都是顾此失彼,达不到实用要求。深度学习擅长求解逆问题,已经被用于学习给定一个目标图案,学习其在SLM上对应的图案,可以取代传统的迭代全息图计算方法,并能够校正光路中存在的物理误差和像差。

文章创新点:
基于此,美国加州大学洛杉矶分校的Çağatay Işıl(一作)和Aydogan Ozcan(通讯)等人提出了一种支持深度学习的衍射显示器,它基于一对联合训练的电子编码器和衍射解码器,可使用低分辨率波前调制器合成/投影超分辨图像。所提衍射图像显示器的超分辨因子~4,空间带宽积提高~16倍仿真证明所提方法适用于彩色、多波长、太赫兹波段,并通过3D打印出适用于太赫兹波段的物理衍射网络层完成实际的投影显示。
原理解析:
全电编码器网络快速预处理高分辨率图像,将其空间信息编码成低分辨率图案。低分辨率显示器(即低空间带宽积的SLM)显示的全电网络生成的低分辨率图案对入射波前进行调制,衍射解码器使用经深度学习构建的透射层来处理输入的被低分辨率显示器调制的波前,并在其输出视场处全光合成/投影超分辨图像。

使用衍射解码器做超分辨率图像显示

图1

(1)全电编码器设计基于卷积神经网络设计全电编码器,将高分辨率输入图像压缩成可在SLM上显示的低维潜在表示。具体结构见图1a。

(2)全光解码器设计单个衍射调制层离散成一个二维网格,每个像素长宽分别为wx,wy。一个像素看作一个衍射神经元它有一个由材料的复折射率和高度h(m,n)确定的复透射系数t(m,n)。不同衍射层之间的光场传播由瑞利-索莫菲衍射积分确定,传播到下一层的光场受下一层衍射层透射系数调制。光场的传播是为前向传播过程,在设计时考虑衍射层的位移误差和加工误差。联合训练后得到每个衍射层的高度轮廓

(3)训练和验证。训练时使用EMIST的字母训练,验证时使用未参与过训练的字母验证,并额外使用数字、分辨率线条等测试其泛化能力。

(注意:这里的超分辨并没打破衍射极限,因为空气中最大数值孔径只有为1)
实验结果:
使用相位型SLM的衍射PSR显示器的图像投影结果
针对衍射层分别为5、3、1层,图片分辨率压缩程度分别为4、6、8的实验结果

使用衍射解码器做超分辨率图像显示

图2

附录:

实验装置

使用衍射解码器做超分辨率图像显示

图3


参考文献:Çağatay Işıl, Deniz Mengu, Yifan Zhao, Anika Tabassum, Jingxi Li, Yi Luo, Mona Jarrahi, Aydogan Ozcan, Super-resolution image display using diffractive decoders. Sc. Adv. 8, eadd3433 (2022).
DOI:https://doi.org/10.1126/sciadv.add3433

免责声明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间联系我们,我们将协调进行处理,最终解释权归旭为光电所有。