Nature-光子学：超表面实现图像边缘提取

图片来源：IEEE

撰稿 | 靳淳淇

01

导读

 

近日，范德堡大学Jason Valentine教授团队采用新型超薄超表面图像差分器件，实现了图像边缘的直接提取。

这项技术可以用来检测自动驾驶车道的边缘，检测肿瘤的边缘，或者在癌症检测中对细胞的大小和类型进行分类，为生物成像、三维重建和计算机视觉等应用创造新的机遇。

 

02

背景介绍

 

边缘提取是目标识别中常见的预处理步骤，主要通过电或光学结构的空间差分来实现。大多数数字图像处理方法也能够处理复杂大量的数据，但受限于计算机的计算速度和功耗。

光学处理方法能够直接处理光信号，具有低功耗和高速的优点，以最小的功耗执行大量和实时的数据处理。传统的光学图像差分方法需要多个透镜配合，使整个成像系统体积大且难以集成。

采用纳米光子材料（如超表面和光子晶体）进行光学图像处理能够显著减小光学系统的尺寸，但已有的实验方法仅限于一维目标，且需要附加折射元件用于等离子体耦合或傅立叶变换，这就抵消了其超薄和平面化的优势。

为了解决这一问题，Jason Valentine团队研发了一种新型超表面器件，可以对边缘进行选择性成像。

超表面（Metasurface）是指一种厚度小于波长的人工层状材料。可实现对电磁波偏振、振幅、相位、极化方式、传播模式等特性的灵活有效调控。

拉普拉斯算子（Laplace Operator）是n维欧几里德空间中的一个二阶微分算子，定义为梯度（▽f）的散度（▽·f）。

通过设计硅纳米棒组成的超表面，使其表现为拉普拉斯算子的传递函数，就能够将目标图像直接转换为其二阶导数，从而直接区分图像中的边缘信息。

图1. 超表面示意图，可以对图像进行转换

 

03

创新研究

 

该差分器能够在数值孔径（NA）高达0.315且实验分辨率小于4μm的情况下在任意方向上进行图像差分和边缘检测。

首先，为了在实验上量化成像分辨率，作者使用尺寸为200×200μm²的超表面差分器，检测了1951年美国空军分辨率测试图的边缘信息。

该系统不需要偏振片来实现图像差分，直接使用波长为1120 nm的未经偏振和准直的光源照亮测试图，进一步减小了系统的体积和复杂性。图像差分器直接放置在测试图的前面，通过一个包括一个物镜、一个管镜和一个近红外相机的放大系统成像。

作者对测试图上尺寸从30μm到4μm的部分分别进行了普通成像和差分成像，各部分水平和垂直方向的边缘信息都能清晰地显示出来，如图2所示，实验结果表明该器件具有小于4微米的二维空间分辨率。

图2、（a）成像装置示意图。未放置（b）和放置（c）图像差分器的美国空军分辨率测试图成像结果。

 

平面光学元件的主要优点之一是它们能够与传统的光学系统进行集成。为了证明这一优势，作者将图像差分器与商用光学显微镜（蔡司Axio Vert.A1）集成，构建了一个边缘检测显微镜，如图3。

他们将差分器重新进行了设计，器件尺寸为3.5×3.5 mm²。将其直接放置在显微镜物镜（×10）顶部样品台下方，采用非偏振单色激光器（λ0=740nm）作为光源从顶部入射，在电荷耦合器件（CCD；uEye）上成像。

将洋葱表皮、南瓜茎和猪运动神经三种生物细胞作为成像目标进行了实验，从实验结果可见，在对标本进行亮场实验时，由于标本的透明性，细胞的形状和边界不易辨别。

而通过图像差分器成像后，能够观察到清晰且对比度很高的细胞边界。这种边缘增强的效果类似于暗场显微镜，能够显著降低系统复杂性。

图3、（a）边缘检测显微镜的示意图。（b-d）洋葱表皮、南瓜茎和猪运动神经三种生物细胞的亮场图像及边缘检测结果。

 

图像差分器用于传统光学系统的另一种方法，是将其集成到相机上。

但在大多数实际计算机视觉应用中，需要差分器件的尺寸较大。作者采用基于自组装的纳米球光刻技术制作了工作波长为1450 nm、尺寸为1×1 cm²的图像差分器。

为了模拟计算机视觉应用中可能出现的情况，将大尺寸空间差分器直接放置在了近红外相机前面，成像透镜后面。采用厘米尺度的透明塑料花模型作为目标进行了成像实验，与亮场图像相比，利用差分器可以清晰地显示出花的边缘，如图4。该实验证明了它能够作为单片边缘检测传感器应用在计算机视觉中。

图4、（a）使用纳米球光刻技术的大尺寸图像差分器制造工艺流程图。（b） 厘米级差分器的光学图像。（c） 硅棒的扫描电镜图像。（d）成像装置示意图。（e-h） 两种塑料花模型的光学图像（e,g）亮场图像（f,h左）和差分图像（f,h右）。

 

最后，作者利用超透镜作为聚焦元件实现了超薄单片图像处理系统，进一步压缩了成像系统体积。

采用多层超表面转移技术制作了该复合光学系统，首先分别在单独的晶片上制作约2×2 mm²超透镜和差分器，设计工作波长为λ=1120 nm。

然后将结构嵌入到聚二甲基硅氧烷中，令差分器层从晶片上释放出来并转移到超透镜上，即完成了元件的复合。

作者使用该复合光学系统对微米尺度的洋葱细胞进行了成像，差分成像结果显示了每个细胞壁都有明显的边缘增强效果，如图5。

图5、（a-c）纳米光子差分器（a）、超透镜（b）和双层复合系统（c）的光学图像。（d） 成像装置示意图。（e）洋葱细胞的亮场（左）和差分（右）成像结果。

 

以上研究表明，该图像差分器件具有高分辨率、超薄尺寸和几何形状简单的优点，能够直接提取目标的边缘信息而不需要其他输入功耗，能够大大减小成像系统尺寸，同时能够快速、经济的进行大规模生产。

在应用方面，作者认为该图像差分器件可以为生物成像和计算机视觉等应用打开新的大门。

作者对超表面光学寄予厚望，认为通过多层超表面结构或逆向设计等方法能够实现更加复杂的光学模拟计算和图像过滤。

该文章发表在Nature Photonics（《自然光子学》）杂志，题为 “Flat optics for image differentiation” ，You Zhou为第一作者，Jason Valentine为通讯作者。