基于VCSEL神经元的超快神经形态光子图像处理平台
Original 麦姆斯咨询殷飞 MEMS 2022-06-12 00:00 Posted on 上海
据麦姆斯咨询报道,近期,英国思克莱德大学(University of Strathclyde)开发了一种硬件友好型神经形态光子脉冲处理器,其使用单个VCSEL,用于全光学图像边缘特征检测。这利用了基于VCSEL的光子神经元高速集成时间编码像素数据的能力,并在检测到所需图像特征时快速发射(100ps)光学脉冲。此外,光子系统与软件控制的脉冲神经网络相结合,为复杂的图像分类任务提供了一个完整的平台。因此,这项研究突显了基于VCSEL的新型、超快、全光学神经形态处理器平台的潜力,该处理器与当前的计算和通信系统相连接,可用于未来的光驱动人工智能(artificial intelligence,AI)和计算机视觉功能领域。
利用脉冲VCSEL神经元的图像处理技术
网络互联设备的大量使用,直接导致数据的可获得性不断提高,对更快、更高效的数据处理平台的需求不断增加。电子处理技术的发展缓解了其中的部分需求,展示了高计算吞吐量,并支持AI新系统的开发。然而,由于电子技术中的基本物理挑战,基于硅的平台的性能提升越来越有限,串扰、寄生电容和焦耳热均会限制电子系统的速度、带宽、占位面积和效率,进而促使许多研究人员探索未来数据处理系统的替代平台。
一种替代平台是基于光子学的系统,其具有更高的带宽、高能效、低串扰和快速运行等特点,有助于弥补先进电子学技术的一些限制。近年来,对光子人工神经网络(Artificial Neural NeTWorks,ANN)和神经形态系统的研究正在兴起。光学器件,例如量子共振隧穿(quantum resonant tunnelling,QRT)结构、光学调制器、相变材料(phase-change materials,PCM)和半导体激光器(semiconductor lasers,SL)等,都已作为新型神经形态光子处理系统的候选对象进行了研究。其中,关于通过人工神经网络和储备池计算系统加速光子学中的信息处理方面的研究已经蓬勃发展。同样,在图像处理和计算机视觉领域取得巨大成功的卷积神经网络(Convolutional Neural Networks,CNN)也在光子学平台上得到实施,已提出诸如PCM、微环谐振器和调制器等器件来提高计算成本高的卷积运算的速度和效率。
与经典的人工神经网络一样,神经形态计算系统特别适用于众多任务处理,其中之一是图像和模式的分类和识别。与CNN类似,软件控制的神经形态脉冲神经网络(Spiking Neural Networks,SNN)已成功证明具有图像处理功能。此类SNN系统通过卷积和池化技术的组合来提取图像特征,并与动态视觉传感器(dynamic vision sensor,DVS)相机和单光子雪崩探测器(single photon avalanche detectors,SPAD)结合使用以执行图像处理任务。此外,研究还表明,由于只有网络的活动部分需要计算,因此SNN比CNN具有更低的能量操作要求和更小的延迟。总之,由神经形态光子器件构成的SNN在直接构建在光子学平台上的快速高效的图像处理系统的未来发展中显示出巨大潜力。
除此之外,半导体激光器还显示出作为高速人工光学脉冲神经元的能力,模拟大脑中生物神经元的功能和脉冲操作。在半导体激光器中,垂直腔面发射激光器(vertical cavity surface emitting lasers,VCSEL)因其独特的特性(如高速、易于集成在2D阵列中、与光纤的高耦合效率等)而备受关注。
近期,思克莱德大学的研究工作展示了一种通过基于VCSEL的硬件系统和全光学脉冲卷积运算构建的具有图像处理功能的平台。该平台使用单个VCSEL作为人工光学脉冲神经元,并结合时分复用技术,使其成为一个对硬件非常友好的平台。利用脉冲VCSEL神经元的集成和发射能力,可以同时处理多个高速光输入(100ps),每个输入都对不同的图像像素进行编码,以直接在光域中进行脉冲卷积运算。该功能被用于(复杂)源图像中的全光学边缘特征检测,显示其具有非常高的速度和噪声鲁棒性。
研究人员成功地对各种源图像进行了边缘特征检测,包括复杂图像(例如研究所的徽标)、机打数字和手写数字(MNIST数据库中的5000幅图像)。如机打的“数字4”32 x 32像素源图像的边缘检测的结果所示,“数字4”的垂直边缘由VCSEL神经元识别(发射脉宽为100 ps的脉冲)。当在图像中发现垂直边缘特征时,“垂直”内核会产生四个负输入脉冲群,而对于所有其他像素特征,则会产生较小的输入脉冲群。VCSEL神经元整合这些时间复用脉冲的组合能量,仅当所有四个脉冲群均为负时(总能量超过脉冲触发阈值)才会触发脉冲,以检测图像中的垂直边缘。对于所有其他情况,VCSEL神经元保持静止,因为编码输入脉冲群的组合能量没有超过脉冲触发阈值。
基于VCSEL神经元的黑白图像边缘检测
为了进一步测试该系统的能力,研究人员选择了一幅更复杂的源图像,即思克莱德大学(UoS)的323 × 323 像素RGB图像。结果表明,所有水平线、垂直线和对角线均被识别,进一步说明图像大小和复杂性均不会妨碍基于光子脉冲VCSEL的边缘检测系统的操作。重要的是,实现了96.63%的整体边缘检测精度。我们必须注意,每个像素的时间可以进一步减少到仅1ns(VCSEL神经元的脉冲耐受时间),而无需任何额外的优化过程,以实现更快的处理速度。
基于VCSEL神经元的复杂的大尺寸图像边缘检测
此外,研究人员还表明,基于VCSEL的神经形态光子硬件系统的光学脉冲输出可以馈送到软件控制的SNN中,并成功实现了手写数字图像的识别。此外,这种方法使用价格低廉的商用VCSEL,其工作波长为1300nm,因此允许与光通信网络和数据中心技术完全兼容。
基于集成和发射能力VCSEL神经元的MNIST手写数字边缘检测
研究人员还从理论上证明,具有更大维度(例如3 x 3)内核VCSEL神经元的运用对于实现更复杂的图像特征提取也是可能的。这意味着,无论是SNN(例如该研究中软件控制的SNN)还是针对特定特征的识别系统,VCSEL神经元有可能实现进一步的卷积任务。总体而言,研究人员认为,人工脉冲VCSEL神经元在未来高速、低能量、硬件友好的神经形态光子平台上显示出巨大的潜力。
论文信息:
Robertson, J., Kirkland, P., Alanis, J.A. et al. Ultrafast neuromorphic photonic image processing with a VCSEL neuron. Sci Rep 12, 4874 (2022).
https://doi.org/10.1038/s41598-022-08703-1
免责声明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间联系我们,我们将协调进行处理,最终解释权归旭为光电所有。