Menu

Menu

计算专题 | 空时域智能光计算助力超快机器视觉(Science Advances)

空时域智能光计算助力超快机器视觉

 

Ultrafast dynamic machine vision with spatiotemporal photonic computing
本期导读

 

随着人工神经网络(ANN)的不断发展,机器视觉算法的性能和复杂度剧增,对高算力的需求与日俱增。然而,现有电子计算受制于摩尔定律,性能趋于饱和,难以满足大规模算法对于算力和功耗的需求。用光子替代电子作为载体的光计算范式被认为是突破当前视觉计算限制的关键技术。现有光计算架构常常依赖电子处理器作为计算中继,严重削弱了光计算高速高并行的优势,难以赋能超快机器视觉应用。
近日,来自清华大学和之江实验室的研究人员建立了空时域超快智能光计算架构,提出了跨维度空时域匹配方法联合空时域矩阵向量光计算模型,实现三维空时域智能光计算,突破数字内存读写的掣肘,将动态机器视觉处理速度提升三个数量级(达到纳秒量级)。该研究于近期发表于顶刊《Science Advances》并入选期刊首页专题文章。
技术背景

 

高速动态光场处理已被证明在机器学习和科学发现方面具有重要意义。一方面,随着硅晶体管的集成密度接近物理极限,纯电的人工神经网络计算速度逐步趋于饱和。另一方面,超快光场计算对科学研究至关重要。虽然重复探测和连续成像技术支持记录低至纳秒和皮秒级的瞬态过程,但是对于电子后处理的依赖导致这些方法无法对超快现象进行实时分析和反馈控制。

 

光子计算以其低损耗和超快光传播的优势,有望为高速视觉计算带来突破。光计算在高速线性乘法、数学方程式求解等方面有突出表现,但仍难以完全利用高速光场的时空优势,限制了机器视觉架构对于超快动态现象的实时分析。从技术上讲,空间光场和时序光场的固有维度不匹配,二者之间的计算和转换充满挑战;同时,通用的空时域光计算模型的空缺,这些难点都阻碍了超快空时域光计算。

技术路线

 

该研究提出了一种用于超快动态机器视觉的空时域光计算架构(图1)。通过刻画多维光场传播模型,建立空时域光计算表征,在空间和时序维度同时完成连续光计算。针对空间光场和时序光场内在维度失配问题,提出空间复用和光谱复用计算模型,匹配空时域光计算维度。进一步建立时序矩阵乘加计算模型,扩展空时域光计算维度。所有空间和时序计算操作均在光学模拟域完成,因此空时域光计算的速度不受制于电子内存的传输和读写。

 

计算专题 | 空时域智能光计算助力超快机器视觉(Science Advances)

图1. 空时域光计算模型总览。

为了验证系统全光高速动态处理能力,该工作进一步提出了多变量全光非线性函数,成功构建了多层非线性神经网络,支撑复杂视觉智能任务的高速推理。研究人员通过实验构建了一个纳秒级时间尺度的高速场景。在实验中,现有相机帧率有限,很难捕捉到超高速的动态闪烁模式,而双层全光空时域光计算架构成功地对整个测试数据集进行了分类。如图2所示,通过设置适当的阈值(虚线),数据的两种类别被清晰地区分开来。这表明全光空时域光计算架构网络能够对纳秒级的动态场景进行实时处理,最终输出可用于超高速系统的实时反馈控制。

计算专题 | 空时域智能光计算助力超快机器视觉(Science Advances)

图2. 纳秒超快计算。

在生物学中,细胞跟踪是分析组织发育和疾病的重要方法。为了证明空时域光计算架构在这一应用上的潜力,研究人员构建了一个运动跟踪数据集,其中包括三个方向运动的类细胞方形物体。空时域神经网络在实验中成功地对测试数据集进行了分类,准确率接近100%,与模拟结果吻合(图3)。

计算专题 | 空时域智能光计算助力超快机器视觉(Science Advances)

图3. 高速目标追踪。

简要小结:该研究所提出的空时域光计算架构,将参数减少 35 倍的同时,将基准视频数据集的光计算处理速度提高 40 倍。首次实现了动态光场的全光非线性计算,帧时为 3.57 纳秒。所提出的架构为不受内存限制的超快高级机器视觉铺平了道路,有望为后摩尔时代高性能智能计算以及瞬态科学现象的实时分析和控制等带来新的契机,并应用于无人系统、自动驾驶、超快科学等领域。

论文信息:
  • Tiankuang Zhou#, Wei Wu#,  Jinzhi Zhang, Shaoliang Yu, and Lu Fang*, Ultrafast dynamic machine vision with spatiotemporal photonic computing.Sci. Adv. 9, eadg4391 (2023)

     

技术详见:
https://doi.org/10.1364/OPTICA.490223
开源代码:
https://github.com/whywww/ASASM

免责声明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间联系我们,我们将协调进行处理,最终解释权归旭为光电所有。