Menu

Menu

光场:计算光学的灵魂

 OEI 西电科大光电成像工程中心 2022-05-13 09:55 Posted on 陕西
光场:计算光学的灵魂
计算光学成像第二篇

 

光场:计算光学的灵魂

西安电子科技大学  邵晓鹏教授

前言

 

这是

 

计算光学的本质是光场的获取与解译,无疑,光场扮演着非常重要的角色。随着研究的深入,我们发现:光场是作为计算成像的灵魂存在的。

 

光场的本质是光的物理属性在空间和时间维度上的分布特性。“光场”到底应该怎么描述?光场的形式是什么?在计算光学中担任的角色是什么?我们该怎么利用光场?这就是我们这一期要讲的内容。

 

PART 1

 

什么是光场

 

首先,我们看一看什么是光场?

 

大多数人一见到“光场”这个词,很自然就会想起“光场相机”。在这里,我要说明一下:这个词出现在计算成像中也是 Computer Science领域的学者定义的“Light Field”,是指除了包含原图像矩阵中的空间坐标(x,y)和强度I外,还有光线入射的角度信息(θ, φ)。这段历史其实可以追溯到1991年,MIT的Edward H. Adelson 教授和James R.Bergen教授指出基础视觉可以认为是沿着单一函数的一个或多个方向的局部变化,描述了光照射到观察面的信息结构。一旦定义了这个函数,各种潜在的视觉属性(如运动、颜色和方向)的测量就能够自动分离出来。这个函数被称为全光函数,表示为:L(x, y, z, θ, φ, λ, t),其中(x,y,z)为空间位置,(θ, φ)是光线入射角度,λ代表颜色,t为时间,这就是著名的“七维光场”,光场相机的那个“光场”其实是“四维光场”。

首先,我们要注意,E.H.Adelson教授是Computer Science视觉领域专家,光学界的学者再次落后。光学专家后知后觉的结果就是发现“光场”的桩地基已经被人家打过了。于是,很多人就开始琢磨创新:这个模型里没有偏振信息,应该引入了偏振P这个物理量,变成“八维光场”;再后来,涡旋光的潮流出现之后,又有人说:轨道角动量也是光的属性,可以拓展为“九维光场“。可想而知,如果哪天可以探测光子自旋了,那光子自旋之类的物理量应该也必须应该加入到光场函数中。那就是说,光场函数到底有多少维,似乎就变成了玄学问题。

 

PART 2

 

从物理学的角度看
光场

 

从上文的论述可以看到,其实“光场”这个概念在Computer Vision中描述的是空间中(x,y,z)、运动的(t)、颜色的(λ)、具有深度信息(θ, φ)物体,这恰好是机器视觉需要的,而这种描述很不“物理”,看:λ是指颜色,而不是光谱!

 

那么,物理上应该怎么去描述光场?我们知道,强度(I)、相位(φ)、光谱(λ)、偏振P(DoP, AoP)等都是光的物理属性,加上空间坐标(x,y,z),这些量就构成了整个光场信息。

那么,(θ, φ)哪里去了?这两个量其实是从光场相机引出来的,是光场相机里由两个面(x,y)和(u,v)计算出来的夹角描述“光线”的方向,从而计算出景深(Depth of View),获得z这个深度信息。现在应该清楚了,空间坐标(x,y,z)中的z就代表了(θ, φ)。这其实是一个问题从不同角度看而已。

 

同时,光场还随着时间的变化而变化,在机器视觉的应用中其表现形式其实就是视频。因此,我们可以给出光场的特点:光的物理属性在空间和时间维度上的分布特性。这就是说,光场实际上有三个维度集:物理维度集、空间维度集和时间维度。在这里,物理维度集是最复杂的,有强度、相位、光谱、偏振、量子信息等,而这些物理量在很多时候是没有办法同时测量、甚至很多量是间接测量的。因此,测量“全”光场信息很难很难,同时,“全”光场信息在实际应用中没有意义,这是因为我们往往关注的都是光场信息在若干维度上的投影,例如:图像就是强度(色彩)信息在平面上的投影,视频是强度(色彩)信息在时间维度和平面上的投影,偏振成像是强度(色彩)、偏振度、偏振角在平面上的投影,光场相机是做强度(色彩)在三维空间上的投影。

 

我们来看一个例子:当一个小球进入到“纯净”的空间背景时,光场会随之发生变化,运动中的小球各种状态都体现在光场的变化之中。这恰似一潭静水,一滴水滴入后打破了原先的平静,荡起了涟漪,引起了水波的变化。正如我们可以从水波的变化中能够还原水滴滴入的全过程一样,光场的“涟漪”也能够很好地还原小球在空间的运动状态。

 

当这个小球的运动速度比较快时,如果快门速度不够,会产生运动模糊而产生的拖尾;同时,我们还会发现一个问题,尽管我们可以用视频记录小球的运动状态,但却不能做空间定位。目前,成熟的解决方案是交会摄影,用两个以上的相机进行交会测量,其精度与相机间的距离(基线)有关,核心是利用三角几何关系解方程。现在,我们换一个思路考虑:如果能把小球做运动的光场信息记录下来,那么,我们就能从光场信息中解译出目标的位置、运动速度。且一旦有了光场信息,那么对于离焦、运动模糊这类常见的问题,在计算光学中将迎刃而解,因为我们记录了相位信息。

再举一个例子,能否用一台相机实现3D成像?机器视觉中获取三维信息必须要有两台以上的相机交会摄影才能完成,3D电影也是这样拍摄出来的。那么一台相机能否实现呢?答案是肯定的。按照传统的方法,这几乎不可能。答案肯定依然是光场起了决定性的作用。现在,行业里很多人都知道偏振3D成像已经日趋成熟,这是正因为在传统的几何成像基础上引入了偏振信息的结果。在光场中引入了偏振角信息,可以获取法线方向,从而实现偏振3D成像。我们团队已经研制了一台偏振3D成像的卫星载荷,计划今年发射。另外一种方法是结构光三维成像,技术成熟度更高,通常以条纹形状的结构光投射到物体表面,单相机拍摄后通过结构光偏移距离求解相位,得到物体的三维信息,这也是在光场中间接引入了相位信息。

 

补充一点:光场相机是基于几何光学的,本质上最核心的原理就是初中物理课上我们学的透镜成像公式:

 

光场:计算光学的灵魂
精度上只能做到10-2到10-3,超出5米成像范围后精度就会变差,几乎不可用,这个在后面的系列中我会详细讲。另外,最早的光场相机其实是相机阵列的,之后是编码孔径的,现在多为微透镜阵列的。

 

PART 3

 

“全”光场的意义是什么

 

既然“全”光场在应用上没有意义,我们为什么还要去研究“全”光场?请注意,我在这里说在应用上没有意义,并不是说在研究层面上没有意义,恰好相反,在理论研究方面,“全”光场意义重大,这是因为我们研究的各种成像方式,其本质都是“全”光场在若干维度上的投影,也就是说,当我们获得了“全”光场的信息,就可以在物理维度集、空间维度集和时间维度做各种投影,就可以实现偏振成像、三维成像、光谱成像等等;而如果我们把物理量、空间和时间做某些变换,再做光场在这些变换域上的投影,这就是新的计算光学成像方式,这就成了计算成像的活力源泉。

 

正所谓:有用的最没用,没用的最有用。因为我们对传统的成像模式太熟悉,需要解决什么问题,就开始从直接从哪个量、哪个维度入手。比如光谱成像,既然需要光谱,我们就用分光元件把宽谱光分解成光谱,再通过扫描、探测器分区域等部分获得光谱图像,因为平面探测器的原因,要么牺牲时间换空间,要么牺牲空间换时间。如果我们从数学的角度看问题,把这些量统一作为最优化的输入输出,做相应的变换,会获得更优的成像维度,得到新的成像方法。这就像色度学里的色彩空间常见的有RGB、HSI、CMYK和Lab,前三个色彩空间每个量都有其物理意义,而Lab这个只有L有其亮度的物理意义,a和b都是变换量,没有物理意义,但我们知道,Lab的色域覆盖范围是最广的。从这个例子上,我们能得到一个启示:在计算光学中,我们也可以做类似的变换域,在变换域中解决问题,可能会获得更多更好的结果。

 

既然光场那么重要,我们就需要多了解光场,深入研究光场从光源到介质、光学系统、探测器各个链路上的分布变化,更能够凝练出光场的传播规律,发展计算光学。从这个层面来看,光场就是作为计算光学的灵魂而存在的。

 

一方面,我们可以从理论上分析光场的分布,另一方面,可以从实验中获取光场数据。物理光场的仿真研究很多,但多为部分物理量的仿真,覆盖“全”光场的理论仿真我没有见到,也不作为我们这篇文章的重点;在这里,我们重点讲述光场的如何测量问题。

PART 4

 

如何测量“全”光场

 

既然“全”光场那么重要,那么,有没有测量“全”光场的仪器呢?答案是没有!那么,研制一台“全”光场测量的科学仪器就非常重要了,尽管很难。

 

我在一次报告中讲到:“研制多维物理光场特性的精密测量仪器旨在对复杂条件全光场信息进行测量,通过在自然环境中主动、被动光源及云雾、烟尘、生物组织等复杂环境中光场传输物理仿真及光学传输特性测量,将不同维度的光学特性信息进行采样与融合,可打破传统光学探测手段的局限性,提高光学成像手段的探测精度,更全面地揭示了光在复杂环境中的信息传播机理,对于全天候、自适应、普适性、远距离成像的民用及商用发展有着深远意义。”

目前的光学成像手段往往利用的是光场信息在某个或某几个维度的投影信息,且光场受信息采样、量化的关系很大。例如基于光电效应的探测方式导致获取目标信息的同时伴随多维度信息的丢失:空间三维物体被投影为二维成像、振幅、偏振、相位、光谱等多物理维度信息变为单一强度信息;物理上连续的光场信息经采样和量化后变为离散信息,引起信息数据量变化。

 

研制这样的仪器,就是为了揭示光场信息传递、解译的物理规律,通过在多种状态下光场物理信息参量的高精度测量,完善成像“全”光场信息模型,分析光场信息解译的边界条件,为计算光学成像技术提供基础数据,建立非线性成像模型,开拓计算光学的领域。从这个角度看,“全”光场的测量仪器太重要了!

 

该仪器主要由五部分组成:光源、介质、光学系统、多维度探测和信息存储与处理,这几部分都是可调控的,具有很高的自由度,涵括了相干光、非相干光、光谱、偏振等多种信息调控,实现对光场的振幅、相位、偏振、光谱、相关等多维度特征参数测量。通过这个设备,我们通过改变光源、更换介质和光学系统等等,都会引起光场的变化,借助于这些变化,就能够分析出由一些已知条件中推演出照明、介质、光学系统等引起的光场变化特性,从而总结光场规律。

 

PART 5

 

光场对计算光学的推动

 

为什么说光场是计算光学的灵魂?

 

我们先看一个例子。在利用散斑自相关的透过散射介质成像实验中,宽光谱一直是非常难以克服的问题。针对宽光谱的问题,我们用Shift and Add算法做过拓宽光谱范围,也得到了一些比较好的结果,但也会受到一些条件的限制,当光谱太宽时,重建效果就会变差,甚至不再适用。后来,我们把偏振信息引入进来,结果发现:偏振能够建立起宽光谱与散斑自相关的桥梁,再宽光谱都不成问题。

 

我们从这个例子上可以看出,由于引入了偏振信息,光场信息的维度提升,使得在低维度空间难以解释的现象在高维度空间变得很简单。这就像量子纠缠令人费解一样。如果我们考虑一把由两个圆环构成的椅子,当光照到椅子之后,在地面上会看到两个圆;在三维空间中旋转椅子时,你会发现地面上的一个圆在动,另外一个圆也会同时在动。如果单纯从地面上看两个圆的必然运动,很难发现其在高维空间中其实是椅子在旋转。这种现象就像量子纠缠,纠缠双光子一个发生变化,另外一个必然发生变化,其在高维空间是什么样,目前,我们还不清楚。

高维度光场也是如此,原先低维度光场无法解释的问题,在高维度光场就不是什么问题了,这也是我们要研究高维度光场的原因。

 

传统成像中存在的很多限制,其实很多问题是因为我们在“低维度空间”看问题。一旦我们走到“高维度空间”,我们就站在了“上帝视角”,拿到了通往未来之路的钥匙。正如偏振能架起了散射成像与宽光谱的桥梁,其他物理量如相位、光谱等也能填补其他成像的鸿沟。

大气和水等介质对光电成像影响其实也是其对光场的作用,按照传统的光电成像方法只接收能量,维度单一,自然就会造成“看不远、看不清”的问题,同样,生物组织亦是如此。现有的光学系统都是像差约束的,而未来的计算光学系统将是以信息为传递的光场形式出现;计算探测器也将不再是单一的强度探测模式,相位、偏振、光谱、甚至探测器的空间分布(形状与采样模式)都会有相应的形式出现。

以上,我们还都是局限于欧式空间在考虑问题,如果把光场变换到黎曼空间,我想,这里一定会有新的发现,新技术也将层出不穷。同时,计算光学成像是以信息为传递的,而传递的手段就是光场。我在第一篇文章中讲到,计算照明、计算介质、计算光学系统和计算探测器都涉及到光场的问题,通过对高维度高精度光场的测量,总结光场的传播规律,针对“更高、更远、更广、更小、更强”的成像需求,从本质上解决问题,都离不开光场。在后续的文章里,我将逐一详细讨论这些问题。

 

最后,我要说:光场太重要了!它作为灵魂出现,将在手机摄影、汽车自动驾驶、公共安全监控、生物医学成像、深空探测及军事应用等领域大放异彩。

作者简介

 

邵晓鹏,教授,博士生导师,西安电子科技大学光电工程学院院长。

 

西安市计算成像重点实验室主任,西安电子科技大学杭州研究院先进光电成像与器件实验室主任,西安电子科技大学光学工程学科带头人。

陕西省创新人才推进计划中青年科技创新领军人才,陕西省新体制光电成像与感知科技创新团队带头人,中国光学工程学会常务理事,中国光学学会理事,陕西省光学学会副理事长,西安市激光红外学会副理事长,中国宇航学会光电委员会常务委员,中国兵器光电子专业委员会委员,华为媒体技术实验室技术咨询委员会委员,美国光学学会(OPTICA)会员,国际光学工程学会(SPIE)会员。

国防工业光电信息控制和安全技术重点实验室学术委员会委员、中科院航空光学成像与测量重点实验室学术委员会委员、中科院光谱成像技术重点实验室学术委员会委员、中科院空间精密测量技术重点实验室学术委员会委员、中国红外探测器技术航空科技重点实验室学术委员会委员、陕西省先进光学技术国际联合研究中心学术委员会委员、陕西省光信息技术重点实验室学术委员会委员;《Ultrafast Science》副主编,《激光与光电子学进展》《光学 精密工程》《光子学报》《应用光学》《光电技术应用》《数据采集》《西安电子科技大学学报》《西安邮电大学学报》等期刊编委。

作为国内最早开展计算成像研究的人员之一,在新体制光电成像与感知领域攻坚前沿基础研究并促进技术工程应用,率先在国内开展散射成像研究。发表论文100余篇、发明专利80余项,获省部级奖励5项,主持国家自然科学基金、JKW前沿创新、863专项、GF预研基金、GF重点实验室基金等项目60余项,年经费保持在1000万元以上,获JD科技进步奖、GF科学技术进步奖、航天科技进步奖、信息产业部科学技术进步奖等多项重要奖项,入选全球前2%顶尖科学家榜单。倡导举办4届全国“计算成像技术与应用”专题研讨会,提高了计算成像在光学领域的影响力。带领团队成员研制了广域相机、高性能低成本小型化红外导引头、偏振相机、激光陀螺仪光损耗测试仪、辐射计量辐射光源稳定功率系统等,成果和样机用于国内多家科研院所,促进了新体制成像技术的装备应用。

刘飞,教授,博士生导师,西安电子科技大学计算成像研究所主任。

 

西安电子科技大学华山菁英人才计划入选者。现任西安电子科技大学先进光学成像交叉前沿研究中心副主任,西安市计算成像重点实验室副主任,陕西省先进光电成像专委会常务副主任,美国光学学会(OPTICA)西电分会指导教师,中国科学院长春光机所应用光学国家重点实验室客座研究人员,光电信息控制与安全技术GF重点实验室客座教授, Journal of Nanophotonics期刊副主编,Cells期刊Computational imaging for Biophotonics and Biomedicine主题Guest Editor,OPTICA Travel Lecture(全球巡讲讲师);中国感光学会青年理事,《激光与光电子学进展》、《光子学报》等期刊青年编委,Optics Letters, Optics Express,Applied Optics,JOSA A等多个国际期刊审稿人。

自2012年开始进行计算偏振成像技术的研究,累计主持国家自然科学基金青年、面上等项目,国家博士后科学基金面上项目,陕西省自然科学基金等科研项目二十余项,年均到款经费超过300万元,并在Optics Letters, Optics Express,等国际知名期刊发表学术论文40余篇,累计引用超过700余次,申请国家发明专利20余项,产学研转化2项。受邀参加首届JKW“四季青”青年论坛、CVPR等国内外学术交流会议进行成果汇报,并连续获得最受欢迎报告奖、最佳论文奖西安市自然科学论文一等奖等多项荣誉。

席特立,西安电子科技大学菁英副教授,西安电子科技大学计算成像研究所副主任。

 

主要从事透过随机散射介质成像、新型计算光学系统设计以及定量相位测量技术研究,近年来主持或参与了包括国家自然科学基金、JKW预研基金、重点实验室基金等国家及省部级纵/横向项目十余项。在Optics Letter、Optics Express、Applied Optics等国内外重要学术期刊共发表SCI论文20余篇,并多次在国际及国内学术会议上做口头报告。曾获2020年陕西省科技工作者创新创意大赛三等奖(第五获奖者)等奖项。

刘金鹏,准聘副教授,现工作于西安电子科技大学光电工程学院计算成像研究所。

 

主要研究方向为计算图像处理、全息成像。近年来参与了包括国家自然科学基金面上项目研究、863项目课题研究、航天飞行器研究所委托项目等多项国家自然科学基金项目及省部级基金项目研究,取得了多项具有重要学术意义和应用价值的研究成果。多次参加相关领域的国内外学术交流活动,并报告最新的研究成果,注重与行业内专家、学者的交流、对话与合作,充分把握和跟进该领域的前沿研究动态。经过多年的研究积累,在全息记录与重建、光场分析、光场调控等方面开展过深入研究,发表多篇SCI国际期刊论文,主要成果以第一作者身份发表在Optics Express,Applied Optics等本领域权威国际期刊上,得到了国内外同行的认可,在全息光存储领域内具有一定影响力。

相萌,准聘副教授,现工作于西安电子科技大学光电工程学院计算成像研究所。

 

主要从事计算成像在空间遥感、工业检测、生物医学等典型交叉学科的应用研究,具体研究方向为光学合成孔径成像、傅里叶叠层超分辨成像等;任中国科学院西安光学精密机械研究所客座研究人员。

供稿:邵晓鹏,刘飞,席特立,刘金鹏,相萌

 

免责声明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间联系我们,我们将协调进行处理,最终解释权归旭为光电所有。