全息光学是一种基于光波干涉和衍射原理实现图像记录和再现的技术,可高度还原物体三维特征,提供身临其境的沉浸式视觉体验。全息光学自1947年被提出、1971年荣获诺贝尔物理学奖以来,目前已逐步发展为数字全息成像和计算全息显示两大研究方向,深度赋能6G通信、智慧医疗、MR商用头显等领域的发展。其中蕴含的光学逆问题通用求解思路,也为全息光学近年来与计算光刻、光学超材料、光神经网络、OAM等方向的广泛结合提供了理论支撑,展现出了巨大的潜在研究与应用价值。
我们荣幸地邀请到全息光学领域的领军科学家-清华大学曹良才教授,为我们深刻解读全息光学技术发展所面临的机遇与挑战。采访中,曹良才教授向我们展示了他的最新科研成果,带我们回顾了全息光学的前世今生,分享了他在学术访问与交流时的精彩故事,并介绍了他在人才培养方面所提倡的“从游文化”。接下来,请跟随Light人物一起领略曹良才教授的卓越风采。
曹良才 教授
曹良才,清华大学精密仪器系教授、博士生导师。国际光学工程学会SPIE和美国光学学会OPTICA会士,教育部长江学者特聘教授。2005年获得清华大学光学工程专业博士学位,毕业后留校工作至今,加州大学圣塔克鲁兹分校和麻省理工学院访问学者,主讲“信息光学”和“现代光学实验”课程,研究方向主要为全息光学成像与显示技术。主持自然科学基金委重点项目和科技部重点研发计划项目,已发表学术期刊论文100余篇,申请发明专利40余项,曾获得北京市科学技术一等奖、中国仪器仪表学会技术发明一等奖、清华大学“学术新人奖”和清华大学“先进工作者”等称号,获得2021年由Light学术出版中心主办的全国光学与光学工程博士生学术联赛冠军导师。
Q:您能简要介绍一下现在的研究重点吗?目前取得了哪些重要进展?
A:我所在的课题组是体全息光学实验室,又称Hololab。我于2001年进入清华大学攻读光学工程博士学位,在金国藩院士和何庆声教授指导下,致力于体全息光存储和光计算方面的研究。自2005年毕业以来,我一直从事这方面的研究。在2013年,有幸分别参与了戴琼海院士和王涌天教授负责的项目,开始转向全息光学成像和全息光学显示技术的研究。在过去十年,Hololab的主要研究兴趣集中在计算全息显示和数字全息成像。计算全息(CGH)显示可以将物体的数字模型通过计算机转化为一个二维全息图,利用液晶空间光调制器或者超表面器件等直接投影出原始的三维物体。数字全息(DH)成像则正好相反,是利用光电像感器来记录物体的光学信息,采集光场信息得到一张二维全息图,再通过计算机来对全息图进行重建,从而得到物体的数字模型。这些过程涉及到比较基础的数学理论和衍射光学计算,一些研究成果还可以推广到其他光学成像和显示技术,但是都属于信息光学和全息光学的范畴。我们成功提出了基于角谱理论和深度学习的计算全息显示算法和系统,也开发了基于压缩感知和深度学习的无透镜成像方法,这些工作得到了同行的认可,并已在工业界初步应用。
图1:金国藩院士指导曹良才教授开展全息光学研究(2008年9月)
Q:编码成像作为一种无透镜成像技术,具有结构轻薄、易于构建等优点,如何建立场景与图像之间的联系,并通过求解逆问题反演图像则是编码成像中的关键问题。您与MIT的George Barbastathis教授联合提出了一种利用单片菲涅尔波带片的编码成像技术,实现了非相干照明下无透镜成像(Light Sci Appl 9, 53 (2020).),并发表于国际顶尖期刊Light:Science & Applications (简称Light)。您能说明一下这项工作的主要研究思路吗?这项技术具有哪些优势?
A:编码成像技术是将具有特定图案的掩模置入成像系统内,入射光线经过掩模图案调制后,在像感器上形成看似杂乱无章的编码图像,最后由计算机算法从编码图像中恢复出原始图像。如何建立场景与图像之间的联系,并通过求解逆问题反演图像,是编码成像中不易攻克的难题。我们团队和David Brady教授一起研究数字全息时,在Physics Review Letters发表了一篇论文,采用压缩感知算法揭示了去除孪生像的物理机制(Phys. Rev. Lett. 121, 093902 (2018).)。因此我们开始思考是否可以把这种方法用于无透镜成像。尝试后发现,在波带片无透镜成像系统中,根据孪生像和原始图像在梯度域稀疏程度的不同,可以在目标函数中加入TV正则化约束,最终有效解决了问题的不适定性。
这项Light工作中,我们利用单片菲涅尔波带片实现了非相干照明下无透镜成像。其成像装置仅由一个图像传感器和放置在传感器前几毫米处的菲涅尔波带片构成。我们利用点源全息图与菲涅尔波带片结构的相似性,将菲涅尔波带片作为编码掩膜对入射光进行编码,编码图像与同轴全息图具有相同的形式,通过压缩感知算法消除了全息重建固有的孪生像噪声,实现了无孪生像的高质量图像重建。这项技术相较于其他编码成像技术具有无需校准、单次曝光即可成像的优点,未来可与移动终端、安防监控、自动汽车驾驶等设备进行集成。
Q:数字全息成像利用计算方法重构原始物光波的振幅和相位信息,可对光与物质相互作用进行定量分析,您能谈一下数字全息成像技术的主要应用领域吗?其发展给我们的现实生活带来了哪些重要影响?
A:光波的相位主要反映的是光程差的信息,也就是物体折射率或者厚度的变化情况。在生物医学成像中,不同生物组织折射率与外部环境之间存在一定的差异,数字全息成像技术可以利用这种差异实现对生命现象的无标记观测,相比于化学染色、荧光染色等观察方法,对细胞的正常生理活动带来的影响较小。在光学检测与计量中,样品的厚度起伏同样能够体现在相位的变化上,数字全息可以通过相位变化实现纳米级精度的面型测量。此外,由于数字全息记录了光场的全部信息,可以进一步进行光场反演,从而实现三维成像,这也是当前学术界研究的热点问题之一。
由于数字全息成像具有较高的成像分辨率,能够提供传统成像技术所无法获取的相位信息,因此已经被广泛应用于干涉计量、微小粒子检测、生物医学成像等领域。而基于数字全息技术开发的数字全息显微镜,也逐渐从研发阶段走向成熟。数字全息技术在数据处理方面所独具的优越性将会使其和各种各样的技术相结合,为精密计量、微结构成像检测、医学诊断等领域提供有力支撑。
Q:作为数字全息成像领域的领军科学家,您能谈谈数字全息成像技术的研究现状吗?在您看来,未来的发展趋势如何?
A:全息成像技术从诞生发展至今已有70余年的历史,相应的成像技术已经发展得较为成熟,然而受限于复杂成像光路以及厚重的光学元器件,全息成像技术大多数还停留在实验室中。数字全息成像技术作为一种计算成像技术,近年来受到越来越多的关注。例如,数字全息与三维成像会议是美国光学学会的主题会议之一,每年在世界各地举办,全球的学术界和产业界相关研究人员会在一起进行交流与研讨。
随着数字全息成像技术日趋成熟,目前多家公司开始了产业化的有益尝试,瞄准生物医学成像、光学检测计量等应用场景,瑞士的Nanolive、韩国的Tomocube等公司,以及国内的倍捷锐、南京理工大学智能计算成像研究院等多家企业单位已经陆续推出了一系列数字全息显微成像仪器。关于数字全息成像技术的未来,从应用的角度来看,为了能够真正实现产业落地,还需要深入与下游应用需求更加紧密地结合。例如,如何将光学的相位信息与生物学家或者医生所感兴趣的信息建立起特异性联系,是推动数字全息技术走向生物医学实验室的关键问题之一。
未来我们也希望将光学微加工技术引入到全息成像技术中,将全息成像光路像半导体技术一样集成在一块芯片上,使成像结构更加紧凑,将全息成像的大视场高分辨等优势充分发挥出来。
图2:邀请全息光学领域的国内外同行在清华大学开展学术交流(2018年7月)
A:计算成像技术的发展与半导体技术和互联网技术的发展密不可分。一方面,随着亚微米、深亚微米和纳米技术工艺的不断发展和器件结构的改进,针对光强响应的图像传感器技术日趋成熟,图像传感器的分辨率、信噪比、动态范围等性能不断提高。另外,借助其他光学元件或附加额外的成像器件与光路,可将相位、偏振、光谱等其他维度信息转换为光强信息,从而被图像传感器所记录,实现对物理世界中光场信息的全方位感知。另一方面,随着移动互联网的兴起和计算机算力的提升,图像处理、计算机视觉、机器学习、大数据处理等研究领域取得了突飞猛进的发展。这两个研究领域的相互碰撞与融合推动了计算成像的诞生和发展。
压缩感知与深度学习分别作为模型驱动和数据驱动方法的典型代表,广泛应用于各类计算成像技术中。压缩感知和深度学习分别从理论和实际上验证了信号中的先验知识可以被归纳总结并加以利用,因此可以用更少的信息来表达复杂信号。早在2009年,David Brady教授在理论上证明了全息衍射的编码方式满足压缩感知条件,提出了“压缩全息”这一概念,随后,压缩感知在光学成像领域的应用如遍地开花般涌现,如单像素成像、光谱成像、深度成像等等。然而压缩感知也有不足之处,其对先验知识的依赖和较长的计算时间也使其发展遇到了瓶颈。而深度学习技术通过大量数据集的训练,可以学习到蕴含在数据集内潜在的映射关系。作为一种数据驱动的计算方式,深度学习技术摆脱了解析和数值求解方法对前向模型和先验信息的依赖,为光学逆问题的求解提供了新的解决方案。在一些具有复杂模型的成像领域,如散射介质成像、暗弱光成像领域取得了优越的效果。然而近年来,深度学习的不可解释性也逐渐为人们所关注,如何将成像模型和深度学习优越性能有机结合是未来思考和研究的重要方向。
图3:曹良才教授被授予国际光学工程学会会士(2019年8月)
图4:曹良才教授被授予美国光学学会会士(2020年10月)
Q:您团队的多项工作都基于深度学习技术实现了快速、高质量的三维成像和显示。深度学习技术可以发挥什么样的作用?全息动态三维显示技术目前面临哪些机遇与挑战?
A:理想的人机交互设备应该能够及时响应用户指令并以高质量和快速的方式切换三维显示画面。这一流程不仅涉及成像和显示,同时也对建模、机器视觉、运动捕捉和语义理解等技术的精细度和时效性提出了较高的要求。深度学习技术为这些问题提供了创新的解决思路。例如,三维成像效果常常受限于设备和环境,导致色彩失真、亮度不均和深度错乱等问题。修复这些问题需要大量的算力,且修复速度很难满足沉浸式交互的需求。基于深度学习的成像增强技术可以自动筛选并修复异常影像,提升三维成像的速度和质量,是沉浸式人机交互的重要支撑。
相比二维显示,三维显示可以提供更接近真实世界的图像内容。计算全息三维显示可以提供所有种类的深度线索,视觉体验更为友好,三维效果更加逼真,是三维显示的理想解决方案之一。相较于当前基于双目视觉或光场显示原理的商用头显方案,计算全息技术从原理上避免了辐辏调节冲突的产生,使得观看者可以获得无眩晕与其他视疲劳感受的沉浸式交互体验。当前面临的问题包括全息图重建质量受限、波前调制器件调制性能受限、全息显示系统空间带宽受限和全息三维内容源受限等。伴随着上述挑战性问题的逐一突破,全息三维显示技术将在智能制造、远程教育、异地办公和娱乐社交等领域具有广阔的应用前景。
Q:您的团队提出了一种新型无透镜光纤显微内窥镜成像技术(Light Sci Appl 11, 204 (2022).),这种新型内窥镜只有绣花针般大小,却能实现1000倍的超高放大倍率,可以让医生看清组织表面细胞的同时,极大减轻患者的痛苦。您能介绍一下这项工作的创新之处吗?目前能达到什么精度?对于后续的研究,还有哪些关键问题有待解决?
A:这项工作将同轴全息技术、相位恢复算法和光纤束成像相结合,实现了基于光纤内窥镜的定量相位成像。定量相位成像可以提供丰富的图像对比度信息,如细胞动态对比度、反射率对比度、折射率对比度,相位信息等,并且能够模拟出荧光染色成像效果,使癌细胞从复杂的背景中被清晰地分辨出来。另外,细胞体积、折射率、质量等重要物理参数也可以从定量相位重建图中计算出来,为临床诊断和研究提供了更有价值的辅助信息。值得一提的是,这种无透镜光纤显微内窥镜工作距离从10微米以内显著提升到了10毫米,最小可以“看清”1微米的物体,并且实现了纳米级的三维重建。在后续研究中,我们将进一步对光纤传输特性进行研究,并改进照明方式,使该项技术更好地适用于活体原位观测。
Q:我们知道,您曾到UCSC和MIT做访问学者,您能与我们分享一下这段故事吗?这些经历给您带来的最大收获是什么?与国内相比,国外的科研分氛围有哪些特点?
A:我2009年有幸赴UC Santa Cruz在Claire Gu教授课题组访问,2014年赴MIT在George Barbastathis教授课题组访问。这对于我的国际学术交流非常有帮助,我有机会认识了很多国际大科学家和非常活跃的青年学者同行。两次出国经历也都让我开拓了新的研究方向,并对我回国后的研究产生了深远的影响。回国后,我一直与国外导师保持联系,请他们继续给予指导,并开展了有效的合作。
在美国访问期间,研究是比较单纯、简单、开心的工作,课题组师生都非常关注科学问题本身,开展的是比较重要和纯粹的研究,这对于提升自己的学术水平很有帮助。我所访问的课题组人员不是很多,但他们对学术都非常感兴趣,能够围绕一个小问题开展长期深入的研究,产出了更高水平的成果。另外,在国外老师和学生之间比较随和,大家相互直呼其名,师生在工作中也更加主动和投入,开展研究工作的职业度和专业度相对都要更高一些。因此,我非常鼓励实验室的学生到国外进行交流,这可以培养他们的全球视野,提高未来的职业发展竞争力。
图5:曹良才教授在UC Santa Cruz访问与Claire Gu教授合影(2009年8月)
图6:曹良才教授在MIT访问与George Barbastathis教授合影(2014年9月)
Q:在Light举办的2021年的全国光学与光学工程博士生学术联赛中,您带领的北京赛区取得了非常优异的成绩,您本人也获得冠军导师的荣誉称号。您认为举办这样的学术活动有哪些积极意义?
A:Light学术联赛为从事光学与光学工程的优秀博士生搭建了一个展示学术能力、交流学术思想的平台。各位同学利用这个优秀平台,充分地表述了自己博士论文工作的研究动机、研究思想和研究成果,这对于培养一名优秀的博士生来说,是非常难得的机会。学术联赛提供了一个学术报告的契机,这场学术报告有上万名听众在线收看,有评委老师的提问、建议和评价,还有优秀的同学们一起同台竞技。所以它在某种程度上超越了校内的开题与答辩报告,也超越了平时的学术会议报告。因此也必然对提高同学们的博士论文水平与学术报告水平有很大的帮助。国家现在正在培养新一代的创新型光学人才,除了勤于思考、敢于实践之外,也必须善于表达。通过表达来传播自己的思想,从而回馈自己的研究。从这个意义上来讲,每个选手都应该积极思考如何把一个成果清晰地表达出来,以对学术同行甚至整个社会产生影响。此外,创新的赛区比赛形式也促进了参赛者之间的沟通了解,形成了良好的竞争与合作关系。这使得博士生们在获得荣誉的同时,也结交了一群志同道合的同行者。
图7:曹良才教授荣获2021学术联赛冠军导师(2021年5月)
Q:创新人才有两个重要特征,一个是创,就是超越自己,一个是新,就是与众不同。在人才培养方面,您提倡“师生从游,创新共进”,能为我们解释一下这一独特的培养理念吗?
A:我非常鼓励本科生参加课外科创活动和研究活动。通过科研活动中的交流和互动,本科生能够不断塑造正确的价值取向以及勇气、毅力、自信和团队精神等人格品性,牢固树立将学习基础知识和立志投身本专业领域科研事业相结合的观念,从而使自身具备终身学习的能力和持续发展的创新潜力。同学们在经过高考选择自己的专业之后才来到清华,对所学专业的理解可能还不够深刻,因此我会重点培养同学们的专业志趣,提升科研素质和科研能力。如果没有兴趣,再刻苦再聪明也是徒劳。科学研究的冲动应该来自于你发现这个世界的不完美,然后迫不及待地想去改变这个世界使其更完美。清华一大批顶尖学者的科学研究冲动,正是清华的荣光所系。另外,有一些同学的职业发展方向有点模糊,我始终鼓励同学们明确立大志,上大舞台,成大事业,根据本领域的学术大师和典型事例,用“胸怀天下、光照人生”八个字激励光学方向的同学们奋发向上,利用“光”照亮人生,引导同学们把光学事业作为自己一辈子的发展事业。在选择行业时,不能只考虑个人与家庭的利益,而是“胸怀天下”,力争大有作为。
图8:曹良才教授与研究生及本科生在西安参加CIOP2022会议(2022年8月)
Q:2022年7月,Light科普坊正式成立,为我们生活中的常见问题提供清晰的解释、可信的答案和可靠的评论。我们深知,让科学走近大众还任重而道远,作为科学家顾问团成员之一,您对此有什么建议?
A:科普工作是每个研究人员的本职工作,只有把自己的工作向普通人群讲清楚,这个工作才有较高的社会价值。我也常常鼓励博士生把自己的工作简化后介绍给家人朋友。只有当周围的人都能理解时,我们的研究成果才能广泛传播。和课堂教学一样,教与学是相互的,教师讲授知识量的多少并不是教学质量的唯一标准,学生真正掌握的才是最重要的。科研也是如此,科研成果的多少并不等同于科研成果的应用,我们在学术报告和项目答辩时也经常被要求用一两句话把复杂的工作说清楚,这就是所谓的大道至简。另一方面,科普工作不仅可以激发公众对科技的兴趣,而且可以促进更多的人参与科技创新工作。政府资本和纳税人也才更愿意把经费投入到科学研究中,未来中国也会有更多的社会资本和个人或团体通过捐赠来支持国家的科学技术研究,这也是对科普工作的一个很长远的回报。我曾经参观过长春的光学博物馆,很有收获和感悟。希望Light科普坊能够收集和提供更多更新的科普知识,同时也借助于国际光日来搭建与世界光学科普的桥梁,让更多人了解光,认识光,追逐光。
Q:感谢您一直以来对Light的支持与贡献,Light期刊从懵懂问世到享誉国际,已经走过十一载春秋,您能发表一下对Light的寄语与期望吗?
A:Light期刊的创立在中国光学发展史上具有里程碑意义,期待Light进一步走出中国,迈向世界,在世界光学发展进程中提供和展示中国智慧、中国方案和中国力量,研究光和利用光,为改善人类生活作出新的更大的贡献。
图9:Hololab研究人员合影(2022年10月)
致谢
感谢盛云龙(University Laval)、张启航(MIT)、刘珂瑄、吴佳琛、隋晓萌、杨怡谦、高云晖等对此文的辛苦付出与贡献!
[1] Wu, J., Zhang, H., Zhang, W. et al. Single-shot lensless imaging with fresnel zone aperture and incoherent illumination. Light Sci Appl 9, 53 (2020). https://doi.org/10.1038/s41377-020-0289-9
[2] Zhang, W., Cao, L., Brady, D. et al. TWin-Image-Free Holography: A Compressive Sensing Approach. Phys. Rev. Lett. 121, 093902 (2018).
https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.121.093902
[3] Gao, Y., Cao, L., Iterative projection meets sparsity regularization: towards practical single-shot quantitative phase imaging with in-line holography. Light: Advanced Manufacturing 4, 6 (2023).
https://doi.org/10.37188/lam.2023.006
[4] Sun, J., Wu, J., Wu, S. et al. Quantitative phase imaging through an
ultra-thin lensless fiber endoscope. Light Sci Appl 11, 204 (2022). https://doi.org/10.1038/s41377-022-00898-2