技术背景:光密度决定样品中光与物质之间的相互作用,可以通过折射率来测量它。鉴于折射率的实部表征相位,虚部表征吸收。因此,可以用它来作为对样品成像时的一种内源性光学对比机制,而不需要对样品进行染色。通过定量描述折射率的三维分布,我们可以将细胞或亚细胞结构可视化,这有利于形态发生、肿瘤学、细胞病理生理学、生物化学等研究。新兴的强度衍射层析(intensity diffraction tomography, IDT)技术,通过测量样品的散射光来恢复样品的三维折射率图。IDT只需要在一个标准的透射式光学显微镜上做一些低廉的硬件改动就能实现。但是IDT存在相位信息丢失和缺失锥体(missing cone)问题,使得无伪影三维折射率图的重建存在很大挑战。目前由正则化、即插即用先验、深度学习等重建IDT折射率图的方法虽有许多研究,但仍不能得到理想的图像效果,特别是基于监督的深度学习方法很难得到高质量的ground-truth折射率图。神经场(neural fields, NF)是一种新的深度学习框架,在计算机视觉和图形领域得到普及,用于使用基于坐标的深度神经网络表示和渲染三维场景(NF在视觉/图形文献中有不同的名称,包括基于神经坐标表示或神经隐式模型)。以往研究已表明,NF可以在没有任何外部训练数据集的情况下从一个稀疏数据集学习复杂场景的高质量显现。文章创新点:基于此,美国华盛顿大学的Renhao Liu(一作)和Ulugbek S. Kamilov及波士顿大学的Lei Tian等人受NF启发,提出了一种基于NF的IDT方法,命名为深度连续无伪影折射率场(Deep Continuous Artefact-free RI field, DeCAF)。它不需要任何额外的ground-truth折射率图训练集就可以从角度受限下测量的强度图学习出高质量的、连续的三维折射率图。原理解析:(1)IDT系统用一个可编程的LED阵列从不同角度照明样品,用一个数字相机记录散射光的强度测量图。通过改变照明模式,可以实现密集、角度、复用照明的IDT模态。不同照明模态有不同的四维光学传递函数(相位和吸收各有两个独立的三维传递函数)。(2)DeCAF通过学习由多层感知机参数化的神经场来重建折射率体积。该网络将三维坐标(x,y,z)映射到相应的折射率值。
图1
实验结果:
DeCAF重建的水绵藻类视频
参考文献:Liu, R., Sun, Y., Zhu, J. et al. Recovery of continuous 3D refractive index maps from discrete intensity-only measurements using neural fields. Nat Mach Intell 4, 781–791 (2022).DOI:https://doi.org/10.1038/s42256-022-00530-3