导读

麻省理工学院和中佛罗里达大学的合作团队近期研发了基于循环生成对抗网络架构和安德森局域微结构光纤的非监督学习光纤成像系统。

该系统实现了基于无标记小数据模型训练下的高质量高鲁棒性彩色生物图像传输。该图像传输过程对于未曾包含于训练数据中的不同种类生物样品亦表现出较高的普适性。此种新型光纤成像系统将在医疗诊断和生物基础研究中得到应用。

该文章发表在Light: Science & Applications，题为 “Unsupervised Full-color Cellular Image Reconstruction through Disordered Optical Fiber”, 胡潇文为本文的第一作者，赵建为本文的通讯作者。

在临床应用和基础生物学研究中， 医生或者科研人员经常面临特殊的成像环境，比如人体器官的腔体或者实验小鼠的大脑皮层。

传统的显微成像系统由于体积庞大而且无法深入活体内部，因而很难直接获取活体器官腔壁或大脑皮层的图像。与之相比，光纤具有高度柔韧性和较小的空间尺寸（大多光纤直径在125微米到1mm之间），使得基于光纤的成像系统可以深入活体内部采集并传输生物图像。这使得其在临床诊断和基础科学中有着巨大的应用价值。然而基于传统算法和商用光纤的解决方案面临着诸如成像质量差，图像传输过程鲁棒性低等问题。

近年来，人工智能的再度崛起也带动了基于深度学习的光纤成像系统解决方案的发展。这些方案初步克服了传统系统的弊端从而展现出巨大的潜力。尽管取得了极大的进步，而现有的方案大多依赖于监督学习。监督学习需要大量严格标记的图像数据进行模型训练，因而对光纤成像系统的数据采集，系统设计和系统校准提出了很高的要求。对应的弊端是增加了数据采集时间成本和提高了系统结构以及实验过程复杂度，同时也对系统的校准过程和次数提出了更高要求。这些问题将会阻碍基于监督学习的光纤成像系统在未来的实际应用。

近日，美国麻省理工学院皮考尔学习与记忆研究所的赵建博士、美国中佛罗里达大学光学与光子学学院的胡潇文博士（现就职于ASML公司）、Axel Schülzgen教授以及相关团队成员发展了基于非监督学习的光纤成像解决方案（Restore-CycleGAN-GALOF），突破了监督学习框架下光纤成像的技术瓶颈。

相比于基于监督学习的光纤成像解决方案，Restore-CycleGAN-GALOF方案分别在深度学习算法和光纤成像系统两个方向上做了创新。

在算法方面，新的方案基于非监督学习的循环生成对抗网络（CyleGAN）架构开发了适应于光纤成像的Restore-CycleGAN模型，并将其用于图像重建。

在光纤成像系统方面，新的方案基于具有随机结构的安德森局域光纤（GALOF）开发了透射式和反射式两种成像系统。

通过Restore-CycleGAN算法与GALOF光纤成像系统的有机结合，新的Restore-CycleGAN-GALOF实现了以下突破:

1. 在单次无标记的小数据集模型训练基础上，实现了高质量的彩色生物图像光纤传输；

2. 实现了高鲁棒性的图像传输过程；

3. 实现了高普适性的基于深度学习的成像过程。

Restore-CycleGAN-GALOF方案只需要用1000组无标记的图像数据进行模型训练既可实现高质量的彩色生物图像传输。相比于以往的基于监督学习的光纤成像方案，新方法至少将训练数据减小了十倍以上。更重要的是，对于新的方案，单次模型训练既可以在一定范围内实现对于不同实验条件下的高质量图像传输。而此种单次，无标记，小数据集模型训练的成功实施可以显著的提高成像速度，简化实验系统和实验步骤，更好的满足实际应用的需要。

在上述非监督学习基础上，Restore-CycleGAN-GALOF成像系统展示了对不同生物样本的高质量彩色图像传输。此种高质量彩色图像传输过程对于大角度光纤弯折 （60度叫机械弯曲）以及变化的样品距离（0 毫米– 6 毫米）都展现出高度的稳定性。此种图像传输的高度稳定性非常适合复杂的活体器官内的成像。除了优越的鲁棒性，Restore-CycleGAN模型被证明可以高质量的重建出在训练数据集里面从未出现过的不同种类的生物样品图像，展现出了很强的普适性。值得注意的是，此种普适性是在小样本训练数据下实现的， 而以往的基于监督学习的成像系统往往需要通过大样本的训练来实现有限的普适性。Restore-CycleGAN证明了非监督学习在不显著增加训练数据集的情况下可以提高光纤图像重建的普适性。此种普适性有助于在生物医学成像应用中进一步压缩数据采集的时间和简化所需的实验装置及步骤。

图1：Restore-CyleGAN-GALOF 原理图

图2：Restore-CyleGAN-GALOF 生物成像实验结果示例

未来的发展方向将是进一步从概念验证转向发展更为实用的内窥镜系统。这将需要进一步改善GALOF的结构参数以及优化现有的光学系统设计以实现更加紧凑的小型化成像系统，并同时进一步发展对应的非监督学习算法。在此基础上，相关的动物成像实验将有助于推进其迈向实际应用。未来基于Restore-CylceGAN-GALOF概念的成像系统或将被应用于不同的应用场景。尤其是在临床诊断以及基础脑科学研究中，非监督学习光纤成像或将发挥巨大作用。（来源：中国光学微信公众号）

相关论文信息：https://doi.org/10.1038/s41377-023-01183-6