基于深度学习的微观图像分析方法的流程（北京邮电大学供图）

用透射电子显微镜（TEM）、扫描电子电镜(SEM)、扫描探针显微镜(SPM)先进仪器等获取微观图像，帮助人们理解物质的结构，已成为材料研究界普遍使用的方法。如何让微观图像开口说话，告诉人类它们所知道的秘密呢？

深度学习或许能回答这个问题。近日，北京邮电大学与中科院物理研究所的研究人员合作，综述了近几年深度学习在SEM、TEM及SPM结构表征方面的应用，总结了深度学习在表征图像分析方向的机遇和挑战，并对未来交叉领域研究进行了展望。相关研究成果已发表于Materials Today Nano。

“以往科研人员基于他们本人的知识，逐一分析图像以获得他们认为重要的信息，但随着微观图像越来越多、分辨率越来越高，图像分析的难度和工作量越来越大。”该论文通讯作者、中科院物理研究所研究员苏东说，“深度学习方法可以自动提取特征并分析，正在被用于对大规模微观图像的处理。”

深度学习是一种以人工神经网络为基础架构，能够对数据进行表征学习的机器学习方法。不同于传统的机器学习算法需要人为的特征设计，深度学习可以实现自动的特征提取，因而可以获得更为有效的特征表示。近年来，深度学习在计算机视觉、自然语言处理、医学图像处理等多个领域都开展了应用。

在图像处理中，深度学习模型可以被用于目标分割、缺陷检测和分类等问题。该论文第一作者、北京邮电大学博士研究生葛梦舒表示，材料学微观图像的分析和一般的图像分析有所不同。微观图像中的信息不是表观的，很多时候要进行深入分析处理，才可能理解其中的意义，如何让深度学习实现这些是一个挑战。

目前的研究中，深度学习可实现SEM图像的自动归类，甚至实现像素级的目标分割，还可以实现图像分辨率的增强。在STEM分析中，深度学习则被用于缺陷检测和分类、原子识别、晶格类别识别等问题。对于SPM表征技术，深度学习可以实现对针尖形状的自动较正，对材料表面分子结构和旋转角度的自动识别以及构效关系分析。

该论文另一通讯作者、北京邮电大学教授苏菲认为，目前一些领域表现出极强的发展潜力，比如模型和算法在材料学图像分析中的可扩展性、表征任务的可扩展性等。“不可否认的是，研究中还存在不少挑战，比如如何让深度模型和损失函数更符合物理及化学理论，如何对数据进行合理标定进而优化算法的性能，如何将深度模型方法与实验分析方法结合，把深度学习整合到实验方法中等。”

相关论文信息：https://doi.org/10.1016/j.mtnano.2020.100087