光谱成像速度慢，深度学习帮帮忙

发布时间：2022-03-31 19:32:59来源：我是科学家iScientist

通常，我们在显示屏中看到的图像是RGB三色图像，红绿蓝三种颜色叠加形成像素颜色。如果把三色图像拓展，变成十色、百色、千色，那么我们对图像色彩的控制与渲染将无比精细。拥有这么多波段的图像便是光谱图像。光谱图像可以像RGB图像那样得到成像目标的空间特征，同时反映目标的内部物理结构和化学成份。因此，光谱成像技术被广泛应用于遥感、医学检测、食品检验等领域。

传统的光谱成像技术通过扫描获取图像，采集时间长、系统体积大。随着计算光学技术的发展，研究人员在光谱图像采集过程中往往会进行一些编码，并采用迭代优化算法进行光谱重建。然而，这种方法会造成计算上的负担，一次光谱重建通常需要耗费几分钟甚至几个小时的时间。而近年来，深度学习在科技应用方面显示出了巨大的潜力，光谱成像也不例外。将深度学习应用于光谱成像，可以在几秒钟内完成图像重建，同时兼具较高的分辨率和简洁的系统。

传统光谱成像方法通过扫描获取图像，速度较慢（从左到右依次为点扫描、线扫描、波段扫描）|参考文献[1]

应用深度学习后的光谱图像重建方法|参考文献[1]

近日，浙江大学光电学院郝翔研究员团队以"SpectralImagingwithDeepLearning"为题在Light:Science&Applications发表综述论文，回顾了光谱成像技术应用深度学习的最新进展，对基于深度学习的光谱成像技术进行了梳理，对其各种技术路线进行了原理阐述、研究总结，并整理了当前的光谱成像数据集、概述可能的未来趋势与挑战。

网站截图

在综述文章中，有效的分类是必不可少的。作者认为，对于以深度学习为基础的光谱成像，他们已经找到了理想的分类方法。“根据光的基本特性，我们团队将各种已知的光谱成像方法分为振幅编码、相位编码和波长编码三大类。”

振幅编码光谱成像

编码孔径系统中的光谱编码过程|参考文献[1]，作者汉化

振幅编码光谱成像是通过编码孔径系统（CASSI）进行的，利用编码孔径（振幅掩模）和光栅元件对物体进行编码，进而通过压缩感知恢复算法进行光谱重建。基于深度学习的振幅编码光谱成像将压缩感知恢复的迭代算法替换为深度神经网络，通过编解码协同优化、迭代展开神经网络、非训练网络等方法进行高效光谱重建。

相位编码光谱成像

一种相位编码光谱成像系统|参考文献[1]，作者汉化

相位编码光谱成像通过衍射光学元件（DiffractionOpticalElement,DOE）进行，通过设计DOE的二维高度轮廓实现对不同位置的特定相位延迟，从而实现相位编码。相位编码经过菲涅尔衍射影响到不同光谱成分，然后通过对衍射过程进行建模，即可通过算法对原光谱图像进行重建。由于相位编码后衍射计算的复杂性，传统的迭代算法难以对光谱图像实现有效恢复，这一问题在深度学习出现后得到了一定的解决，目前相位编码的光谱恢复主要通过深度神经网络进行。相比振幅编码，相位编码光谱成像拥有光能损失小、系统紧凑等优点。

波长编码光谱成像

波长编码光谱成像则是直接在光谱维度对图像进行编码，可以通过光学滤光片进行。RGB图像就可以看成一种光谱编码。目前主流的波长编码方式有利用现有的RGB或设计光学滤光片，而编码后的光谱重建则多借助深度学习技术。

基于RGB图像的直接光谱重建是非常火热的方向。随着NTIRE2018和NTIRE2020光谱重建比赛的召开，许多深度学习技术团队参与进来，大大拓展了现有的深度学习光谱恢复技术。研究人员对深度学习参与的RGB光谱重建和滤光片设计光谱重建进行了分析，将重建方式分为点重建和块重建，以此对每种重建方式进行了介绍。

本课题组提出的编解码协同设计光谱成像技术|参考文献[1]

基于自定义光学滤光片的波长编码是近年来新兴的光谱成像技术。通过设计宽谱滤光片，可以获得比RGB滤光片更大的编码自由度。再结合有效的深度学习技术，可以实现紧凑、快速、准确的光谱恢复。

致谢

感谢论文通讯作者郝翔对本文的审阅与建议。

参考文献

[1]Huang,L.,Luo,R.,Liu,X.etal.Spectralimagingwithdeeplearning.LightSciAppl11,61(2022).https://doi.org/10.1038/s41377-022-00743-6

[2]https://www.eurekalert.org/news-releases/947692

作者：矩阵星

编辑：酥鱼

排版：尹宁流

题图来源：团队提供

研究团队

通讯作者郝翔：浙江大学博士生导师，浙江大学嘉兴研究院院长助理。2014年获浙江大学工学博士学位，后曾于耶鲁大学医学院细胞生物系担任副研究员，主要研究方向为光学显微成像/超分辨显微成像、高光谱技术与计算光学。

课题组主页https://person.zju.edu.cn/en/nanoscopy

论文信息

发布期刊《光科学与应用》LightScience&Application

发布时间2022年3月16日

论文标题Spectralimagingwithdeeplearning

（DOI:10.1038/s41377-022-00743-6）

文章领域深度学习、光谱成像、计算光学

如果你是投资人、创业团队成员或科研工作者，对果壳硬科技组织的线下闭门会或其它科创服务活动感兴趣，欢迎扫描下方二维码，或在微信公众号后台回复“企业微信”添加我们的活动服务助手，我们将通过该渠道组织活动——

如果想了解更多产业界和科技创投资讯，

欢迎关注果壳硬科技

点击阅读原文即可查看原论文