东大崔铁军院士团队构建可编程人工智能机，展示图像识别、强化学习等多种应用场景

发布时间：2022-02-26 13:40:17来源：我是科学家iScientist

近日，东南大学毫米波国家重点实验室、东南大学电磁空间研究院、琶洲实验室智能超材料研究中心崔铁军院士团队联合北京大学李廉林教授，使用多层透射式数字编码超表面构建了可实时调节的全衍射式神经网络（可编程人工智能机，PAIM），成功实现了网络参数的实时编程和光速计算特性，并展示了多种应用案例，包括图像识别、强化学习和通信多通道编解码等，在国际上首次实现和展示了微波空间全衍射式可编程神经网络。相关工作以Aprogrammablediffractivedeepneuralnetworkbasedonadigital-codingmetasurfacearray为题于2022年2月21日发表在NatureElectronics上[1]。

果壳硬科技邀请了共同第一作者东南大学博士生刘彻和马骞（现为至善博后）撰写论文解读文章。以下为刘彻和马骞撰写的分享内容。

衍射神经网络：

多功能集成&可编程

目前，人工智能的实现主要依赖两种技术，一是基于计算机的机器学习算法（例如深度学习[2]、极限学习[3]和强化学习[4]等）；二是专用集成电路芯片或特制的光计算芯片[5,6]。

一个典型的人工神经网络（artificialneuralnetwork，ANN）的实现，一般使用层级连接的人工神经元来模拟人脑神经元之间的连接和行为。通过大量数据的训练，ANN已能完成众多智能任务，且在人脸识别、自动驾驶、语音处理和医疗诊断等方面获得了大量应用。

除了基于计算机和芯片实现的ANN网络，全光实现的ANN最近也被多个团队所提出[7,8]。这些光学衍射神经网络利用光的矢量叠加性和空间自由传播特性可实现并行的矩阵运算操作，以此来模拟人工神经元之间的交互和连接。同时，使用光学透镜或反射介质模拟人工神经元对信号的调制作用，最终构造出具有光速并行计算和低功耗特性的ANN硬件。

然而，虽然光学衍射神经网络得以实现，但大都具有功能固化、不可调节、不支持参数修改和使用成本高等缺点，严重制约了其功能扩展。在未来的实际应用中，为了提高集成度和通用性，衍射神经网络必然会朝着多功能集成和可编程方向发展，因此可编程的衍射神经网络逐渐成为该领域的研究热点。

近年来，现场可编程信息超表面的兴起[9]为实现可编程的衍射神经网络提供了良好契机。东南大学崔铁军院士和北京大学李廉林教授团队依靠长期以来在可编程信息超表面的理论和技术积淀，率先使用多层透射式数字可编程超表面实现了现场可编程的衍射神经网络硬件，称之为可编程人工智能机（PAIM）。

何为PAIM？其优越性在哪？

PAIM是全光ANN在微波频段的可编程版本，其最大优势是实现了衍射神经网络的可编程性。研究团队使用五层透射式的可编程超表面阵列来层级调控电磁波的空间传播和交互特性（如图1所示），其中每层超表面阵列都有8×8个单元，每个单元都可以看成人工神经网络（ANN）中的一个神经元节点，整个PAIM可看成是一个ANN的物理实现。每个超表面单元能在-22dB到13dB的范围内调控透射电磁波的幅度，同时改变和幅度耦合的相位。

图1：可编程人工智能机的工作原理|研究团队供图

当入射电磁波照射到一个可编码超表面单元时，电磁波的幅度和相位会被该超表面单元调控，调控系数由FPGA直接控制。被调控后的电磁波在穿过此单元后，会变为一个新的电磁波辐射源向各个方向辐射电磁波。这样，第一层超表面的每个单元都会向第二层超表面辐射电磁波并进行矢量叠加（图1b）。

叠加后的电磁波作为第二层每个超表面单元的入射电磁波，经过调制后继续以同样的方式向后传播，最终传输至第五层超表面。最后将第五层超表面的输出作为整个PAIM最终的输出。利用超表面阵列逐层调控电磁波在物理网络中传播的过程可以看成是神经网络前向计算过程。

研究团队为PAIM定制了相关的驱动模块、FPGA控制电路模块和用户交互界面，同时开发了针对PAIM参数训练的离散优化算法和误差校准等算法，提高了PAIM的计算精度和可用性。基于PAIM的硬件系统架构，研究团队展示了多种应用案例，包括图像识别和通信中多路用户的同时编解码等。

在图像识别案例中，PAIM的第一层超表面作为图像输入层，根据输入图像的像素分布调制每个单元的增益系数，当平面电磁波穿过第一层超表面后就会携带输入图像的信息传输到后续的四层超表面。PAIM的后四层被训练为图像识别器，最终输出的电磁场能量分布会反映出图像被预测为哪一类的概率，并被接收天线所接收、识别。基于10类手写数字图像识别的仿真验证案例显示了PAIM可以达到90%以上的识别正确率，同时PAIM在简单图案识别的实测案例中取得了100%的识别正确率（图2）。

图2：基于PAIM的简单图案识别实测结果|研究团队供图

在通信编解码案例中，研究团队演示了基于PAIM的实时编解码和去噪功能，可在同一信道中同时传输四路用户信号。研究团队使用PAIM传输了东南大学毫米波国家重点实验室的标志图案（图3a），为了加快传输速率使用不同用户通道传输图像的不同部分，由此使得传输速度提高为原来的四倍。

在噪声环境中的实验测试结果表明，PAIM同时实现了去噪和编解码功能。和传统的CDMA通信架构相比，PAIM直接在电磁波的模拟域进行信号的编解码和去噪操作，因此可极大地减少通信时延。同时得益于PAIM强大的空间电磁波处理能力，能很好地处理和分解空分信号，使得在同一信道中可同时传输多路信号，极大地提高了信道容量。

图3：基于PAIM的通信编解码和去噪实测案例|研究团队供图

事实上，由于频谱资源的日益枯竭，空分多址技术得到了越来越多的关注并已经成为第五代和第六代无线通信的关键技术之一。PAIM可单独作为解码器置于通信的接收端，同时接收多个通信基站和其他发射端所发射的信号，并对其进行实时预处理。

此外，PAIM不仅可接收传统发射天线所发射的信号，还能接收由反射式超表面所发射的具有丰富空间能量分布的电磁波信号。通过加载预先设置的单元参数，PAIM可解码不同发射端发射的信号，并将其能量传递到对应的接收天线口面上。

参考文献

[1]C.Liuetal.,"Aprogrammablediffractivedeepneuralnetworkbasedonadigital-codingmetasurfacearray,"NatureElectronics,2022,doi:10.1038/s41928-022-00719-9.

[2]Y.Lecun,Y.Bengio,andG.Hinton,"Deeplearning,"Nature,vol.521,no.7553,pp.436-444,2015.

[3]G.Huang,G.B.Huang,S.J.Song,andK.Y.You,"Trendsinextremelearningmachines:Areview,"NeuralNetworks,vol.61,pp.32-48,Jan2015,doi:10.1016/j.neunet.2014.10.001.

[4]V.Mnihetal.,"Human-levelcontrolthroughdeepreinforcementlearning,"Nature,vol.518,no.7540,pp.529-533,Feb262015,doi:10.1038/nature14236.

[5]L.Mennel,J.Symonowicz,S.Wachter,D.K.Polyushkin,A.J.Molina-Mendoza,andT.Mueller,"Ultrafastmachinevisionwith2Dmaterialneuralnetworkimagesensors,"Nature,vol.579,no.7797,pp.62-66,Mar2020,doi:10.1038/s41586-020-2038-x.

[6]Y.Shenetal.,"Deeplearningwithcoherentnanophotoniccircuits,"NaturePhotonics,vol.11,no.7,pp.441-446,2017,doi:10.1038/nphoton.2017.93.

[7]X.Linetal.,"All-opticalmachinelearningusingdiffractivedeepneuralnetworks,"Science,vol.361,no.6406,pp.1004-1008,Sep72018,doi:10.1126/science.aat8084.

[8]E.Khorametal.,"Nanophotonicmediaforartificialneuralinference,"PhotonicsResearch,vol.7,no.8,pp.823-827,Aug12019,doi:10.1364/prj.7.000823.

[9]T.J.Cui,M.Q.Qi,X.Wan,J.Zhao,andQ.Cheng,"Codingmetamaterials,digitalmetamaterialsandprogrammablemetamaterials,"Light-Science&Applications,vol.3,p.e218,Oct2014,Artno.e218,doi:10.1038/lsa.2014.99.

作者：刘彻马謇

编辑：酥鱼

排版：尹宁流

研究团队

通讯作者崔铁军：中国科学院院士，东南大学首席教授，IEEEFellow，长期从事电磁超材料和计算电磁学的研究工作，是科睿唯安全球高被引学者。创建了信息超材料新体系，负责开发了自主可控的电磁专用仿真软件，取得了显著的经济效益与社会效益。研究成果入选2010年中国科学十大进展，作为第一完成人获2011年教育部自然科学一等奖、2014年国家自然科学二等奖、2016年军队科学技术进步一等奖、及2018年国家自然科学二等奖等。

（共同）第一作者刘彻，东南大学信息科学与工程学院博士生。

（共同）第一作者马骞，东南大学信息科学与工程学校博士生，现为东南大学至善博士后。

研究团队

发布期刊《自然·电子学》NatureElectronics

发布时间2022年2月21日

论文标题Aprogrammablediffractivedeepneuralnetworkbasedonadigital-codingmetasurfacearray

（DOI：https://doi.org/10.1038/s41928-022-00719-9）

点击阅读原文即可查看原论文