从2012年以来,针对最大的AI模型的训练,算力的消耗已经增长了30万倍,平均每100天翻一番,大大超过了摩尔定律所描述的两年翻倍的速度。为解决电子计算机算力受限问题,以光学手段物理实现电学计算的光计算逐渐成为重要手段。其中,基于光散射的光电储备池计算(ORC)是一种先进的光学神经网络,其利用光散射对光信息打散重组的机理,可光速实现数万量级神经元的矩阵乘法,在针对各种时序信号,包括动态变化的图像序列数据的高效处理中显示了出独特优势,正逐渐受超分辨成像、神经影像、计算成像等应用的关注。然而,目前基于光散射的ORC仅使用散射光场的振幅或相位来编码信息,忽略了相干光传播中各维度信息的相互作用,限制了数据输入分辨率,影响网络计算精度。此外,网络通过光调制器、探测器以及计算机之间的较长数据通信链路实现递归训练,这对运算速度和系统稳定性的提升形成了明显的阻碍。
针对单维度数据编码导致网络精度受限的问题,提出了基于复值编码的光电储备池计算新方法。该方法通过调控光场复振幅提高数据输入分辨率,这种增强了光场数据的辨别能力,防止了任务无关信息对计算的影响。同时该编码方法方便地引入尺度因子微调储备池动力学以获得更优的网络性能。针对数据通信链路过长导致网络速度和稳定性受限的问题,团队使用高速光网通信接口、开发专用的现场可编程门阵列以及自研的高速数字微镜阵列DMD构建了集成运算处理器,大幅提升了网络运算速度。
基于复值编码的光电储备池计算原理图
所提方法的基本思想是利用光场的多维特性来提高光学储备池计算系统的输入分辨率,并引入多个超参数来调整储备池动力学以获得更好的精度性能。如原理图所示,散射介质和探测器结合为所构建的储备池。首先使用复值编码策略将实空间中定义的输入状态和上一时刻的储备池状态转换为相应的复向量。这两个矢量的组合通过DMD的复振幅调制加载到入射光场上。作为输入的调制光场将通过散射介质传播以更新储备池状态。最后,通过线性运算将当前光储备池状态映射到网络的输出上。
为了调整光学储备池动力学,在振幅编码中引入两个尺度因子:输入权重比例因子si和内部权重比例因子sr。相位编码通过将信号映射到[0, π]区间的固定转换系数实现,不受这些比例因子的影响。这种方法保护了原始信息的多样性,并抑制了对输入分辨率的影响,因为无论应用的尺度因子如何,相位编码都保持一致。
提升数据输入分辨率和网络时序数据预测精度
该研究使光电储备池的数据输入分辨率得到大幅提高,与传统的编码方式相比,所提方法生成的距离矩阵与原始数据的距离矩阵具有更高的相似度,这表明可以很好地表达两个原始数据在光场中的差异,并且具有较高的输入分辨率。此外,输入分辨率几乎与尺度因子无关,因为归一化距离矩阵不会随着尺度因子的减小而发生显著变化。
输入分辨率的大幅提高使得在处理Mackey-Glass数据集时序预测任务时,与常规光电储备池相比,网络的归一化均方误差减少了约75%。此外,该网络还可以应用于天气时序数据分析,有效地预测了24小时内虹桥国际机场的温度和湿度数据。温度和湿度的预测误差分别小于2华氏度和5%。
光电储备池集成运算系统
同时,通过光路仿真与优化、运算电路板设计与开发以及集成化机械结构设计,将原本耗时的数据编码过程、数据解析过程、计算机、调制器与探测器的数据通信过程等全部迁移到所开发的专用FPGA高速运算板卡与高速接口中。所开发的专用FPGA优化了DMD和探测器之间的数据交互,消除了对计算机数据交互中转的需要。此外,采用并行查找表进行数据编码操作,进一步提高了单元的处理速度。最后,该处理单元可以在约825 ms内完成1000次迭代计算,迭代率约为1.2 kHz,将运算速率提升两倍以上。
3、结论与展望:
所提复值编码方法和研发集成处理单元大幅提升了网络的数据输入与运算精度,以及网络的运算速度与稳定性,将有望在光学成像领域推动新的发展:在储备池计算极其简单的训练架构基础下,网络递归速度的提升,进一步增强了光学储备池计算在实时处理连续图像帧的优势,有望用于动态影像的高精度重建,例如心脏与脑神经等的磁共振成像;数据输入精度的提升进一步增强了光学储备池计算高保真的非线性动态响应能力,有望用于非线性动态显微成像、荧光寿命成像、早期病灶检测等应用场景。