摘要
人脑在处理表现出复杂时间动态的感觉信号方面具有非凡的能力。然而，受大脑启发的脉冲神经网络（SNN）在处理具有高时间复杂性的感官信号时遇到了挑战。这些挑战主要来自于简化的脉冲神经元模型的使用，例如广泛采用的 Leaky Integrateand-Fire (LIF) 模型，该模型处理多个时间尺度的时间信息的能力有限。此外，这些脉冲神经元模型只能及时按顺序更新，导致训练过程缓慢，在处理长序列时造成特别困难。 为了解决这些问题，我们提出了一种新颖的并行多室脉冲神经元（PMSN），其灵感来自于模拟参与感觉处理和记忆的生物神经元的时间动态的多室模型。
PMSN 模型捕获各个神经元区室之间复杂的相互作用，允许保留和集成多尺度时间信息，以进行有效的顺序建模。此外，PMSN 模型经过精心设计，可促进 GPU 加速机器学习框架的并行训练。我们在大量顺序建模任务中的实验结果表明，与其他脉冲神经元模型相比，所提出的 PMSN 模型具有优越的性能。具体来说，它表现出更高的精度、加速的模拟以及精度和计算成本之间的有利权衡。
引言
作者首先强调了人脑作为一个复杂的计算系统，在处理各种感官信号方面的显著性能。为了模仿人脑的结构和运作原理，研究人员设计了尖峰神经网络（SNNs），以期望复制人脑在序列建模方面的出色能力。近年来，SNNs的训练算法和神经结构的进展已经显著提高了其能力，尤其是在需要有限时间背景的任务（如图像分类）中，SNNs展现出了与传统的人工神经网络（ANNs）相媲美的性能，并实现了显著的能量节省。
然而，作者指出，由于内在的记忆限制，当前研究中使用的简化尖峰神经元在处理具有复杂时间动态的任务时面临着显著的挑战。例如，语音识别任务要求模型能够保存并整合从音素、词到句子不同时间尺度上的信息，这就是多尺度序列建模的能力。为了解决这个问题，最近的研究提出了包含自适应变量的新型神经元模型，以在不同的时间尺度上建立时间依赖性。此外，还有研究引入了门控机制和自注意力机制，以更灵活地建立时间依赖关系。但是，这些方法要么在建立长期时间依赖性方面表现有限，要么在计算成本和硬件实现方面面临挑战。
针对这些问题，作者提出了一种新型的并行多室尖峰神经元（PMSN）模型。这个模型灵感来源于模拟感官处理和记忆中涉及的生物神经元时间动态的多室模型。PMSN模型能够捕捉不同神经元室之间的复杂相互作用，允许保留和整合多尺度时间信息，从而有效地进行序列建模。此外，该模型专门设计用于在GPU加速的机器学习框架上进行并行训练。作者的实验结果表明，PMSN模型在多个序列建模任务中的性能优于其他尖峰神经元模型，具有更高的准确性、加速的模拟速度，并在计算成本和准确性之间实现了良好的平衡