清华大学团队NSR综述：混合神经网络（ANN+SNN→HNN）推动类脑计算

人类大脑具有卓越的通用智能和出色的低功耗特性，一直都是智能领域不断追求与仿效的典范。基于这一深刻洞察，类脑计算应运而生，这一新兴的计算范式借鉴了大脑的基本结构和信息处理机制，有望引领人工智能从专用领域迈向更为广阔的通用智能领域，也被国际半导体协会推荐为后摩尔时代最具前景的两种颠覆性计算技术之一。

类脑计算是涉及芯片、软件、算法、模型等多个方面的交叉学科，其概念与研究范式正在持续拓展与深化。尤其值得一提的是，清华大学类脑计算研究中心在2019年发布的天机2代芯片，标志着类脑计算领域迈出了重要的一步。这款芯片不仅支持计算机科学导向模型与神经科学导向模型，还能实现二者的混合建模，为双脑驱动的异构融合类脑计算新范式提供了有力支撑，进一步催生了混合神经网络（Hybrid Neural Network, HNN）的蓬勃发展。

HNN将神经科学范式的脉冲神经网络（Spiking Neural Network, SNN）与计算机科学范式的人工神经网络（Artificial Neural Network, ANN）相结合，充分融合了这两种异质网络在信息表示和处理上的独特优势，为人工通用智能的发展注入了新的活力。

ANN与SNN的异质性赋予了HNN广泛的灵活性和多样性，同时也带来了构建上的巨大挑战。因此，要推动HNN的有效发展，必须从融合范式、基本理论、信息流、交互模式和网络结构等多个角度进行系统的研究和考虑。该合作团队共同提出的HNN通用设计和计算框架，采用了创新的先解耦后融合的方法，通过引入参数化的混合单元（Hybrid Unit, HU），成功克服了异质神经网络之间的连接难题。这种融合策略不仅充分结合了各种异构计算范式的独特特征，还通过解耦提升了灵活性和构建效率。

通过梳理多样化的设计维度，可以构建出灵活多样的HNN模型。这些模型能够充分利用数据和支撑系统的异质性，实现性能和代价的更优平衡。目前，HNN已在目标跟踪、语音识别、持续学习、决策控制等智能任务中得到了广泛应用，为这些领域提供了创新的解决方案。此外，受大脑异质性的启发，HNN还可以作为神经科学研究中的大脑建模工具，促进神经科学与HNN的协同发展，为双方的发展提供了广阔的研究空间和机会。

为了高效地部署和应用HNN，开发适合的支撑系统至关重要。目前，已开发的支撑系统包括芯片、软件和系统基础设施等多个方面。在芯片设计方面，天机芯针对HNNs的无缝融合进行了全面优化；在系统软件方面，神经形态完备性为HNN的编译和部署提供了理论支持和框架设计指导；此外，经纬-2类脑计算系统在集群层面优化了计算、存储和通信基础设施，为大规模HNN的发展奠定了坚实基础。

展望未来，深入研究大规模HNN具有极其重要的意义。当前，深度学习领域中的基于Transformer的大模型已经拥有数百亿乃至数千亿个参数，在自然语言处理和图像理解方面取得了显著进展，但耗能巨大。在最近备受瞩目的芯片设计顶会ISSCC上，有报道指出，利用HNN可以构建异构融合Transformer大模型，成功地大幅度降低了能耗。因此，探索大规模HNN的设计、优化方法以及构建训练数据集将成为未来的重要研究方向，具有极高的研究价值和广阔的应用前景。