脑机接口（BCI）在科研和应用领域的进展在近期屡屡获得广泛的关注，大家通常都对脑机接口的应用前景有着广泛的畅享。

比如，由于神经系统的缺陷造成的失语症不仅严重阻碍患者的日常生活，还可能限制他们的职业发展和社交活动。随着深度学习和脑机接口技术的迅猛发展，现代科学正向着通过神经语音假肢来辅助失语者重新获得交流能力的方向迈进。

脑机接口在解码人的语音、动作等信号方面已经有了一系列激动人心的进展。特别值得一提的是，埃隆·马斯克（Elon Musk）的Neuralink公司在这一领域也取得了突破性进展。

该公司成功地在一位试验对象的大脑中植入了电极，实现了通过简单的光标操作来进行打字、游戏等功能。这标志着我们在向更高复杂度的神经-语音/动作解码迈进的路上又进了一步。相比于其他脑机接口技术，神经-语音解码的复杂性更高，其研发工作主要依赖于特殊的数据源——皮层电图（ECoG）。

皮层电图在临床上主要是从进行癫痫治疗的患者那里收集的，因为这些患者通常会植入电极以监测大脑活动。研究人员利用这些电极，在发音时收集大脑皮层的数据。这些数据不仅具有高度的时空分辨率，而且已经在语音解码研究中取得了显著成果，极大地推动了脑机接口技术的发展。通过这些先进技术的帮助，未来我们有望看到更多患有神经障碍的人士重获交流的自由。

最近在《自然》杂志上发表的一项研究取得了突破，研究中在一位植入设备的患者身上使用了量化的HuBERT特征作为中间表征，结合预训练的语音合成器将这些特征转化为语音，这种方法不仅提高了语音的自然度，也保持了高准确性。

然而，HuBERT特征并不能捕捉到发音者的独特声学特征，生成的声音通常是统一的发音者声音，因此仍需额外的模型来将这种通用声音转换为特定患者的声音。

另一个值得注意的点是，该研究及大部分先前尝试采用了非因果架构，这可能限制了其在需要因果操作的脑机接口应用中的实际使用。

2024年4月8日，纽约大学VideoLab和Flinker Lab联合在《Nature Machine Intelligence》杂志上发表了一项突破性研究。

论文链接：https://www.nature.com/articles/s42256-024-00824-8

研究相关代码开源在https://github.com/flinkerlab/neural_speech_decoding

更多生成的语音例子在：https://xc1490.github.io/nsd/

这项名为“A neural speech decoding framework leveraging deep learning and speech synthesis”的研究，介绍了一个创新的可微分语音合成器。

该合成器结合了轻量级卷积神经网络，能够将语音编码为一系列可解释的语音参数，如音高、响度和共振峰频率等，并利用可微分的技术重新合成语音。

此研究通过将神经信号映射到这些具体的语音参数，成功构建了一个高度可解释并适用于小数据集的神经语音解码系统。这一系统不仅能重构出高保真且听起来自然的语音，而且为未来脑机接口应用的高准确性提供了实证基础。

研究团队共收集了48位受试者的数据，并在这一基础上进行了语音解码的尝试，为高精度脑机接口技术的实际应用和发展打下了坚实的基础。

图灵奖得主Lecun也转发了研究进展。

研究现状

在当前神经信号到语音解码的研究中，面临两大核心挑战。

首先是数据量的限制：为了训练个性化的神经到语音解码模型，通常每个病人的可用的数据时间总长仅约十分钟，这对于依赖大量训练数据的深度学习模型而言是一个显著的制约因素。

其次，人类语音的高度多样性也增加了建模的复杂度。即便同一人反复发音拼读同一个单词，其语速、语调和音调等因素亦可能发生变化，从而为模型的构建增添了额外的难度。

在早期尝试中，研究者们主要采用线性模型来解码神经信号到语音。这类模型不需庞大的数据集支持，具备较强的可解释性，但其准确率通常较低。

近期，随着深度学习技术的进步，特别是卷积神经网络（CNN）和循环神经网络（RNN）的应用，研究者在模拟语音的中间潜在表征和提升合成语音质量方面进行了广泛尝试。

例如，一些研究通过将大脑皮层活动解码为口型运动，再转化为语音，尽管这种方法在解码性能上较为强大，重建的声音却往往听起来不够自然。

此外，一些新方法尝试利用Wavenet声码器和生成对抗网络（GAN）来重建自然听感的语音，虽然这些方法能够改善声音的自然度，但在准确度上仍有局限。

主要模型框架

在该研究中，研究团队展示了一种创新的从脑电（ECoG）信号到语音的解码框架。他们构建了一个低维度的潜在表示空间，该空间通过一个轻量级的语音编解码模型，仅使用语音信号来生成。

这一框架包含两个核心部分：首先是ECoG解码器，它负责将ECoG信号转换为一系列可理解的声学语音参数，如音高、是否发声、响度及共振峰频率等；其次是语音合成器部分，负责将这些参数转换为频谱图。

通过构建一个可微分的语音合成器，研究人员实现了在训练ECoG解码器的同时，也对语音合成器进行优化，共同减少频谱图重建的误差。这种低维度潜在空间的可解释性强，结合轻量级的预训练语音编码器生成的参考语音参数，使得整个神经语音解码框架高效且适应性强，有效解决了该领域中数据稀缺的问题。

此外，这个框架不仅能生成与说话者非常接近的自然语音，而且在ECoG解码器部分支持插入多种深度学习模型架构，并能进行因果操作。

研究团队处理了48名神经外科病人的ECoG数据，并使用了多种深度学习架构（包括卷积、循环神经网络和Transformer）来实现ECoG解码。

这些模型在实验中均显示了高准确度，尤其是采用ResNet卷积架构的表现最为出色。该研究框架不仅通过因果操作和相对较低的采样率（10mm间隔）实现了高准确度，还展示了能从大脑的左右半球都有效进行语音解码的能力，从而将神经语音解码的应用范围扩展到了右脑。

本研究的核心创新之一是开发了一种可微分的语音合成器，这大大提高了语音重合成的效率，并能合成接近原声的高保真音频。

这种语音合成器的设计灵感来源于人类的发声系统，将语音细分为两个部分：Voice（主要用于元音的模拟）和Unvoice（主要用于辅音的模拟）。

在Voice部分，首先使用基频信号生成谐波，然后通过由F1至F6共振峰构成的滤波器，以获得元音的频谱特征。

对于Unvoice部分，通过对白噪声进行特定滤波，生成相应的频谱。一个可学习的参数控制这两部分在每个时间点的混合比例。

最后，通过调整响度信号和添加背景噪声，生成最终的语音频谱。

基于这种语音合成器，研究团队设计了一个高效的语音重合成框架及神经-语音解码框架。详细的框架结构可以参考原文的图6。

研究结果

1. 具有时序因果性的语音解码结果

在此项研究中，研究者首先对不同的模型架构进行了直接比较，包括卷积网络（ResNet）、循环神经网络（LSTM）和Transformer架构（3D Swin），以评估它们在语音解码性能上的差异。

值得注意的是，这些模型均能执行时间序列上的非因果或因果操作。