脑机接口恢复 ALS 患者的实时语音
加州大学戴维斯分校 （University of California， Davis） 的研究人员开发了一种研究性脑机接口，有望恢复因神经系统疾病而失去说话能力的人的声音。 在科学杂志《自然》上发表的一项新研究中，研究人员展示了这项新技术如何在人试图说话时立即将大脑活动转化为声音——有效地创建数字声带。 系统允许患有肌萎缩侧索硬化症 （ALS） 的研究参与者通过计算机与家人实时“说话”，改变他的语调并“唱”简单的旋律。 “将神经活动翻译成文本，这就是我们以前的语音脑机接口的工作方式，类似于文本消息传递。 与标准辅助技术相比，这是一个很大的改进，但它仍然会导致对话延迟。 相比之下，这种新的实时语音合成更像是语音通话，“该论文的资深作者、加州大学戴维斯分校神经外科系助理教授 Sergey Stavisky 说。 Stavisky 是加州大学戴维斯分校神经修复学实验室的联合负责人。 “通过即时语音合成，神经假体用户将能够更多地参与对话。 例如，他们可以打断，而且人们不太可能意外打断他们，“斯塔维斯基说。 解码大脑信号是新技术的核心 这个人参加了加州大学戴维斯分校健康中心的 BrainGate2 临床试验。 他通过计算机进行交流的能力是通过研究性脑机接口 （BCI） 实现的。 它由四个微电极阵列组成，通过手术植入负责产生语音的大脑区域。 这些设备记录大脑中神经元的活动，并将其发送到计算机，计算机解释信号以重建语音。 “合成语音的主要障碍实时无法确切地知道语言障碍患者何时以及如何尝试说话，“该研究的第一作者、加州大学戴维斯分校神经修复学实验室的项目科学家 Maitreyee Wairagkar 说。 “我们的算法将神经活动映射到每个时刻的预期声音。 这使得合成语音中的细微差别成为可能，并让参与者控制其 BCI 声音的节奏。 BCI 的即时、富有表现力的语音显示出前景 脑机Interface 能够将研究参与者的神经信号非常快速地转换为通过扬声器播放的可听语音——四十分之一秒。 这种短暂的延迟类似于一个人在说话和听到自己的声音时所经历的延迟。 该技术还允许参与者说新词（系统尚未知道的单词）并进行感叹词。 他能够调节他生成的计算机语音的语调来提出问题或强调句子中的特定单词。 参与者还通过演唱简单、短小的旋律来改变音高。 他的 BCI 合成声音通常很容易理解：听众可以正确理解近 60% 的合成单词（而当他不使用 BCI 时，只有 4%）。 借助算法的实时语音 将大脑活动即时转换为合成语音的过程得到了高级人工智能的帮助算法。 新系统的算法是使用收集的数据进行训练的，同时要求参与者尝试说出计算机屏幕上显示给他的句子。 这为研究人员提供了有关他想说什么的信息。 神经活动显示了数百个神经元的放电模式。 研究人员将这些模式与参与者在那一刻试图产生的语音对齐。 这有助于算法学会准确地仅从参与者的神经信号中重建参与者的声音。 临床试验带来希望 “我们的声音是造就我们的一部分。 失去说话能力对于患有神经系统疾病的人来说是毁灭性的，“加州大学戴维斯分校神经修复实验室的联合主任、为参与者植入手术的神经外科医生大卫·布兰德曼 （David Brandman） 说。 “这项研究的结果为那些想说话但又不能说话的人带来了希望。 我们展示了一个瘫痪的人是怎样的被赋予了用他的声音的合成版本说话的能力。 这种技术可能会对瘫痪患者产生变革。 Brandman 是神经外科系的助理教授，也是 BrainGate2 临床试验的现场负责人。 局限性 研究人员指出，尽管这些发现很有希望，但脑对语音神经假体仍处于早期阶段。 一个关键的局限性是研究是与一名患有 ALS 的参与者一起进行。 在更多的参与者中复制这些结果至关重要，包括那些因其他原因（如中风）而丧失语言能力的人。 ：BrainGate2 试验正在招募参与者。 要了解有关该研究的更多信息，请访问 braingate.org 或联系[email protected]。 注意：研究设备，受联邦法律限制用于研究。