脑机接口(BCI)通过记录的大脑信号解读使用者的意图来控制设备和应用软件。重度瘫痪患者可以使用脑机接口来补充或替代现有的交流能力和(或)控制身边的设备。在这种情况下,理想的情况是,脑机接口用户可以在任何需要的时候发出指令,而无需外部提示或帮助,并对指令的执行充满信心。
近来,语音脑机接口技术发生巨变,已经可以直接从颅内记录翻译音频波形和整个句子。这些技术为恢复沟通能力提供了一条充满希望的道路,但不适用于设备控制,而这正是重度瘫痪患者的关键需求。与用于沟通能力的脑机接口不同,用于设备控制的脑机接口必须提供低延迟、可靠的命令,并尽量减少语言环境或语言模型的辅助。此外,出于安全考虑,使用脑机接口与物理设备(如恒温器、机器人助手等)连接需要更高的解码性能和长期稳定性。
植入式脑机接口为使用者提供了越来越复杂的功能,但要在不需要重新训练或校准的情况下长期保持高性能却很有挑战性,这可能很耗时,而且需要研究团队或护理人员的干预。一项研究表明,在光标控制任务中,重新校准所花费的时间可以可缩短至基准收集的2分钟,这证明了“即插即用”脑机接口的可行性。然而,对于语音脑机接口而言,目前尚不清楚在没有重新训练和重新校准的情况下进行长期解码是否仍然可行。此外,还不清楚是否可以完全取消上述研究所需的每日基线数据收集,因为这将使脑机接口使用者更加自主并允许更广泛地使用脑机接口。
在此,我们提出了一种“即插即用”的脑机接口控制系统,该系统基于对来自慢性脑皮层电图(ECoG)[1]植入物的语音相关神经活动的实时解码。借助于该脑机接口系统,一名患有肌萎缩性脊髓侧索硬化症(ALS)的研究对象能够自由生成一组控制指令(即上、下、左、右、回车和后退)。当受试者浏览通信面板并控制室内灯光和流媒体电视应用等设备时,可以可靠地检测和解码命令。我们发现,在初始实验室校准后的三个月研究期内,不需要对重新训练校准解码器以及每次训练前的基准收集维持较高的性能。总之,这些结果共同证明,对于因神经系统疾病(如ALS)导致运动语言障碍的患者而言,解码语音指令的植入式脑机接口系统可以在数月内为他们提供控制计算机和其他外部设备的可靠而稳定的方法。
用于功能控制的语音脑机接口示意图。
a) 神经信号来自两个64通道ECoG阵列,分别植入负责上肢和语言功能的运动区和躯体感觉区。本研究仅使用较低等级的阵列。
b) 六个通道的高伽马能量样本(HGE,70–170Hz,z-scored)。
c) 通道平均HGE的1秒滚动平均值(每10毫秒更新一次)。该信号的峰值用于检测语音意图。一旦检测到预期的语音,就会将一个由峰值前2秒和峰值后0.5秒组成的HGE解码窗口发送到分类器。
d) CNN模型(InceptionTime)将HGE的窗口分类为有助于浏览通讯面板或控制外部设备的命令。
注:
[1] electrocorticography,ECoG, 脑皮层电图或皮层脑电图,是通过对大脑感觉皮层进行定点电刺激来采集大脑的信号的一种半侵入式脑机接口。这种脑机接口的装置植入颅骨内部,但置于脑膜外而非灰质内. 脑皮层电图测量的信号更清晰,可以在手术之前、期间或之后进行,比EEG具有更好的精度和灵敏度,但没有侵入式脑机接口的安全隐患。更多信息可参考《脑机接口:现状,问题与展望》 和 《颅内脑电图简介》 。
BMEN202311250003
来源:Advanced Science
标题:Stable Decoding from a Speech BCI Enables Control for an Individual with ALS without Recalibration for 3 Months