对于无法活动发声或做手势所需肌肉的人来说，交流并不只是把词语显示到屏幕上的技术问题。一句话的重音、节奏、赞同、迟疑、反讽和情绪，往往同时通过动作与声音传递。一个点头，可能在回答尚未说完前就解决了问题；抬手可以表示打断；耸肩则可能改变一句简短回复的含义。传统辅助交流系统能够保留语言，却常常削弱这些围绕语言展开的表达。

一名人士通过脑机接口概念控制一个结合语音和手势的数字化身。

加州大学旧金山分校的研究人员开展了一项新研究，进展之处在于，他们把这些信号视为同一项交流任务。研究团队使用植入式皮层脑电图（ECoG）阵列，记录重度瘫痪者运动皮层的活动。机器学习解码器把受试者尝试发出的语音和尝试做出的上半身手势，转换为一个全身数字化身的控制指令。两名参与者能够同时控制语音和手势，而不必一次只能选择一个交流通道。

这项成果是概念验证，并不是可以立即使用的医疗设备。系统需要连接外部处理设备，也需要进行脑部手术，而且是在规模很小的研究环境中测试的。不过，它处理的是实际交流中十分重要的问题：大脑并不会把对话组织成一连串彼此孤立的特征。词语、面部动作、身体姿态和手势，往往是一个协调的整体。

这项研究究竟展示了什么

论文于2026年9月14日发表在《Nature Neuroscience》上，题为《瘫痪状态下用于多模态交流的同步语音与手势解码》（Simultaneous speech and gesture decoding for multimodal communication in paralysis）。这支获得美国国立卫生研究院（NIH）资助的团队，在参与者尝试说出指定短语、做出挥手或竖起拇指等熟悉手势，以及将两者结合时，记录其神经活动。目标动作不必真的产生可见的身体运动；研究人员关注的是参与者尝试说话或移动时，运动皮层出现的相关信号。

系统利用这些信号控制个性化数字化身。数字化身可以表达解码出的语音和上半身动作，让旁观者看到的不只是文字串或合成声音。研究称，这是首次在瘫痪者身上展示能够同时实现言语交流与上半身非言语交流的脑机接口（BCI）。这个区别很重要。此前的系统已经证明语音可以被解码，其他研究也证明神经信号能够控制光标、机械肢体或某些特定手势；但把这些交流通道结合起来，是另一项挑战。

研究人员发现，同时表达并不是简单地把语音数据加到手势数据上。参与者尝试同时说话和做手势时记录到的神经模式，与他们分别尝试语音和手势时产生的模式并不相同。这意味着，只用彼此孤立的例子训练解码器并不够。最成功的方法包含这样的训练数据：参与者直接尝试完成语音与手势相结合的行为。

这一发现有一个实际后果。如果系统的目标是支持对话，它就必须学习用户以系统预期重现的形式进行交流。模型分别学会某个词的神经特征和挥手的神经特征，并不代表它能在用户一边说这个词、一边挥手时正确工作。这个组合行为拥有自己的结构。

因此，这项研究对一个常见的工程假设作出了幅度不大、却很有意义的修正：多模态交流不一定是一组可以在最后再拼接起来的独立输出通道。通道之间的相互作用，可能需要被直接测量、建模和评估。

手势并不是装饰

把数字化身的手势描述成外观上的附加功能并不困难。但对许多依赖替代与增强交流（AAC）的人而言，手势更接近信息本身的一部分。人类对话会同时使用多种重叠信号。说话者在组织词语的同时，会改变音量、节奏、面部表情和手部动作；听者则借助这些线索判断一句话是严肃、试探、友善、紧急，还是已经说完。

文字转语音系统能够恢复句子的字面内容，但用户通常需要通过更慢的界面来构建这些内容。比如，眼动追踪可以让一个人不用移动双手，就选择字母、词语或预先准备好的短语。这对一些人是重要选项，但过程可能缓慢且令人疲惫，而且通常比日常对话具有更窄的表达范围。NIH将眼动追踪交流描述为部分重度瘫痪者目前采用的标准方法，同时也指出了这些限制。

能够解码尝试发音的神经接口，可以减少用户通过凝视控制键盘逐字拼写的需要。加入手势则会带来另一种好处：用户或许可以借此表示轮流发言、加强一句话的语气、用动作作答，或者传达原本必须用文字解释的态度。这里的价值并不在于数字化身看起来具有未来感，而在于交流不再那么依赖把每一个非语言细节都说明成文字。

这并不意味着每位用户都希望使用动画全身数字化身。有些人可能更喜欢文字、声音、面部显示、光标或机械手臂。交流技术不应假设某一种可见表达形式对所有人都同样理想。真正重要的成果，是系统能够解码并协调不止一种有意发出的信号；至于哪些输出有用，应由用户和临床人员共同决定。

读取一个词，远没有想象中简单

语音解码本身已经很困难，因为说话是一种快速的运动行为。大脑会向舌头、嘴唇、下颌、喉部和呼吸系统的肌肉发送协调指令。瘫痪时，这些肌肉可能不再执行指令，但相关的神经活动仍可能被测量到。放置在大脑皮层表面的ECoG阵列，会记录参与这些尝试动作的区域所产生的电信号，之后由解码器估计用户想表达的内容。

手势解码又增加了一层难度。系统需要区分不同动作，识别一个手势何时开始、何时结束，并把它与语音的适当时间点连接起来。对话中的手势不只是“挥手”或“竖起拇指”这样的类别，它出现的时机同样重要。短语之前的手部动作可能表示强调；短语之后的动作可能表示结束；在说话过程中出现的手势，则可能是同一个交流单元的一部分。

这项研究也说明，训练数据不能被当作一个中性的技术细节。参与者在记录期间完成了特定短语和常见手势。解码器从这组受到限制的行为中学习模式。若要用于日常生活，系统需要应对更大的语音词汇、更多手势、不断变化的疲劳程度、不同情绪状态，以及不同测试时段之间的正常变化。它还必须识别用户什么时候并没有试图交流。

神经信号本身也并非完全稳定。电极位置、组织反应、清醒程度、药物、疲劳和用户采取的策略，都可能改变神经记录。即便解码器表现强劲，也可能需要校准或修正。一个自信却错误地做出手势的系统，有时比一个停下来等待澄清的系统更具干扰性。因此，有价值的评估不能只看一个醒目的准确率数字，还必须包括错误恢复、用户控制，以及取消输出的能力。

它如何接入近期的其他进展

这项新研究出现之际，脑机接口正在经历多项进展，逐步走出单次实验室演示的范围。2026年7月，《Nature Medicine》发表的一项研究报告称，一名因肌萎缩侧索硬化症（ALS）而瘫痪并患有严重构音障碍的男性，能够独立、近乎每日地使用皮层内脑机接口，持续时间接近两年。参与者在家中使用系统超过3800小时，交流了183060个句子；在个人使用场景中，他的平均速度为每分钟56个词。系统还支持光标控制，因此他能够操作电脑。

那项成果回答了这个领域长期面对的一个问题：植入式系统能否在研究时段之外继续提供有用的交流？而这项由旧金山分校牵头的研究提出的是另一个问题：交流能否同时包含言语和非言语表达？把两条研究路线放在一起，可以看出进展并不是朝着一个完美的“思想直接变成语音”设备单线冲刺。速度、稳定性、家庭使用、表达范围、校准、安全和用户自主权，都构成彼此不同的障碍。

更早的研究还展示了快速语音解码，以及为因瘫痪而无法说话的人直接合成音频。NIH在2025年4月对旧金山分校相关工作的总结中提到，一套系统能够把一名长期中风后瘫痪参与者尝试发出的语音，在不到四分之一秒内转换成可听见的词语。其他研究则探索了响度和说话模式等表达特征。新的手势研究沿着这条路线继续推进：研究重点从语音的声音，扩展到了交流更广泛的运动组织方式。

这样的比较也有助于把最新消息放回合理尺度。一套系统在受控实验中表现得非常出色，并不意味着它距离常规临床使用只有一步。家庭使用研究涉及一名参与者和一套特定的植入系统；语音与手势同步研究则涉及少数参与者，以及一组经过选择的短语和动作。这两项成果都不能证明通用型脑机接口已经可以广泛开具或部署。

最大的限制在于规模

研究的核心结果来自三名参与者，其中两人成功控制了全身数字化身。这足以证明可行性，却不足以说明系统能适用于所有可能受益的人。瘫痪可能由ALS、脑干中风、脊髓损伤以及其他病因造成。损伤的位置和范围、运动皮层仍存的活动、认知能力、疲劳程度及交流偏好，都因人而异。

解码器通常需要针对个人进行训练，因为不同人的神经信号差异很大。个性化可以提高表现，但也会让系统更难制造、校准和提供支持。临床部署需要一条可靠的路径，覆盖植入、训练、日常使用、维护以及最终更换或修订。对于身边没有大型研究团队的用户，这条路径同样必须行得通。

系统输出的也是数字化身，而不是恢复后的生物学运动。这不是批评，而是对当前技术能力的如实描述。脑机接口把神经活动转换为数字指令；它并没有修复脊髓通路、恢复喉部功能，也没有让用户重新获得四肢的自主控制。数字身体可能很有价值，但它会带来外观、声音、时间安排和身份呈现等设计选择。这些选择应由用户掌控，而不应由软件团队在用户不知情的情况下默默决定。

当前设备通过导线连接外部处理单元。在实验中，导线可以管理；但在日常生活中，它们不便，也可能限制行动。研究人员表示，计划测试完全植入式的无线版本。这个后续测试很重要，因为无线系统会提出自身的要求，包括电力、发热、可靠性、网络安全、数据传输和安全维护。它应被视为下一阶段的工程工作，而不是问题已经解决的证据。

准确率只是交流质量的一部分

研究人员常报告词错误率、分类准确率或交流速度，因为这些指标具有可重复性。它们确实有用，却无法涵盖使用交流假体的全部体验。一台设备可能正确解码许多词语，却仍然令人沮丧：它会打断用户，在用户疲惫时失效，无法表达不确定性，或者让更正变得困难。相反，一台速度较慢的设备，如果能让用户拥有更多控制权、减少不需要的输出，也可能更受欢迎。

对于多模态系统，还需要提出更多问题。用户能否选择是否发送一个手势？能否压制动作而不压制语音？能否修改一句话，然后以原本想要的重音重新播放？数字化身能否在正确的时间做出手势？交流伙伴能否看出系统什么时候不确定？当用户尝试做出不在解码器词汇表中的动作时，会发生什么？

这些问题并非单纯的界面润色。它们关系到安全、同意和独立性。神经系统不应把猜测出的意图直接变成不可逆的行动。对于交流而言，风险有时是社会性的，而不是身体性的：错误手势可能歪曲用户的态度或意思。更安全的设计，有时或许是先显示待处理指令，让用户确认后再发送。这会增加延迟，却也可能保护用户对表达内容的主导权。

隐私同样需要受到重视。交流型脑机接口并不会读取人的每一个想法，这项研究也没有展示不受限制的读心能力。它记录的是参与者尝试完成定义好的短语和手势时的神经活动。即便如此，这些数据仍然十分私密，必须谨慎处理有意输出与背景神经活动之间的边界。用户需要清楚地控制录制何时开始、哪些数据被保留、谁能够访问，以及这些数据能否被用于训练未来的模型。

为什么这是一项务实的好消息，而不是魔法

这项成果最令人鼓舞的地方，并不是技术已经克服了瘫痪，而是研究人员证明了交流中一个常被更简单系统丢弃的真实特征。团队没有把词语当成完整信息、把手势当成可有可无的装饰，而是测试了两者同时被尝试时会发生什么。组合表达拥有自己的神经特征，这一发现为未来的设计者提供了一个具体目标。

这种进展可以逐步积累。对组合神经信号更深入的理解，有助于改进解码器训练；更好的解码器可以支持更自然的界面；更自然的界面又能帮助研究人员发现用户真正看重哪些反馈。长期家庭研究能够暴露短时间实验室测试看不到的问题。这些经验最终可以为更安全的临床试验和更耐用的硬件提供方向。

潜在受益者，是那些仍然保有交流意图，却失去稳定控制语音、双手或其他可见动作能力的人。未来，这项技术或许能帮助部分ALS患者、脑干中风患者及相关病症患者，但不能仅凭一份新闻稿推断谁符合条件。植入手术具有侵入性，每个人在手术风险、潜在收益、训练负担和现有替代方案之间的权衡都不同。

目前，负责任的结论应当更为有限：一个由旧金山分校牵头的团队已经展示，在一小组瘫痪者中，植入式脑机接口能够把尝试发出的语音和上半身手势解码为同步、协调的交流。研究把领域推向更丰富的表达，也提供了证据，说明多模态解码必须作为多模态行为来训练。它还不是现成的语音替代品，不是瘫痪治疗方法，也不是适用于所有人的通用交流方式。

正因为同时保有希望与克制，这项成果才值得出现在严肃的科技新闻中。可衡量的改进是：同一次互动中，能够被表达的不再只有文字。仍然存在的不确定性也清晰可见：研究规模很小，硬件具有侵入性，设备需要导线，系统需要个性化和校准，而且距离独立的临床使用仍有很长的路。只有让这两面同时留在结论里，进展才真正有用。

来源