Nature封面：脑机接口重磅突破!可将脑中“字迹”转为屏幕字句，速率创纪录，精确率超99%

当一团体因受伤或疾病而四肢瘫痪，乃至不克不及措辞时，只需年夜脑的神经运动仍旧存在，迷信家们就有才能帮忙患者复原交流才能。

这不是科幻，最新的脑机接口（BCI）技术曾经在这一方面完成突破，并且效率超乎想象，最高可超 99%。

此前，脑机接口畛域的一年夜研讨核心是复原患者 “活动技巧”，比方通过脑机接口操控机器臂抓取物品，或通过脑机接口挪动电脑光标、点击字母输出等。

此次，来自斯坦福年夜学的研讨职员开发了一条新途径，他们将人工智能（AI）与脑机接口设备联合，胜利开辟出一套全新的皮质内脑机接口体系，该体系应用年夜脑活动皮层的神经运动可解码 “手写” 字迹，并使用轮回神经网络（RNN）解码办法将字迹及时翻译成文本，疾速将患者敌手写的设法主意转换为电脑屏幕上的文本。

研讨论文以封面模式颁发在最新一期的《自然》杂志上，被视为是该畛域的一年夜技术提高。

该研讨论文的作者之一、斯坦福年夜学霍华德？休斯医学研讨所（HHMI）研讨员克里希纳？谢诺伊（Krishna Shenoy）表现，这次研讨的最年夜的立异是初次破译了与手写条记无关的年夜脑旌旗灯号，可以让瘫痪患者不必手也能疾速打字。他与斯坦福神经内科大夫杰米？亨德森（Jaimie Henderson）独特参加了这项研讨，论文的第一作者则是异样来自 HHMI 的迷信家弗兰克？威利特（Frank Willett）博士。

在试验中，一名受试者可以每分钟输出 90 个字符，这是此前使用脑机接口打字纪录的两倍多，接近同龄健全人每分钟 115 个字符的智能手机打字速率，并且在线原始精确率为 94.1%，离线自动校订的精确率超过 99%。

加州年夜学伯克利分校的神经工程师何塞卡梅纳（Jose Carmena）并未参加这项研讨，但他以为，这项技术有后劲帮忙各类残疾人，虽然研讨成果是初步的，但 “这是该畛域的一年夜提高。”

美国国立卫生研讨院脑迷信筹划（NIH BRAIN Initiative）主任约翰？恩盖（John Ngai）博士表现：“这项研讨代表了 BCI 和机械培训技术倒退的紧张里程碑，相关研讨正在提醒人脑若何节制像通信如许简单的进程，为改善神经毁伤和瘫痪者的生存提供了紧张根底。”

脑中字迹的神经表征

现实上，这项研讨其实是脑机接口名目 BrainGate 的一部门，这是一个多机构同盟名目，旨在帮忙那些失去肢体或其他身材功效节制才能的人，比方患有肌萎缩性侧索软化症（ALS）或脊髓毁伤的患者等。试验中被称为 “T5” 的受试者，在 2007 年因为脊髓毁伤简直失去了颈部以下的一切运动才能，手部举措仅限于抽搐和微动。

在试验中，亨德森在 T5 的左侧年夜脑植入了两个脑机接口芯片，每一个芯片都有 100 个电极，担任接管活动皮层（年夜脑最外层的一个区域）神经元收回的旌旗灯号，活动皮层是节制手部活动的区域，这些神经旌旗灯号通过电线发送到盘算机，由人工智能算法解码旌旗灯号并推测 T5 的手和手指的预期活动。

与真实可见的手写字迹相比，要 “读取” 想象中的字迹最难的一点是什么？无疑，是若何捕获这些字迹在年夜脑中的神经表征，以及这些表征能不克不及用。

为了评价手写的神经表征，受试者 T5 必要依照电脑屏幕给出的指令，一次 “手写” 一个字符，每个字母反复 27 次实验。

依据以往的教训，研讨职员起首使用主身分阐发来显示包括最多方差的前三个神经维度特征。

研讨职员发现，因为神经运动的岑岭和低谷因光阴有所分歧，能够因为书写速率的动摇，神经运动仿佛是强烈和可反复的。为了直观地察看字迹测验考试进程中记载的神经运动，他们使用光阴比对技术来打消光阴变同性，这提醒了每个字符特有的显着一致的神经运动形式。

为了确定神经运动是否编码绘制了每个形态所需的笔尖活动，研讨职员通过从实验均匀神经运动中线性解码笔尖速率来重修每个字符，容易识别的字母形态证明了笔尖速率是靠得住编码的，代表笔尖速率的神经维度占总神经方差的 30%。

其次，研讨职员采取非线性降维办法（t-SNE），对每个实验的神经运动进行二维（2D）可视化，在对受试者给出 “go” 的提示跋文录相关信息。

t-SNE 办法显示了每个字符的神经运动慎密簇和一种主导活动编码，在这种编码中，书写类似的字符更接近，快要邻分类器离线利用到神经运动中，可以对字符进行分类，精确率为 94.1%。

于是，研讨职员得出论断，即便在瘫痪多年后，活动皮层中字迹的神经表征能够仍足够弱小，可以通过脑机接口技术表白进去。

能不克不及解码 “手写句子”？

胜利解码手写字母的终极目的，是让瘫痪患者完成流利的对交际流才能，这必要及时解码 “意念” 手写字迹，并完全出现出他们想要表白的信息。

为此，研讨职员特意训练了一个轮回神经网络，将神经运动转化为描写每个字符在每个时辰被写入的能够性概率，这些概率可以用一种复杂的办法来设定阈值，从而收回团圆字符，或许通过使用一个年夜词汇量语言模子进行更普遍的处置，以模拟离线利用的自校订特征。

研讨职员在试验中使用了 31 个字符的限制集，包含字母表中的 26 个小写字母，以及逗号、顿号、问号、句号和空格，为了搜集试验中轮回神经网络的训练数据，他们必要记载 T5 依照电脑显示器上的批示，以本人的速率手写完全句子时的神经运动。

在第一天的及时评价之前，研讨职员搜集了 3 个实验日内统共 242 句话，这些句子被组合起来训练轮回神经网络。在随后每一天的及时测试中搜集额定的训练数据，并在评价前从新校准，至末了一天统共发生了 572 个训练句子（包含 31472 个字符）。

为了训练这个轮回神经网络，研讨职员采取了语音辨认中的神经网络办法来降服两个症结挑战：

（1）训练数据中每个字母的书写光阴未知（由于 T5 的手瘫痪），这使得利用监视培训技术具备挑战性；

（2）与典型的 RNN 数据集相比，数据集的年夜小无限，是以很难避免对训练数据的适度拟合。

在如许的根底上，研讨职员在 5 天的光阴里对轮回神经网络的表示进行评价，天天包括 4 个评价块，包括 7-10 个轮回神经网络从未承受过训练的句子。受试者 T5 会从屏幕提示中复制每个句子，试图一个字母一个字母地手写，而解码的字符在轮回神经网络检测到时及时呈现在屏幕上。

经测试，字符呈现与 T5 在年夜脑里 “手写” 之间会有一个长久的延迟，年夜概为 0.4-0.7 秒，令人兴奋的是，整体打字速率很快，均匀每分钟可打出 90 个字符，均匀差错率仅为 5.4%。当研讨职员使用语言模子离线进行自动更正差错时，整个体系的差错率则进一步下降了，其字符差错率降低到 0.89%，单词差错率降低到 3.4%，与天下上最先进的语音辨认体系（单词差错率为 4–5%）相比，展示出了极好的可用性。

末了，为了摸索能够的解码性能限定，研讨职员还离线训练了一个新的轮回神经网络，使用一切可用的句子以非因果的方式处置整个句子。在这种环境下，仅呈现了 0.17% 的字符差错率，这标明性能的潜在下限其实很高，虽然这种解码器今朝无奈向用户提供逐字反应。

试验成果还证明，当受试者编写本人天生的句子（而不是复制屏幕上的提示句）时，也可以得到较高的性能，每分钟可打出 73.8 个字符，及时字符差错率为 8.54%，语言模子差错率为 2.25%。

解码器的改良偏向

借助天天搜集的 “校准” 数据，研讨职员天天也对 “手写字迹” 解码器进行再训练。

再训练有助于解释跟着光阴的推移而发生的神经记载变动，这能够是由神经可塑性或电极阵列微动惹起的，而抱负环境下，为了加重受试者的负担，应该用起码或不必要校准数据。

值得注意的是，试验数据标明，当两个会话之间只颠末 2-7 地利，在没有解码器从新训练的环境下，性能显示出了神经记载的短期稳定性。

面临这种环境，研讨职员测试相识码器是否可以通过使用语言模子来纠错和从新训练解码器，从而绕过中止用户校准的必要，以无监视的方式从新训练。令人鼓励的是，无监视再训练的原始差错率仅为 7.3%。

解码器是否能用起码的从新校准数据胜利地再训练，也取决于神经运动随光阴变动的速率。试验评价了与每个特征相关的神经形式的稳定性，发现短期稳定性很高（相隔 7 天或更短光阴），这些成果对临床病例是有愿望的，由于它们标明无监视解码器再训练，能够有助于完成高性能。

这项研讨完成的每分钟输出 90 个字符，发明了迄今为止报道的相关类型脑机接口技术的最疾速度，关于皮质内脑机接口来说，之前最好的办法是用 2D 电脑光标点击输出，每分钟仅可以输出 40 个正确字符，点击式脑机接口的输出速率次要受解码精度的限定，在参数优化进程中添加光标增益以进步打字速率，直到光标挪动过快，因为解码差错而变得无奈节制为止。

研讨职员经比照阐发，手写字母能够比点对点活动更容易区分，由于手写字母的神经运动时空形式比直线活动更为多样，而随光阴变动的活动形式，从基本上说比点对点活动更容易解码。(100yiyao.com）