2022年08月20日更新 脑机接口将心理笔迹转化为屏幕上的文字

尹雁康
导读 科学家们正在探索多种方式让残疾人士与他们的思想交流。最新最快的方式又回到了一种表达自我的复古方式:手写。研究人员首次破译了与尝试

科学家们正在探索多种方式让残疾人士与他们的思想交流。最新最快的方式又回到了一种表达自我的复古方式:手写。研究人员首次破译了与尝试手写字母相关的大脑活动。该团队与一名大脑中植入了传感器的瘫痪参与者合作,使用一种算法来识别他试图写下的字母。然后,系统在屏幕上实时显示文本。

研究合著者、斯坦福大学霍华德休斯医学研究所研究员 Krishna Shenoy 与斯坦福大学神经外科医生杰米亨德森共同监督了这项工作,他说,随着进一步的发展,这项创新可以让瘫痪的人在不用手的情况下快速打字。

Shenoy 和他的同事于2021 年 5 月 12 日在《自然》杂志上报告说,通过尝试手写,研究参与者每分钟输入 90 个字符——是之前使用这种“脑机接口”打字记录的两倍多。

加州大学伯克利分校的神经工程师 Jose Carmena 没有参与这项研究,他说,这项技术和其他类似技术有可能帮助患有各种残疾的人。他说,虽然这些发现是初步的,但“这是该领域的一大进步。”

Carmena 说,脑机接口将思想转化为行动。“这篇论文就是一个完美的例子:界面解码了写作的思想并产生了行动。”

思想驱动的交流

当受伤或疾病剥夺了一个人的移动能力时,大脑用于行走、拿杯咖啡或说一句话的神经活动仍然存在。研究人员可以利用这项活动来帮助瘫痪或截肢者恢复失去的能力。

需要因残疾的性质而异。一些失去双手的人仍然可以使用带有语音识别和其他软件的计算机。对于那些说话有困难的人,科学家们一直在开发其他方式来帮助人们交流。

近年来,Shenoy 的团队解码了与语音相关的神经活动,希望能够重现它。他们还设计了一种方法,让植入传感器的参与者利用与尝试手臂运动相关的思想来移动屏幕上的光标。以这种方式指向和点击字母可以让人们每分钟输入大约 40 个字符,这是以前使用脑机接口 (BCI) 打字的速度记录。

然而,没有人看过笔迹。Shenoy 小组的神经科学家 Frank Willett 想知道是否有可能利用笔在纸上诱发的大脑信号。“我们希望找到让人们更快沟通的新方法,”他说。他也受到了尝试不同事物的机会的激励。

该团队与一名参加名为 BrainGate2 的临床试验的参与者合作,该试验正在测试 BCI 的安全性,这些 BCI 将信息直接从参与者的大脑传递到计算机。(该试验的负责人是 Leigh Hochberg,他是布朗大学麻省总医院和普罗维登斯 VA 医学中心的神经病学家和神经科学家。)Henderson 将两个微型传感器植入大脑控制手和手臂的部分,这使得例如,该人通过尝试移动自己瘫痪的手臂来移动机器人手臂或屏幕上的光标。

该参与者在研究时 65 岁,脊髓损伤使他从颈部以下瘫痪。当这个人想象写作时,使用传感器从单个神经元接收到的信号,机器学习算法识别出他的大脑对每个字母产生的模式。有了这个系统,这个人可以复制句子和回答问题,速度与他这个年龄的人在智能手机上打字的速度相似。

Willett 说,这种所谓的“Brain-to-Text”BCI 速度如此之快,是因为每个字母都引发了一种非常独特的活动模式,这使得算法相对容易将一个字母与另一个字母区分开。

一个新系统

Shenoy 的团队设想使用尝试手写输入文本作为更全面系统的一部分,该系统还包括点击导航,很像当前智能手​​机上使用的导航,甚至尝试语音解码。“拥有这两种或三种模式并在它们之间切换是我们自然会做的事情,”他说。

接下来,Shenoy 说,该团队打算与无法说话的参与者合作,例如患有肌萎缩侧索硬化症的人,这是一种导致运动和言语丧失的退行性神经系统疾病。

亨德森补充说,新系统可能会帮助那些因多种疾病而瘫痪的人。其中包括脑干中风,它折磨着让·多米尼克·鲍比(Jean-Dominique Bauby),他是《潜水钟与蝴蝶》一书的作者。亨德森说:“他通过使用眼球运动,一次一个地精心挑选人物,从而写出了这本动人而美丽的书。” “想象一下他可以用弗兰克的手写界面做什么!”

标签:

免责声明:本文由用户上传,如有侵权请联系删除!