美国留学

近20年来，脑机接口（BCI）迅速成为研究和应用的热点。自1973年Vidal首次提出脑机接口一词以来，脑机接口在神经科学、神经工程和临床康复领域受到越来越多的关注。脑机接口研究的最初目的是提供非肌肉控制的信息沟通渠道，帮助患有严重运动障碍的患者与外界进行沟通。脑电图、脑磁图、功能磁共振成像、近红外光谱功能成像、神经元记录等监测大脑活动的方法都可以为脑机接口提供输入信号。在所有方法中，脑电图（EEG）凭借其非侵入性、易于使用、设备价格低廉等优点，成为脑机接口研究中最常用的信号。典型的脑机接口系统由信号采集、信号处理和设备控制三部分组成（图1）。本文仅关注基于脑电图的非侵入性脑机接口方法。

图1 基于脑电图的无创脑机接口系统框图

20世纪初脑机接口研究先驱的工作为脑机接口领域奠定了重要基础。 1977年，Vidal开发了一种基于视觉事件相关电位（ERP）的脑机接口系统，可以通过观察同一视觉刺激的不同位置来选择四种控制指令。 1988年，Farwell和Donchin提出并设计了P300拼写器，将字符排列成66的字符矩阵，矩阵中的字符按行或列随机闪烁，诱发P300分量。 20 世纪90 年代初，基于感觉运动节律的脑机接口出现了。沃普劳等人。训练用户自行调节mu节奏的幅度，通过mu节奏幅度的变化实现光标的一维控制。普福特谢勒等人。构建了一个基于感觉运动节律的事件相关去同步化（ERD）的脑机接口系统，以区分想象的左/右手运动与ERD 的时空模式。与此同时，基于事件相关电位的脑机接口范式也得到进一步拓展。 1992年，Sutter开发了一种基于伪随机序列调制视觉诱发电位（VEP）的大脑反应接口。该系统使用VEP 来识别用户在88 视觉键盘上注视的方向。 1999 年，Birbaumer 等人。利用慢皮质电位（SCP）的幅度变化来控制光标的一维运动，并实现了一种称为思维翻译装置（TTD）的文本拼写脑机接口。

21世纪后的20年里，脑机接口研究发展迅速。参与脑机接口研究的机构数量和相关科学出版物数量大幅增加。自2000 年以来该领域同行评审论文的数量就证明了这一点（图2）。

图2 以EEG和BCI为关键词，在Scopus中检索2000年至2017年发表的论文数量

脑机接口研究在算法、范式、应用三个方面取得了长足进展。在算法研究方面，先进的脑电信号处理和机器学习算法应用于早期的脑机接口范式（例如基于P300电位和感觉运动节律的脑机接口）并取得了显着的性能提升。在系统范式方面，基于稳态视觉诱发电位（SSVEP）的脑机接口、基于运动起始视觉诱发电位（mVEP）的脑机接口等诸多新范式相继涌现并日趋成熟。各种基于事件相关电位的视听脑机接口已被证明具有较高的信息传输率（ITR）。在传统脑机接口的基础上加入其他生理信号而形成的混合脑机接口（hybrid BCI）范式在脑机接口的性能和系统灵活性方面显示出优势。在系统应用方面，各种脑机接口应用不断涌现，大大拓展了脑机接口的应用范围。专为沟通和运动康复而设计的辅助/康复脑机接口已广泛应用于实验研究和临床试验，并已验证这些系统对肌萎缩侧索硬化症、中风和脊髓损伤患者的作用。此外，针对健康人群的脑机接口技术的非医疗应用也呈现稳定增长趋势，涉及安全、教育、游戏、状态监测以及身体、感官或认知能力增强等多个领域。

近年来，脑机接口技术取得了快速发展，脑电编解码的许多新范式和新方法不断涌现。尽管脑机接口的性能得到了显着提升，但脑机接口系统从实验室研究走向实际日常生活应用仍然存在许多挑战。本文重点关注基于脑电图的非侵入性脑机接口，从脑机接口的类型、应用和挑战三个方面介绍基于脑电图的脑机接口的研究现状。

脑机接口的类型

脑机接口的分类不仅有助于总结当前脑机接口的水平，而且有助于建立系统设计的通用框架。为了对当前的脑机接口系统进行有针对性的概述，本文根据脑电信号的特点，将现有的基于脑电的非侵入性脑机接口系统分为三类：1）基于事件相关电位的BCI ; 2）基于感觉运动节律的脑机接口； 3）混合脑机接口。本文重点介绍脑机接口研究中广泛使用的脑电信号和相应的系统范式（表1）。需要指出的是，除了脑电信号外，混合脑机接口研究还包括肌电图、眼电图等其他类型的生理信号，以及近红外光谱（NIRS）等其他神经活动检测方法。

表1 基于脑电图的脑机接口系统分类

基于事件相关电位的脑机接口

1）用于脑机接口研究的事件相关电位信号。事件相关电位（ERP），以前称为诱发电位（EP），是由刺激引起的脑电活动。事件相关电位的波形通常由多个波峰和波谷组成，称为事件相关电位分量。脑机接口系统中广泛使用的事件相关电位信号有两类。第一类是视觉诱发电位，包括瞬态视觉诱发电位（TVEP）、稳态视觉诱发电位、运动开始时的视觉诱发电位和编码调制视觉诱发电位（code-modulated VEP，cVEP）。视觉诱发电位是由视觉刺激引起的事件相关电位，在大脑枕叶区反应最强。另一种类型是P300 电位，它是相关事件刺激后300 至400 ms 内出现的正波。它在大脑的中央和顶叶区域有强烈的反应。在奇怪的实验范式中，它反映了刺激评估、选择性注意和有意识辨别的过程。除了上述两类事件相关电位信号外，还有少数研究使用其他类型的事件相关电位信号，如听觉诱发电位（AEP）、N2pc、错误相关负性（ERN）、和N400。如图3所示，基于事件相关电位的视听脑机接口通过注意力和心理任务来调制视觉和听觉刺激诱发的事件相关电位，用于解码感觉、知觉和认知活动。

图3 基于事件相关电位的视觉和听觉脑机接口范式

2）事件相关电位的刺激编码。通过引入通信领域的多址（MA）技术，可以对事件相关潜在脑机接口中的刺激编码方法进行系统分类。这种分类有助于促进对系统范式的理解，使它们能够在信号调制的框架下得到统一。事件相关潜在脑机接口系统中的信号调制方式可分为时分多址（TDMA）、频分多址（FDMA）、码分多址（CDMA）和空分多址（CDMA）。 -pision多址（SDMA），时分多址允许多个用户通过将信号分成不同的时隙来共享相同的通信信道。最常见的基于视觉P300电位的脑机接口、mVEP、tVEP均采用时分多址方式进行调制；其次，频分多址将整个频段划分为多个独立的频段，基于稳态视觉诱发电位的脑机接口是典型的频分多址系统。与时分多址方法相比，频分多址方法具有更高的编码效率。第三，码分多址通过分配不同的序列来调制用户的信号。基于视觉诱发电位伪随机序列调制的脑机接口是典型的码分多址系统。码分多址脑机接口系统具有与频分多址相当的性能。最后，空分多址将地理空间划分为多个用户的更小的空间。基于空分多址的脑机接口系统可以利用视野中不同刺激位置的视网膜视图映射来诱导不同的tVEP或SSVEP空间模式。 SDMA 中的目标数量通常受到基于EEG 的视网膜定位的低空间分辨率的限制。

3）事件相关电位的解码。事件相关电位的解码可以看作是脑电模式识别问题，包括数据预处理、特征提取和分类。信号处理和机器学习是事件相关电位解码中的两种主要数据分析技术。信号处理算法已广泛应用于预处理和特征提取步骤。数据预处理的目的是通过去除与任务无关的噪声来提高事件相关电位信号的信噪比。带通滤波和空间滤波是两种常见的预处理技术。带通滤波用于保留与事件相关的电位信号相对应的频率范围。空间滤波计算多通道脑电信号的加权线性组合，以找到最能区分不同类别的投影方向。此外，多次试验平均是提高事件相关电位信噪比的另一种有效方法。经过预处理后，需要提取能够反映事件相关电位信号特征的特征，通常利用信号的时空信息。除了时域和空间域的特征之外，频域的特征也被用来检测SSVEP。特征提取后，应用机器学习算法进行分类。线性判别分析（LDA）和支持向量机（SVM）等分类器算法被广泛用于对事件相关电位的时空特征进行分类。

基于感觉运动节律的脑机接口

1）脑机接口研究的感觉运动节律。在想象的运动过程中，mu/beta节律的事件相关去同步/同步（ERD/ERS）显示出与不同状态（例如，左手和右手）相对应的独特空间模式。大量研究表明，通过反馈训练，人们可以使用想象的运动来调节感觉运动节律的幅度（上升或下降）。近年来，基于感觉运动mu/beta节律的脑机接口发展迅速。想象运动是实现感觉运动节律脑机接口的基本策略。例如，在Wolpaw 及其同事开发的Wad-sworth BCI 中，受试者利用其mu/beta 节律幅度来实现一维、二维或三维光标控制。感觉运动节律脑机接口的另一种实现方式是使用模式分类技术对想象的运动状态（例如左手和右手）进行分类。由Pfurtscheller 领导的格拉茨BCI 使用空间过滤器和分类器来训练受试者产生可区分的想象运动状态，从而建立允许同步脑机协作学习的脑机接口系统。当想象不同身体部位（包括左右手、脚和舌头）的运动时，该系统可以区分与事件相关的去同步/同步的更复杂的时空模式。图4是基于想象运动的脑机接口系统原理示意图。

图4 基于想象运动的脑机接口范式

2）感觉运动节律的特征提取和分类。用于检测与mu/beta 节律事件相关的去同步/同步的常见特征包括频带能量值、希尔伯特变换的幅度包络和自回归模型。时频分析可以综合考虑脑电图在时域和频域的动态变化，提供更详细的特征，从而提高分类性能。除了时间和频谱特征外，与事件相关的电去同步/同步在想象的运动过程中表现出特定的空间模式，因此空间特征的提取对于区分想象的运动状态也尤为重要。例如，公共空间模式（CSP）及其扩展算法滤波器组公共空间模式（FBCSP）已被证明可以有效地提取想象运动状态的任务相关信息。独立成分分析（ICA）等无监督方法也被应用于提取独立的感觉运动成分，从而实现无需校准的零训练系统。此外，还利用脑力成像方法提取脑力空间的空间特征。在脑机接口中对想象的运动状态进行分类时，脑力成像方法显示出更高的空间分辨率和特异性等优势。此外，还应用非线性回归系数、锁相值幅度（PLV）和相位耦合测量等方法来提取大脑同步特征，这些特征可以反映想象运动中涉及的多个皮层区域之间的连接。特征提取后，常见的分类器（例如LDA和SVM）将特征转换为连续或离散的控制命令来操作外设。

混合脑机接口

1）混合模式。混合脑机接口是指将脑机接口与其他生理或技术信号相结合的系统。混合脑机接口的目的是通过集成多个输入信号来提高脑机接口的性能，从而扩大最终用户群。在混合脑机接口中，至少一个大脑信号被用作脑机接口的预期输入，以实现实时通信或控制。根据第二种信号模式，混合脑机接口可分为纯混合BCI和混合混合BCI。纯混合脑机接口通过结合两种脑电图模式各自的优点来提高整个系统的性能。常用的混合脑电模式包括事件相关电位和感觉运动节律的组合（如SSVEP想象运动、P300想象运动）和2种事件相关电位的组合（如P300-SSVEP、N2pc-SSVEP、cVEP） -SSVEP）。除了脑电信号的组合外，还可以使用其他类型的大脑信号来构建纯混合脑机接口。例如，结合近红外光谱和脑电图的脑机接口可以显着提高想象运动的分类准确性。交叉混合脑机接口将脑电图与其他非脑信号相结合，实现更精确、更可靠的控制。控制信号可以是生理信号（例如肌电图、眼电图、心电图）或来自其他现有输入设备（例如眼动追踪系统）的信号。例如，可以通过将患者残余肌肉活动调制的肌电信号与各种脑电信号相结合来实现混合脑机接口，从而显着提高准确性和信息传输速率。混合脑机接口根据不同模态信号的工作时序可分为串行和并行两种类型（图5）。

图5 基于事件相关电位和感觉运动节律的两种混合范式

2）混合脑电图信号。在纯混合脑机接口中形成混合脑电信号有两种不同的方法。一种方法是针对多种心理任务设计混合脑机接口范式，通过诱导不同的脑电信号实现单维或多维控制。例如，频率编码的SSVEP刺激可以叠加在使用标准行/列范式编码的P300刺激上，并且固定目标刺激可以同时诱导P300和SSVEP，从而提高对目标和非目标刺激的辨别力。同时进行的想象运动任务（想象左手或右手运动）和视觉注意任务（注视左侧或右侧闪烁的刺激）将同时产生两个独立的特征，事件相关的去同步和SSVEP，从而提高系统的分类性能。另一种方法使用单一类型的心理任务来诱发多个脑电图信号。事件相关电位和脑节律振荡的结合可以提高脑电模式的可区分性。例如，事件相关的去同步/同步和侧向准备电位（LRP）的组合有助于对想象的运动任务进行分类。

信息传输速率研究进展

在脑机接口研究中，信息传输率（ITR）是广泛使用的评估脑机接口性能的指标。信息传输速率定义为单位时间内传输的信息量（单位：bit/min）：

式中，M为目标个数； P为平均分类准确率； T是输出命令所需的时间。为了提高脑机接口的信息传输速率，通常需要考虑M、P、T三个参数以及它们之间的相互影响。

信息传输速率的发展

21世纪初，脑机接口系统的信息传输速率开始显着提高。 2002 年，Wolpaw 等人发表了一篇评论。提到脑机接口最大信息传输速率为10~25bit/min。近十年来，研究人员主要通过增加分类目标数量、提高目标识别算法的准确性、减少输出命令所需的时间来提高脑机接口的信息传输速率。对于基于感觉运动节律的脑机接口，虽然高效的信号处理和机器学习算法可以提高其信息传输速率，但其信号特征来自自发的脑电活动，可分类的目标数量较少。信息传输速率通常小于15位/分钟。基于事件相关电位的脑机接口信息传输速率取得重大突破。基于事件相关电位的脑机接口的信号特征源自诱发的脑电活动，这有助于增加分类目标的数量。随着高效信息编码和脑电解码方法的应用，基于当前事件相关电位的脑机接口的信息传输速率较早期提高了数倍。其中，P300脑机接口、SSVEP脑机接口、cVEP脑机接口的信息传输速率已超过100bit/min。与单模态脑机接口相比，并行范式混合脑机接口的信息传输速率可以显着提高，但其信息传输速率取决于所使用的信号。

高速SSVEP脑机接口

近年来，SSVEP脑机接口的信息传输速率从过去的60~75bit/min逐渐提高到300bit/min以上。 2014 年，陈等人。采用采样正弦编码方法开发了45个对象的文本输入系统，获得了105位/分钟的信息传输速率。通过滤波器组典型相关分析方法，信息传输速率进一步提高至151bit/min。中西等人。将单独的校准数据引入SSVEP检测中，并结合频率和相位混合编码方法，获得166位/分钟的信息传输速率。 2015 年，陈等人。提出了频率和相位联合编码方法，将信息传输速率提高到267位/分钟，拼写速度为1个字符/秒。 2018 年，Nakanishi 等人。开发了一种基于任务相关成分分析的SSVEP检测方法，实现了325bit/min的信息传输速率，这是目前报道的非侵入性脑机接口的最高信息传输速率。

脑机接口的应用

在电子、计算机、通信等信息技术快速发展的推动下，脑机接口正从实验室走向实际应用。现有的脑机接口应用主要集中在用户意图的解码和输出，即用户主动执行一定的心理任务，对意图进行编码，经脑电解码方法解读后转换为指令，从而实现与大脑的交流。设备的环境和控制。连接脑机接口的设备通常是辅助或康复设备，可用于医疗和非医疗领域。除了通讯和控制之外，脑机接口还用于实时监测用户的心理状态。

医疗领域的应用

脑机接口研究的初衷是帮助运动障碍患者。到目前为止，脑机接口的主要应用仍然集中在医疗领域。基于事件相关电位的脑机接口可能是最流行的脑机接口系统，作为严重运动障碍患者（例如肌萎缩侧索硬化症患者）的辅助沟通和控制方法。与感觉运动节律BCI相比，基于事件相关电位的BCI的主要优点是相对容易获得可靠信号并且需要较少的训练。肌萎缩侧索硬化症患者可以通过Vision P300脑机接口在家庭环境中长时间使用各种软件和家用电器。然而，对于失去控制眼球运动能力的完全锁定综合征（CLIS）患者来说，脑机接口的应用仍然存在挑战。与辅助通信和控制应用不同，感觉运动节律脑机接口被认为是一种有效的神经康复方法。脑机接口康复训练有望帮助患者加速失去的运动功能的恢复，在中风患者中应用最为广泛。感觉运动节律脑机接口检测患者的运动意图，并借助假肢或功能性电刺激（FES）将其转化为实际的肢体运动。这种大脑主动参与的康复训练被认为有助于神经回路的重组，从而加速受损运动功能的恢复。

非医学领域的应用

基于事件相关电位和感觉运动节律的脑机接口可以作为一种新的人机交互方法应用于非医学领域，特别是娱乐和游戏行业。用于游戏开发的脑机接口可以灵活地依靠脑电信号和其他类型信号的混合控制来实现新颖的人机交互方式。对于健康用户来说，一个新兴且重要的BCI应用方向是实时监测用户的心理状态（如警觉性、注意力、压力、认知负荷、情绪等）。这种类型的BCI，也称为被动BCI，通常可以采用混合BCI 的形式，在必要时还包括其他生理或环境信号，以便更全面地了解用户的状态。无源脑机接口可以在驾驶安全、教育、用户体验或神经营销等领域提供更客观的评估。尽管仍处于实验室研究的早期阶段，但脑机接口在非医学领域的应用数量正在稳步增加，并且拥有更广泛的应用群体。

非侵入式脑机接口研发面临的挑战

尽管各种脑机接口范式的可行性已得到验证，但将现有脑机接口技术从实验室研究阶段推向实用阶段仍面临诸多挑战。首先，脑机接口的性能有待提高。脑电编解码技术的突破是提高系统信息传输速率的关键。其次，脑机接口的实际实现很大程度上依赖于移动脑机接口平台的发展。此外，脑机接口的广泛应用将对人脑与机器融合的新型脑机交互和脑机融合技术提出更高的要求。

脑电编解码技术

脑机接口的性能是实现脑机接口实际应用的关键因素。由于脑电技术的限制，通信速率瓶颈问题尚未得到解决。尤其是在复杂环境下，信息传输速率低仍然是脑机接口应用的一大障碍。脑电编解码技术的改进是提高脑机接口信息传输速率的关键。面临的挑战主要包括以下两个方面。

1）分类精度对于估计信息传输速率至关重要。通过脑电编解码技术提高分类精度的研究可以概括为两个方向：（1）提高任务相关脑电信号的信噪比。先进的信号处理算法已应用于伪影消除、空间滤波和特征提取。 (2)最大化多个目标的可分离性。为此，基于机器学习的分类技术已广泛应用于特征提取、特征组合和分类。此外，还可以通过在脑电信号（例如混合脑电信号）中编码更多特征信息来提高多个目标的可分离性。

2）可识别目标的数量在信息传输率的估计中也起着重要作用。在基于感觉运动节律的脑机接口中，由于脑电图模式的空间分辨率较低，目标的数量非常有限（例如想象手、脚、舌头的运动）。通过启用2D 和3D 连续运动控制可以增加目标数量。基于事件相关电位的脑机接口在实现更多目标方面显示出独特的优势。可以利用通信领域的多址技术对大量目标进行编码。随着神经解码技术的发展，脑电信号有望被用来解读更高维度、更抽象的思维信息。

移动脑机接口

虽然基于脑电图的脑机接口在性能上取得了显着的进步，但实际的脑机接口应用却因缺乏便携性和繁琐的系统设置（例如涂抹导电膏）而受到限制。移动脑机接口平台的发展可以帮助脑机接口系统走出实验室，走进日常生活。设计移动脑机接口系统需要解决以下三个挑战。

1）移动脑机接口系统需要先进的脑电传感技术来取代基于导电浆料的电极皮肤接触。在传统的高密度脑电图系统中，这些步骤需要很长时间才能完成。干电极等新型脑电电极技术有望用于实现可穿戴、即用型脑电信号采集。

2）利用移动硬件进行刺激呈现、信号采集和数据收集的便携式平台对于扩展脑机接口应用是必要的。智能手机等移动设备的快速发展，使得实现真正的便携式脑机接口成为可能。

3）伪影去除技术是移动脑机接口所必需的。一般来说，在实验室环境中，受试者需要保持静止并仅专注于实验任务以获得干净的脑电图记录。然而，在日常生活中，由于用户的行为不受限制，运动伪影和环境噪声会对脑电信号造成严重干扰。

从脑机交互到脑机融合

经过近20年的快速发展，基于脑电的脑机接口系统建设规划已较为完善。人脑、脑机接口以及外部设备直接参与的脑机交互过程逐渐成为脑机接口研究的重点。目前，基于在线闭环脑机接口的脑机交互研究面临诸多挑战。

1）在脑机接口系统的构成中，脑机交互体现在人脑与计算机算法之间的交互学习和适应。需要脑学习和机器学习的交互适应，为脑电图的个体差异和非平稳问题提供有效的解决方案。

2）在脑机接口应用中，脑机交互体现为人脑与设备或环境之间的信息交互。基于视觉、听觉反馈和神经调节技术的双向闭环脑机接口系统需要具有更高的效率和可靠性。

3）随着人工智能和机器智能技术的快速发展，借助脑机接口构建的脑机智能技术将成为脑机接口发展的新方向。新型脑机混合智能需要结合生物智能（感知、记忆、推理、学习）和机器智能（集成、搜索、计算）的优势。

综上所述

在过去的20到30年里，基于脑电图的非侵入性脑机接口技术取得了前所未有的进步。除了帮助运动障碍患者与环境沟通的最初目的外，当前的脑机接口应用已经扩展到包括大脑状态监测、神经康复、认知增强等多个领域。广义的脑机接口系统可以被重新定义为利用在线脑信号分析技术影响人与环境之间实时交互的平台。目前脑机接口技术更侧重于通过人脑与输出设备的交互实现脑机一体化。将通过更实用的脑机接口应用，进一步研究动态脑机交互过程中人脑与设备的交互，并在此基础上开发更高效的脑机融合方法和系统。不久的将来，以神经信息获取、分析、调节、脑机融合为重点的新型脑机智能研究将推动脑机接口技术的重大创新和突破。 （责任编辑刘志远）

基金项目： 国家自然科学基金(61431007, 61671424, 6160

3416） 参考文献（略） 作者简介：陈小刚，中国医学科学院北京协和医学院生物医学工程研究所，助理研究员，研究方向为脑机接口；王毅军（通信作者），中国科学院半导体研究所，研究员，研究方向为脑机接口和神经计算。 注：本文发表于《科技导报》2018 年第12 期，敬请关注。