基于视图编解码的脑控机械臂系统和控制方法与流程

本发明涉及脑-机接口与机械臂控制技术，具体涉及基于新型视图编解码方法的脑控机械臂系统。

背景技术：

脑-机接口(brain-computerinterface,bci)的核心技术在于探索大脑信息并解码用户意图，常规的脑-机接口系统包括连续的五个阶段：信号采集、预处理(或信号增强)、特征提取、分类和接口控制。

信号采集阶段捕捉到大脑信号并进行信号降噪和硬件处理；预处理阶段为后续处理准备适当形式的信号；特征提取阶段是标识被提取出来的大脑信号中的信息，映射到一个包含有效判别功能的特征向量；分类阶段是对特征向量进行识别；控制接口阶段是将分类的信号转换为控制指令给所连接设备，如轮椅、计算机、机械臂等等，即对接到bci的应用层。对基于脑电(electroencephalography,eeg)的bci系统而言，特征提取和分类阶段是决定bci系统的关键所在。一方面是因为脑电信号可能由于肌电和眼电的干扰而失真；另一方面，为了减少特征提取阶段的复杂性，须尽量降低特征向量的维度，但同时要保证重要有用信息没有损失，这是一项非常具有挑战性的任务。因此，为了解码用户意图，选择合适且高效的方法提取有用特征，实现有效的分类识别显得至关重要。

技术实现要素：

为克服现有技术的不足，本发明旨在将编码目标的二维拓扑信息映射为视图像素指令，从而进一步映射为智能机械臂的六维(即6d)空间坐标，实现bci的输出方式由传统的一维信息变为二维信息。为此，本发明采取的技术方案是，基于视图编解码脑控机械臂控制方法，把脑-机接口与机械臂控制相结合，采用任务相关成分分析算法，解码混合脑电特征，实现对用户意图的识别，其中，通过将编码目标的二维拓扑信息映射为视图像素指令，从而进一步映射为智能机械臂的六维空间坐标，实现bci信息输出方式由一维到二维，从而实现机械臂控制。

二维拓扑信息映射为视图像素指令进一步地具体步骤如下：脑-机接口bci刺激界面设置为由m行n列组成的像素矩阵块，每个像素块的中心称为端点，对需要编码的目标设置成由若干个目标端点组成的二维拓扑结构，通过对目标端点的识别顺序和端点之间连接关系的规定，实现对具有二维拓扑结构目标的编码和解码，即将编码目标的二维拓扑结构映射为视图像素指令，通过端点之间的连接，实现bci输出二维信息，bci每次对操控意图的识别，结果会先以视觉反馈的形式呈现在屏幕上，受试者可以根据反馈结果，在规定时间内通过动作取消本次指令输出，否则默认指令正确，并进行机械臂控制。

采用基于滤波器组的集成任务相关成分分析trca(task-relatedcomponentanalysis)对脑电特征信息的识别，滤波器组是通过设计不同的滤波频带，尽可能多的提取脑电信号中的有用信息，在第一个滤波器设计时，滤波通带应包含1-10赫兹的事件相关电位成分erp(event-relatedpotential)。

任务相关成分分析是根据受试者个体信息作为训练集，将训练集信号投射到不同的空间域内，以寻找到最佳投影方向，使得训练集不同样本间的协方差和最大，即训练集在该方向投影后具有最大的相关性,最后将测试信号在该方向投影后与训练集的数据计算相关系数，从而解码脑电信息得到决策值。

任务相关成分分析过程如下：采集记录的nc个导联的脑电信号分别为xj(j＝1,2,...,nc)，xj，j＝1,2,……,nc所有试次trial间可能组合的总和为：

其中，cov(a,b)代表了a和b之间的协方差，ntrial代表了训练集的试次数量，h1和h2代表了训练集样本编号的索引,为了获得最终结果，对以下条件进行限定：

此时，寻找最佳投影方向的问题可以转化为以下的最优化问题：

拉格朗日求极值法可以有效的解决此优化问题，q^-1s即为所求的最佳投影方向，所有目标刺激频率的投影方向可以按以下等式整合为：

其中，nf是刺激频率的个数，测试集和个体平均模板之间的相关系数即决策值按以下等式计算：

将滤波器组和任务相关成分分析方法结合，对不同滤波频带下的脑电特征应用trca方法，分别得到各个通频带下的相关系数矩阵，依据公式(6)对相关系数矩阵进行加权融合，最终得到一系列决策值，挑选出其中最大的数值见公式(7)，其对应的位置即为靶目标，从而实现了识别分类目的；

其中，是在编号为m的滤波器通带下，第k个目标的相关系数；m为所有目标指令个数：

τt＝argmaxρk,k∈[1,m](7)。

刺激界面2d坐标系到机械臂6d坐标系按以下步骤进行变换：

1、首先对机械臂子系统的操作平台进行标定，并记录操作平台左上角的6d位置坐标(x,y,z,rx,ry,rz)；

2、由于视觉刺激界面为二维平面，且为n行*m列的像素块，所以界面水平轴记为x轴，向右为正方向，竖直轴记为y，向下为正方向，界面左上角记为原点(0,0)，则右下角的坐标为(m-1,n-1)，对此界面坐标系进行归一化处理，右下角坐标变为(1,1)，对于界面上任意一点(x,y)，在坐标系归一化之后，变为

3、设机械臂子系统的操作平台长*宽为n*m，由归一化之后的坐标系映射到一个n*m的平面，即原界面任意一点(x,y)映射为

4、经过以上步骤的映射变换，刺激界面任意一点(x,y)，映射为机械臂子系统的6d位置坐标：其中rx,ry,rz分别代表了机械臂在不同方向上的旋转角度，x,rx,ry,rz在机械臂标定后为固定常数。

基于视图编解码的脑控机械臂系统，包括：脑电采集器，脑电放大器，计算机，可编程控制的机械臂，脑电采集器采集的脑电信号经脑电放大器放大后，再经模数转换输入计算机，计算机根据收到的脑电信号对机械臂实施控制，其中，计算机中：脑-机接口bci刺激界面设置为由m行n列组成的像素矩阵块，每个像素块的中心称为端点，对需要编码的目标设置成由若干个目标端点组成的二维拓扑结构，通过对目标端点的识别顺序和端点之间连接关系的规定，实现对具有二维拓扑结构目标的编码和解码，即将编码目标的二维拓扑结构映射为视图像素指令，通过端点之间的连接，实现bci输出二维信息，bci每次对操控意图的识别，结果会先以视觉反馈的形式呈现在屏幕上，受试者可以根据反馈结果，在规定时间内通过动作取消本次指令输出，否则默认指令正确，并进行机械臂控制。

本发明的特点及有益效果是：

本发明提出了一种新型视图编解码方法，把脑-机接口与机械臂技术相结合，通过将编码目标的二维拓扑信息映射为视图像素指令，从而进一步映射为智能机械臂的6d空间坐标，首次实现了bci信息输出方式由一维到二维的重大变革。依据该方法，以具有二维拓扑结构的汉字为例，首次实现了bci系统书写任意汉字的功能，实现了bci信息输出方式由“拼”到“写”的重大改变。本系统有望获得可观的社会效益和经济效益。

附图说明：

图1为本发明的结构示意图。该设计主要包括视图编码界面，视图解码算法，坐标映射算法，机械臂控制子系统四部分。

图2混合bci刺激范式说明。a)108像素块分布图；b)12个模块的频率和初相位；c)和d)模块1和8的编码时序图。

图3书写示例——福。a)汉字“福”在刺激界面的二维拓扑分布图；b)“福”每个笔画对应的目标端点编号。

图4机械臂控制子系统。

具体实施方式

脑-机接口(brain-computerinterface,bci)是一个将中枢神经系统活动直接转化为人工输出的系统，它能够替代、修复、增强、补充或者改善中枢神经系统的正常输出，从而改善中枢神经系统与内外环境之间的交互作用，具有广阔的应用前景和技术优势。本发明提出了一种新型视图编解码方法，把脑-机接口与机械臂技术相结合，采用任务相关成分分析算法，解码混合脑电特征，实现对用户意图的识别。通过将编码目标的二维拓扑信息映射为视图像素指令，从而进一步映射为智能机械臂的6d空间坐标，首次实现了bci信息输出方式由一维到二维的重大变革。该方法的相关研究思路可为基于视图编解码的高速、高分辨率脑控系统的设计和推广应用提供参考。

本发明提出了一种新型视图编解码方法，把脑-机接口与机械臂技术相结合，通过编码、解码脑电信息，旨在将编码目标的二维拓扑信息映射为视图像素指令，从而进一步映射为智能机械臂的6d空间坐标，实现bci的输出方式由传统的一维信息变为二维信息。本系统有望获得可观的社会效益和经济效益。

系统结构如图1所示，系统主要包括视图编码界面，视图解码算法，坐标映射算法，机械臂控制子系统四部分。系统的功能实现，除了算法等软件的设计，还要依托硬件系统。其主要包括支持24位模/数转换的neuroscansynamps2脑电放大器，支持呈现视图编码界面、执行算法、在线采集、在线数据处理(如导联选择、降采样、滤波、截取数据等等)、实时视觉听觉结果反馈的高性能计算机，以及支持可编程控制的机械臂子系统。下面对系统的主要组成部分进行介绍。

一视图编码界面

针对传统bci拼写器只能输出一维信息的问题，本发明提出基于像素的视图编码方法，实现bci系统信息输出方式由一维到二维的变革。具体来说，我们将传统的bci刺激界面设置为由m行n列组成的像素矩阵块，每个像素块的中心称为端点，对需要编码的目标设置成由若干个目标端点组成的二维拓扑结构。通过对目标端点的识别顺序和端点之间连接关系的规定，就能实现对具有二维拓扑结构目标的编码和解码，即将编码目标的二维拓扑结构映射为视图像素指令，通过端点之间的连接，实现bci系统输出二维信息的功能。如图1所示，bci系统每次对操控意图的识别，结果会先以视觉反馈的形式呈现在屏幕上，受试者可以根据反馈结果，在规定时间内(具体时间可根据实际需求确定)通过咬牙(或眨眼等等)取消本次指令输出，否则默认指令正确，并进行机械臂控制。

依靠上述视图编码方法，以具有二维拓扑结构的汉字为例进行说明。针对汉字结构复杂，bci系统书写困难的问题，我们将汉字每个笔画的起点和终点分别设置为目标端点，通过对目标端点的识别和连接，实现了书写汉字的功能。下面以9*12的视图编码界面为例，对汉字“福”的书写进行示例说明：

如图2所示，界面被平均分割为3×4个模块，每个模块含有3×3个像素块，指令集(即像素块)一共108个。此刺激是由基于psychtoolbox工具箱编写，包含12个频率和相位，频率由12.4-14.6hz，同一列相邻位置相差0.8hz，同一行相邻位置相差0.2hz，相位间隔0.35π，采用了正弦采样的方式呈现。

实验开始时，受试者盯着目标像素块，12个模块同时开始闪烁，即每个模块内的9个像素块按预先编好的随机序列开始闪烁，每个像素块闪烁持续时间为200ms(毫秒)，当上一个像素块开始闪烁后100ms(毫秒)，下一个像素块开始闪烁。在这种高效的编码策略下，单个round(轮次)耗费时间仅为1s(秒)，大大缩短了实验时间，并能准确同时地诱发出p300和ssvep(稳态视觉诱发电位)特征。

如图3(a)所示，为书写示例汉字“福”在刺激界面的二维拓扑分布图；图3(b)为“福”每个笔画对应的目标端点编号，深色编号代表需选择一次作为目标端点(起点或终点)，深色色背景的编号代表需分别选择两次作为笔画的目标端点(起点或终点)。按汉字的书写规则以及视图编码方法的目标端点原则，对于脑控机械臂汉字“福”的书写，按以下端点序列进行：10-14-9-18-18-74-49-88-50-54-19-29-23-56-23-31-31-64-56-64-58-97-58-68-68-107-91-101-60-99-91-107。由此可见，该编码方法是以序列的第奇数次端点作为落笔起点，第偶数次端点作为起笔终点，以此进行任意汉字的书写。所以，对于bci系统，无论是基于p300特征，还是ssvep或其他信号特征的范式，均可以采用此编码方法，实现bci信息输出方式由一维到二维的改变。

二视图解码算法

对脑电特征信息的识别主要采用了基于滤波器组的集成任务相关成分分析(task-relatedcomponentanalysis，trca)算法。滤波器组的主要目的是通过设计不同的滤波频带，尽可能多的提取脑电信号中的有用信息，在第一个滤波器设计时，滤波通带应包含1-10hz的erp成分，该方法已被证明可以取得较好结果。

2.1任务相关成分分析

任务相关成分分析算法主要思路是根据受试者个体信息作为训练集，将训练集信号投射到不同的空间域内，以寻找到最佳投影方向，使得训练集不同样本间的协方差和最大，即训练集在该方向投影后具有最大的相关性。最后将测试信号在该方向投影后与训练集的数据计算相关系数，从而解码脑电信息得到决策值。

算法的数学推导如下：假设采集记录的nc个导联的脑电信号分别为xj(j＝1,2,...,nc)，所有试次(trial)间可能组合的总和为：

其中，cov(a,b)代表了a和b之间的协方差，ntrial代表了训练集的试次数量，h1和h2代表了训练集样本编号的索引。为了获得最终结果，对以下条件进行限定：

此时，寻找最佳投影方向的问题可以转化为以下的最优化问题：

拉格朗日求极值法可以有效的解决此优化问题，q^-1s即为所求的最佳投影方向。所有目标刺激频率的投影方向可以按以下等式整合为：

其中，nf是刺激频率的个数，测试集和个体平均模板之间的相关系数(即决策值)按以下等式计算：

2.2决策值融合和结果输出

将滤波器组和任务相关成分分析方法结合，对不同滤波频带下的脑电特征应用trca方法，可以分别得到各个通频带下的相关系数矩阵，依据公式6对相关系数矩阵进行加权融合，最终得到一系列决策值，挑选出其中最大的数值(公式7)，其对应的位置即为靶目标，从而实现了识别分类目的。

其中，是在编号为m的滤波器通带下，第k个目标的相关系数；m为所有目标指令个数。

τt＝argmaxρk,k∈[1,m](7)

采用此解码方法，10人平均离线结果表明，在第一个round处正确率73.80％，itr为150.09bits/min；在第五个round处正确率96.29％，itr为66.25bits/min，达到较好效果。

三坐标映射算法

刺激界面2d坐标系到机械臂6d坐标系按以下步骤进行变换：

1、首先对机械臂子系统的操作平台进行标定，并记录操作平台左上角的6d位置坐标(x,y,z,rx,ry,rz)。

2、由于视觉刺激界面为2d平面，且为n*m的像素块，所以界面水平轴记为x轴，向右为正方向，竖直轴记为y，向下为正方向。界面左上角记为原点(0,0)，则右下角的坐标为(m-1,n-1)。对此界面坐标系进行归一化处理，右下角坐标变为(1,1)。对于界面上任意一点(x,y)，在坐标系归一化之后，变为

3、设机械臂子系统的操作平台长*宽为n*m，单位毫米(mm)，由归一化之后的坐标系映射到一个n*m的平面，即原界面任意一点(x,y)映射为

4、经过以上步骤的映射变换，刺激界面任意一点(x,y)，可以映射为机械臂子系统的6d位置坐标：其中rx,ry,rz分别代表了机械臂在不同方向上的旋转角度(图4)，x,rx,ry,rz在机械臂标定后为固定常数。

四机械臂控制子系统

采用universalrobots公司的ur10六轴机械臂，工作空间为基座关节周围1300mm范围内的区域，机械臂的位置由6d坐标(x,y,z,rx,ry,rz)指定(如图4)，对于标定后的操作系统，x代表垂直高度，y和z分别代表了操作台的竖直轴和水平轴，单位为毫米(mm)，xyz坐标系符合右手法则；rx,ry,rz分别代表了在不同方向上的旋转角度，在机械臂标定后，rx,ry,rz是固定不变的常数。通过tcp/ip通信协议，上位机将坐标系映射后的6d位置坐标发送给机械臂控制子系统，机械臂控制子系统收到指令后以固定的速度线性移动到指定位置，完成相应任务。

本发明提出了一种新型视图编解码方法，把脑-机接口与机械臂技术相结合，通过将编码目标的二维拓扑信息映射为视图像素指令，从而进一步映射为智能机械臂的6d空间坐标，首次实现了bci信息输出方式由一维到二维的重大变革。该项发明可以用于残疾人康复、航空航天、工业控制等领域，有望获得可观的社会效益和经济效益。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除