基于识别屏的双人互动上肢康复系统及其训练方法与流程

本发明涉及医学康复训练与评估领域，具体涉及一种基于识别屏的双人互动上肢康复系统及其训练方法。

背景技术：

众多脑卒中、脑外伤、脊髓损伤等患者都存在上肢运动障碍，严重影响了其生活质量；针对这些患者，需要进行积极的康复治疗才能恢复其功能。目前，上肢运动障碍的康复是一个相对下肢康复困难得多的领域，是康复界许多专家研究工作的重点。

目前上肢康复设备、康复技术比较少，只有家具式简单的上肢康复设备，比如磨砂板、手摇轮、木插板等，患者操作这些设备进行康复训练，不仅训练枯燥无味，没有兴趣，而且康复效果较差。另外，这些康复设备都是单个设备单人操作，不但占用面积大，设备的使用效率也低。

技术实现要素：

针对现有技术的不足，本发明提出一种基于识别屏的双人互动上肢康复系统及其训练方法。

为了达到上述目的，本发明采用以下技术方案：

一种基于识别屏的双人互动上肢康复系统，包括识别屏和操作机构，所述识别屏内设有训练模式选择模块、训练模式生成模块、识别模块、虚拟现实互动模块和评估模块，其中

训练模式选择模块，用于根据患者的上肢运动功能评定结果，在识别屏上选择训练模式；

训练模式生成模块，用于根据所选择的训练模式，在识别屏上生成虚拟训练场景和虚拟目标；

操作机构，包括具有不同底部结构的手柄a和手柄b，用于患者a手持手柄a、患者b手持手柄b根据训练要求对识别屏上生成的虚拟目标进行操作，完成双人互动训练；

识别模块，用于根据具有不同底部结构的手柄a和手柄b分别与所述识别屏接触时所返回的坐标值及坐标数量，实时识别并区分手柄a和手柄b，同时计算出手柄a和手柄b在识别屏上的运动数据，所述运动数据包括实时位置信息、运动速度和运动轨迹中的一种或多种；

虚拟现实互动模块，用于实时获取双人分别操作的手柄a及手柄b在识别屏上的运动数据，并根据手柄a及手柄b在识别屏上的运动数据使虚拟目标、虚拟场景与两手柄之间形成交互，让两患者完成双人互动上肢康复训练；

评估模块，用于根据手柄a和手柄b的运动数据和虚拟目标的运动轨迹，分别确定两患者的失误区域及相应失误次数；还用于根据所统计的失误区域、相应失误次数及训练完成情况分别对患者a和患者b的上肢康复训练情况进行评估；其中，所述失误区域为患者在识别屏上操作不到位的区域。

进一步的，所述识别屏为红外线屏时，所述手柄a与所述手柄b的底部具有不同数量的孤岛式结构，所述孤岛式结构上用于与所述识别屏接触的接触区域面积均大于预设面积；

所述识别模块具体用于确定红外线屏上接触处所返回的触摸面积是否大于所述预设面积，是则分别返回该接触处在红外线屏上的坐标值；其中，接触处在红外线屏上的坐标值为接触面积中心在所述红外线屏上的坐标值；所述识别模块还用于实时统计所返回的坐标数量，并根据所统计的坐标数量及相应坐标值确定手柄a和/或手柄b在红外线屏上的坐标值，并根据手柄a的坐标值和手柄b在电容屏上的坐标值分别实时计算手柄a和手柄b的运动数据。

进一步的，所述识别模块中，

若同一时刻返回的坐标数量与手柄a中孤岛式结构的数量相同，则计算每两个坐标之间的距离是否在预设距离范围内，是则确定此时为手柄a在红外线屏上操作，计算所返回坐标的中心位置为此时手柄a在红外线屏上的坐标值；

若同一时刻返回的坐标数量与手柄b中孤岛式结构的数量相同，则计算每两个坐标值之间的距离是否在预设距离范围内，是则确定此时为手柄b在红外线屏上操作，计算所返回坐标的中心位置为此时手柄b在红外线屏上的坐标值；

若同一时刻返回的坐标数量为手柄a中孤岛式结构与手柄b中孤岛式结构的数量之和，则确定此时为手柄a和手柄b同时在红外线屏上操作，通过遍历返回的每两个坐标值之间的距离分别确定此时手柄a和手柄b与红外线屏接触时的坐标值。

进一步的，所述识别屏为电容屏时，所述手柄a与所述手柄b的底部具有不同数量的触点结构，其中，同一个手柄的所有触点结构之间的距离均小于其手柄基座半径；

所述识别模块根据电容屏上所返回的接触坐标，依据同一个手柄在电容屏上的所有接触点之间的距离均小于该手柄的基座半径的原则，遍历同一时刻电容屏上的所有接触点以对接触点进行分组；然后根据分组结果计算此时手柄a和手柄b在电容屏上的坐标值，并根据手柄a的坐标值和手柄b在电容屏上的坐标值分别计算手柄a和手柄b的运动数据。

进一步的，所述识别模块中，

当属于同一组的接触点数与手柄a底部设置的接触点结构数量相同，识别为手柄a，计算该组接触点的中心位置坐标为手柄a在电容屏上的坐标；

当属于同一组接触点数与手柄b底部设置的接触点结构数量相同，识别为手柄b，计算该组接触点的中心位置坐标为手柄b在电容屏上的坐标。

进一步的，当两患者竞争互动训练时，

评估模块具体用于根据两手柄的实时位置数据及虚拟目标的运动数据，分别判断两患者是否接触到虚拟目标；若接触到则得分，没接触到则减分或不得分，分别对两患者的得分情况及两患者在识别屏上的失误区域、相应失误区域内的失误次数进行统计；最后根据所统计的失误区域、相应失误次数及训练完成情况分别对患者a和患者b的上肢康复训练情况进行评估。

进一步的，当两患者协同互动训练时，

评估模块具体用于根据两手柄的实时位置数据及虚拟目标的运动数据，分别判断虚拟目标的运动轨迹是否偏离预设运动轨迹；若偏离，则统计失误区域，所述失误区域为虚拟目标发生偏离时操作手柄弱者方在识别屏上的运动轨迹区域；最后根据所统计的失误区域、相应失误次数及训练完成情况分别对患者a和患者b的上肢康复训练情况进行评估。

另一方面，本发明还公开了一种基于识别屏的双人互动上肢康复系统的训练方法，包括以下步骤：

步骤1，根据患者的上肢运动功能评定结果，在识别屏上选择训练模式；

步骤2，根据所选择的训练模式，在识别屏上生成虚拟训练场景和虚拟目标；

步骤3，患者a和患者b分别手持具有不同底部结构的手柄a和手柄b，根据训练要求对识别屏上生成的虚拟目标进行操作，识别屏根据手柄a和手柄b分别与所述识别屏接触时所返回的坐标值及坐标数量，实时识别、区分手柄a和手柄b，并计算出两手柄在识别屏上的运动数据，根据手柄a及手柄b在识别屏上的运动数据使虚拟目标、虚拟场景与两手柄之间形成交互，让两患者完成双人互动上肢康复训练；

步骤4，识别屏根据手柄a手柄b在识别屏上的运动数据和虚拟目标的运动轨迹，分别确定两患者的失误区域及相应失误次数；还用于根据所统计的失误区域、相应失误次数及训练完成情况分别对患者a和患者b的上肢康复训练情况进行评估；其中，所述失误区域为患者在识别屏上操作不到位的区域。

进一步的，当所述识别屏为红外线屏时，所述手柄a与所述手柄b的底部具有不同数量的孤岛式结构，所述孤岛式结构上用于与所述识别屏接触的接触区域面积均大于预设面积；步骤3中，识别屏根据手柄a和手柄b分别与所述识别屏接触时所返回的坐标值及坐标数量，实时识别、区分手柄a和手柄b，并计算出两手柄在识别屏上的运动数据的步骤包括：

确定红外线屏上接触处的触摸面积是否大于所述预设面积，是则分别返回接触处在红外线屏上的坐标值；其中，接触处在红外线屏上的坐标值为接触面积中心在所述红外线屏上的坐标值；

实时统计所返回的坐标数量，并根据所统计的坐标数量及相应坐标值确定手柄a和/或手柄b在红外线屏上的坐标值，并根据手柄a的坐标值和手柄b在电容屏上的坐标值分别实时计算手柄a和手柄b的运动数据。

进一步的，所述识别屏为电容屏时，所述手柄a与所述手柄b的底部具有不同数量的触点结构；步骤3中，识别屏根据手柄a和手柄b分别与所述识别屏接触时所返回的坐标值及坐标数量，实时识别、区分手柄a和手柄b，并计算出两手柄在识别屏上的运动数据的步骤包括：

根据电容屏上所返回的接触坐标，依据同一个手柄在电容屏上的所有接触点之间的距离均小于该手柄的基座半径的原则，遍历同一时刻电容屏上的所有接触点以对接触点进行分组；

根据分组结果计算此时手柄a和手柄b在电容屏上的坐标值，并根据手柄a的坐标值和手柄b在电容屏上的坐标值分别计算手柄a和手柄b的运动数据；其中，当属于同一组的接触点数与手柄a底部设置的接触点结构数量相同，识别为手柄a，计算该组接触点的中心位置坐标为手柄a在电容屏上的坐标；若属于同一组接触点数与手柄b底部设置的接触点结构数量相同，识别为手柄b，计算该组接触点的中心位置坐标为手柄b在电容屏上的坐标。

与现有技术相比，本发明具有以下优点：本发明通过利用不同底部结构的手柄a和手柄b与同一识别屏接触时所返回的数据不同，让两患者分别手持手柄a和手柄b在同一识别屏上完成双人互动式的上肢康复训练，提高患者对康复训练的积极性，并在上肢康复训练中实现即时评估与反馈，以及训练后上肢运动障碍原因的自动分析，明显改善了上肢的康复训练效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于识别屏的双人互动上肢康复系统一实施方式的系统框图；

图2为本发明红外线屏基本原理图；

图3为本发明一实施方式中手柄a的结构示意图；

图4为本发明一实施方式中手柄b的结构示意图；

图5为本发明另一实施方式中手柄a的结构示意图；

图6为本发明另一实施方式中手柄b的结构示意图；

图7为本发明一实施方式中虚拟目标的示意图；

图8为划船游戏中的划动距离与运动速度的原理图；

图9为基于识别屏的双人互动上肢康复系统的训练方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明实施方式公开了一种基于识别屏的双人互动上肢康复系统，包括识别屏和操作机构，所述识别屏内设有训练模式选择模块、训练模式生成模块、识别模块、虚拟现实互动模块和评估模块，其中

训练模式选择模块，用于根据患者的上肢运动功能评定结果，在识别屏上选择训练模式；

训练模式生成模块，用于根据所选择的训练模式，在识别屏上生成虚拟训练场景和虚拟目标；

操作机构，包括具有不同底部结构的手柄a和手柄b，用于患者a手持手柄a、患者b手持手柄b根据训练要求对识别屏上生成的虚拟目标进行操作，完成双人互动训练；

识别模块，用于根据具有不同底部结构的手柄a和手柄b分别与所述识别屏接触时所返回的坐标值及坐标数量，实时识别并区分手柄a和手柄b，同时计算出手柄a和手柄b在识别屏上的运动数据，所述运动数据包括实时位置信息、运动速度和运动轨迹中的一种或多种；

虚拟现实互动模块，用于实时获取双人分别操作的手柄a及手柄b在识别屏上的运动数据，并根据手柄a及手柄b在识别屏上的运动数据使虚拟目标、虚拟场景与两手柄之间形成交互，让两患者完成双人互动上肢康复训练；

评估模块，用于根据手柄a和手柄b的运动数据和虚拟目标的运动轨迹，分别确定两患者的失误区域及相应失误次数；还用于根据所统计的失误区域、相应失误次数及训练完成情况分别对患者a和患者b的上肢康复训练情况进行评估；其中，所述失误区域为患者在识别屏上操作不到位的区域。

训练时，患者a和患者b分别站立于同一识别屏面前，根据康复师的建议在识别屏上选择相应训练环境以及相应训练模式；其中，训练模式包括单手训练模式或者是单手训练模式，双人竞赛模式或者双人协同模式，……等等；训练环境包括游戏类型选择，虚拟场景选择等等，比如划船游戏，捕鱼游戏，打地鼠游戏，或者打羽毛球游戏等等。另外，还包括困难程度的选择，其中难易程度根据包括虚拟目标的速度、虚拟目标的轨迹类型、虚拟目标的大小或多少、手柄的运动区域中的一种或多种因素确定。

在识别屏上选择好训练环境及训练模式后，训练模式生成模块会根据所选的选项在识别屏上生成虚拟场景和虚拟目标，患者a和患者b根据相应游戏的游戏规则对虚拟目标进行操作，例如，打地鼠则患者a和患者b分别利用手柄a和手柄b敲击识别屏上出现的虚拟地鼠直到游戏结束，捕鱼游戏则患者a和患者b分别利用手柄a和手柄b分别拖动识别屏上的虚拟渔网往虚拟鱼的方向移动以捕鱼；其中，游戏结束可设置为游戏时间达到预设时间则游戏结束。

在患者a和患者b分别手持手柄a和手柄b敲击识别屏或在识别屏上移动时，由于手柄a和手柄b的底部结构不同，则手柄a和手柄b与识别屏接触时所返回的数据不同，识别屏根据所返回的数据确定识别屏上哪些操作属于手柄a的操作，而哪些操作又属于手柄b的操作，然后记录这些操作，即实时记录手柄a和手柄b在识别屏上的位置坐标，并可根据位置坐标分别形成手柄a及手柄b的运动轨迹，同时还可实时计算相应位置处的运动速度。

在训练过程中，患者可以根据自身情况借助训练辅助装置进行训练，如站立架和上肢减重装置等。其中，识别屏上同样有训练辅助装置的选项，方便记录该选项，以便于评估模块根据患者的选项进行准确评估。

评估模块中，可以预先在系统中设定红外线屏的相应区域所对应的上肢训练部位时，系统根据手柄a和手柄b的运动数据和虚拟目标的运动轨迹，分别确定两患者的失误区域及相应失误次数后，最终可根据得分统计结果、失误区域、相应失误区域内的失误次数对两患者的上肢康复情况进行评估。并且，可分别将评估结果和综合评分分别呈现在各自视野内的识别屏的相应区域上。

当然，识别屏的相应区域所对应的上肢训练部位已经经过专家或者医生进行实验验证，当患者手持手柄运动到该区域时，主要训练到患者上肢的某个部位或关节。例如，可对识别屏进行划分区域，左上区域、左下区域、中上区域、中下区域、右上区域和右下区域等，当手柄运动到左上区域时对应患者的右手肘关节，手柄运动到右上区域对应患者的左手肘关节等等……，识别屏的相应区域的划分可根据具体情况进行划分。其中，由于两患者的站立的位置是不同的，当他们手持手柄运动到识别屏的同一个位置时，其所锻炼到的部位是不同的，因此识别屏的相应区域的划分为多种，并且分别对应两患者的具体情况。

而对于评估模块，当两患者进行竞争训练或者协同训练时，可分为以下两种情况：

(1)当两患者竞争互动训练时，即两患者相互竞争完成训练任务时：

评估模块具体用于根据两手柄的实时位置数据及虚拟目标的运动数据，分别判断两患者是否接触到虚拟目标；若接触到则得分，没接触到则减分或不得分，分别对两患者的得分情况及两患者在识别屏上的失误区域、相应失误区域内的失误次数进行统计；最后根据所统计的失误区域、相应失误次数及训练完成情况分别对患者a和患者b的上肢康复训练情况进行评估。

由于两患者之间为竞争关系，因此需要分别统计两患者的得分情况、失误区域以及失误区域内的失误次数，来分别评估患者a和患者b的上肢康复训练情况。

(2)当两患者协同互动训练时，即两患者相互协助完成训练任务时：

评估模块具体用于根据两手柄的实时位置数据及虚拟目标的运动数据，分别判断虚拟目标的运动轨迹是否偏离预设运动轨迹；若偏离，则统计失误区域，所述失误区域为虚拟目标发生偏离时操作手柄弱者方在识别屏上的运动轨迹区域；最后根据所统计的失误区域、相应失误次数及训练完成情况分别对患者a和患者b的上肢康复训练情况进行评估。

同样的，由于两患者为协同关系，因此则需要确定两患者共同操作的虚拟目标的运动轨迹，然后根据运动轨迹是否偏离预设运动轨迹及偏离方向，来确定是哪位患者发生了失误，从而确定失误区域，即操作手柄弱者方在识别屏上的运动轨迹区域，最后根据失误区域和失误次数来分别评估患者a和患者b的上肢康复训练情况。

无论是竞争互动训练还是协同互动训练，由于系统中已经预先设置红外线屏的相应区域所对应的上肢训练部位，因此根据患者a和患者b的失误区域和相应失误次数，可对患者的康复情况进行评估，为医生提供参考。同时，医生也可从中大体判断出两患者上肢的哪些部位或关节比较严重、哪些部位或关节比较轻微；通过若干周期性的训练后，根据前后几次失误区域的数据对比，也可大体判断出哪些部位或关节恢复得比较好、哪些部位或关节恢复得比较差，从而对上肢康复训练作出相应调整，利于患者快速恢复。

具体的，本发明实施方式中的识别屏包括红外线屏、电阻屏、表面声波屏和电容屏等，当手柄a和手柄b在红外线屏、电阻屏、表面声波屏和电容屏等识别屏上操作时，红外线屏、电阻屏、表面声波屏和电容屏等识别屏能够识别手柄a及手柄b的操作。

对于红外线屏，在本发明实施方式中是指能够支持多点触控的红外触摸屏，它是利用x、y方向上密布的红外线矩阵来检测并定位与屏幕接触的物品的电子设备。红外线屏在显示器的前面安装一个电路板外框，电路板在屏幕的四周排布红外发射管和红外接收管，一一对应形成横竖交叉的红外线矩阵，具体参见图2所示。当手柄a或手柄b在触摸屏幕时，就会挡住经过该位置的横竖两条红外线，因而可以判断出触摸点在屏幕的坐标位置。其中，任何非透明物体在红外线屏上操作都有可能改变触点上的红外线而实现触摸屏操作，因此，红外线屏能够返回与它接触的物体的接触面积。

因此，我们可以将手柄a和手柄b中用于与红外线屏接触的接触区域的面积设置为不同，然后通过手柄的面积来识别红外线屏上a手柄的操作和b手柄的操作。但由于红外硬件的检测精度问题，红外线屏上所返回的接触面积往往误差很大；例如，手柄a的接触面积返回值往往在5％-50％这个范围内随机波动，误差较大因此很容易导致识别错误。而且，在康复训练中，手柄a和手柄b的大小不可能相差太多，以免让康复病人抓拿不便。

考虑到红外线屏对单一接触面积的检测误差非常大，并且手柄a和手柄b的大小又能相差太大，本发明实施方式中，当识别屏为红外线屏时，采用孤岛式的接触底面并根据接触面的相对位置关系来区分两个手柄。

具体参见图3及图4，手柄a与手柄b的底部具有不同数量的孤岛式结构；为了排除手指触摸等其他非手柄对象的干扰，本发明实施方式中，孤岛式结构上用于与所述识别屏接触的接触区域面积均大于预设面积，即孤岛式接触地面的面积大于预设面积；识别模块具体用于根据红外线屏上接触处所返回的接触面积及坐标来识别并计算手柄a和手柄b的运动数据。

在本发明一具体实施方式中，如图3及图4所示，手柄a的底部具有2个孤岛式结构，即将手柄a的底部划分成区域a、b两个孤岛，使红外线屏能检测到有两个接触面同时存在；而手柄b的底部为平面结构，也可人为手柄b的底部只有一个孤岛式结构。

进一步的，识别模块具体用于确定红外线屏上接触处的触摸面积是否大于所述预设面积，是则分别返回接触处在红外线屏上的坐标值；其中，接触处在红外线屏上的坐标值为接触面积中心在所述红外线屏上的坐标值；所述识别模块还用于根据所返回的坐标数量及接触处在红外线屏上的坐标值，实时识别并计算手柄a和手柄b的运动数据。

其中，通过红外线屏的sdk开发包，能够获得接触处的坐标以及该接触处的接触面积大小；其中所获得的接触处的坐标为接触面积的中心位置。本发明实施方式中，识别模块确定红外线屏上是否存在触摸操作，并根据红外线屏上操作处或接触处的接触面积是否大于所示预设面积来排除指触摸等其他非手柄对象的干扰，只返回接触面积大于预设面积的坐标。

如3所示，现将手柄a的区域a与区域b的面积值记为s1a与s2a，设它们的重心(即返回坐标的点)位置记为p1a(x1a,y1a)与p2a(x2a,y2a)。由此，可设点ca(xc,yc)为p1a(x1a,y1a)与p2a(x2a,y2a)的中点，该中点即为手柄的中心位置，本发明实施方式中会采用这个点作为手柄的位置点；如图4所示，对于手柄b，由于它只有一个区域，因此，可认为它的位置坐标点与红外线屏返回的接触点坐标值一致，记为cb(xc,yc)，它的面积值为s2。设预设面积为smin,用于排除指触摸等其他非手柄对象的干扰，则有

进一步，所述识别模块中，分为以下三种情况：

a,若同一时刻返回的坐标数量与手柄a中孤岛式结构的数量相同，则计算每两个坐标之间的距离是否在预设距离范围内，是则确定此时为手柄a在红外线屏上操作，计算所返回坐标的中心位置为此时手柄a在红外线屏上的坐标值；

b,若同一时刻返回的坐标数量与手柄b中孤岛式结构的数量相同，则计算每两个坐标值之间的距离是否在预设距离范围内，是则确定此时为手柄b在红外线屏上操作，计算所返回坐标的中心位置为此时手柄b在红外线屏上的坐标值；

c,若同一时刻返回的坐标数量为手柄a中孤岛式结构与手柄b中孤岛式结构的数量之和，则确定此时为手柄a和手柄b同时在红外线屏上操作，通过遍历返回的每两个坐标值之间的距离分别确定此时手柄a和手柄b与红外线屏接触时的坐标值。

下面以图3及图4为例，当手柄a为图3所示结构，而手柄b为图4所示结构时进行说明，经过式子(1)对干扰项的排除：

(1)如果当前识别屏上只有1个有效接触面积，则只有1个坐标返回，则认为当前与识别屏接触的手柄为b；

(2)如果当前识别屏上有2个有效接触面积，则有2个坐标返回，那么还需要验证识别屏上这两个坐标位置之间的距离是否在预设范围内，具体验证公式如下所示：

其中，d为图3中区域a与区域b之间的距离阈值，r1为手柄a的基座半径；若所返回的这2给坐标值满足式(2)，则可认为这两个接触区域为手柄a的两个区域，当前手柄a的位置坐标ca(xc,yc)可通过式(3)计算得到：

(3)如果当前识别屏上有3个有效接触面积，则有3个坐标返回，则可通过遍历每两个坐标值之间的距离，确定其中两个坐标之间的距离在预设范围内的这两个接触区域为手柄a的两个区域，然后根据公式(3)确定这两个坐标的中心位置为当前手柄a在识别屏的位置坐标；则剩下的这一坐标所代表的接触区域则认为是手柄b，该坐标即为当前手柄a在识别屏的位置坐标。

图3及图4为本发明采用红外线屏时手柄a及手柄b的最优方案，可以快速识别并计算手柄a及手柄b的运动数据。当然，本发明并不限制于图3及图4中所示手柄a及手柄b的结构，手柄b也可采用底部设有多个孤岛式结构的手柄，即手柄b的底部设有多个孤岛式的接触底面，那么在确认接触处是否为手柄b时，同样需要公式(2)进行验证；手柄a也同样不限制于2个孤岛式结构。

对于电容屏，本发明实施方式中是指支持多点触控的电容触摸屏。由于电容屏与红外线屏最大的区别是，它仅能检测到点的坐标值，无法返回接触面积。因此，无法通过上述的利用接触面积或接触区块的不同来区分手柄。另外，电容屏对接触点的大小与间隔有相对严格要求：每个接触点的接触面积不能过大或过小，需要控制在10.2平方毫米内；同时，点与点之间的距离不能少于45毫米。因此，当手柄在电容屏上应用时，上述红外线屏中通过确定有效接触面积对手柄进行区分的方法失效。此外，由于接触点要求比较小，单个接触点无法支撑手柄站立于屏幕上。因此，本发明实施方式中，当识别屏采用电容屏时，通过基于点阵列的方式来对手柄a和手柄b进行区分。其中，手柄a和手柄b的基座大小相同，但底部设置的接触点结构的数量及分布不同。

如图5及图6所示，识别屏为电容屏时，手柄a与手柄b的底部具有不同数量的触点结构，通过电容屏的sdk开发包，能够获得接触点的坐标；识别模块根据电容屏上所返回的接触坐标识别手柄a和手柄b，并实时识别并计算手柄a和手柄b在电容屏上的运动数据。其中，为了保证手柄能够平稳地站立在屏幕上，手柄a及手柄b的底部中的接触点结构不少于3个，并且这些接触点结构分别在手柄a及手柄b的底部均匀分布。

具体的，识别模块根据同一个手柄的所有接触点之间的距离是否小于该手柄的基座半径，遍历同一时刻电容屏上的所有接触点以对接触点进行分组；然后根据分组结果确定手柄a和手柄b在电容屏上的接触处，并计算此时手柄a和手柄b在电容屏上的坐标值。

具体的，识别模块中，当属于同一组的接触点数与手柄a底部设置的接触点结构数量相同，识别为手柄a，计算该组接触点的中心位置坐标为手柄a在电容屏上的坐标；若属于同一组接触点数与手柄b底部设置的接触点结构数量相同，识别为手柄b，计算该组接触点的中心位置坐标为手柄b在电容屏上的坐标。

以图5及图6所示为例，根据3点可确定一个平面，以使手柄能够稳定地站立在电容屏上，手柄采用3个接触点结构，手柄b采用4个接触点结构；手柄a和手柄b的基座大小一样，半径均为r。则根据图5，设手柄a与电容屏接触时3个接触点结构的坐标分别为p1a(x1a,y1a)、p2a(x2a,y2a)与p3a(x3a,y3a)。而这三个接触点所形成的三角形的重心ca(xca,yca)即为手柄的中心位置，在本发明实施方式中会采用这个点作为手柄的位置点。如图6所示，手柄b的四个接触点坐标分别记为p1b(x1b,y1b)，p2a(x2b,y2b)，p3b(x3b,y3b)与p4b(x4b,y4b)，这四个接触点坐标形成一个正方形。正方形的重心记为cb(xcb,ycb)，即为手柄b的中心位置。则手柄a及手柄b的具体区分与定位方法如下：

(1)接触点分组

由于手柄基座(其半径记为r)的存在，从物理意义上来说，属于同一个手柄的所有接触点的距离d均小于基座直径2r，即满足式(4)的条件，因此，可通过该式对接触点进行筛选与分组：

当两个接触点之间的距离满足式(4)时，认为这两个接触点同属一组。通过对电容屏内所返回的所有接触点进行遍历，可以实现接触点的快速分组。

(2)根据同一组内的接触点数量区分手柄

以图5及图6所示的手柄a及手柄b为例，如果同一组的接触点数是3，则认为是手柄a；如果接触点数是4，则认为是手柄b。

手柄a及手柄b在区分出来后，需要对它的具体位置进行定位；因此，需要求解手柄的中心位置，设手柄a、b的中心位置分别记为c(xc,yc)。从几何的角度分析，无论是手柄a或b，它的中心位置实际上刚好设置为接触点所形成的几何图形的中心位置。因此，可以通过计算中心的方式计算出手柄的中心位置，如式(5)所示：

同样的，图5及图6为本发明采用电容屏时手柄a及手柄b的最优方案，可以快速识别并计算手柄a及手柄b的运动数据。当然，本发明并不限制于图5及图6中所示手柄a及手柄b的结构。

对于手柄a及手柄b的运动轨迹，可根据手柄a和手柄b在识别屏上所记录的实时位置坐标，根据时间的先后顺序进行连接，分别形成手柄a及手柄b的运动轨迹。具体的，可通过直线进行插补的方式进行点与点之间的连接。

对于手柄a及手柄b的手柄速度，在这里只用于表示物体运动的快慢，并不表示物体运动的方向，其运算公式如式(6)所示：

式中，i代表获取的序号，从程序开始算，第1接触点i＝1,如此类推。

虚拟显示交互模块中，在进行交互时，可分为两种情况：手柄多次单点接触；手柄在识别屏上连续接触。

(1)手柄多次单点接触；

例如利用手柄去打地鼠、打球等，即为手柄多次单点接触。在本发明实施方式中，采用包围盒检测方式来实现手柄与虚拟物体之间操作的方法。具体思路如下：

如图7所示，假设某个游戏虚拟对象能够被一个多边形(包围盒)所围绕，现在要测试点p(x,y)是否在多边形内，只要沿测试点p水平画一点水平线，如果该点p两端与多边形上的边线的交点都是奇数，则表明p在多边形内，否则p在多边形外。

假设多边形(边数为n)的顶点集合为pi＝{p1,p2,…,pn}，则测试点的射线与多边形某条边是否有交点的数学模型如式(7)所示：

只要手柄的位置点在包围盒内，则认为手柄与游戏对象发生碰撞(如打到球或打到地鼠等)，完成与游戏对象之间的交互。

(2)手柄在识别屏上连续接触

例如划船、捕鱼等需要手柄接触识别屏后要移动一定距离的游戏，这种交互方式则需要计算其连续有效的接触时间，并由此计算出其速度。如图8所示，在划船等游戏中，当手柄在船旁边的划桨区划动，需要计算出手柄的划动距离与速度，以此判断出船应不应该前进，是否会偏航。

由于游戏是采用周期循环方式来检查屏幕是否有被接触，因此，如果手柄是在屏幕上划动，则在采集周期间隔δt内一定会返回相应的接触点信息，且接触点在对应的划桨区内。设连续采集到的点集合为spi＝{sp1,sp2,…,spn}，则连接划动距离可通过式(8)计算出：

其划动速度可通过式(9)计算出：

根据划动距离d和划动速度d控制船的行驶轨迹。

本发明实施方式中，评估模块可根据手柄a和手柄b在识别屏上的运动轨迹，确定患者的上肢康复情况，以便于对下一次的训练进行调整。

参阅图9，本发明实施方式还提供了一种基于识别屏的双人互动上肢康复系统的训练方法，包括以下步骤：

步骤1，根据患者的上肢运动功能评定结果，在识别屏上选择训练环境以及训练模式；

步骤2，根据所选择的训练环境及训练模式，在识别屏上生成虚拟训练场景和虚拟目标；

步骤3，患者a手持手柄a、患者b手持手柄b根据训练要求对识别屏上生成的虚拟目标进行操作，识别屏根据手柄a和手柄b分别与所述识别屏接触时所返回的坐标值及坐标数量，实时识别并计算出手柄a和手柄b在识别屏上的运动数据，并根据手柄a及手柄b在识别屏上的运动数据使虚拟目标、虚拟场景与两手柄之间形成交互，让两患者完成双人互动上肢康复训练；

步骤4，识别屏根据手柄a手柄b在识别屏上的运动数据，分别对患者a及患者b的上肢康复情况进行评估。

其中，基于识别屏的双人互动上肢康复系统的训练方法是以一种基于识别屏的双人互动上肢康复系统作为步骤的执行对象。具体的，步骤1是以训练模式选择模块作为步骤的执行对象，步骤2是以训练模式生成模块作为步骤的执行对象，步骤3是以虚拟现实互动模块和识别模块作为步骤的执行对象；步骤4是以评估模块作为步骤的执行对象。

同样的，本发明实施方式中的识别屏包括红外线屏、电阻屏、表面声波屏和电容屏等，当手柄a和手柄b在红外线屏、电阻屏、表面声波屏和电容屏等识别屏上操作时，红外线屏、电阻屏、表面声波屏和电容屏等识别屏能够识别手柄a及手柄b的操作。

其中，当所述识别屏为红外线屏时，手柄a与手柄b的底部具有不同数量的孤岛式结构，所述孤岛式结构上用于与所述识别屏接触的接触区域面积均大于预设面积；则步骤3中，所述识别屏根据手柄a和手柄b分别与所述识别屏接触时所返回的坐标值及坐标数量，实时识别并计算出手柄a和手柄b在识别屏上的运动数据的步骤包括：

步骤301a，确定红外线屏上接触处的触摸面积是否大于所述预设面积，是则分别返回接触处在红外线屏上的坐标值；其中，接触处在红外线屏上的坐标值为接触面积中心在所述红外线屏上的坐标值；

步骤302a，根据所返回的坐标数量及接触处在红外线屏上的坐标值，实时识别并计算手柄a和手柄b的运动数据。

其中，步骤301a、302a是以识别模块作为步骤的执行对象。其中，关于红外线屏对于手柄a和手柄b的识别过程以及运动数据的确定在以上已经进行详细描述，因此在此就不再作过多赘述。

所述识别屏为电容屏时，手柄a与手柄b的底部具有不同数量的触点结构；步骤3中，所述识别屏根据手柄a和手柄b分别与所述识别屏接触时所返回的坐标值及坐标数量，实时识别并计算出手柄a和手柄b在识别屏上的运动数据的步骤包括：

步骤301b，根据同一个手柄的所有接触点之间的距离是否小于该手柄的基座半径，遍历同一时刻电容屏上的所有接触点以对接触点进行分组；

步骤302b，根据分组结果确定手柄a和手柄b在电容屏上的接触处；其中，当属于同一组的接触点数与手柄a底部设置的接触点结构数量相同，识别为手柄a，计算该组接触点的中心位置坐标为手柄a在电容屏上的坐标；若属于同一组接触点数与手柄b底部设置的接触点结构数量相同，识别为手柄b，计算该组接触点的中心位置坐标为手柄b在电容屏上的坐标。

同样的，步骤301b、302b是以识别模块作为步骤的执行对象。其中，关于电容屏对于手柄a和手柄b的识别过程以及运动数据的确定在以上也已经进行详细描述，因此在此也不再作过多赘述。

同样的，以上关于交互的过程也已经在以上部分进行详细描述，这里也不再作过多赘述。

综述所述，本发明通过利用不同底部结构的手柄a和手柄b与同一识别屏接触时所返回的数据不同，让两患者分别手持手柄a和手柄b在同一识别屏上完成双人互动式的上肢康复训练，提高患者对康复训练的积极性，并在上肢康复训练中实现即时评估与反馈，以及训练后上肢运动障碍原因的自动分析，明显改善了上肢的康复训练效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除