一种面向掌中木偶表演机器人的交互表演方法及系统与流程

本申请一般涉及机器人领域，尤其涉及面向掌中木偶表演机器人的交互表演方法及系统。

背景技术：

传统掌中木偶戏表演技艺的对外传播主要以剧团巡回演出为主，受到极大的人力条件限制；且当代观众已经不满足于被动观看掌中木偶表演，更希望参与到操纵木偶的体验中，而传统掌中木偶戏缺乏提供可互动的方式。在考虑戏剧交互化的过程中，一些现有方法使用了虚拟现实技术，结合动作捕捉设备来操纵虚拟掌中木偶。但实际演示效果中，这些方法弱化了传统掌中木偶制作工艺表现出的艺术价值，缺乏直观的掌中木偶表演视觉体验。

中国专利cn201120133417.7公开机器人控制的木偶表演装置，包括控制器、连接所述控制器的电机、杖头木偶、提线木偶，其特征在于，还包括连接所述电机的杖头木偶机械操纵臂和提线木偶机械操纵臂、以及连接所述控制器的喷水装置和语音播放装置。通过控制器控制电机以及舵机，使杖头木偶、提线木偶、以及兽首木偶在机械操纵臂的控制下进行惟妙惟肖的表演，并结合音频播放装置播放语音和音乐，其舞台结构新颖、表演形式创新，能带给人们较高的视觉享受。

但目前的木偶表演机器人在实时互动表演、实时智能分析用户动作、使用户的沉浸感和参与感以及可扩展性等方面还有所欠缺。

技术实现要素：

鉴于现有技术中的上述缺陷或不足，提供一种面向掌中木偶表演机器人的交互表演方法及系统。本发明可突破人力限制，完成枯燥动作的助演；支持实时互动表演的功能，适用于展示、教学等多个互动场景；分析真实表演的运动规律，解构表演动作与形态，使编排设计更合理，具备实时智能分析用户动作的功能，使用户的体验更有沉浸感和参与感，还可以加入其他多媒体技术，控制程序可以统筹其他部分，具有可扩展性。

第一方面，本申请实施例提供了一种面向掌中木偶表演机器人的交互表演方法，其特征在于，该方法包括：

体感数据采集步骤，对用户进行体感动作的数据采集，并将采集到的数据发送到控制程序中，用于机器人的状态决策，采集的数据具体包括：用户所在的位置、面朝的方向、用户人体的位移、用户的手势动作；

机器人状态决策步骤，由机器人的动作决策模块使用有限状态机完成，在定义状态机时，首先通过分析演员给出的木偶表演视频来分解手套木偶的控制动作，然后将各行为主体的控制动作的关键点推广到有限状态，由体感数据采集模块采集到的数据来决定有限状态机的状态，在表演的不同环节中，控制有限状态机的数据各不相同，具体的，在演员表演的环节由演员的位置和面向控制，在互动环节由用户的手势动作控制，有限状态机最后会输出一个动作向量，用于下一阶段的动作计算，动作向量的每一个维度分别控制机器人的一个活动关节的运动；

机器人动作计算步骤，由机器人动作计算模块接收决策模块发出的动作向量，并分析该向量以确定机器人具体的运动，使用反向动力学算法对这些向量进行分析，提取两种轴向运动作为系统的基本动作，利用余弦定律计算每个关节需要旋转多少度；

交互表演步骤，从状态决策模块获得的动作向量将被逐个按顺序被计算，当一个动作向量代表的动作完成后，机器人会按顺序执行下一个向量所代表的动作，直至整组动作全部完成。

第二方面，本申请实施例提供了一种面向掌中木偶表演机器人的交互表演系统，该系统包括：

体感数据采集模块，用于对用户进行体感动作的数据采集，并将采集到的数据发送到控制程序中，用于机器人的状态决策，采集的数据具体包括：用户所在的位置、面朝的方向、用户人体的位移、用户的手势动作；

机器臂状态决策模块，用于使用有限状态机完成动作决策，在定义状态机时，首先通过分析演员给出的木偶表演视频来分解手套木偶的控制动作，然后将各行为主体的控制动作的关键点推广到有限状态，由体感数据采集模块采集到的数据来决定有限状态机的状态，在表演的不同环节中，控制有限状态机的数据各不相同，具体的，在演员表演的环节由演员的位置和面向控制，在互动环节由用户的手势动作控制，有限状态机最后会输出一个动作向量，用于下一阶段的动作计算，动作向量的每一个维度分别控制机器人的一个活动关节的运动；

机器臂动作计算模块，用于接收机器臂状态决策模块发出的动作向量，并分析该向量以确定机器人具体的运动，使用反向动力学算法对这些向量进行分析，提取两种轴向运动作为系统的基本动作，利用余弦定律计算每个关节需要旋转多少度；

机器臂运动模块，用于逐个按顺序计算从机器臂状态决策模块获得的动作向量，当一个动作向量代表的动作完成后，机器人会按顺序执行下一个向量所代表的动作，直至整组动作全部完成。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于：所述计算机程序被处理器执行时实现如本申请实施例描述的方法。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了本申请的面向掌中木偶表演机器人的交互表演流程示意图；

图2示出了本申请的程序流程图；

图3示出了本申请的机器人结构组成示意图；

图4示出了本申请的机器人大臂部分结构组成示意图；

图5示出了本申请的机器人小臂部分结构组成示意图；

图6示出了本申请的机器人动作决策模块示例图；

图7示出了本申请的机器人动作计算模块示例图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，图1示出了本申请的面向掌中木偶表演机器人的交互表演流程示意图。如图1所示，该方法包括：

体感数据采集步骤，对用户进行体感动作的数据采集，并将采集到的数据发送到控制程序中，用于机器人的状态决策，采集的数据具体包括：用户所在的位置、面朝的方向、用户人体的位移、用户的手势动作；具体使用microsoftkinect对观众进行体感动作的数据采集；

机器人状态决策步骤，由机器人的动作决策模块使用有限状态机完成，在定义状态机时，首先通过分析演员给出的木偶表演视频来分解手套木偶的控制动作，然后将各行为主体的控制动作的关键点推广到有限状态，由体感数据采集模块采集到的数据来决定有限状态机的状态，在表演的不同环节中，控制有限状态机的数据各不相同，具体的，在演员表演的环节由演员的位置和面向控制，在互动环节由用户的手势动作控制，有限状态机最后会输出一个动作向量，用于下一阶段的动作计算，动作向量的每一个维度分别控制机器人的一个活动关节的运动；

机器人动作计算步骤，由机器人动作计算模块接收决策模块发出的动作向量，并分析该向量以确定机器人具体的运动，使用反向动力学算法对这些向量进行分析，提取两种轴向运动作为系统的基本动作，机器人模拟人体手臂，具有简单的骨骼结构，利用余弦定律计算每个关节需要旋转多少度；

交互表演步骤，从状态决策模块获得的动作向量将被逐个按顺序被计算，当一个动作向量代表的动作完成后，机器人会按顺序执行下一个向量所代表的动作，直至整组动作全部完成。

优选的，对木偶表演机器人的交互还包括：用户的三种数据将被数据采集模块采集：每个手指指尖到手掌的距离d1、d2、d3、d4、d5，手掌的平移速度vt，手掌的旋转速度vr，机器人初始处于初始状态，当检测到d1、d2、d3、d4、d5均小于5cm时，系统判断用户当前正在握拳，机器人进入弯腰状态；当检测到vt大于0.4m/s时，系统判断用户当前正在平移手掌，机器人进入移动状态；当检测到vr大于30°/s时，系统判断用户当前正在旋转手掌，机器人进入旋转状态。如图6所示。

优选的，计算每个关节需要旋转的角度具体包括：一个上肢长度为l1，下肢长度为l2的手臂，对于给定的目标坐标(x，y)，上肢需要旋转θ1度，下肢需要旋转θ2度，方向向量(x,y)与法向的夹角θt，其中θ1和θ2可以根据以下公式计算：

如图7所示。

优选的，掌中木偶表演机器人的构造步骤包括：根据真人肢体骨骼和掌中木偶整体构造，设计出机器人各个子关节的基础原型，映射为具体的电机构件进行拼装；其中机器人具体包括底座、大臂部分和小臂部分，大臂部分的下端设在底座上，大臂部分的上端与小臂部分相连，大臂部分用于控制木偶整体的刚体位移运动，大臂部分设有底座、3根臂杆和6个活动关节，在6个活动关节内分别设有大型步进电机；活动关节用于模拟表演者的上肢，包含肩部、肘部和腕部，6个活动关节的6个自由度为每个部位提供了两个关节轴向的旋转能力。掌中木偶表演机器人如图3-5所示。

作为另一方面，本申请还提供一种面向掌中木偶表演机器人的交互表演系统，该系统包括：

体感数据采集模块，用于对用户进行体感动作的数据采集，并将采集到的数据发送到控制程序中，用于机器人的状态决策，采集的数据具体包括：用户所在的位置、面朝的方向、用户人体的位移、用户的手势动作；

机器臂状态决策模块，用于使用有限状态机完成动作决策，在定义状态机时，首先通过分析演员给出的木偶表演视频来分解手套木偶的控制动作，然后将各行为主体的控制动作的关键点推广到有限状态，由体感数据采集模块采集到的数据来决定有限状态机的状态，在表演的不同环节中，控制有限状态机的数据各不相同，具体的，在演员表演的环节由演员的位置和面向控制，在互动环节由用户的手势动作控制，有限状态机最后会输出一个动作向量，用于下一阶段的动作计算，动作向量的每一个维度分别控制机器人的一个活动关节的运动；

机器臂动作计算模块，用于接收机器臂状态决策模块发出的动作向量，并分析该向量以确定机器人具体的运动，使用反向动力学算法对这些向量进行分析，提取两种轴向运动作为系统的基本动作，利用余弦定律计算每个关节需要旋转多少度；

机器臂运动模块，用于逐个按顺序计算从机器臂状态决策模块获得的动作向量，当一个动作向量代表的动作完成后，机器人会按顺序执行下一个向量所代表的动作，直至整组动作全部完成。

优选的，机器臂状态决策模块还用于：用户的三种数据将被数据采集模块采集：每个手指指尖到手掌的距离d1、d2、d3、d4、d5，手掌的平移速度vt，手掌的旋转速度vr，机器人初始处于初始状态，当检测到d1、d2、d3、d4、d5均小于5cm时，系统判断用户当前正在握拳，机器人进入弯腰状态；当检测到vt大于0.4m/s时，系统判断用户当前正在平移手掌，机器人进入移动状态；当检测到vr大于30°/s时，系统判断用户当前正在旋转手掌，机器人进入旋转状态。

优选的，机器臂动作计算模块还用于：一个上肢长度为l1，下肢长度为l2的手臂，对于给定的目标坐标(x，y)，上肢需要旋转θ1度，下肢需要旋转θ2度，方向向量(x,y)与法向的夹角θt，其中θ1和θ2可以根据以下公式计算：

优选的，掌中木偶表演机器人根据真人肢体骨骼和掌中木偶整体构造，并由机器人各个子关节的基础原型映射而成的电机构件进行拼装；机器人具体包括底座、大臂部分和小臂部分，大臂部分的下端设在底座上，大臂部分的上端与小臂部分相连，大臂部分用于控制木偶整体的刚体位移运动，大臂部分设有底座、3根臂杆和6个活动关节，在6个活动关节内分别设有大型步进电机；活动关节用于模拟表演者的上肢，包含肩部、肘部和腕部，6个活动关节的6个自由度为每个部位提供了两个关节轴向的旋转能力。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中前述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，前述程序被一个或者一个以上的处理器用来执行描述于本申请的掌上木偶机器人的交互表演方法。程序流程图如图2所示。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(programmablegatearray；以下简称：pga)，现场可编程门阵列(fieldprogrammablegatearray；以下简称：fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除