一种AR眼镜移动自动控制方法及装置与流程
本说明书涉及人工智能及ar眼镜技术领域,特别涉及一种ar眼镜移动自动控制方法及装置。
背景技术:
随着ar火热发展,大家对ar也有了更为深入的理解与认识。不同于完全沉浸于虚拟世界的vr(虚拟现实技术),ar(增强现实技术)给人带来的是一种基于现实世界物理环境下构建虚拟影像的全新体验。除了充满想象力的未来工作形式,ar目前在行业中也有重要的地位,行业巨头们纷纷开始用ar技术为传统行业带来新的改变,如某企业的hololens开始为维修、物流、医疗等领域用户提供完整解决方案,另一企业新发布的googleglass企业版也不甘示弱的在进行垂直应用的尝试。
市面上现有ar眼镜的显示模组(或称为显像光机模块),大多都是固定式模块,将其固定在整组ar眼镜框架上,若暂时不使用ar眼镜时,必须从头上取下ar眼镜;且若要继续使用时,又必须重新戴上ar眼镜,使用便利性上有待改进。也有少数是以手动方式将显示模组推升或位移,以利暂停使用ar眼镜,而这对于双手持有器具或工具的用户(例如:手术医生、设备操作员、机械维修员等等),必需放下现行作业先跳脱原工作思绪,调整显示模组,然又再使用ar眼镜时,又要整个调整到适合使用者的状态,使用ar眼镜,存在很大不便。
因此,亟需提供一种提高ar操作便利性及用户体验的ar眼镜移动自动控制方案。
技术实现要素:
本说明书实施例提供了一种ar眼镜移动自动控制方法及装置,提高了ar眼镜操作便利性及用户体验的ar眼镜移动自动控制方案,解决了现有技术中存在的ar眼镜移动操作不便的技术缺陷。
本说明书实施例的一个方面提供一种ar眼镜移动自动控制方法,包括:获取用户的语音控制信号;通过预设语音校正模型将所述语音控制信号校正为满足预设标准条件的标准语音数据,所述标准语音数据包括控制显示模组移动的第一语音控制指令,以及控制眼部防护罩移动的第二语音控制指令;当所述用户的眼睛满足预设条件时,根据所述第一语音控制指令和所述第二语音控制指令控制所述显示模组和所述眼部防护罩移动到目标位置,使得所述显示模组和所述眼部防护罩交替覆盖所述用户的眼睛。
在一些实施例中,所述预设条件包括:眼部图像具有目标物体和/或闭眼超过预设时间阈值。
在一些实施例中,当所述用户的眼睛满足预设条件时,根据所述第一语音控制指令和所述第二语音控制指令控制所述显示模组和所述眼部防护罩移动到目标位置,使得所述显示模组和所述眼部防护罩交替覆盖所述用户的眼睛,包括:
当所述用户的眼睛满足第一预设条件时,根据所述第一语音控制指令控制所述显示模组至第一目标移开位置以从所述用户的眼睛移开,并控制所述眼部防护罩移动到第一目标佩戴位置以覆盖所述用户的眼睛。
在一些实施例中,当所述用户的眼睛满足预设条件时,根据所述第一语音控制指令和所述第二语音控制指令控制所述显示模组和所述眼部防护罩移动到目标位置,使得所述显示模组和所述眼部防护罩交替覆盖所述用户的眼睛,包括:
当所述用户的眼睛满足第二预设条件时,根据所述第二语音控制指令控制所述眼部防护罩至第二目标移开位置以从所述用户的眼睛移开,并控制所述显示模组移动到第二目标佩戴位置以覆盖所述用户的眼睛。
在一些实施例中,当所述用户的眼睛满足预设条件时,根据所述第一语音控制指令和所述第二语音控制指令控制所述显示模组和所述眼部防护罩移动到目标位置,使得所述显示模组和所述眼部防护罩交替覆盖所述用户的眼睛,包括:
当所述用户的眼睛满足预设条件时,根据所述第一语音控制指令和所述第二语音控制指令及预设触发操作程序,马达系统带动相应传动装置控制所述显示模组和所述眼部防护罩分别上升、下降和/或翻转到目标移开位置或目标佩戴位置,使得所述显示模组和所述眼部防护罩交替覆盖所述用户的眼睛。
在一些实施例中,所述方法包括:获取用户的骨传导语音控制信号和口罩语音控制信号;
通过预设第一语音校正模型、第二语音校正模型将所述骨传导语音控制信号和口罩语音控制信号校正为满足预设标准条件的标准语音数据,所述标准语音数据包括控制显示模组移动的第一语音控制指令,以及控制眼部防护罩移动的第二语音控制指令;
当所述用户的眼睛满足预设条件时,根据所述第一语音控制指令和所述第二语音控制指令控制所述显示模组和所述眼部防护罩移动到目标位置,使得所述显示模组和所述眼部防护罩交替覆盖所述用户的眼睛。
在一些实施例中,获取语音控制信号样本数据及其标准语音标签样本数据;
将所述语音控制信号样本数据输入待训练模型,输出校正结果数据;
根据所述校正结果数据和所述标准语音标签样本数据回调模型参数,并不断训练直至得到所述预设语音校正模型。
本说明书实施例的另一个方面提供一种ar眼镜移动自动控制装置,包括:获取模块,用于:获取用户的语音控制信号;校正模块,用于:通过预设语音校正模型将所述语音控制信号校正为满足预设标准条件的标准语音数据,所述标准语音数据包括控制显示模组移动的第一语音控制指令,以及控制眼部防护罩移动的第二语音控制指令;移动操作控制模块,用于:当所述用户的眼睛满足预设条件时,根据所述第一语音控制指令和所述第二语音控制指令控制所述显示模组和所述眼部防护罩移动到目标位置,使得所述显示模组和所述眼部防护罩交替覆盖所述用户的眼睛。
在一些实施例中,还包括马达系统及相应传动装置,当所述用户的眼睛满足预设条件时,根据所述第一语音控制指令和所述第二语音控制指令及预设触发操作程序,马达系统带动相应传动装置控制所述显示模组和所述眼部防护罩分别上升、下降和/或翻转到目标移开位置或目标佩戴位置,使得所述显示模组和所述眼部防护罩交替覆盖所述用户的眼睛。
在一些实施例中,所述装置包括显示模组、眼部防护罩和语音控制系统,该语音控制系统包括所述获取模块、所述校正模块和移动操作控制模块,所述马达系统及相应传动装置包括:升降马达系统和升降轨道传动装置,所述升降马达系统施加动力至所述升降轨道传动装置,使得所述升降轨道传动装置带动所述ar眼镜的显示模组和所述眼部防护罩移动;或,
所述马达系统及相应传动装置包括:翻转马达系统和翻转传动装置,所述翻转马达系统施加动力至所述翻转传动装置,使得所述翻转传动装置带动所述ar眼镜的显示模组和所述眼部防护罩翻转。
用户可以仅仅通过语音进行显示模组和眼部防护罩交替覆盖用户的眼睛,即用户可以仅仅通过语音进行显示模组的移开或佩戴、眼部防护罩的佩戴或移开等一系列动作的自动控制操作,从而不必如传统技术那样需要用户额外手动操作或调整,尤其是在用户手持工具(如手术器具或作业器具等)的情况下,友好地解放了用户的双手,极大地提高了ar眼镜设备的便利性,提高了用户体验,因此很好地解决了现有技术存在的技术缺陷。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本申请一些实施例所示的ar眼镜移动自动控制装置100的应用场景图;
图2是根据本申请一些实施例所示的ar眼镜移动自动控制方法200的示例性流程图;
图3是图2中步骤230的子步骤示例性流程图;
图4是图2中步骤230的子步骤示例性流程图;
图5是图2中步骤230的子步骤示例性流程图;
图6是根据本申请一些实施例所示的ar眼镜移动自动控制装置100的框图;
图7是根据本申请一些实施例所示的ar眼镜移动自动控制装置100的结构示例图;
图8是根据本申请另一些实施例所示的ar眼镜移动自动控制装置100的结构示例图。
具体实施方式
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本申请一些实施例所示的ar眼镜移动自动控制装置100的应用场景图。
ar眼镜移动自动控制装置100可以包括显示模组110、眼部防护罩120、语音控制系统130、马达系统140及传动装置150。
显示模组110,也即ar眼镜的显像光机组或光学显示模组,作为ar眼镜的核心元件,用于将特定内容显示给用户。显示模组110可以采用现有技术中任何可能的结构形式或光学技术原理实现其功能,本申请实施例不对其特别限定。
眼部防护罩120是用于在用户佩戴ar眼镜即显示模组110从眼睛佩戴处移开时,起到防护用户眼睛的目的,因此尤其适用于医生进行手术、焊接工人进行电焊作业等类似场景。
语音控制系统130用于接收用户发出的控制语音信号,通过预设语音校正模型将语音控制信号校正为满足预设标准条件的标准语音数据,标准语音数据中包括控制显示模组移动以及控制眼部防护罩移动的相应语音控制指令;当确定用户的眼睛满足可执行语音控制指令的预设条件时,根据第一语音控制指令和第二语音控制指令,控制马达系统140及传动装置150(即移动操作的主要动力传动装置)带动显示模组110和眼部防护罩120移动到目标位置,使得显示模组110和眼部防护罩120交替覆盖用户的眼睛,即用户可以仅仅通过语音进行显示模组110和眼部防护罩120交替覆盖用户的眼睛,即用户可以仅仅通过语音进行显示模组110的移开或佩戴、眼部防护罩的佩戴或移开等一系列动作的自动控制操作,从而不必如传统技术那样需要用户额外手动操作或调整,尤其是在用户手持工具(如手术器具或作业器具等)的情况下,友好地解放了用户的双手,极大地提高了ar眼镜设备的便利性,提高了用户体验,因此很好地解决了现有技术存在的技术缺陷。
可见,语音控制系统130可以说是整个ar眼镜移动自动控制装置100的中央处理系统。在一些实施例中,语音控制系统130可以在服务器中实现,该服务器可以是单个处理设备,也可以是处理设备组。
在一些实施例中,上述服务器可以在云平台上实施。仅作为示例,所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
在一些实施例中,上述服务器可以与各种终端设备互联,终端设备可以完成全部语音控制工作或部分语音控制工作,起到分摊成本的作用。
在一些实施例中,语音控制系统130可以直接在各种终端设备(如手机等)中实现。
图2是根据本申请一些实施例所示的ar眼镜移动自动控制方法200的示例性流程图。在一些实施例中,方法200可以由语音控制系统130实现。
步骤210,获取用户的语音控制信号。
在一些实施例中,语音控制系统130可以获取用户为了控制ar眼镜自动完成相应移动操作而发出的语音控制信号。
在一些实施例中,语音控制信号可以包括由用户发出的和特殊语音信号,一般语音信号是指没有其他影响因素(如外界环境等)干扰、正常情况下获取的语音信号,相对应的,特殊语音信号则是指在存在其他影响因素干扰、特殊情况下(即非正常情况下)获取的语音信号。
在一些实施例中,获取的语音控制信号可以仅存在一般语音信号。
在一些实施例中,获取的语音控制信号可以仅存在特殊语音信号。
在一些实施例中,获取的语音控制信号中可以既存在一般语音信号,又存在特殊语音信号。
在一些实施例中,特殊语音信号可以是通过骨传导方式传达的骨传导语音信号。在一些实施例中,特殊语音信号可以是用户佩戴口罩情况下传达的口罩语音信号。在一些实施例中,特殊语音信号可以是上述两种特殊语音信号同时存在的双重语音信号。
作为示例,用户发出的语音内容可以是“移开ar眼镜”或“移开ar眼镜显示模组”、“佩戴ar眼镜”或“启动ar眼镜显示模组”、“摘除眼部防护罩”、“戴上眼部防护罩”等语句。
在一些实施例中,可以通过语音控制系统130的语音信号采集功能模块进行上述语音控制信号的采集。例如,可以采用普通录音声卡、现有基于matlab的语音采集分析系统、基于dsp的实时语音采集处理系统等。
步骤220,通过预设语音校正模型将语音控制信号校正为满足预设标准条件的标准语音数据,标准语音数据包括控制显示模组移动的第一语音控制指令,以及控制眼部防护罩移动的第二语音控制指令。在一些实施例中,可以通过语音控制系统130校正语音控制信号获取相应语音控制信号。
在一些实施例中,预设语音校正模型可以是语音控制系统130预存的现成的语音校正模型或者根据实际需要预训练的语音校正模型。
在一些实施例中,可以按照以下步骤,训练得到预设语音校正模型。
s1、获取语音控制信号样本数据及其标准语音标签样本数据;
s2、将语音控制信号样本数据输入待训练模型,输出校正结果数据;
s3、根据校正结果数据和标准语音标签样本数据回调模型参数,并不断训练直至得到预设语音校正模型。
通过自行训练的预设语音校正模型,对于本申请中具有特定的、多重特点的语音控制信号的校正计算,具有更高的适应性和准确率,提高语音校正处理的效率。
在一些实施例中,上述语音控制信号样本数据可以从历史记录业务数据或现有样本数据库获取。
在一些实施例中,标准语音是指满足一定语音内容准确度条件的语音数据,对语音内容越准确,标准程度越高,而在具体实施时,可以确定符合标准语音的明确标准条件。
在一些实施例中,标准语音标签样本数据可以根据语音控制信号样本数据获得,可以从历史记录业务数据或现有样本数据库获取,并对其进行标签的标注。
在一些实施例中,上述预设语音校正模型或待训练模型可以是基于深度置信网络dbn的语音识别模型、基于混淆矩阵的语音校正模型、基于隐马尔可夫模型(hmm)和径向基神经网络(rbf)混合的语音识别模型、基于隐马尔可夫模型(hmm)和小波神经网络(wnn)的语音识别模型、基于隐马尔可夫模型(hmm)和遗传神经网络的语音识别模型、基于隐马尔可夫模型(hmm)/人工神经网络(ann)的混合模型的语音识别模型以及其他现有技术中任何可能的语音识别模型或语音校正模型。在一些实施例中,可以选取上述一种或多种模型的组合作为上述预设语音校正模型或待训练模型。
步骤230,当用户的眼睛满足预设条件时,根据第一语音控制指令和第二语音控制指令控制显示模组和眼部防护罩移动到目标位置,使得显示模组和眼部防护罩交替覆盖用户的眼睛。
设置预设条件是希望在语音校正基础上增加一道安全机制或安全控制条件,以便能有效地在更准确的时间节点执行控制ar眼镜的显示模组110和眼部防护罩120移动的相应语音控制指令。
在一些实施例中,上述预设条件可以设置为:眼部图像具有目标物体;或,闭眼超过预设时间阈值;或,眼部图像具有目标物体和闭眼超过预设时间阈值。除此之外,在其他一些实施例中,根据需要,也可以采用现有技术中任何可能的方式或手段设置其他内容的预设条件。
执行第一语音控制指令和第二语音控制指令能够使显示模组110和眼部防护罩120进行相应移动操作。目标位置是指显示模组110的佩戴位置或移开位置、眼部防护罩120的佩戴位置或移开位置。
在一些实施例中,可以通过语音控制系统130的相应指令控制功能模块执行第一语音控制指令和第二语音控制指令控制显示模组和眼部防护罩移动到目标位置,使得显示模组和眼部防护罩交替覆盖用户的眼睛。
图3是图2中步骤230的子步骤示例性流程图。在一些实施例中,上述步骤230可以实施为以下子步骤流程:
子步骤231,判断用户的眼睛是否满足第一预设条件,如果判断结果为是,即用户的眼睛满足第一预设条件,进入下一子步骤232;
子步骤232,根据第一语音控制指令控制显示模组110至第一目标移开位置以从用户的眼睛移开;
子步骤233,控制眼部防护罩120移动到第一目标佩戴位置以覆盖用户的眼睛。
在满足安全控制机制的第一预设条件下,通过根据用户语音控制信号获取的相应语音控制指令,自动完成ar眼镜显示模组110的移开及眼部防护罩120的佩戴,无需用户额外手动操作,方便用户同时可以进行其他作业,提高了操作效率,满足了用户的即时需求,极大地提高了用户体验。
图4是图2中步骤230的子步骤示例性流程图。在一些实施例中,上述步骤230可以实施为以下子步骤流程:
子步骤231',判断用户的眼睛是否满足第二预设条件,如果判断结果为是,即用户的眼睛满足第二预设条件,进入下一子步骤232';
子步骤232',根据第二语音控制指令控制眼部防护罩120至第二目标移开位置以从用户的眼睛移开;
子步骤233',控制显示模组110移动到第二目标佩戴位置以覆盖用户的眼睛。
在满足安全控制机制的第二预设条件下,通过根据用户语音控制信号获取的相应语音控制指令,自动完成眼部防护罩120的移开及ar眼镜显示模组110的佩戴,无需用户额外手动操作,方便用户同时可以进行其他作业,提高了操作效率,满足了用户的即时需求,极大地提高了用户体验。
图5是图2中步骤230的子步骤示例性流程图。在一些实施例中,上述步骤230可以实施为以下子步骤流程:
子步骤231,判断用户的眼睛是否满足第一预设条件,如果判断结果为是,即用户的眼睛满足第一预设条件,进入上述子步骤232至233,如果判断结果为否,进入子步骤231',判断用户的眼睛是否满足第二预设条件,如果判断结果为是,进入子步骤232'至233',如果判断结果为否,返回至子步骤231重复循环以上子步骤。
连续执行判断安全控制的第一预设条件和第二预设条件是否满足,根据判断结果设置相应执行步骤分支,进一步提高了操作效率,满足了用户的即时需求,极大地提高了用户体验。
在一些实施例中,第一语音控制指令可以设置成与控制显示模组110移开、控制眼部防护罩120移开的操作相对应;第二语音控制指令可以设置成与控制显示模组110佩戴、控制眼部防护罩120佩戴的操作相对应。具体实施时可以对第一语音控制指令和第二语音控制指令的执行时间节点及执行顺序进行适当设置。
在一些实施例中,第一语音控制指令可以设置成与控制显示模组110佩戴、控制眼部防护罩120佩戴的操作相对应;第二语音控制指令可以设置成与控制显示模组110移开、控制眼部防护罩120移开的操作相对应。具体实施时可以对第一语音控制指令和第二语音控制指令的执行时间节点及执行顺序进行适当设置。
在一些实施例中,第一预设条件设置为眼部图像具有目标物体;第二预设条件设置为闭眼超过预设时间阈值。
在一些实施例中,第一目标移开位置和第二目标移开位置可以相同;第二目标佩戴位置和第二目标佩戴位置可以相同。
在一些实施例中,当用户的眼睛满足预设条件时,根据第一语音控制指令和所述第二语音控制指令及预设触发操作程序,马达系统140带动相应传动装置150控制显示模组110和眼部防护罩120分别上升、下降和/或翻转到目标移开位置或目标佩戴位置,使得显示模组110和眼部防护罩120交替覆盖用户的眼睛。
在一些实施例中,方法200可以实施为以下过程:
获取用户的骨传导语音控制信号和口罩语音控制信号;
通过预设第一语音校正模型、第二语音校正模型将骨传导语音控制信号和口罩语音控制信号校正为满足预设标准条件的标准语音数据,标准语音数据包括控制显示模组移动的第一语音控制指令,以及控制眼部防护罩移动的第二语音控制指令;
当用户的眼睛满足预设条件时,根据第一语音控制指令和第二语音控制指令控制显示模组110和眼部防护罩120移动到目标位置,使得显示模组110和眼部防护罩120交替覆盖用户的眼睛。
在一些实施例中,第一语音校正模型、第二语音校正模型可以采用预存的现成的语音校正模型或预训练语音校正模型。
通过针对性地设置第一语音校正模型、第二语音校正模型分别对骨传导语音控制信号和口罩语音控制信号进行适应性校正,降低骨传导、佩戴口罩等干扰因素影响,提高了语音信号识别能力,从而更准确地确定相应语音控制指令,尤其适用于外科医生进行手术时进行ar眼镜自动操作的应用场景。
通过获取语音控制信号,以及利用预设语音校正模型将语音控制信号校正为满足预设标准条件的标准语音数据,标准语音数据中包括控制显示模组移动以及控制眼部防护罩移动的相应语音控制指令;当确定用户的眼睛满足可执行语音控制指令的预设条件时,根据第一语音控制指令和第二语音控制指令,控制马达系统140及传动装置150(即移动操作的主要动力传动装置)带动显示模组110和眼部防护罩120移动到目标位置,使得显示模组110和眼部防护罩120交替覆盖用户的眼睛,即用户可以仅仅通过语音进行显示模组110和眼部防护罩120交替覆盖用户的眼睛,即用户可以仅仅通过语音进行显示模组110的移开或佩戴、眼部防护罩的佩戴或移开等一系列动作的自动控制操作,从而不必如传统技术那样需要用户额外手动操作或调整,尤其是在用户手持工具(如手术器具或作业器具等)的情况下,友好地解放了用户的双手,极大地提高了ar眼镜设备的便利性,增强了操作灵活性,提高了用户体验,因此很好地解决了现有技术存在的技术缺陷。
图6是根据本申请一些实施例所示的ar眼镜移动自动控制装置100的框图。如图6所示,该装置100可以包括获取模块31、校正模块32和移动操作控制模块33。
获取模块31可以用于获取用户的语音控制信号,即可以用于执行上述的步骤210。
在一些实施例中,语音控制信号可以包括由用户发出的和特殊语音信号,一般语音信号是指没有其他影响因素(如外界环境等)干扰、正常情况下获取的语音信号,相对应的,特殊语音信号则是指在存在其他影响因素干扰、特殊情况下(即非正常情况下)获取的语音信号。
在一些实施例中,获取的语音控制信号可以仅存在一般语音信号。
在一些实施例中,获取的语音控制信号可以仅存在特殊语音信号。
在一些实施例中,获取的语音控制信号中可以既存在一般语音信号,又存在特殊语音信号。
在一些实施例中,特殊语音信号可以是通过骨传导方式传达的骨传导语音信号。在一些实施例中,特殊语音信号可以是用户佩戴口罩情况下传达的口罩语音信号。在一些实施例中,特殊语音信号可以是上述两种特殊语音信号同时存在的双重语音信号。
作为示例,用户发出的语音内容可以是“移开ar眼镜”或“移开ar眼镜显示模组”、“佩戴ar眼镜”或“启动ar眼镜显示模组”、“摘除眼部防护罩”、“戴上眼部防护罩”等语句。
在一些实施例中,可以通过语音控制系统130的语音信号采集功能模块进行上述语音控制信号的采集。例如,可以采用普通录音声卡、现有基于matlab的语音采集分析系统、基于dsp的实时语音采集处理系统等。
校正模块32可以用于:通过预设语音校正模型将语音控制信号校正为满足预设标准条件的标准语音数据,标准语音数据包括控制显示模组110移动的第一语音控制指令,以及控制眼部防护罩120移动的第二语音控制指令。在一些实施例中,可以通过语音控制系统130校正语音控制信号获取相应语音控制信号即可以用于执行上述的步骤220。
在一些实施例中,预设语音校正模型可以是语音控制系统130预存的现成的语音校正模型或者根据实际需要预训练的语音校正模型。
在一些实施例中,可以按照以下步骤,训练得到预设语音校正模型。
s1、获取语音控制信号样本数据及其标准语音标签样本数据;
s2、将语音控制信号样本数据输入待训练模型,输出校正结果数据;
s3、根据校正结果数据和标准语音标签样本数据回调模型参数,并不断训练直至得到预设语音校正模型。
通过自行训练的预设语音校正模型,对于本申请中具有特定的、多重特点的语音控制信号的校正计算,具有更高的适应性和准确率,提高语音校正处理的效率。
在一些实施例中,上述语音控制信号样本数据可以从历史记录业务数据或现有样本数据库获取。
在一些实施例中,标准语音是指满足一定语音内容准确度条件的语音数据,对语音内容越准确,标准程度越高,而在具体实施时,可以确定符合标准语音的明确标准条件。
在一些实施例中,标准语音标签样本数据可以根据语音控制信号样本数据获得,可以从历史记录业务数据或现有样本数据库获取,并对其进行标签的标注。
在一些实施例中,上述预设语音校正模型或待训练模型可以是基于深度置信网络dbn的语音识别模型、基于混淆矩阵的语音校正模型、基于隐马尔可夫模型(hmm)和径向基神经网络(rbf)混合的语音识别模型、基于隐马尔可夫模型(hmm)和小波神经网络(wnn)的语音识别模型、基于隐马尔可夫模型(hmm)和遗传神经网络的语音识别模型、基于隐马尔可夫模型(hmm)/人工神经网络(ann)的混合模型的语音识别模型以及其他现有技术中任何可能的语音识别模型或语音校正模型。在一些实施例中,可以选取上述一种或多种模型的组合作为上述预设语音校正模型或待训练模型。
移动操作控制模块33可以用于:当用户的眼睛满足预设条件时,根据第一语音控制指令和第二语音控制指令控制显示模组110和眼部防护罩120移动到目标位置,使得显示模组110和眼部防护罩120交替覆盖用户的眼睛,即可以用于执行上述的步骤230。
设置预设条件是希望在语音校正基础上增加一道安全机制或安全控制条件,以便能有效地在更准确的时间节点执行控制ar眼镜的显示模组110和眼部防护罩120移动的相应语音控制指令。
在一些实施例中,上述预设条件可以设置为:眼部图像具有目标物体;或,闭眼超过预设时间阈值;或,眼部图像具有目标物体和闭眼超过预设时间阈值。除此之外,在其他一些实施例中,根据需要,也可以采用现有技术中任何可能的方式或手段设置其他内容的预设条件。
移动操作控制模块33执行第一语音控制指令和第二语音控制指令能够使显示模组110和眼部防护罩120进行相应移动操作。目标位置是指显示模组110的佩戴位置或移开位置、眼部防护罩120的佩戴位置或移开位置。
在一些实施例中,可以通过语音控制系统130的相应指令控制功能模块执行第一语音控制指令和第二语音控制指令控制显示模组和眼部防护罩移动到目标位置,使得显示模组和眼部防护罩交替覆盖用户的眼睛。
在一些实施例中,上述步骤230可以实施为以下子步骤流程:
子步骤231,判断用户的眼睛是否满足第一预设条件,如果判断结果为是,即用户的眼睛满足第一预设条件,进入下一子步骤232;
子步骤232,根据第一语音控制指令控制显示模组110至第一目标移开位置以从用户的眼睛移开;
子步骤233,控制眼部防护罩120移动到第一目标佩戴位置以覆盖用户的眼睛。
在满足安全控制机制的第一预设条件下,通过根据用户语音控制信号获取的相应语音控制指令,自动完成ar眼镜显示模组110的移开及眼部防护罩120的佩戴,无需用户额外手动操作,方便用户同时可以进行其他作业,提高了操作效率,满足了用户的即时需求,极大地提高了用户体验。
在一些实施例中,上述步骤230可以实施为以下子步骤流程:
子步骤231',判断用户的眼睛是否满足第二预设条件,如果判断结果为是,即用户的眼睛满足第二预设条件,进入下一子步骤232';
子步骤232',根据第一语音控制指令控制眼部防护罩120至第二目标移开位置以从用户的眼睛移开;
子步骤233',控制显示模组110移动到第二目标佩戴位置以覆盖用户的眼睛。
在满足安全控制机制的第二预设条件下,通过根据用户语音控制信号获取的相应语音控制指令,自动完成眼部防护罩120的移开及ar眼镜显示模组110的佩戴,无需用户额外手动操作,方便用户同时可以进行其他作业,提高了操作效率,满足了用户的即时需求,极大地提高了用户体验。
在一些实施例中,上述步骤230可以实施为以下子步骤流程:
子步骤231,判断用户的眼睛是否满足第一预设条件,如果判断结果为是,即用户的眼睛满足第一预设条件,进入上述子步骤232至233,如果判断结果为否,进入子步骤231',判断用户的眼睛是否满足第二预设条件,如果判断结果为是,进入子步骤232'至233',如果判断结果为否,返回至子步骤231重复循环以上子步骤。
移动操作控制模块33连续执行判断安全控制的第一预设条件和第二预设条件是否满足,根据判断结果设置相应执行步骤分支,进一步提高了操作效率,满足了用户的即时需求,极大地提高了用户体验。
在一些实施例中,第一语音控制指令可以设置成与控制显示模组110移开、控制眼部防护罩120移开的操作相对应;第二语音控制指令可以设置成与控制显示模组110佩戴、控制眼部防护罩120佩戴的操作相对应。具体实施时可以对第一语音控制指令和第二语音控制指令的执行时间节点及执行顺序进行适当设置。
在一些实施例中,第一语音控制指令可以设置成与控制显示模组110佩戴、控制眼部防护罩120佩戴的操作相对应;第二语音控制指令可以设置成与控制显示模组110移开、控制眼部防护罩120移开的操作相对应。具体实施时可以对第一语音控制指令和第二语音控制指令的执行时间节点及执行顺序进行适当设置。
在一些实施例中,第一预设条件设置为眼部图像具有目标物体;第二预设条件设置为闭眼超过预设时间阈值。
在一些实施例中,第一目标移开位置和第二目标移开位置可以相同;第二目标佩戴位置和第二目标佩戴位置可以相同。
在一些实施例中,ar眼镜移动自动控制装置还包括马达系统140及相应传动装置150(图6中未示出),当用户的眼睛满足预设条件时,移动操作控制模块33根据第一语音控制指令和所述第二语音控制指令及预设触发操作程序,马达系统140带动相应传动装置150控制显示模组110和眼部防护罩120分别上升、下降和/或翻转到目标移开位置或目标佩戴位置,使得显示模组110和眼部防护罩120交替覆盖用户的眼睛。
在一些实施例中,ar眼镜移动自动控制装置可以实施为:
获取模块31获取用户的骨传导语音控制信号和口罩语音控制信号;
校正模块32通过预设第一语音校正模型、第二语音校正模型将骨传导语音控制信号和口罩语音控制信号校正为满足预设标准条件的标准语音数据,标准语音数据包括控制显示模组移动的第一语音控制指令,以及控制眼部防护罩移动的第二语音控制指令;
当用户的眼睛满足预设条件时,移动操作控制模块33根据第一语音控制指令和第二语音控制指令控制显示模组110和眼部防护罩120移动到目标位置,使得显示模组110和眼部防护罩120交替覆盖用户的眼睛。
在一些实施例中,第一语音校正模型、第二语音校正模型可以采用预存的现成的语音校正模型或预训练语音校正模型。
校正模块32通过针对性地设置第一语音校正模型、第二语音校正模型分别对骨传导语音控制信号和口罩语音控制信号进行适应性校正,降低骨传导、佩戴口罩等干扰因素影响,提高了语音信号识别能力,从而更准确地确定相应语音控制指令,尤其适用于外科医生进行手术时进行ar眼镜自动操作的应用场景。
图7是根据本申请一些实施例所示的ar眼镜移动自动控制装置100的结构示例图。如图7所示,该装置100包括显示模组110、语音控制系统130、升降马达系统141和升降轨道传动装置151、与显示模组110连接的眼部防护罩(图中未示出),语音控制系统130包括前述的获取模块31、校正模块32和移动操作控制模块33。其中,升降马达系统141施加动力至升降轨道传动装置151,使得升降轨道传动装置151带动ar眼镜的显示模组110和眼部防护罩移动。
图8是根据本申请另一些实施例所示的ar眼镜移动自动控制装置100的结构示例图。如图8所示,该装置包括显示模组110、语音控制系统130、翻转马达系统141'和翻转传动装置151'、与显示模组110连接的眼部防护罩(图中未示出),语音控制系统130包括前述的获取模块31、校正模块32和移动操作控制模块33。其中,翻转马达系统141'施加动力至翻转传动装置151',使得翻转传动装置151'带动ar眼镜的显示模组110和眼部防护罩翻转。
需要说明的是,在不脱离本申请发明构思情况下,上述显示模组110、语音控制系统130、马达系统140及相应传动装置150、与显示模组110连接的眼部防护罩可以采用现有技术中任何可能的方式或结构,本申请实施例不对其特别限定。
通过升降马达系统141和升降轨道传动装置151、翻转马达系统141'施加动力至翻转传动装置151',能够更系统地实现ar眼镜的显示模组和眼部防护罩的移开或佩戴的移动操作,并且还设定相应升降操作程序或翻转操作程序,以优化ar眼镜移动自动控制过程,增加操作便利性,并进一步提高了操作效率和用户体验。
在一些实施例中,ar眼镜设备期已模块化ar眼镜的显示模组110(即显像光机组),可藉由升降马达系统141(即升降马达动力系统)由数位步阶马达带动传动齿轮以链接升降轨道传动装置151(即升降轨道传动系统),因此ar眼镜的显示模组110即可透过升降马达系统141在升降轨道传动装置151范围里,迅速上升或下降。
在一些实施例中,ar眼镜设备期已模块化ar眼镜的显示模组110(即显像光机组),可藉由翻转马达系统141'(即翻转马达动力系统)由数位步阶马达带动传动齿轮以链接翻转传动装置151'(即升降轨道传动系统),因此ar眼镜的显示模组110即可透过翻转马达系统141'在翻转传动装置151'范围里,迅速翻转。
通过获取语音控制信号,以及利用预设语音校正模型将语音控制信号校正为满足预设标准条件的标准语音数据,标准语音数据中包括控制显示模组移动以及控制眼部防护罩移动的相应语音控制指令;当确定用户的眼睛满足可执行语音控制指令的预设条件时,根据第一语音控制指令和第二语音控制指令,控制马达系统140及传动装置150(即移动操作的主要动力传动装置)带动显示模组110和眼部防护罩120移动到目标位置,使得显示模组110和眼部防护罩120交替覆盖用户的眼睛,即用户可以仅仅通过语音进行显示模组110和眼部防护罩120交替覆盖用户的眼睛,即用户可以仅仅通过语音进行显示模组110的移开或佩戴、眼部防护罩的佩戴或移开等一系列动作的自动控制操作,从而不必如传统技术那样需要用户额外手动操作或调整,尤其是在用户手持工具(如手术器具或作业器具等)的情况下,友好地解放了用户的双手,极大地提高了ar眼镜设备的便利性,增强了操作灵活性,提高了用户体验,因此很好地解决了现有技术存在的技术缺陷。
在一些实施例中,ar眼镜移动自动控制方法及装置可以获取包括语音控制信号在内的所有非接触式控制信号,同样能够解决背景技术中所述的现存技术缺陷。除了语音控制信号,其他非接触式控制信号可以包括手势语音控制信号、面部表情控制信号等现有技术中任何可能的方式。
具体地,该ar眼镜移动自动控制方法可以包括:
获取用户的非接触式控制信号;
通过预设校正模型将非接触式控制信号校正为满足预设标准条件的标准数据,标准数据包括控制显示模组移动的第一控制指令,以及控制眼部防护罩移动的第二控制指令;
当用户的眼睛满足预设条件时,根据第一控制指令和第二控制指令控制显示模组和眼部防护罩移动到目标位置,使得显示模组和眼部防护罩交替覆盖用户的眼睛。
ar眼镜移动自动控制装置包括:
获取模块,用于:获取用户的非接触式控制信号;
校正模块,用于:通过预设校正模型将非接触式控制信号校正为满足预设标准条件的标准数据,标准数据包括控制显示模组移动的第一控制指令,以及控制眼部防护罩移动的第二控制指令;
移动操作控制模块,用于:当用户的眼睛满足预设条件时,根据第一控制指令和第二控制指令控制显示模组和眼部防护罩移动到目标位置,使得显示模组和眼部防护罩交替覆盖用户的眼睛。
在其他一些实施例中,该种ar眼镜移动自动控制方法及装置,除了获取的非接触式控制信号内容、相应获取过程具体采用的获取手段、相应校正过程采用的预设校正模型与上述实施例所述的针对语音控制信号实现的ar眼镜移动自动控制方法及装置可以不同外,其他实施方式和实现过程类似,具体可以参考上述涉及实施例及附图1至图8,在此不再赘述。
通过获取非接触式控制信号,以及利用预设校正模型将非接触式控制信号校正为满足预设标准条件的标准数据,标准数据中包括控制显示模组移动以及控制眼部防护罩移动的相应控制指令;当确定用户的眼睛满足可执行控制指令的预设条件时,根据第一控制指令和第二控制指令,控制马达系统140及传动装置150(即移动操作的主要动力传动装置)带动显示模组110和眼部防护罩120移动到目标位置,使得显示模组110和眼部防护罩120交替覆盖用户的眼睛,即用户可以仅仅通过非接触式控制手段进行显示模组110和眼部防护罩120交替覆盖用户的眼睛,即用户可以仅仅通过非接触式控制手段进行显示模组110的移开或佩戴、眼部防护罩的佩戴或移开等一系列动作的自动控制操作,从而不必如传统技术那样需要用户额外手动操作或调整,尤其是在用户手持工具(如手术器具或作业器具等)的情况下,友好地解放了用户的双手,极大地提高了ar眼镜设备的便利性,增强了操作灵活性,提高了用户体验,因此很好地解决了现有技术存在的技术缺陷。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、rf、或类似介质,或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如java、scala、smalltalk、eiffel、jade、emerald、c++、c#、vb.net、python等,常规程序化编程语言如c语言、visualbasic、fortran2003、perl、cobol2002、php、abap,动态编程语言如python、ruby和groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(lan)或广域网(wan),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(saas)。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的处理设备或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外,对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是,如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方,以本申请的描述、定义和/或术语的使用为准。
最后,应当理解的是,本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此,作为示例而非限制,本申请实施例的替代配置可视为与本申请的教导一致。相应地,本申请的实施例不仅限于本申请明确介绍和描述的实施例。
起点商标作为专业知识产权交易平台,可以帮助大家解决很多问题,如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通,为大家解决相关问题。
此文章来源于网络,如有侵权,请联系删除