可穿戴设备的控制方法、可穿戴设备及存储介质与流程

本申请涉及控制技术领域，特别是涉及一种可穿戴设备的控制方法、可穿戴设备及存储介质。

背景技术：

随着通信技术的发展，通过控制方法对移动便携式设备进行操作成为重要的人机交互手段，针对可穿戴设备，例如：手机、笔记本电脑来说，保护其私密性也越来越重要。

在可穿戴设备的控制使用过程中，往往通过手势识别或语音助手进行人机交互。由于占用双手成本上升以及环境噪声的干扰等情况，使得在使用手势式，导致被外界发现，在发出特定语音时，导致音量需要足够大而被外界发现且存在语音误识别和不识别的情况。

目前，因为针对可穿戴设备的人机交互方式往往使用手势和音量大的语音，因此往往导致人机交互事件容易被外界发现，进而影响可穿戴设备的人机交互的控制体验。

技术实现要素：

本申请提供一种可穿戴设备的控制方法、可穿戴设备及存储介质，以解决目前可穿戴设备人机交互事件容易被外界发现的问题。

本申请实施例的第一方面提供了一种可穿戴设备的控制方法，包括：获取骨振动传感器采集的音频信号，骨振动传感器设置于可穿戴设备，且在可穿戴设备被穿戴时接触人体；确定音频信号的音频类型；根据音频信号的音频类型，对可穿戴设备进行操作。

本申请实施例的第二方面提供了一种可穿戴设备，包括：获取模块，用于获取骨振动传感器采集的音频信号，骨振动传感器设置于可穿戴设备，且在可穿戴设备被穿戴时接触人体；确定模块，连接获取模块，用于确定所述音频信号的音频类型；操作模块，连接所述确定模块，用于根据音频信号的音频类型，对可穿戴设备进行操作。

本申请实施例的第三方面提供了一种可穿戴设备，包括：处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序以实现本申请实施例第一方面提供的方法。

本申请实施例的第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序能够被处理器执行时实现本申请实施例第一方面提供的方法。

本申请的有益效果是：区别于现有技术的情况，本申请针对可穿戴设备人机交互中容易被发现且存在语音误识别和不识别的情况设置音频类型，采用骨振动传感器对人机交互的音频信号进行获取并确定，对可穿戴设备进行操作。通过上述方式，能够有效避免可穿戴设备人机交互被外界发现，并且有效的识别音频类型，优化可穿戴设备人机交互的控制体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的可穿戴设备的控制方法第一实施例的流程示意图；

图2是本申请的可穿戴设备的控制方法第二实施例的流程示意图；

图3是本申请实施例声音信号转换为电信号的时间-幅值特性曲线；

图4是本申请的可穿戴设备一实施例的示意框图；

图5是本申请的可穿戴设备另一实施例的示意框图；

图6是本申请的计算机可读存储介质一实施例的示意框图；

图7是本申请可穿戴设备的硬件架构的示意框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。本申请实施例提供一种可穿戴设备的控制方法，请参阅图1，图1是本申请的可穿戴设备的控制方法第一实施例的流程示意图。本实施例提供的方法具体包括以下步骤：

s11：获取骨振动传感器采集的音频信号；

一般来说，为了获取音频信号，可穿戴设备上设有获取音频信号的音频装备，比如麦克风，当有声音经过正在工作的麦克风时，可以检测到音频信号。以骨传导麦克风为例，可以通过对声音进行采集来获取音频信号，而不同的音频信号可以通过传感器进行识别，比如震动类音频信号，以骨振动传感器为例，可以通过骨振动传感器对骨传导麦克风采集的音频信号进行识别，从而形成获取骨振动传感器采集的音频信号。

其中，骨振动传感器设置于可穿戴设备，且在可穿戴设备被穿戴时接触人体。同样，骨传导麦克风可以设置在头戴式设备的头箍或者镜腿上，通过头箍的压力与头部相接触，紧压头箍。

值得注意的是，可穿戴设备可以为头戴式显示器(headmounteddisplay，hmd)，也即头显，可以通过各种头显，向眼睛发送光学信号，可以实现虚拟现实(virtualreality，vr)、增强现实(augmentedreality，ar)、混合现实(mixedreality，mr)等不同效果。其中，可穿戴设备可以为ar眼镜，ar眼镜包括眼镜主体部和紧箍部，紧箍部被配置为紧箍头部以固定ar眼镜，骨振动传感器设置于紧箍部。当然，ar眼镜的镜腿处也可以安装骨振动传感器，具体根据实际需求进行调节和使用，此处不做限定。

此外，当可穿戴设备上设置有获取音频采集功能时，通过被穿戴时接触人体的可穿戴设备，其骨振动传感器可以直接接触人体，也可以间接接触人体，以获取音频信号。当然，本领域技术人员可以通过本领域公知的其他方式来获取音频信号。

s12：确定音频信号的音频类型；

声音在固体中的传递速度要快于在声音中的传递速度，而且声音的损失也相对较小，一些微小的敲击声可以通过固体传播很远的距离。从而造成声音质量的下降。因此，当固体相互敲击时，所发出的敲击声比如振动，可以通过骨头之间进行传导，比如通过颌骨传递到颅骨上进行传导，然后可以被骨传导麦克风采集。这相对于外接设备，其他人若听不到敲击声，则在需要私密通信的情况下对可穿戴设备进行人机交互。

当获取骨振动传感器采集的音频信号时，其振动的敲击声可以被可穿戴设备获取音频信号的音频特征，并且可穿戴设备根据音频信号的音频特征，可以确定音频信号的音频类型。

可选地，音频类型可以包括敲击次数、敲击频率、敲击声音大小以及敲击的节拍，以敲击次数为例，当可穿戴设备获取到敲击对应产生的音频信号时，可以通过相应的音频特征判定敲击的数量是一次，还是多次，基于敲击数量的多少，可以确定对应的音频类型为敲击次数。

音频信号由确定的骨头传导，并且音频信号对应的音频类型被用户赋予预设的含义，由此，音频信号的音频类型所代表的含义也可以被唯一确定。

s13：根据音频信号的音频类型，对可穿戴设备进行操作。

当预设的音频类型对应不同的操作时，根据音频信号的音频类型，可以对可穿戴设备进行操作，具体地：

例如在具有3个自由度(degreesoffreedom，3dof)功能的ar/vr系统交互中，用户视线处有一个射线光标，用于菜单的选中，可穿戴设备可以获取显示界面中射线光标的位置，其中，射线光标的位置可以由用户视线确定；可穿戴设备根据射线光标的位置，确定目标对象；根据音频信号的音频类型，对目标对象进行操作。比如，获取的音频信号可以通过音频类型对应的预设操作指令控制ar/vr系统中的窗口以及应用的进入、退出以及回主界面。

再比如：当用户处于观影模式时，可穿戴设备根据音频信号的音频类型，对显示界面中的视频界面进行播放、暂停、音量调节或切换操作。该切换操作可以是上一下视频和下一个视频播放的操作。

又比如：对于没有采用3dof射线光标的系统，根据音频信号的音频类型，对显示界面中的光标进行位置调节。

因此，本申请针对可穿戴设备人机交互中容易被发现且存在语音误识别和不识别的情况设置音频类型，采用骨振动传感器对人机交互的音频信号进行获取并确定，对可穿戴设备进行操作。通过上述方式，能够有效避免可穿戴设备人机交互被外界发现，并且有效的识别音频类型，优化可穿戴设备人机交互的控制体验。

另外，请参阅图2，图2是本申请的可穿戴设备的控制方法第二实施例的流程示意图。本实施例提供的方法具体包括以下步骤：

s21：获取骨振动传感器采集音频信号的时间-幅值特性；

可穿戴设备对于音频信号的获取是实时的，音频信号的音量大小是允许实时变化的，音频信号的频率大小也可以是随时间变化的。因此，对于音频信号的获取，可以采用不同的骨头之间进行传导，比如颌骨传递到颅骨，或者也可采用牙齿传递到颅骨等可使音频信号得以传导的方式来进行获取，具体此处不做限定。

基于用户使用头戴式设备，可以先在头戴式设备上设置骨传导麦克风，而骨传导麦克风靠近颅骨，牙齿因为与颌骨是相互连接的，所以牙齿的敲击声会通过颌骨形成固体传播，因此声音的损失较小，对于声音的损失，可以理解为损失主要指的是声音轻度，简单理解为音量，比如在空气中传播可能会受到许多其他噪声的影响，频率等其他参数也会受到影响，从而造成声音质量的下降。

对于声源，以牙齿之间敲击产生声音为例，头戴式设备可以检测用户上下敲击牙齿的振动信号，牙齿的敲击声音通过颅骨传导到骨传导麦克风上，因此可以被骨传导麦克风采集。并且骨传导麦克风利用头颈部骨骼的轻微振动，把振动信号转为电信号。值得注意的是，这里的振动信号包括环境声音的集合；电信号是指声音经骨传导麦克风中的整流滤波电路形成的电压信号或电流信号；而音频信号专指牙齿相互敲击时形成的振动信号，是一个模拟信号；数字信号专指模数转换器(analogtodigitalconverter，a/d)转换后形成的数字信号。

因此经过整流以及滤波等处理过程，可以获取音频信号的时间-幅值特性。请参阅图3，图3是本申请实施例声音信号转换为电信号的时间-幅值特性曲线。头戴式设备中设置有控制模块，骨传导麦克风采集到的声音是一个模拟信号，头戴式设备中的控制模块需要数模转换得到电信号，如图3所示，横坐标为时间，纵坐标为电压幅度，牙齿进行4次敲击，可以得到对应的时间-幅值，幅值之间的时间间隔长度、幅值的峰值大小以及幅值数量都代表着牙齿之间不同的敲击含义，在不同的应用场景中，通过预设敲击含义，可以获取音频信号的音频特征。

s22：根据音频信号的音频特征，确定音频信号的音频类型；

根据音频信号的时间-幅值特性，确定音频信号的音频类型，为了便于简单操作，可以通过定义牙齿敲击、牙齿连续敲击以及牙齿摩擦等来区别音频类型是敲击次数、敲击节拍或者磨牙，具体如下：

对于敲击次数音频信号的确定，以牙齿敲击为例，通常来说，上牙和对应咬合的下牙成对存在，当上牙与下牙敲击时，可以发出明显的清脆声音，而该牙齿敲击的声音可以由模拟信号经过可穿戴设备的处理，形成数字信号，根据音频信号的时间-幅值特性，因此牙齿敲击时至少存在一个幅度峰值，也即确定至少一个幅度峰值，在形成声音的音量峰值处可以转化成一个峰值，而声音的音量峰谷处可以转化成一个幅度谷值，可以将此幅度谷值确定为第一预设幅值，并且幅度峰值大于第一预设幅值；如果牙齿敲击的次数很多，那么幅度峰值的个数则对应存在多个，因此，可以根据幅度峰值的数量，比如通过对幅度峰值的数量进行统计，也即对牙齿敲击的次数进行统计，确定音频信号的音频类型为敲击次数。

对于敲击节拍音频信号的确定，以牙齿敲击为例，成对呈咬合形态的牙齿进行敲击，就如弹奏的五线谱一样，牙齿敲击过程中，每次牙齿敲击的时间间隔不同，形成的音律也就不同，根据音频信号的时间-幅值特性，每次牙齿敲击形成的幅度峰值以及幅度谷值也有所不同，敲击节拍意味着至少有两个幅度峰值存在，也即确定至少两个幅度峰值，通常第一预设幅值为所有幅值最小值，所以幅度峰值大于第一预设幅值；根据至少两个幅度峰值的时间间隔，也即通过至少两个幅度峰值的时间间隔的满足预设的节拍规律，以确定音频信号的音频类型为敲击节拍。

对于磨牙音频信号的确定，以牙齿相互摩擦为例，也即磨牙，磨牙相当于两个骨头之间的相互摩擦，根据音频信号的时间-幅值特性，其幅值可能不比牙齿敲击形成的幅度峰值大，但是磨牙转换成的时间-幅值特性曲线时会存在连续的幅度值，磨牙的次数可以很多，所以确定至少有一个幅度区域，磨牙的用力程度也存在不同，因此可以设置磨牙用力程度最小时形成的幅度值为第二预设幅值，将牙齿磨牙的用力程度最大时形成的幅度值预设为第三预设幅值，因此当磨牙时，在形成的时间-幅值特性曲线中，幅度区域内的幅值大于第二预设幅值且小于第三预设幅值，当然第三预设幅值可以和第一预设幅值相等；此外，根据幅度区域的时间长度，比如通过幅度区域的时间长度，为了滤除可能的误判，当时间长度满足一定要求时，确定音频信号的音频类型为磨牙。

因此，通过如图3所示的时间-幅值特性曲线，可以确定音频信号的音频类型。此外，对于获取音频信号的音频特征，还可以通过获取音频信号的幅度-频率特性，来确定音频信号的音频类型。当然，本领域技术人员在本申请的技术启示下完全可以想到根据实际需要设置其他的判别方式和定义音频类型。

s23：获取音频类型和预设控制指令的映射关系；

不同的应用中，可以设定不同的预设控制指令的映射关系，以牙齿的敲击次数为例，比如：在系统应用中，用户牙齿敲击1次，可以定义为确定操作；用户牙齿连续敲击2次，可以定义为返回操作；牙齿摩擦可以定义为返回主界面等。除了上述简单的指令外，还可以定义更多的牙齿敲击动作，进行可穿戴设备的人机交互通信，例如，单击、双击、三击。左右摩擦、前后摩擦等。

因此，根据音频类型和预设控制指令的映射关系，可以确定与音频信号的音频类型对应的控制指令。

s24：根据控制指令对可穿戴设备进行操作。

hmd设置有控制指令执行模块，执行模块主要是hmd响应用户操作对应的输出模块，如显示屏显示内容，扬声器输出声音等。执行模块43主要是hmd响应用户操作对应的输出模块，如显示屏显示内容，扬声器输出声音等。

根据控制指令对可穿戴设备进行操作，具体的应用实例如下：

例如在具有3dof功能的ar/vr系统交互中，用户视线处有一个射线光标，用于菜单的选中。当用户头部转动时，3dof系统检测到用户头部的位姿改变，然后射线光标随着用户的视线发生移动。用户将射线光标移动到对应的操作菜单上，此时通过牙齿敲击1次，可以进入相应的菜单。如果用户将射线光标移动到应用图标上，牙齿敲击1次，可以进入相应的应用。当进入菜单/应用后，牙齿连续敲击2次，则可以实现双击退出功能。用户牙齿轻微摩擦，可以返回到主界面。

另外，当用户处于游戏中时，可以借助于这种交互方式来实现射击等常用的操作。

当用户处于观影模式时，通过敲击牙齿，可以实现视频的暂停和播放等功能。

对于没有采用3dof射线光标的系统，可以定义牙齿的摩擦来移动光标。例如，定义牙齿的摩擦为顺时针移动光标。在应用菜单中，摩擦牙齿，光标顺时针移动。当光标移动到用户需要打开的应用图标上时，用户停止牙齿摩擦。此时，可以通过敲击1次牙齿的方式来打开改应用。进入该应用后，双击牙齿可以退出。

此外，值得注意的是，还可以通过骨传导声音，来识别用户嘴部的咀嚼声音信号，判断用户是否在吃东西。同时根据不同的声音信号特征比如频率，因为敲击和咀嚼有不同的频率，可以通过不同的特征频率来区分。可以判断用户咀嚼的实物的类型。然后根据这些咀嚼信号，在头戴式设备中进行显示体现。

请参阅图4，图4是本申请的可穿戴设备一实施例的示意框图。本申请实施例提供了一种可穿戴设备40，包括：

获取模块41，用于获取骨振动传感器采集的音频信号，骨振动传感器设置于可穿戴设备，且在可穿戴设备被穿戴时接触人体；

确定模块42，连接获取模块41，用于确定音频信号的音频类型；

操作模块43，连接确定模块42，用于根据音频信号的音频类型，对可穿戴设备进行操作。

通过检测用户骨头振动的动作，比如牙齿敲击，来识别交互操作指令，解决了可穿戴设备中手势识别和语音识别的痛点问题。另外，骨头振动的声音特征相较于眼球等运动特征更加明显，可以更加准确地识别。同时避免了用户在使用眼球追踪或者眨眼检测时对本身的视线引起的干扰。

进一步地，请参见图5，图5是本申请可穿戴设备另一实施例的示意图。本申请实施例提供一种可穿戴设50，包括：处理器51、存储器52以及存储在存储器中并在处理器上运行的计算机程序521，处理器51用于执行计算机程序521以实现本申请实施例第一方面提供的方法的步骤，在此不再赘述。

请参阅图7，图7是本申请的计算机可读存储介质一实施例的示意框图。如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读存储介质60中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储装置中，包括若干指令(计算机程序61)用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种介质以及具有上述存储介质的电脑、手机、笔记本电脑、平板电脑、相机等电子设备。

关于计算机可读存储介质中的计算机程序的执行过程的阐述可以参照上述本申请可穿戴设备7的控制方法实施例中阐述，在此不再赘述。

请参阅图7，图7是本申请可穿戴设备的硬件架构的示意框图，该可穿戴设备700可以为手机、平板电脑以及笔记本电脑以及头戴式设备等，本实施例图示以手机为例。该可穿戴设备700的结构可以包括射频(radiofrequency，rf)电路710、存储器720、输入单元730、显示单元740、传感器750、音频电路760、wifi(wirelessfidelity)模块770、处理器780以及电源790等。其中，rf电路710、存储器720、输入单元730、显示单元740、传感器750、音频电路760以及wifi模块770分别与处理器780连接；电源790用于为整个可穿戴设备700提供电能。

具体而言，rf电路710用于接发信号；存储器720用于存储数据指令信息；输入单元730用于输入信息，具体可以包括触控面板731以及操作按键等其他输入设备732；显示单元740则可以包括显示面板等；传感器750包括红外传感器、激光传感器等，用于检测用户接近信号、距离信号等；扬声器761以及传声器(或者麦克风)762通过音频电路760与处理器780连接，用于接发声音信号；wifi模块770则用于接收和发射wifi信号，处理器780用于处理可穿戴设备的数据信息。

以上所述仅为本申请的部分实施例，并非因此限制本申请的保护范围，凡是利用本申请说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除