一种电器控制方法、装置、存储介质及终端与流程

2021-01-28 14:01:25|

279|

起点商标网

本发明涉及控制领域，尤其涉及一种电器控制方法、装置、存储介质及终端。

背景技术：

目前，家用空调有离线和在线功能，在线功能是通过语音或者视觉模块读取到相关数据上传给云端，在云端进行摄像头和麦克风采集的相关数据的处理，网络传输数据量较大，这样会导致网络延时。

技术实现要素：

本发明的主要目的在于克服上述现有技术的缺陷，提供一种电器控制方法、装置、存储介质及终端，以解决现有技术中电器的摄像头、麦克风采集的数据需要上传到云端处理，传输数据量较大、导致网络延时的问题。

本发明一方面提供了一种电器控制方法，包括：获取所在局域网中的电器的图像采集设备采集的图像，并对所述图像进行特征提取得到相应的特征图像，所述特征图像，包括：用户所在区域图像和/或用户手势区域图像；获取所在局域网中的电器的语音采集设备采集的用户语音，并对所述用户语音进行识别处理得到相应的语音识别信息，所述语音识别信息，包括：语音文本信息；将所述特征图像上传至云端服务器进行特征图像识别得到相应的图像识别结果，和/或将所述语音识别信息上传到云端服务器进行处理得到相应的语音处理结果；将所述图像识别结果和/或语音处理结果下发到所在局域网中的相应电器，由所述相应电器根据所述图像识别结果和/或语音处理结果执行相应的操作。

可选地，所述图像识别结果，包括：用户所在的位置和/或用户手势对应的控制指令；和/或，所述语音处理结果，包括：用户语音对应的控制指令、用户语音对应的应答语音。

可选地，将所述语音处理结果下发到所在局域网中的相应电器，包括：当所述语音处理结果为电器唤醒指令时，若所述唤醒指令在所述局域网中对应两个以上电器，则根据所述用户语音的声音能量或者所述图像处理结果确定所述两个以上电器中距离用户最近的电器；将所述唤醒指令下发到所述两个以上电器中距离用户最近的电器，以唤醒所述距离用户最近的电器；和/或，将所述图像识别结果下发到所在局域网中的相应电器，包括：当所述图像识别结果为用户所在位置时，将所述图像识别结果下发到所在局域网中的空调，以便所述空调根据用户所在位置进行风避人控制或风随人控制。

可选地，还包括：存储所在局域网中的各个电器的离线下载资源，以用于所述局域网中的各个电器共享所述离线下载资源。

本发明另一方面提供了一种电器控制装置，包括：图像处理单元，用于获取所在局域网中的电器的图像采集设备采集的图像，并对所述图像进行特征提取得到相应的特征图像，所述特征图像，包括：用户所在区域图像和/或用户手势区域图像；语音处理单元，用于获取所在局域网中的电器的语音采集设备采集的用户语音，并对所述用户语音进行识别处理得到相应的语音识别信息，所述语音识别信息，包括：语音文本信息；上传单元，用于将所述特征图像上传至云端服务器进行特征图像识别得到相应的图像识别结果，和/或将所述语音识别信息上传到云端服务器进行处理得到相应的语音处理结果；发送单元，用于将所述图像识别结果和/或语音处理结果下发到所在局域网中的相应电器，由所述相应电器根据所述图像识别结果和/或语音处理结果执行相应的操作。

可选地，所述发送单元，将所述语音处理结果下发到所在局域网中的相应电器，包括：当所述语音处理结果为电器唤醒指令时，若所述唤醒指令在所述局域网中对应两个以上电器，则根据所述用户语音的声音能量或者所述图像处理结果确定所述两个以上电器中距离用户最近的电器；将所述唤醒指令下发到所述两个以上电器中距离用户最近的电器，以唤醒所述距离用户最近的电器；和/或，所述发送单元，将所述图像识别结果下发到所在局域网中的相应电器，包括：当所述图像识别结果为用户所在位置时，将所述图像识别结果下发到所在局域网中的空调，以便所述空调根据用户所在位置进行风避人控制或风随人控制。

可选地，还包括：存储单元，用于存储所在局域网中的各个电器的离线下载资源，以用于所述局域网中的各个电器共享所述离线下载资源。

本发明又一方面提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现前述任一所述方法的步骤。

本发明再一方面提供了一种终端，包括处理器、存储器以及存储在存储器上可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述任一所述方法的步骤。

本发明再一方面提供了一种终端，包括前述任一所述的电器控制装置。

根据本发明的技术方案，将采集的图像信息进行初步的特征图像提取后再上传到云端进行进一步识别得到图像识别结果，将语音信息进行初步的文本转换和/或声音特征提取后再上传到云端进行进一步处理得到相应的语音处理结果，从而将图像识别结果和/或语音处理结果下发到所在局域网中的相应电器，执行相应的操作，能够减少通过网络上传的数据量，减少网络延时，并能提高图像信息、语音信息的处理速度，同时减轻网络负担、减少云端计算负担，提高用户体验。本发明还能够实现不同的家用电器共享离线资源，实现在离线情况下也可以利用更多的共享资源。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明提供的电器控制方法的一实施例的方法示意图；

图2是本发明提供的电器控制装置的一实施例的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明提供一种电器控制方法。所述电器控制方法用于控制同一局域网中的电器。所述控制方法可以在终端设备或者路由器中实施，所述终端设备与同一局域网中的电器通过有线(例如通过串口连接)或无线的方式连接并通信。

图1是本发明提供的电器控制方法的一实施例的方法示意图。

如图1所示，根据本发明的一个实施例，所述电器控制方法至少包括步骤s110、步骤s120和步骤s130。

步骤s110，获取所在局域网中的电器的图像采集设备采集的图像，并对所述图像进行特征提取得到相应的特征图像。

例如，空调、冰箱、洗衣机的电器都接入家庭局域网，获取家庭局域网中的各个电器的图像采集设备采集的图像。例如，接收空调的摄像头采集到的图像。对获取的图像进行初步的特征提取得到特征图像。所述特征图像具体可以包括：用户所在区域图像和/或用户手势区域图像。例如，将获取的图像输入神经网络的主干网络(例如resnet或者resnext网络)进行特征提取，得到特征图像，减少无用信息。例如，将图像进行图像预处理，包括增加图像光线或者旋转图像，从而能够增加图像识别度，图像预处理后进行卷积处理得到特征图像。

步骤s120，获取所在局域网中的电器的语音采集设备采集的用户语音，并对所述用户语音进行识别处理得到相应的语音识别信息。

所述语音识别信息具体可以包括：语音文本信息。具体地，通过对用户语音进行识别得到语音信息对应的语音文本信息。

步骤s130，将所述特征图像上传至云端服务器进行特征图像识别得到相应的图像识别结果，和/或将所述语音识别信息上传到云端服务器进行处理得到相应的语音处理结果。

具体地，将所述特征图像上传至云端服务器，由云端服务器对特征图像进行进一步的图像识别得到图像识别结果。所述图像识别结果具体地可以包括用户所在的位置和/或用户手势对应的控制指令。将语音识别信息上传到云端服务器，由云端服务器对语音识别信息进行进一步处理得到语音处理结果。所述语音处理结果，包括：用户语音对应的控制指令和/或用户语音对应的应答语音。例如采集的用户语音信息为用户的语音控制指令时，云端服务器对语音文本信息进行语义识别得到相应的语义信息，再根据识别得到的语义信息进行控制指令匹配得到用户语音对应的控制指令。所述控制指令可以包括电器唤醒指令和电器控制指令。又例如，当采集的用户语音信息为语音交互对话时，云端服务器对语音文本信息进行语义识别得到相应的语义信息，并根据语义信息生成相应的应答文本，再通过tts模块转换为相应的应答语音。

步骤s140，将所述图像识别结果和/或语音处理结果下发到所在局域网中的相应电器，由所述相应电器根据所述图像识别结果和/或语音处理结果执行相应的操作。

当所述语音处理结果为电器唤醒指令时，将所述语音处理结果下发到所在局域网中的相应电器，具可以包括：若所述唤醒指令在所述局域网中对应两个以上电器，则根据所述用户语音的声音能量或者所述图像处理结果确定所述两个以上电器中距离用户最近的电器；将所述唤醒指令下发到所述两个以上电器中距离用户最近的电器，以唤醒所述距离用户最近的电器。

例如，当所在局域网中包括两个以上空调时，若空调的唤醒词均相同，当用户想唤醒空调说出唤醒词时，将获取到两个以上空调的语音采集设备(例如麦克风)采集的两个以上用户语音，则确定采集的两个以上用户语音中声音能量最高的用户语音的对应的电器(即采集该语音的语音采集设备所在的电器)为距离用户最近的电器，并将唤醒指令下发到所述两个以上空调中距离用户最近的电器。实现就近唤醒电器，避免两个以上空调同时唤醒，造成混乱。

当所述语音处理结果为电器控制指令时，根据电器控制指令的控制目标，将所述语音处理结果(即电器控制指令)下发到所在局域网中的相应电器。

当所述语音处理结果为应答语音时，即用户正在与某一电器进行语音交互对话，则将所述语音处理结果(即应答语音)下发到与用户进行语音交互对话的电器，由该电器进行播放以实现与用户的语音交互。

将所述图像识别结果下发到所在局域网中的相应电器，包括：当所述图像识别结果为用户所在位置时，将所述图像识别结果下发到所在局域网中的空调，以便所述空调根据用户所在位置进行风避人控制或风吹人控制。

根据本发明的上述实施例，将采集的图像信息进行初步的特征图像提取后再上传到云端进行进一步识别得到图像识别结果，将语音信息进行初步的文本转换和/或声音特征提取后再上传到云端进行进一步处理得到相应的语音处理结果，从而将图像识别结果和/或语音处理结果下发到所在局域网中的相应电器，执行相应的操作，能够减少通过网络上传的数据量，减少网络延时，并能提高图像信息、语音信息的处理速度，同时减轻网络负担、减少云端计算负担，提高用户体验。并且，能够实现就近唤醒电器，提高电器控制的智能化。

可选地，所述方法还包括：存储所在局域网中的各个电器的离线下载资源，以用于所述局域网中的各个电器共享所述离线下载资源。

例如，本发明可以在终端设备中实施，可以局域网中的各个电器的离线下载资源存储到终端设备侧，局域网中各个家用电器可以通过串口或者局域网得到存储在终端设备中的其他电器的离线下载资源，这样能够实现在离线情况下也可以利用更多的共享资源。因此，本发明还能够实现不同的家用电器共享离线资源，例如，家用空调与其他电器存储的离线资源可以相互使用，例如下载的音乐、视频等。

可选地，在所在局域网中的电器进行视频和/或音频播放时，启动杜比音效。

本发明提供一种电器控制装置。所述电器控制装置用于控制同一局域网中的电器。所述控制装置可以在终端设备或者路由器中实施，所述终端设备与同一局域网中的电器通过有线(例如通过串口连接)或无线的方式连接并通信。

图2是本发明提供的电器控制装置的一实施例的结构示意图。如图2所示，所述电器控制装置100包括图像处理单元110、语音处理单元120、上传单元130和发送单元140。

图像处理单元110用于获取所在局域网中的电器的图像采集设备采集的图像，并对所述图像进行特征提取得到相应的特征图像，所述特征图像，包括：用户所在区域图像和/或用户手势区域图像；

例如，空调、冰箱、洗衣机的电器都接入家庭局域网。图像处理单元110获取家庭局域网中的各个电器的图像采集设备采集的图像。例如，接收空调的摄像头采集到的图像，对获取的图像进行初步的特征提取得到特征图像。所述特征图像具体可以包括：用户所在区域图像和/或用户手势区域图像。例如，将获取的图像输入神经网络的主干网络(例如resnet或者resnext网络)进行特征提取，得到特征图像，减少无用信息。例如，将图像进行图像预处理，包括增加图像光线或者旋转图像，从而能够增加图像识别度，图像预处理后进行卷积处理得到特征图像。

语音处理单元120用于获取所在局域网中的电器的语音采集设备采集的用户语音，并对所述用户语音进行识别处理得到相应的语音识别信息，所述语音识别信息，包括：语音文本信息。

所述语音识别信息具体可以包括：语音文本信息。具体地，通过对用户语音进行识别得到语音信息对应的语音文本信息。

上传单元130用于将所述特征图像上传至云端服务器进行特征图像识别得到相应的图像识别结果，和/或将所述语音识别信息上传到云端服务器进行处理得到相应的语音处理结果。

发送单元140用于将所述图像识别结果和/或语音处理结果下发到所在局域网中的相应电器，由所述相应电器根据所述图像识别结果和/或语音处理结果执行相应的操作。

当所述语音处理结果为电器唤醒指令时，发送单元140将所述语音处理结果下发到所在局域网中的相应电器，具可以包括：若所述唤醒指令在所述局域网中对应两个以上电器，则根据所述用户语音的声音能量或者所述图像处理结果确定所述两个以上电器中距离用户最近的电器；将所述唤醒指令下发到所述两个以上电器中距离用户最近的电器，以唤醒所述距离用户最近的电器。

当所述语音处理结果为电器控制指令时，发送单元140根据电器控制指令的控制目标，将所述语音处理结果(即电器控制指令)下发到所在局域网中的相应电器。

所述发送单元140将所述图像识别结果下发到所在局域网中的相应电器，包括：当所述图像识别结果为用户所在位置时，将所述图像识别结果下发到所在局域网中的空调，以便所述空调根据用户所在位置进行风避人控制或风吹人控制。

可选地，所述装置100还包括：存储单元(未图示)，用于存储所在局域网中的各个电器的离线下载资源，以用于所述局域网中的各个电器共享所述离线下载资源。

本发明还提供对应于所述电器控制方法的一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现前述任一所述方法的步骤。

本发明还提供对应于所述电器控制方法的一种终端，包括处理器、存储器以及存储在存储器上可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述任一所述方法的步骤。

本发明还提供对应于所述电器控制装置的一种终端，包括前述任一所述的电器控制装置。

据此，本发明提供的方案，将采集的图像信息进行初步的特征图像提取后再上传到云端进行进一步识别得到图像识别结果，将语音信息进行初步的文本转换和/或声音特征提取后再上传到云端进行进一步处理得到相应的语音处理结果，从而将图像识别结果和/或语音处理结果下发到所在局域网中的相应电器，执行相应的操作，能够减少通过网络上传的数据量，减少网络延时，并能提高图像信息、语音信息的处理速度，同时减轻网络负担、减少云端计算负担，提高用户体验。本发明还能够实现不同的家用电器共享离线资源，实现在离线情况下也可以利用更多的共享资源。

本文中所描述的功能可在硬件、由处理器执行的软件、固件或其任何组合中实施。如果在由处理器执行的软件中实施，那么可将功能作为一或多个指令或代码存储于计算机可读媒体上或经由计算机可读媒体予以传输。其它实例及实施方案在本发明及所附权利要求书的范围及精神内。举例来说，归因于软件的性质，上文所描述的功能可使用由处理器、硬件、固件、硬连线或这些中的任何者的组合执行的软件实施。此外，各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为控制装置的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击【在线咨询】或添加微信【19522093243】与客服一对一沟通，为大家解决相关问题。