HI,欢迎来到起点商标网!
24小时服务QQ:2880605093

一种交互方法、装置和耳机与流程

2021-01-28 12:01:45|223|起点商标网
一种交互方法、装置和耳机与流程

本发明涉及电子设备技术领域,特别是涉及一种交互方法、一种交互装置和一种耳机。



背景技术:

随着经济和互联网的发展,人们的理财意识也逐渐增强,有记账需求的人也越来越多,基于这一需求,市面上出现的记账软件也越来越多。

目前用户通常使用电子设备上的记账软件进行记账,但是在一些场景中,电子设备的操作仍然存在一些限制,不利于用户对电子设备进行操作。例如,在驾驶汽车、骑行、跑步等场景中,用户不方便对手持式的电子设备进行操作。



技术实现要素:

鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种交互方法、一种交互装置和一种耳机。

为了解决上述问题,本发明实施例公开了一种交互方法,应用于耳机,所述方法包括:

获取用户语音数据;

依据所述用户语音数据获取账目信息;

依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。

可选地,所述依据所述用户语音数据获取账目信息,包括:

对所述用户语音数据进行语音识别得到识别文本;

对所述识别文本进行语句检测,得到至少一个语句;

识别所述至少一个语句对应的用户意图,并确定对应于记账意图的语句;

从对应于记账意图的语句中识别账目信息。

可选地,所述依据所述账目信息获取反馈信息,包括:

依据所述记账意图和所述账目信息生成反馈信息。

可选地,所述账目信息包括事项信息和/或金额信息。

可选地,所述依据所述记账意图和所述账目信息生成反馈信息,包括:

依据预设表达风格、所述记账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述记账意图和账目信息生成反馈信息,包括:

依据预设人物特征信息、所述记账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述用户语音数据获取账目信息,包括:

对所述用户语音数据进行语音识别得到识别文本;

对所述识别文本进行语句检测,得到至少一个语句;

识别所述至少一个语句对应的用户意图,并确定对应于查账意图的语句;

依据所述对应于查账意图的语句查找账目信息。

可选地,所述依据所述账目信息获取反馈信息,包括:

依据所述查账意图和所述账目信息生成反馈信息。

可选地,所述账目信息包括事项信息和/或金额信息。

可选地,所述依据所述查账意图和所述账目信息生成反馈信息,包括:

依据预设表达风格、所述查账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述查账意图和所述账目信息生成反馈信息,包括:

依据预设人物特征信息、所述查账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述用户语音数据获取账目信息,包括:

在耳机本地依据所述用户语音数据获取账目信息。

可选地,所述耳机与服务器通信;所述依据所述用户语音数据获取账目信息,包括:

向所述服务器发送所述用户语音数据,以使所述服务器依据所述用户语音数据获取账目信息;

所述依据所述账目信息获取反馈信息,包括:

接收所述服务器依据所述账目信息生成的反馈信息。

可选地,所述耳机与耳机收纳装置通信,所述耳机收纳装置与服务器通信;所述依据所述用户语音数据获取账目信息,包括:

向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置向所述服务器发送所述用户语音数据,通过所述服务器依据所述用户语音数据获取账目信息;或者,以使所述耳机收纳装置对所述用户语音数据进行语音识别得到语音识别结果,通过所述服务器依据所述语音识别结果获取账目信息;

所述依据所述账目信息获取反馈信息,包括:

接收所述耳机收纳装置发送的反馈信息,所述反馈信息由所述服务器依据所述账目信息生成。

可选地,所述耳机与耳机收纳装置通信;所述依据所述用户语音数据获取账目信息,包括:

向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置依据所述用户语音数据获取账目信息;

所述依据所述账目信息获取反馈信息,包括:

接收所述耳机收纳装置依据所述账目信息生成的反馈信息。

可选地,所述耳机具有语音助手,所述交互方法应用于所述语音助手。

可选地,在所述获取用户语音数据之前,还包括:

响应作用于耳机的预设触控区域的触控操作,所述语音助手唤醒。

可选地,在所述语音助手获取用户语音数据之前,还包括:

所述语音助手监听用户语音数据;

当检测到用户语音数据中包含预设唤醒词时,所述语音助手唤醒。

本发明实施例公开了一种交互装置,应用于耳机,所述交互装置包括:

用户语音数据获取模块,用于获取用户语音数据;

账目信息获取模块,用于依据所述用户语音数据获取账目信息;

反馈模块,用于依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。

可选地,所述账目信息获取模块包括:

第一识别文本获得子模块,用于对所述用户语音数据进行语音识别得到识别文本;

第一语句获得子模块,用于对所述识别文本进行语句检测,得到至少一个语句;

第一语句确定子模块,用于识别所述至少一个语句对应的用户意图,并确定对应于记账意图的语句;

第一账目信息识别子模块,用于从对应于记账意图的语句中识别账目信息。

可选地,所述反馈模块包括:

第一反馈信息生成子模块,用于依据所述记账意图和所述账目信息生成反馈信息。

可选地,所述账目信息包括事项信息和/或金额信息。

可选地,所述第一反馈信息生成子模块包括:

第一反馈信息生成单元,用于依据预设表达风格、所述记账意图和所述账目信息,生成反馈信息。

可选地,所述第一反馈信息生成子模块包括:

第二反馈信息生成单元,用于依据预设人物特征信息、所述记账意图和所述账目信息,生成反馈信息。

可选地,所述账目信息获取模块包括:

第二识别文本获得子模块,用于对所述用户语音数据进行语音识别得到识别文本;

第二语句获得子模块,用于对所述识别文本进行语句检测,得到至少一个语句;

第二语句确定子模块,用于识别所述至少一个语句对应的用户意图,并确定对应于查账意图的语句;

第二账目信息识别子模块,用于依据所述对应于查账意图的语句查找账目信息。

可选地,所述反馈模块包括:

第二反馈信息生成子模块,用于依据所述查账意图和所述账目信息生成反馈信息。

可选地,所述账目信息包括事项信息和/或金额信息。

可选地,所述第二反馈信息生成子模块包括:

第三反馈信息生成单元,用于依据预设表达风格、所述查账意图和所述账目信息,生成反馈信息。

可选地,所述第二反馈信息生成子模块包括:

第四反馈信息生成单元,用于依据预设人物特征信息、所述查账意图和所述账目信息,生成反馈信息。

可选地,所述账目信息获取模块包括:

本地获取子模块,用于在耳机本地依据所述用户语音数据获取账目信息。

可选地,所述耳机与服务器通信;所述账目信息获取模块包括:

第一发送子模块,用于向所述服务器发送所述用户语音数据,以使所述服务器依据所述用户语音数据获取账目信息;

所述反馈模块包括:

第一接收子模块,用于接收所述服务器依据所述账目信息生成的反馈信息。

可选地,所述耳机与耳机收纳装置通信,所述耳机收纳装置与服务器通信;所述账目信息获取模块包括:

第二发送子模块,用于向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置向所述服务器发送所述用户语音数据,通过所述服务器依据所述用户语音数据获取账目信息;或者,以使所述耳机收纳装置对所述用户语音数据进行语音识别得到语音识别结果,通过所述服务器依据所述语音识别结果获取账目信息;

所述反馈模块包括:

第二接收子模块,用于接收所述耳机收纳装置发送的反馈信息,所述反馈信息由所述服务器依据所述账目信息生成。

可选地,所述耳机与耳机收纳装置通信;所述账目信息获取模块包括:

第三发送子模块,用于向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置依据所述用户语音数据获取账目信息;

所述反馈模块包括:

第三接收子模块,用于接收所述耳机收纳装置依据所述账目信息生成的反馈信息。

可选地,所述耳机具有语音助手,所述语音助手部署于所述交互装置。

可选地,还包括:

第一唤醒模块,用于响应作用于耳机的预设触控区域的触控操作,唤醒所述语音助手。

可选地,还包括:

监听模块,用于监听用户语音数据;

第二唤醒模块,用于当检测到用户语音数据中包含预设唤醒词时,唤醒所述语音助手。

本发明实施例公开了一种耳机,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:

获取用户语音数据;

依据所述用户语音数据获取账目信息;

依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。

可选地,所述依据所述用户语音数据获取账目信息,包括:

对所述用户语音数据进行语音识别得到识别文本;

对所述识别文本进行语句检测,得到至少一个语句;

识别所述至少一个语句对应的用户意图,并确定对应于记账意图的语句;

从对应于记账意图的语句中识别账目信息。

可选地,所述依据所述账目信息获取反馈信息,包括:

依据所述记账意图和所述账目信息生成反馈信息。

可选地,所述账目信息包括事项信息和/或金额信息。

可选地,所述依据所述记账意图和所述账目信息生成反馈信息,包括:

依据预设表达风格、所述记账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述记账意图和账目信息生成反馈信息,包括:

依据预设人物特征信息、所述记账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述用户语音数据获取账目信息,包括:

对所述用户语音数据进行语音识别得到识别文本;

对所述识别文本进行语句检测,得到至少一个语句;

识别所述至少一个语句对应的用户意图,并确定对应于查账意图的语句;

依据所述对应于查账意图的语句查找账目信息。

可选地,所述依据所述账目信息获取反馈信息,包括:

依据所述查账意图和所述账目信息生成反馈信息。

可选地,所述账目信息包括事项信息和/或金额信息。

可选地,所述依据所述查账意图和所述账目信息生成反馈信息,包括:

依据预设表达风格、所述查账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述查账意图和所述账目信息生成反馈信息,包括:

依据预设人物特征信息、所述查账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述用户语音数据获取账目信息,包括:

在耳机本地依据所述用户语音数据获取账目信息。

可选地,所述耳机与服务器通信;所述依据所述用户语音数据获取账目信息,包括:

向所述服务器发送所述用户语音数据,以使所述服务器依据所述用户语音数据获取账目信息;

所述依据所述账目信息获取反馈信息,包括:

接收所述服务器依据所述账目信息生成的反馈信息。

可选地,所述耳机与耳机收纳装置通信,所述耳机收纳装置与服务器通信;所述依据所述用户语音数据获取账目信息,包括:

向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置向所述服务器发送所述用户语音数据,通过所述服务器依据所述用户语音数据获取账目信息;或者,以使所述耳机收纳装置对所述用户语音数据进行语音识别得到语音识别结果,通过所述服务器依据所述语音识别结果获取账目信息;

所述依据所述账目信息获取反馈信息,包括:

接收所述耳机收纳装置发送的反馈信息,所述反馈信息由所述服务器依据所述账目信息生成。

可选地,所述耳机与耳机收纳装置通信;所述依据所述用户语音数据获取账目信息,包括:

向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置依据所述用户语音数据获取账目信息;

所述依据所述账目信息获取反馈信息,包括:

接收所述耳机收纳装置依据所述账目信息生成的反馈信息。

可选地,所述一个或者一个以上的程序包括语音助手。

可选地,还包含用于进行以下操作的指令:

响应作用于耳机的预设触控区域的触控操作,唤醒所述语音助手。

可选地,还包含用于进行以下操作的指令:

监听用户语音数据;

当检测到用户语音数据中包含预设唤醒词时,唤醒所述语音助手。

本发明实施例公开了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的交互方法的步骤。

本发明实施例包括以下优点:

在发明实施例中,耳机可以获取用户语音数据;依据用户语音数据获取账目信息;依据账目信息获取反馈信息,并依据反馈信息进行输出。不需要用户用手操作耳机就能完成记账或者查账,并且可以基于账目信息向用户进行反馈。在用户不便于用手操作的情况下,也能满足用户的记账或者查账需求并且能够使得用户感知到反馈。例如,用户骑行时可以随时说出需要记账的内容,耳机可以在骑行过程中完成记账,不需要用户停下来拿出手机进行记账。

附图说明

图1是本发明实施例的一种交互方法的步骤流程图;

图2是本发明实施例的另一种交互方法的步骤流程图;

图3是本发明实施例的另一种交互方法的步骤流程图;

图4是本发明实施例的另一种交互方法的步骤流程图;

图5是本发明实施例的另一种交互方法的步骤流程图;

图6是本发明实施例的另一种交互方法的步骤流程图;

图7是本发明实施例的另一种交互方法的步骤流程图;

图8是本发明实施例的另一种交互方法的步骤流程图;

图9是本发明实施例的另一种交互方法的步骤流程图;

图10是本发明实施例的另一种交互方法的步骤流程图;

图11是本发明实施例的另一种交互方法的步骤流程图;

图12是本发明实施例的另一种交互方法的步骤流程图;

图13是本发明实施例的一种交互装置的结构框图;

图14是一示例性实施例示出的一种用于交互的耳机的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1,示出了本发明实施例的一种交互方法的步骤流程图,该方法应用于耳机,所述方法具体可以包括如下步骤:

步骤101,获取用户语音数据。

耳机是人们日常生活中经常使用的可携带电子设备,耳机可以具有播放功能,拾音功能和通信功能。用户可以使用耳机听歌或进行电话沟通。

步骤102,依据所述用户语音数据获取账目信息。

耳机可以依据用户语音数据获取账目信息。在用户需要记账时,耳机可以从用户语音数据识别出用户想要记录的账目信息。在用户需要查账时,耳机可以从用户语音数据中识别用户想要查找什么账目信息。

步骤103,依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。

耳机可以通过输出反馈信息与用户进行互动。在记录账目信息后,通过反馈信息可以告知用户已经记账。在查找到账目信息后,通过反馈信息告知用户查找到的账目信息。

例如,用户戴着耳机说出:“记个账,午饭花了20元”,耳机可以播放:“20元已入账”。又例如,用户说出:“这周吃饭花了多少钱?”耳机可以播放:“花了500元”。

在发明实施例中,耳机可以获取用户语音数据;依据用户语音数据获取账目信息;依据账目信息获取反馈信息,并依据反馈信息进行输出。不需要用户用手操作耳机就能完成记账或者查账,并且可以基于账目信息向用户进行反馈。在用户不便于用手操作的情况下,也能满足用户的记账或者查账需求并且能够使得用户感知到反馈。例如,用户骑行时可以随时说出需要记账的内容,耳机可以在骑行过程中完成记账,不需要用户停下来拿出手机进行记账。

参照图2,示出了本发明实施例的另一种交互方法的步骤流程图,该方法应用于耳机,所述耳机具有语音助手,所述方法具体可以包括如下步骤:

步骤201,所述语音助手获取用户语音数据。

在本发明实施例中,耳机可以安装有语音助手,语音助手可以是安装在耳机中独立运行的程序,可以提供多种多样的交互功能,例如记账功能和查账功能。

步骤202,所述语音助手依据所述用户语音数据获取账目信息。

语音助手可以依据用户语音数据获取账目信息。在用户需要记账时,语音助手可以从用户语音数据识别出用户想要记录的账目信息。在用户需要查账时,语音助手可以从用户语音数据中识别用户想要查找什么账目信息。

步骤203,所述语音助手依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。

语音助手可以通过输出反馈信息与用户进行互动。在记录账目信息后,通过反馈信息可以告知用户已经记账。在查找到账目信息后,通过反馈信息告知用户查找到的账目信息。

例如,用户戴着耳机说出:“记个账,午饭花了20元”,语音助手可以播放:“20元已入账”。又例如,用户说出:“这周吃饭花了多少钱?”语音助手可以播放:“花了500元”。

在发明实施例中,耳机的语音助手可以获取用户语音数据;依据用户语音数据获取账目信息;依据账目信息获取反馈信息,并依据反馈信息进行输出。不需要用户用手操作耳机就能完成记账或者查账,并且可以基于账目信息向用户进行反馈。在用户不便于用手操作的情况下,也能满足用户的记账或者查账需求并且能够使得用户感知到反馈。例如,用户骑行时可以随时说出需要记账的内容,耳机的语音助手可以在骑行过程中完成记账,不需要用户停下来拿出手机进行记账。

参照图3,示出了本发明实施例的另一种交互方法的步骤流程图,该方法应用于耳机,所述方法具体可以包括如下步骤:

步骤301,获取用户语音数据。

耳机可以获取用户语音数据。

步骤302,对所述用户语音数据进行语音识别得到识别文本。

耳机可以具有语音识别asr(automaticspeechrecognition)功能。例如,耳机可以设有语音识别芯片,或者可以在耳机芯片中设置语音识别程序。

可以通过耳机的语音识别功能,在耳机本地对用户语音数据进行语音识别得到识别文本。

步骤303,对所述识别文本进行语句检测,得到至少一个语句。

对用户语音数据进行语音识别得到识别文本是纯文本,不具有标点符号。例如,用户说出的话为:“午饭花了35元,停车花了15元,购物花了200元”。对用户说出的话进行语音识别得到的识别文本为“午饭花了35元停车花了15元购物花了200元”。

如果识别文本具有较多的内容,直接对识别文本进行语义分析处理得到的分析结果,不能准确反映用户实际想要表达的意思,需要对识别文本进行语句检测得到语句,再根据语句进行语义分析。

语句检测包括断句检测和符号添加。断句检测是检测识别文本中在哪里需要断句。例如,对识别文本“午饭花了35元停车花了15元购物花了200元”进行断句检测,可以确定在“午饭花了35元”之后需要断句,可以确定在“停车花了15元”之后需要断句。符号添加是在断句的位置添加标点符号,如逗号,句号、问号等。例如在“午饭花了35元”添加逗号,在“停车花了15元”之后添加逗号。经过语句检测后,得到三个语句分别为“午饭花了35元”,“停车花了15元”,“购物花了200元”。

步骤304,识别所述至少一个语句对应的用户意图,并确定对应于记账意图的语句。

耳机可以识别语句对应的用户意图,在识别得到用户意图包括记账意图时,确定对应于记账意图的语句。在本发明实施例中,耳机支持指令连说,可以确定多个对应于记账意图的语句。

例如,用户说出:“帮我记下账,中午随便买了点吃的花了20元,不好吃,早不知道不买”。耳机根据用户语音数据,识别得到四个语句分别是“帮我记下账”,“中午随便买了点吃的花了20元”,“不好吃”,“早不知道不买”。耳机可以根据“帮我记下账”确定用户具有记账意图,确定“中午随便买了点吃的花了20元”是对应于记账意图。确定“不好吃”,“早不知道不买”不对应于记账意图。

在本发明实施例中,耳机可以使用自然语言理解nlu(naturallanguageunderstanding)技术对语句进行语义分析,从而得到用户意图。例如,使用预先训练得到的语义分析模型对语句进行语义分析。

利用自然语言理解技术还可以为语句生成对应的标签,根据语句对应的标签可以更准确描述用户的意图。例如,语句:“中午随便买了点吃的花了20元”,该语句相应的标签可以包括:午饭、支出、金额。

在本发明实施例中,所述确定对应于记账意图的语句的步骤可以进一步包括如下子步骤:

子步骤s11,确定所述至少一个语句对应的标签,将对应于预设标签的语句确定为对应于记账意图的语句。

预设标签可以是与记账意图相关的标签。例如,与记账意图相关的预设标签可以包括:支出、收入、金额、事项、货物等等。

例如,用户说出:“帮我记下账,今天买菜,鱼20,猪肉50,还有3块钱大葱”。耳机识别得到的语句可以包括:“帮我记下账”,“今天买菜”,“鱼20”,“猪肉50”,“还有3块钱大葱”。其中,“今天买菜”对应的标签可以是时间、事项、支出;“鱼20”对应的标签可以是货物、金额;“猪肉50”对应的标签可以是货物、金额;“还有3块钱大葱”对应的标签可以是货物、金额。

其中标签为事项、支出、金额,都是与记账意图相关的预设标签。因此,“今天买菜”,“鱼20”,“猪肉50”,“还有3块钱大葱”都是对应于记账意图的语句。

和/或,子步骤s12,将具有预设指令词的语句确定为对应于记账意图的语句。

预设指令词可以是预先配置为与记账意图相关的词,也可以是根据语义分析模型训练得到的指令词。例如,“记个账”,“记下账”等等。在上述示例中“帮我记下账”也是对应于记账意图的语句。

在本发明实施例中,所述交互方法还可以包括:

依据所述对应于记账意图的语句进行至少一轮对话,并获取所述至少一轮对话中的用户语音数据;从所述至少一轮对话的用户语音数据中,识别对应于所述记账意图的语句。

耳机可以依据对应于记账意图的语句进行至少一轮对话,在至少一轮对话中耳机可以向用户发出询问,引导用户说出更多记账信息。

在本发明实施例中,所述依据所述对应于记账意图的语句进行至少一轮对话的步骤可以包括:若所述对应于记账意图的语句中,不存在对应于预设标签的语句,则依据所述对应于记账意图的语句进行至少一轮对话。

例如,用户说出:“帮我记下账”。

耳机可以确定语句“帮我记下账”对应于记账意图,但还不存在对应于收入或支出的标签,耳机可以进一步询问:“需要记账什么内容呢?”。

用户可以说出:“花了30”。

耳机可以确定语句“花了30”对应的标签包括支出、金额,但还不存在对应于事项的标签,耳机可以进一步询问:“30块花在什么地方了?”。

用户可以说出:“花在了午饭”。

耳机可以确定“花在了午饭”对应的标签是午饭,午饭属于事项的一种分支。至此,耳机得到了对应于支出、金额、事项的标签的语句,耳机可以停止对话,采用轮对话得到的语句进行记账。

在本发明实施例中,耳机可以基于不同的记账详细程度进行记账,在一种示例中,记账详细程度可以分为三级。

第一级详细程度下,耳机需要得到对应于标签为支出或收入的语句和对应于标签为金额的语句,才可以进行记账。例如,耳机得到语句是“花了20”,该语句对应的标签为支出和金额。耳机可以根据该语句得到记账信息“支出20”,因为不知道具体事项,耳机可以将这笔记账信息纳入其他支出分类。

如果耳机得到的语句不对应有第一级详细程度所需的标签,则耳机可以进行至少一轮对话,引导用户说出能够满足需求的语句。

第二级详细程度下,耳机需要得到对应于标签为支出或收入,对应于标签为金额的语句,和对应于标签为事项的语句,才可以进行记账。例如,耳机得到的语句是“花了40”,“吃饭”,记账信息可以是“吃饭花了40”,耳机可以将这笔账纳入早午晚餐的分类。记账信息如果不包括时间信息,耳机可以默认记账信息对应的时间是当天。

如果耳机得到的语句不对应有第二级详细程度所需的标签,则耳机可以进行至少一轮对话,引导用户说出能够满足需求的语句。

第三级详细程度下,耳机需要得到对应于标签为支出或收入,对应于标签为金额的语句,对应于标签为事项的语句,以及对应于标签为时间的语句,才可以进行记账。例如,耳机得到的语句是“昨天花了40”,“吃饭”,记账信息可以是“昨天吃饭花了40”,耳机可以将这笔账纳入早午晚餐的分类,且记账信息对应的时间是昨天。

如果耳机得到的语句不对应有第三级详细程度所需的标签,则耳机可以进行至少一轮对话,引导用户说出能够满足需求的语句。

上述示例描述了耳机如何根据记账详细程度进行至少一轮对话,在实际中耳机可以根据其他需求设定进行至少一轮对话的方式,本发明实施例对此不做限定。

步骤305,从对应于记账意图的语句中识别账目信息。

例如,耳机可以从语句“随便买了点吃的花了20元”中识别出记账信息:“买吃的”,“花了”,“20”。

在本发明实施例中,所述从对应于记账意图的语句中识别记账信息步骤可以包括如下子步骤:

子步骤s21,从对应于所述预设标签的语句中,确定与所述预设标签对应的文本信息。

子步骤s22,将与所述预设标签对应的文本信息,确定为记账信息。

例如,用户说出“帮我记下账,今天买菜,鱼20,猪肉50,还有3块钱大葱”。耳机识别得到的语句可以包括:“帮我记下账”,“今天买菜”,“鱼20”,“猪肉50”,“还有3块钱大葱”。“今天买菜”对应的标签可以是时间、事项、支出;“鱼20”对应的标签可以是货物、金额;“猪肉50”对应的标签可以是货物、金额;“还有3块钱大葱”对应的标签可以是货物、金额。

从“今天买菜”确定与标签为时间,对应的文本是“今天”;确定与标签为事项,对应的文本是“买菜”;确定与标签为支出,对应的文本是“买”。根据与标签对应的文本,可以得到记账信息可以为“今天买菜”。

从“鱼20”确定与标签为货物,对应的文本是“鱼”;确定与标签为金额,对应的文本是“20”。根据与标签对应的文本,可以得到记账信息可以为“鱼20”。

从“猪肉50”确定与标签为货物,对应的文本是“猪肉”;确定与标签为金额,对应的文本是“50”。根据与标签对应的文本,可以得到记账信息可以为“猪肉50”。

从“还有3块钱大葱”确定与标签为货物,对应的文本“大葱”;确定与标签为金额,对应的文本“3”。根据与标签对应的文本,可以得到记账信息可以为“大葱3”。

在本发明实施例中,耳机还可以记录所述记账信息。耳机可以在识别出记账信息后,直接记录记账信息。也可以在识别出记账信息后,再次向用户确认记账信息是否准确,在用户确认后才记录记账信息。例如,耳机可以播放“记账信息是否为买吃的花了20”。如果用户回复确认,耳机才记录记账信息。

在本发明实施例中,所述交互方法还可以包括:依据记录所述记账信息后获取的用户语音数据,修改已记录的记账信息。

如果用户觉得之前说出的记账信息不正确,用户可以告诉耳机需要调整。例如,用户说出:“记个账,晚餐花了30”,在耳机记录相应的记账信息后,用户说出:“刚刚说错了,晚餐应该是花了40”,耳机可以根据用户说的话调整记账信息。

在本发明实施例中,所述记录所述记账信息的步骤可以包括:确定所述记账信息对应的类别,并按照所述记账信息对应的类别记录所述记账信息。

耳机可以自动对记账信息进行分类,不需要用户自己选择类别,可以减少用户记账所支出的时间。

例如,记账信息为“午饭50”,可以纳入到早午晚餐的类别。记账信息为“花了40”,由于不清楚是花在什么地方,可以纳入到其他支出的类别。

如果用户觉得耳机为记账信息确定的类别不合适,用户可以通过语音修改记账信息所纳入的分类。

例如,耳机将记账信息“游戏充值100”纳入到休闲玩乐的类别,用户可以说出:“将游戏充值记到电子游戏的类别”。如果耳机在先具有电子游戏这个类别,耳机可以将游戏充值100”直接纳入到电子游戏的类别。如果耳机在先不具有电子游戏这个类别,耳机可以设定电子游戏的类别,再将记账信息“游戏充值100”纳入到电子游戏的类别。

在本发明实施例中,用户可以直接说出记账信息所纳入的类别,耳机可以从语句中识别出用户指定的类别。例如,用户说出“搜狗听话,记个账,中午吃饭花了500元,纳入人情往来”。

在本发明实施例中,所述确定所述记账信息对应的类别的步骤可以包括:依据所述记账信息对应的预设标签,确定所述记账信息对应的类别。

例如,记账信息“午饭20”,对应的标签可以包括午饭。根据标签午饭,可以将记账信息“午饭20”纳入到早午晚餐的类别。

可以按照事项划分多个类别,部分类别还可以进一步细分。类别可以包括耳机默认设置的,也可以是用户通过语音设置的。

例如,类别可以包括两个大类:支出、收入。

支出类别下可以细分有:

食品酒水:早午晚餐、食材、水果、零食、烟酒茶饮。

衣服饰品:衣服裤子、鞋帽包包、化妆饰品。

行车交通:公共交通、打车出租、私家车费用、加油、修车、汽车保险、高速路费、违章罚款、停车费。

居家物业:日常用品、房租、水电煤气、物业管理、维修保养。

交流通讯:座机费、手机费、上网费、邮寄费。

休闲娱乐:运动健身、腐败聚会、休闲玩乐、旅游度假、宠物宝贝。

学习进修:书报杂志、培训进修、数码设备。

人情往来:送礼请客、孝敬家长、还人钱物、慈善捐助、红白喜事。

医疗保险:药品费、保健费、美容费、治疗费。

金融保险:银行手续、投资亏损、按揭还款、消费税收、利息支出、赔偿罚款、基金申购。

其他杂项:其他支出、意外丢失、烂账损失。

收入类别下可以细分有:

职业收入:工资收入、奖金收入、利息收入、加班收入、投资收入、兼职收入。

其他收入:经营所得、中奖收入、意外来钱、礼金收入、家长赠送。

步骤306,依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。

耳机可以通过输出反馈信息与用户进行互动。反馈信息可以包括文本,耳机可以利用从文本到语音tts(texttospeech)技术,生成文本对应的语音并播放。

在本发明实施例中,所述依据所述账目信息获取反馈信息的步骤可以包括:依据所述记账意图和所述账目信息生成反馈信息。

耳机可以依据记账意图和账目信息生成反馈信息,然后语音播放反馈信息,通过反馈信息告知用户已经记账。

例如,用户说出:“搜狗听话,记个账,午饭花了20元”,耳机可以播放:“中午困不困?困得话我的肩膀可以借给你,20元已入账”。

耳机还可以在反馈信息中告知用户记账信息所纳入的类别。例如,耳机可以输出:“午饭20元纳入早午晚餐类别”。

在本发明实施例中,账目信息可以包括事项信息和/或金额信息。事项信息可以描述需要记账或需要查账的事项,事项可以划分为多个类别。金额信息可以描述需要记账或者需要查账的事项相应的金额。

所述依据所述记账意图和所述账目信息生成反馈信息的步骤可以包括:依据所述记账意图、所述事项信息和/或所述金额信息,生成反馈信息。

在一种示例中,在确定用户具有记账意图的情况下,可以根据事项信息生成反馈信息。

例如,用户说出:“搜狗听话,记个账,机票1200元”。其中事项信息可以包括机票。耳机可以播放:“花了1200元买机票,又要去哪里潇洒了?都不叫上我嘛!”,其中“又要去哪里潇洒了?都不叫上我嘛!”是耳机针对事项信息生成的反馈信息。

在该示例中,在确定用户具有记账意图的情况下,耳机可以根据事项信息生成分析性或建设性的反馈信息。

例如,用户说出:“搜狗听话,记个账,晚上点了啤酒、麻辣小龙虾、鸭脖、薯片,一共花了230元”。其中事项信息可以包括点了啤酒、麻辣小龙虾、鸭脖、薯片。耳机可以播放:“根据我多年的经验,这些东西的热量有点高哦,230元吃的已入账”,其中“根据我多年的经验,这些东西的热量有点高哦”是耳机针对事项信息生成的建设性的反馈信息。

在该示例中,在确定用户具有记账意图的情况下,耳机可以根据事项信息生成趣味性的反馈信息。

例如,用户说出:“搜狗听话,记个账,午饭花了20元”。耳机可以播放:“中午困不困?困得话我的肩膀可以借给你,20元已入账”。其中“中午困不困?困得话我的肩膀可以借给你”是根据事项信息生成的趣味性的反馈信息。

在另一种示例中,在确定用户具有记账意图的情况下,可以根据金额信息生成反馈信息。

例如,用户说出:“搜狗听话,午饭18元”。耳机确定用户这个月的月支出少于1000元,耳机可以播放:“午饭18元已入账,节俭本身就是一宗财产”。其中“节俭本身就是一宗财产”是耳机基于金额信息生成的反馈信息。

又例如,用户说出:“搜狗听话,买面膜花了350元”。耳机可以确定每月在化妆饰品的支出超过月支出的30%。耳机可以播放:“买面膜350元已入账,花容月貌、沉鱼落雁、闭月羞花,说的就是你”,其中“花容月貌、沉鱼落雁、闭月羞花,说的就是你”是耳机基于金额信息生成的反馈信息。

在该示例中,在确定用户具有记账意图的情况下,耳机可以根据金额信息生成分析性或建设性的反馈信息。

例如,用户说出:“搜狗听话,买家具花了60000元”。耳机分析得到该笔支出是单项最高支出,耳机可以输出:“买家具60000元已入账,有史以来最高支出!”。又例如,用户说出:“搜狗听话,足底按摩100元”。耳机分析得到出现单日最高支出,耳机可以输出:“足底按摩100元已入账,今日累计支出600元,创造单日支出新纪录!”。

在该示例中,在确定用户具有记账意图的情况下,耳机可以根据金额信息生成趣味性性的反馈信息。例如,用户说出:“搜狗听话,记个账,买水果花了350”。耳机可以识别出买水果花350是明显过大的开销,耳机可以输出:“大哥,买水果花了350元,能吃完吗?”。又例如,用户说出:“搜狗听话,记个账,销售提成5万元”。耳机识别出是大笔的收入,耳机可以输出:“厉害厉害,钱会越赚越多的,销售提成5万元已入账”。

在又一种示例中,在确定用户具有记账意图的情况下,可以根据事项信息和金额信息生成反馈信息。

例如,用户说出:“搜狗听话,吃麻辣小龙虾花了700元”。耳机可以将吃麻辣小龙虾的金额与其他产品相比。耳机可以播放:“700元麻辣小龙虾相当于8斤路虎发现神行,少吃一顿小龙虾就可以离豪车的梦想更进一步!”,这句话是耳机基于事项信息和金额信息生成的反馈信息。

在本发明实施例的一种示例中,所述依据所述记账意图和所述账目信息生成反馈信息的步骤可以包括:依据预设表达风格、所述记账意图和所述账目信息,生成反馈信息。

在确定用户具有记账意图的情况下,耳机可以针对账目信息,基于预设表达风格生成反馈信息。预设表达风格可以包括:风趣、幽默、文雅、委婉、含蓄等等。耳机所使用的表达风格可以由用户设定,也可以是由耳机基于用户信息设定,例如,基于用户历史说话记录来设定表达风格。

耳机可以具有语句库,语句库中可以存储有多种表达风格的预设语句,预设语句可以是人工生成的,也可以是基于机器训练模型生成的。耳机可以根据选定的表达风格,从语句库中查找相应的预设语句进行作为反馈信息或者基于语句库中相应的预设语句生成新的语句作为反馈信息。

在本发明实施例的另一种示例中,所述依据所述记账意图和所述账目信息生成反馈信息的步骤可以包括:依据预设人物特征信息、所述记账意图和所述账目信息,生成反馈信息。

在确定用户具有记账意图的情况下,耳机可以针对账目信息,基于预设人物特征信息生成反馈信息。

预设人物特征信息可以包括预设人物角色、人物性格、人物形象、人物外貌、人物职业等等。耳机可以存储有多种人物角色模型,人物角色模型可以是实际人物的人物角色模型,也可以是虚拟人物的人物角色模型,耳机可以根据人物角色模型模拟说话方式。例如,设定人物特征信息为预设人物角色李现,耳机可以基于李现这个预设人物角色的特征信息来生成反馈信息。

在本发明实施例中,耳机可以获取用户语音数据;对所述用户语音数据进行语音识别得到识别文本;对所述识别文本进行语句检测,得到至少一个语句;识别所述至少一个语句对应的用户意图,并确定对应于记账意图的语句;从对应于记账意图的语句中识别账目信息;依据所述反馈信息进行输出。本发明实施例不需要用户用手操作耳机就能完成记账或者查账,并且可以基于账目信息向用户进行反馈。在用户不便于用手操作的情况下,也能满足用户的记账或者查账需求并且能够使得用户感知到反馈。

参照图4,示出了本发明实施例的另一种交互方法的步骤流程图,该方法应用于耳机,所述耳机具有语音助手,所述方法具体可以包括如下步骤:

步骤401,所述语音助手获取用户语音数据。

在本发明实施例中,语音助手可以在唤醒后,才能获取用户语音数据。

在本发明实施例中,语音助手可以在唤醒后,才能获取用户语音数据。

语音助手唤醒的方式可以包括:响应作用于耳机的预设触控区域的触控操作,所述语音助手唤醒。预设触控区域可以设置在耳机背向听筒的一侧,用户可以通过双击预设触控区域唤醒耳机的语音助手。

语音助手唤醒的方式还可以包括:所述语音助手监听用户语音数据;当检测到用户语音数据中包含预设唤醒词时,所述语音助手唤醒。

当语音助手监听到用户说出唤醒词时,语音助手唤醒自身。例如,用户说出:“搜狗听话”,语音助手监听到用户说出了唤醒词“搜狗听话”唤醒自身。

语音助手在被唤醒后,如果在预设时间段内没有获取到用户语音数据,语音助手可以重新进入休眠。

步骤402,所述语音助手对所述用户语音数据进行语音识别得到识别文本。

语音助手可以通过耳机的语音识别功能,在耳机本地对用户语音数据进行语音识别得到识别文本。

步骤403,所述语音助手对所述识别文本进行语句检测,得到至少一个语句。

步骤404,所述语音助手识别所述至少一个语句对应的用户意图,并确定对应于记账意图的语句。

语音助手可以识别语句对应的用户意图,在识别得到用户意图包括记账意图时,确定对应于记账意图的语句。在本发明实施例中,语音助手支持指令连说,可以确定多个对应于记账意图的语句。

在本发明实施例中,所述确定对应于记账意图的语句的步骤可以进一步包括如下子步骤:

子步骤s31,所述语音助手确定所述至少一个语句对应的标签,将对应于预设标签的语句确定为对应于记账意图的语句。

和/或,子步骤s32,所述语音助手将具有预设指令词的语句确定为对应于记账意图的语句。

在本发明实施例中,所述交互方法还可以包括:所述语音助手依据所述对应于记账意图的语句进行至少一轮对话,并获取所述至少一轮对话中的用户语音数据;所述语音助手从所述至少一轮对话的用户语音数据中,识别对应于所述记账意图的语句。

语音助手可以依据对应于记账意图的语句进行至少一轮对话,在至少一轮对话中语音助手可以向用户发出询问,引导用户说出更多记账信息。

在本发明实施例中,所述语音助手依据所述对应于记账意图的语句进行至少一轮对话的步骤可以包括:若所述对应于记账意图的语句中,不存在对应于预设标签的语句,则所述语音助手依据所述对应于记账意图的语句进行至少一轮对话。

步骤405,所述语音助手从对应于记账意图的语句中识别账目信息。

在本发明实施例中,所述语音助手从对应于记账意图的语句中识别记账信息步骤可以包括如下子步骤:

子步骤s41,所述语音助手从对应于所述预设标签的语句中,确定与所述预设标签对应的文本信息。

子步骤s42,所述语音助手将与所述预设标签对应的文本信息,确定为记账信息。

在本发明实施例中,耳机还可以记录所述记账信息。耳机可以在识别出记账信息后,直接记录记账信息。也可以在识别出记账信息后,再次向用户确认记账信息是否准确,在用户确认后才记录记账信息。

在本发明实施例中,所述交互方法还可以包括:所述语音助手依据记录所述记账信息后获取的用户语音数据,修改已记录的记账信息。

在本发明实施例中,所述记录所述记账信息的步骤可以包括:所述语音助手确定所述记账信息对应的类别,并按照所述记账信息对应的类别记录所述记账信息。

语音助手可以自动对记账信息进行分类,不需要用户自己选择类别,可以减少用户记账所支出的时间。

在本发明实施例中,所述语音助手确定所述记账信息对应的类别的步骤可以包括:所述语音助手依据所述记账信息对应的预设标签,确定所述记账信息对应的类别。

步骤406,所述语音助手依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。

语音助手可以通过输出反馈信息与用户进行互动。

在本发明实施例中,所述语音助手依据所述账目信息获取反馈信息的步骤可以包括:所述语音助手依据所述记账意图和所述账目信息生成反馈信息。

语音助手可以依据记账意图和账目信息生成反馈信息,然后语音播放反馈信息,通过反馈信息告知用户已经记账。

所述语音助手依据所述记账意图和所述账目信息生成反馈信息的步骤可以包括:所述语音助手依据所述记账意图、所述事项信息和/或所述金额信息,生成反馈信息。

在本发明实施例的一种示例中,所述语音助手依据所述记账意图和所述账目信息生成反馈信息的步骤可以包括:所述语音助手依据预设表达风格、所述记账意图和所述账目信息生成反馈信息。

在本发明实施例的另一种示例中,所述语音助手依据所述记账意图和所述账目信息生成反馈信息的步骤可以包括:所述语音助手依据预设人物特征信息、所述记账意图和所述账目信息生成反馈信息。

在本发明实施例中,语音助手可以获取用户语音数据;对所述用户语音数据进行语音识别得到识别文本;对所述识别文本进行语句检测,得到至少一个语句;识别所述至少一个语句对应的用户意图,并确定对应于记账意图的语句;从对应于记账意图的语句中识别账目信息;依据所述反馈信息进行输出。本发明实施例不需要用户用手操作耳机就能完成记账或者查账,并且可以基于账目信息向用户进行反馈。在用户不便于用手操作的情况下,也能满足用户的记账或者查账需求并且能够使得用户感知到反馈。

参照图5,示出了本发明实施例的另一种交互方法的步骤流程图,该方法应用于耳机,所述方法具体可以包括如下步骤:

步骤501,获取用户语音数据。

步骤502,对所述用户语音数据进行语音识别得到识别文本。

步骤503,对所述识别文本进行语句检测,得到至少一个语句。

步骤504,识别所述至少一个语句对应的用户意图,并确定对应于查账意图的语句。

耳机可以识别语句对应的用户意图,在识别得到用户意图包括查账意图时,确定对应于查账意图的语句。在本发明实施例中,耳机支持指令连说,可以确定多个对应于查账意图的语句。

例如,用户说出:“帮我查下账,上周五跟张三吃小龙虾花了多少钱,好想再吃一顿”。耳机可以根据用户语音数据,识别得到三个语句分别是“帮我查下账”,“上周五跟张三吃小龙虾花了多少钱”,“好想再吃一顿”。耳机可以根据“帮我查下账”确定用户具有查账意图,确定“上周五跟张三吃小龙虾花了多少钱”对应于查账意图,“好想再吃一顿”不对应于查账意图。

在本发明实施例中,耳机可以使用自然语言理解nlu技术对语句进行语义分析,从而得到用户意图。例如,使用预先训练得到的语义分析模型对语句进行语义分析。

利用自然语言理解技术还可以为语句生成对应的标签,根据语句对应的标签可以更准确描述用户的意图。例如,“上周五跟张三吃小龙虾花了多少钱”,该语句相应的标签可以包括:吃饭、支出、金额。

在本发明实施例中,所述确定对应于查账意图的语句的步骤可以包括如下子步骤:

子步骤s51,确定所述至少一个语句对应的标签,将对应于预设标签的语句确定为对应于查账意图的语句。

预设标签可以是与查账意图相关的标签。例如,与查账意图相关的预设标签可以包括:支出、收入、金额、货物、早餐、午餐、夜宵等等。

例如,用户说出:“查一下,早餐花了多少?午餐花了多少?夜宵花了多少?”。耳机识别得到的语句可以包括:“查一下”,“早餐花了多少?”,“午餐花了多少?”,“夜宵花了多少?”。其中“早餐花了多少?”对应的标签可以包括早餐、支出;“午餐花了多少?”对应的标签可以包括午餐、支出;夜宵花了多少?”对应的标签可以包括夜宵、支出。

其中,早餐、午餐、晚餐、支出,都是与查账意图相关的预设标签。因此“早餐花了多少?”,“午餐花了多少?”,“夜宵花了多少?”都是对应于查账意图的语句。

和/或,子步骤s52,将具有预设指令词的语句确定为对应于查账意图的语句。

预设指令词可以是预先配置为与记账意图相关的词,也可以是根据语义分析模型训练得到的指令词。例如,“查个账”,“查下账”,“查一下”等等。

在本发明实施例中,所述交互方法还可以包括:依据所述对应于查账意图的语句进行至少一轮对话,并获取所述至少一轮对话中的用户语音数据;从所述至少一轮对话的用户语音数据中,识别对应于所述查账意图的语句。

耳机可以依据对应于查账意图的语句进行至少一轮对话,在至少一轮对话中耳机可以向用户发出询问,引导用户说出更多查账信息。

在本发明实施例中,所述依据所述对应于查账意图的语句进行至少一轮对话的步骤可以包括:若所述对应于查账意图的语句中,不存在对应于预设标签的语句,则依据所述对应于查账意图的语句进行至少一轮对话。

例如,用户说出:“帮我查下账”。

耳机可以确定语句“帮我查下账”对应于查账意图,但还不存在对应于收入或支出标签,耳机可以进一步询问:“需要查询什么内容呢?”。

用户说出:“上周花费”。

耳机可以确定“上周花费”对应的标签包括时间、支出。但还不存在对应于事项的标签,耳机可以进一步询问:“需要查询上周的总支出还是某一项支出呢?”。

用户说出:“吃饭”。

耳机可以确定“吃饭”对应的标签是吃饭,吃饭属于事项的一种分支。至此,耳机得到对应于时间、支出、事项的标签的语句,耳机可以停止进行对话,采用对话对得到语句进行查账。

步骤505,依据所述对应于查账意图的语句查找账目信息。

耳机可以依据对应于查账意图的语句查找账目信息。

例如,用户说出“昨天夜宵花了多少”,耳机可以查找昨天夜宵的账目信息“夜宵花费200”。又例如,用户说出:“帮我查账,这个月早午饭餐花了多少”,耳机可以查找这个月早午饭餐这个类别的支出。

在本发明实施例中,所述依据所述对应于查账意图的语句查找账目信息的步骤可以包括:依据所述对应于查账意图的语句对应的标签,查找账目信息。

例如,用户说出:“帮我查下账,上周五跟张三吃小龙虾花了多少钱,好想再吃一顿”。耳机识别得到的语句可以包括:“帮我查下账”,“上周五跟张三吃小龙虾花了多少钱”,“好想再吃一顿”。“上周五跟张三吃小龙虾花了多少钱”对应的标签可以包括时间、事项。事项可以是属于一种支出分类,耳机可以从记录的账目信息中查找对应时间、事项的账目信息。

步骤506,依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。

耳机可以依据账目信息生成反馈信息,反馈信息中可以包括查找到的账目信息和其他信息。反馈信息可以包括文本,耳机可以利用从文本到语音tts技术,生成文本对应的语音并播放。

在本发明实施例中,所述依据所述账目信息获取反馈信息的步骤可以包括:依据所述查账意图和所述账目信息生成反馈信息。

耳机可以依据查账意图和账目信息生成反馈信息,然后语音播放反馈信息,通过反馈信息告知用户查找到的账目信息。

例如,例如,用户说出:“查个账,今年总收入多少?”。耳机可以播放:“总收入14.7万元”。

在本发明实施例中,所述账目信息包括事项信息和/或金额信息。事项信息可以描述需要记账或需要查账的事项,事项可以划分为多个类别。金额信息可以描述需要记账或者需要查账的事项相应的金额。

所述依据所述查账意图和所述账目信息生成反馈信息的步骤可以包括:依据所述查账意图、所述事项信息和/或所述金额信息,生成反馈信息。

在一种示例中,在确定用户具有查账意图的情况下,可以根据事项信息生成反馈信息。

例如,用户说出:“搜狗听话,查个账,这周吃饭花了多少钱?”,其中事项信息包括吃饭。耳机可以播放:“这周吃饭花了500元,有两天没记早餐,早餐一定要吃饱吃好,以后不能落下啊”,其中“有两天没记早餐,早餐一定要吃饱吃好,以后不能落下啊”是针对事项生成的反馈信息。

在该示例中,在确定用户具有记账意图的情况下,耳机可以根据事项信息生成分析性或建设性的反馈信息。

在该示例中,在确定用户具有记账意图的情况下,耳机可以根据事项信息生成趣味性的反馈信息。

例如,用户说出:“查个账,今年总收入多少?”,其中事项信息可以为总收入。耳机可以播放:“总收入14.7万元,大哥钱还够花吗?”其中,“总收入14.7万元”是耳机播放的账目信息,“大哥钱还够花吗?”是耳机播放的趣味性的反馈信息。

在另一种示例中,在确定用户具有查账意图的情况下,可以根据金额信息生成反馈信息。

例如,用户说出:“搜狗听话,查个账,这个月花了多少钱?”其中事项信息可以为月支出。耳机可以确定这个月支出距离超支还有1000元,耳机可以播放:“花了4000元,距离超支还有1000元,这个月控制的不错哦”,其中“距离超支还有1000元,这个月控制的不错哦”是基于金额信息生成的反馈信息。

在该示例中,在确定用户具有记账意图的情况下,耳机可以根据金额信息生成分析性或建设性的反馈信息。

例如,用户说出:“查个账,上周花了多少钱?”。耳机可以播放:“上周花费2000,超支500”。其中“上周花费2000”是耳机播放的账目信息,“超支500”是基于金额信息生成的分析性的反馈信息。

在该示例中,在确定用户具有记账意图的情况下,耳机可以根据金额信息生成趣味性性的反馈信息。

用户说出:“搜狗听话,这个月花钱最多的前几项?”,耳机可以播放:“购物剁手、居家物业、食品酒水、花费最多,分别花了8000元、5500元、2000元,这个月比上个月多花了2400元,超过了上限1300元,再这么花下去,咱们家的矿都被你败光了”。其中“再这么花下去,咱们家的矿都被你败光了”是基于金额信息生成的趣味性的反馈信息。

在又一种示例中,在确定用户具有查账意图的情况下,可以根据事项信息和金额信息生成反馈信息。

在本发明实施例的一种示例中,所述依据所述查账意图和所述账目信息生成反馈信息的步骤可以包括:依据预设表达风格、所述查账意图和所述账目信息生成反馈信息。

在确定用户具有查账意图的情况下,耳机可以针对账目信息,基于预设表达风格生成反馈信息。

在本发明实施例的另一种示例中,所述依据所述查账意图和所述账目信息生成反馈信息的步骤可以包括:依据预设人物特征信息、所述查账意图和所述账目信息,生成反馈信息。

在确定用户具有查账意图的情况下,耳机可以针对账目信息,基于预设人物特征信息生成反馈信息。

在本发明实施例中,耳机可以获取用户语音数据;对用户语音数据进行语音识别得到识别文本;对识别文本进行语句检测,得到至少一个语句;识别至少一个语句对应的用户意图,并确定对应于查账意图的语句;依据对应于查账意图的语句查找账目信息;依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。本发明实施例不需要用户用手操作耳机就能完成记账或者查账,并且可以基于账目信息向用户进行反馈。在用户不便于用手操作的情况下,也能满足用户的记账或者查账需求并且能够使得用户感知到反馈。

参照图6,示出了本发明实施例的另一种交互方法的步骤流程图,该方法应用于耳机,所述耳机具有语音助手,所述方法具体可以包括如下步骤:

步骤601,所述语音助手获取用户语音数据。

步骤602,所述语音助手对所述用户语音数据进行语音识别得到识别文本。

步骤603,所述语音助手对所述识别文本进行语句检测,得到至少一个语句。

步骤604,所述语音助手识别所述至少一个语句对应的用户意图,并确定对应于查账意图的语句。

语音助手可以识别语句对应的用户意图,在识别得到用户意图包括查账意图时,确定对应于查账意图的语句。在本发明实施例中,语音助手支持指令连说,可以确定多个对应于查账意图的语句。

在本发明实施例中,语音助手可以使用自然语言理解nlu技术对语句进行语义分析,从而得到用户意图。例如,使用预先训练得到的语义分析模型对语句进行语义分析。

在本发明实施例中,所述确定对应于查账意图的语句的步骤可以包括如下子步骤:

子步骤s61,所述语音助手确定所述至少一个语句对应的标签,将对应于预设标签的语句确定为对应于查账意图的语句。

和/或,子步骤s62,所述语音助手将具有预设指令词的语句确定为对应于查账意图的语句。

在本发明实施例中,所述交互方法还可以包括:所述语音助手依据所述对应于查账意图的语句进行至少一轮对话,并获取所述至少一轮对话中的用户语音数据;从所述至少一轮对话的用户语音数据中,识别对应于所述查账意图的语句。

语音助手可以依据对应于查账意图的语句进行至少一轮对话,在至少一轮对话中语音助手可以向用户发出询问,引导用户说出更多查账信息。

在本发明实施例中,所述语音助手依据所述对应于查账意图的语句进行至少一轮对话的步骤可以包括:若所述对应于查账意图的语句中,不存在对应于预设标签的语句,则所述语音助手依据所述对应于查账意图的语句进行至少一轮对话。

步骤605,所述语音助手依据所述对应于查账意图的语句查找账目信息。

语音助手可以依据对应于查账意图的语句查找账目信息。

在本发明实施例中,所述语音助手依据所述对应于查账意图的语句查找账目信息的步骤可以包括:所述语音助手依据所述对应于查账意图的语句对应的标签,查找账目信息。

步骤606,所述语音助手依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。

语音助手可以依据账目信息生成反馈信息,反馈信息中可以包括查找到的账目信息和其他信息。反馈信息可以包括文本,语音助手可以利用从文本到语音tts技术,生成文本对应的语音并播放。

在本发明实施例中,所述语音助手依据所述账目信息获取反馈信息的步骤可以包括:所述语音助手依据所述查账意图和所述账目信息生成反馈信息。

语音助手可以依据查账意图和账目信息生成反馈信息,然后语音播放反馈信息,通过反馈信息告知用户查找到的账目信息。

在本发明实施例中,所述账目信息包括事项信息和/或金额信息。

所述语音助手依据所述查账意图和所述账目信息生成反馈信息的步骤可以包括:所述语音助手依据所述查账意图、所述事项信息和/或所述金额信息,生成反馈信息。

在一种示例中,在确定用户具有查账意图的情况下,语音助手可以根据事项信息生成反馈信息。在该示例中,在确定用户具有记账意图的情况下,语音助手可以根据事项信息生成分析性或建设性的反馈信息。在该示例中,在确定用户具有记账意图的情况下,语音助手可以根据事项信息生成趣味性的反馈信息。

在另一种示例中,在确定用户具有查账意图的情况下,语音助手可以根据金额信息生成反馈信息。在该示例中,在确定用户具有记账意图的情况下,语音助手可以根据金额信息生成分析性或建设性的反馈信息。在该示例中,在确定用户具有记账意图的情况下,语音助手可以根据金额信息生成趣味性性的反馈信息。

在又一种示例中,在确定用户具有查账意图的情况下,语音助手可以根据事项信息和金额信息生成反馈信息。

在本发明实施例的一种示例中,所述语音助手依据所述查账意图和所述账目信息生成反馈信息的步骤可以包括:所述语音助手依据预设表达风格、所述查账意图和所述账目信息生成反馈信息。

在确定用户具有查账意图的情况下,语音助手可以针对账目信息,基于预设表达风格生成反馈信息。

在本发明实施例的另一种示例中,所述语音助手依据所述查账意图和所述账目信息生成反馈信息的步骤可以包括:所述语音助手依据预设人物特征信息、所述查账意图和所述账目信息,生成反馈信息。

在确定用户具有查账意图的情况下,语音助手可以针对账目信息,基于预设人物特征信息生成反馈信息。

在本发明实施例中,耳机的语音助手可以获取用户语音数据;对用户语音数据进行语音识别得到识别文本;对识别文本进行语句检测,得到至少一个语句;识别至少一个语句对应的用户意图,并确定对应于查账意图的语句;依据对应于查账意图的语句查找账目信息;依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。本发明实施例不需要用户用手操作耳机就能完成记账或者查账,并且可以基于账目信息向用户进行反馈。在用户不便于用手操作的情况下,也能满足用户的记账或者查账需求并且能够使得用户感知到反馈。

参照图7,示出了本发明实施例的另一种交互方法的步骤流程图,该方法应用于耳机,所述耳机与服务器通信;所述方法具体可以包括如下步骤:

步骤701,获取用户语音数据。

耳机可以获取用户语音数据。

步骤702,向所述服务器发送所述用户语音数据,以使所述服务器依据所述用户语音数据获取账目信息。

耳机可以向服务器发送用户语音数据,以使服务器依据用户语音数据获取账目信息。

在本发明实施例中,服务器可以对所述用户语音数据进行语音识别得到识别文本;对所述识别文本进行语句检测,得到至少一个语句;识别所述至少一个语句对应的用户意图,并确定对应于记账意图的语句;从对应于记账意图的语句中识别账目信息。

所述服务器依据所述账目信息获取反馈信息的步骤可以包括:所述服务器依据所述记账意图和所述账目信息生成反馈信息。

所述账目信息包括事项信息和/或金额信息;所述服务器依据所述记账意图和所述账目信息生成反馈信息的步骤可以包括:所述服务器依据所述记账意图、所述事项信息和/或所述金额信息,生成反馈信息。

在一种示例中,所述服务器依据所述记账意图和所述账目信息生成反馈信息的步骤可以包括:所述服务器依据预设表达风格、所述记账意图和所述账目信息,生成反馈信息。

在另一种示例中,所述服务器依据所述记账意图、所述事项信息和/或所述金额信息,生成反馈信息的步骤可以包括:所述服务器依据预设人物特征信息、所述记账意图和所述账目信息生成反馈信息。

在本发明实施例中,服务器可以对用户语音数据进行语音识别得到识别文本;对所述识别文本进行语句检测,得到至少一个语句;识别所述至少一个语句对应的用户意图,并确定对应于查账意图的语句;依据所述对应于查账意图的语句查找账目信息。

所述服务器依据所述账目信息获取反馈信息的步骤可以包括:所述服务器依据所述查账意图和所述账目信息生成反馈信息。

所述服务器依据所述查账意图和所述账目信息生成反馈信息的步骤可以包括:所述服务器依据所述查账意图、所述事项信息和/或所述金额信息,生成反馈信息。

在一种示例中,所述服务器依据所述查账意图和所述账目信息生成反馈信息的步骤可以包括:所述服务器依据预设表达风格、所述查账意图和所述账目信息,生成反馈信息。

在另一种示例中,所述服务器依据所述查账意图和所述账目信息生成反馈信息的步骤可以包括:所述服务器依据预设人物特征信息、所述查账意图和所述账目信息生成反馈信息。

步骤703,接收所述服务器依据所述账目信息生成的反馈信息。

服务器在获取账目信息后可以生成反馈信息并发送给耳机。

步骤704,依据所述反馈信息进行输出。

在本发明实施例中,耳机可以获取用户语音数据;向服务器发送用户语音数据,以使服务器依据用户语音数据获取账目信息;接收服务器依据账目信息生成的反馈信息;依据反馈信息进行输出。不需要用户用手操作耳机就能完成记账或者查账,并且可以基于账目信息向用户进行反馈。在用户不便于用手操作的情况下,也能满足用户的记账或者查账需求并且能够使得用户感知到反馈。

参照图8,示出了本发明实施例的另一种交互方法的步骤流程图,该方法应用于耳机,所述耳机与服务器通信,所述耳机具有语音助手,所述方法具体可以包括如下步骤:

步骤801,所述语音助手获取用户语音数据。

语音助手可以获取用户语音数据。

步骤802,所述语音助手向所述服务器发送所述用户语音数据,以使所述服务器依据所述用户语音数据获取账目信息。

语音助手可以向服务器发送用户语音数据,以使服务器依据用户语音数据获取账目信息。

步骤803,所述语音助手接收所述服务器依据所述账目信息生成的反馈信息。

服务器在获取账目信息后可以生成反馈信息并发送给耳机,语音助手可以接收反馈信息。

步骤804,所述语音助手依据所述反馈信息进行输出。

在本发明实施例中,语音助手可以获取用户语音数据;向所述服务器发送所述用户语音数据,以使所述服务器依据所述用户语音数据获取账目信息;接收所述服务器依据所述账目信息生成的反馈信息;依据所述反馈信息进行输出。不需要用户用手操作耳机就能完成记账或者查账,并且可以基于账目信息向用户进行反馈。在用户不便于用手操作的情况下,也能满足用户的记账或者查账需求并且能够使得用户感知到反馈。

参照图9,示出了本发明实施例的另一种交互方法的步骤流程图,该方法应用于耳机,所述耳机与耳机收纳装置通信,所述耳机收纳装置与服务器通信;所述方法具体可以包括如下步骤:

步骤901,获取用户语音数据。

耳机可以获取用户语音数据。

步骤902,向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置向所述服务器发送所述用户语音数据,通过所述服务器依据所述用户语音数据获取账目信息;或者,以使所述耳机收纳装置对所述用户语音数据进行语音识别得到语音识别结果,通过所述服务器依据所述语音识别结果获取账目信息。

耳机收纳装置是与耳机配套的设备,耳机收纳装置通常用于存放耳机并且给无线耳机充电。在本发明实施例中,耳机收纳装置具有联网功能,使得耳机收纳装置可以与服务器通信。

在一种示例中,耳机可以向耳机收纳装置发送所述语音数据,以使耳机收纳装置向服务器发送用户语音数据,通过服务器依据用户语音数据获取账目信息。

在另一种示例中,耳机可以向耳机收纳装置发送所述语音数据,以使耳机收纳装置对用户语音数据进行语音识别得到语音识别结果,通过服务器依据语音识别结果获取账目信息。

服务器在获取账目信息后,可以依据账目信息生成反馈信息,然后将反馈信息发送给耳机收纳装置,耳机收纳装置可以将反馈信息发送给耳机。

服务器获取账目信息以及依据账目信息生成反馈信息的方式可以参见上述实施例,在此不做赘述。

步骤903,接收所述耳机收纳装置发送的反馈信息,所述反馈信息由所述服务器依据所述账目信息生成。

步骤904,依据所述反馈信息进行输出。

在本发明实施例中,耳机可以获取用户语音数据;向耳机收纳装置发送用户语音数据,以使耳机收纳装置向服务器发送用户语音数据,通过服务器依据用户语音数据获取账目信息;或者,以使耳机收纳装置对用户语音数据进行语音识别得到语音识别结果,通过服务器依据语音识别结果获取账目信息;耳机可以接收耳机收纳装置发送的反馈信息,反馈信息由服务器依据账目信息生成;耳机可以依据反馈信息进行输出。本发明实施例不需要用户用手操作耳机就能完成记账或者查账,并且可以基于账目信息向用户进行反馈。在用户不便于用手操作的情况下,也能满足用户的记账或者查账需求并且能够使得用户感知到反馈。

参照图10,示出了本发明实施例的另一种交互方法的步骤流程图,该方法应用于耳机,所述耳机与耳机收纳装置通信,所述耳机收纳装置与服务器通信,所述耳机具有语音助手;所述方法具体可以包括如下步骤:

步骤1001,所述语音助手获取用户语音数据。

语音助手可以获取用户语音数据

步骤1002,所述语音助手向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置向所述服务器发送所述用户语音数据,通过所述服务器依据所述用户语音数据获取账目信息;或者,以使所述耳机收纳装置对所述用户语音数据进行语音识别得到语音识别结果,通过所述服务器依据所述语音识别结果获取账目信息。

在一种示例中,语音助手可以向耳机收纳装置发送所述语音数据,以使耳机收纳装置向服务器发送用户语音数据,通过服务器依据用户语音数据获取账目信息。

在另一种示例中,语音助手可以向耳机收纳装置发送所述语音数据,以使耳机收纳装置对用户语音数据进行语音识别得到语音识别结果,通过服务器依据语音识别结果获取账目信息。

服务器在获取账目信息后,可以依据账目信息生成反馈信息,然后将反馈信息发送给耳机收纳装置,耳机收纳装置可以将反馈信息发送给耳机。

服务器获取账目信息以及依据账目信息生成反馈信息的方式可以参见上述实施例,在此不做赘述。

步骤1003,所述语音助手接收所述耳机收纳装置发送的反馈信息,所述反馈信息由所述服务器依据所述账目信息生成。

步骤1004,所述语音助手依据所述反馈信息进行输出。

在本发明实施例中,耳机的语音助手可以获取用户语音数据;向耳机收纳装置发送用户语音数据,以使耳机收纳装置向服务器发送用户语音数据,通过服务器依据用户语音数据获取账目信息;或者,以使耳机收纳装置对用户语音数据进行语音识别得到语音识别结果,通过服务器依据语音识别结果获取账目信息;语音助手可以接收耳机收纳装置发送的反馈信息,反馈信息由服务器依据账目信息生成;语音助手可以依据反馈信息进行输出。本发明实施例不需要用户用手操作耳机就能完成记账或者查账,并且可以基于账目信息向用户进行反馈。在用户不便于用手操作的情况下,也能满足用户的记账或者查账需求并且能够使得用户感知到反馈。

参照图11,示出了本发明实施例的另一种交互方法的步骤流程图,该方法应用于耳机,所述耳机与耳机收纳装置通信;所述方法具体可以包括如下步骤:

步骤1101,获取用户语音数据。

耳机可以获取用户语音数据。

步骤1102,向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置依据所述用户语音数据获取账目信息。

耳机可以向耳机收纳装置发送用户语音数据,以使耳机收纳装置依据用户语音数据获取账目信息。

在本发明实施例中,耳机收纳装置可以对所述用户语音数据进行语音识别得到识别文本;对所述识别文本进行语句检测,得到至少一个语句;识别所述至少一个语句对应的用户意图,并确定对应于记账意图的语句;从对应于记账意图的语句中识别账目信息。

所述耳机收纳装置依据所述账目信息获取反馈信息的步骤可以包括:所述耳机收纳装置依据所述记账意图和所述账目信息生成反馈信息。

所述账目信息包括事项信息和/或金额信息;所述耳机收纳装置依据所述记账意图和所述账目信息生成反馈信息的步骤可以包括:所述耳机收纳装置依据所述记账意图、所述事项信息和/或所述金额信息,生成反馈信息。

在一种示例中,所述耳机收纳装置依据所述记账意图和所述账目信息生成反馈信息的步骤可以包括:所述耳机收纳装置依据预设表达风格、所述记账意图和所述账目信息生成反馈信息。

在另一种示例中,所述耳机收纳装置依据所述记账意图和所述账目信息生成反馈信息的步骤可以包括:所述耳机收纳装置依据预设人物特征信息、所述记账意图和所述账目信息生成反馈信息。

在本发明实施例中,耳机收纳装置可以对用户语音数据进行语音识别得到识别文本;对所述识别文本进行语句检测,得到至少一个语句;识别所述至少一个语句对应的用户意图,并确定对应于查账意图的语句;依据所述对应于查账意图的语句查找账目信息。

所述耳机收纳装置依据所述账目信息获取反馈信息的步骤可以包括:所述耳机收纳装置依据所述查账意图和所述账目信息生成反馈信息。

所述耳机收纳装置依据所述查账意图和所述账目信息生成反馈信息的步骤可以包括:所述耳机收纳装置依据所述查账意图、所述事项信息和/或所述金额信息,生成反馈信息。

在一种示例中,所述耳机收纳装置依据所述查账意图、和所述账目信息生成反馈信息的步骤可以包括:所述耳机收纳装置依据预设表达风格、所述查账意图和所述账目信息生成反馈信息。

在另一种示例中,所述耳机收纳装置依据所述查账意图和所述账目信息生成反馈信息的步骤可以包括:所述耳机收纳装置依据预设人物特征信息、所述查账意图和所述账目信息生成反馈信息。

步骤1103,接收所述耳机收纳装置依据所述账目信息生成的反馈信息。

耳机收纳装置在获取账目信息后可以生成反馈信息并发送给耳机。

步骤1104,依据所述反馈信息进行输出。

在本发明实施例中,耳机可以获取用户语音数据;向耳机收纳装置发送用户语音数据,以使耳机收纳装置依据用户语音数据获取账目信息;接收耳机收纳装置依据账目信息生成的反馈信息;依据反馈信息进行输出。不需要用户用手操作耳机就能完成记账或者查账,并且可以基于账目信息向用户进行反馈。在用户不便于用手操作的情况下,也能满足用户的记账或者查账需求并且能够使得用户感知到反馈。

参照图12,示出了本发明实施例的另一种交互方法的步骤流程图,该方法应用于耳机,所述耳机与耳机收纳装置通信,所述耳机具有语音助手;所述方法具体可以包括如下步骤:

步骤1201,所述语音助手获取用户语音数据。

步骤1202,所述语音助手向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置依据所述用户语音数据获取账目信息。

语音助手可以向耳机收纳装置发送用户语音数据,以使耳机收纳装置依据用户语音数据获取账目信息。

步骤1203,所述语音助手接收所述耳机收纳装置依据所述账目信息生成的反馈信息。

耳机收纳装置在获取账目信息后可以生成反馈信息并发送给耳机,语音助手可以接收反馈信息。

步骤1204,所述语音助手依据所述反馈信息进行输出。

在本发明实施例中,耳机的语音助手可以获取用户语音数据;向耳机收纳装置发送用户语音数据,以使耳机收纳装置依据用户语音数据获取账目信息;接收耳机收纳装置依据账目信息生成的反馈信息;依据反馈信息进行输出。不需要用户用手操作耳机就能完成记账或者查账,并且可以基于账目信息向用户进行反馈。在用户不便于用手操作的情况下,也能满足用户的记账或者查账需求并且能够使得用户感知到反馈。

需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。

参照图13,示出了本发明实施例的一种交互装置的结构框图,交互装置应用于耳机,所述交互装置具体可以包括如下模块:

用户语音数据获取模块1301,用于获取用户语音数据;

账目信息获取模块1302,用于依据所述用户语音数据获取账目信息;

反馈模块1303,用于依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。

在本发明实施例中,所述账目信息获取模块1302可以包括:

第一识别文本获得子模块,用于对所述用户语音数据进行语音识别得到识别文本;

第一语句获得子模块,用于对所述识别文本进行语句检测,得到至少一个语句;

第一语句确定子模块,用于识别所述至少一个语句对应的用户意图,并确定对应于记账意图的语句;

第一账目信息识别子模块,用于从对应于记账意图的语句中识别账目信息。

在本发明实施例中,所述反馈模块1303可以包括:

第一反馈信息生成子模块,用于依据所述记账意图和所述账目信息生成反馈信息。

在本发明实施例中,所述账目信息包括事项信息和/或金额信息。

在本发明实施例中,所述第一反馈信息生成子模块可以包括:

第一反馈信息生成单元,用于依据预设表达风格、所述记账意图和所述账目信息,生成反馈信息。

在本发明实施例中,所述第一反馈信息生成子模块可以包括:

第二反馈信息生成单元,用于依据预设人物特征信息、所述记账意图和所述账目信息,生成反馈信息。

在本发明实施例中,所述账目信息获取模块1302可以包括:

第二识别文本获得子模块,用于对所述用户语音数据进行语音识别得到识别文本;

第二语句获得子模块,用于对所述识别文本进行语句检测,得到至少一个语句;

第二语句确定子模块,用于识别所述至少一个语句对应的用户意图,并确定对应于查账意图的语句;

第二账目信息识别子模块,用于依据所述对应于查账意图的语句查找账目信息。

在本发明实施例中,所述反馈模块1303可以包括:

第二反馈信息生成子模块,用于依据所述查账意图和所述账目信息生成反馈信息。

在本发明实施例中,所述账目信息包括事项信息和/或金额信息。

在本发明实施例中,所述第二反馈信息生成子模块可以包括:

第三反馈信息生成单元,用于依据预设表达风格、所述查账意图和所述账目信息,生成反馈信息。

在本发明实施例中,所述第二反馈信息生成子模块可以包括:

第四反馈信息生成单元,用于依据预设人物特征信息、所述查账意图和所述账目信息,生成反馈信息。

在本发明实施例中,所述账目信息获取模块1302可以包括:

本地获取子模块,用于在耳机本地依据所述用户语音数据获取账目信息。

在本发明实施例中,所述耳机与服务器通信;所述账目信息获取模块1302可以包括:

第一发送子模块,用于向所述服务器发送所述用户语音数据,以使所述服务器依据所述用户语音数据获取账目信息;

所述反馈模块包括:

第一接收子模块,用于接收所述服务器依据所述账目信息生成的反馈信息。

在本发明实施例中,所述耳机与耳机收纳装置通信,所述耳机收纳装置与服务器通信;所述账目信息获取模块1302可以包括:

第二发送子模块,用于向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置向所述服务器发送所述用户语音数据,通过所述服务器依据所述用户语音数据获取账目信息;或者,以使所述耳机收纳装置对所述用户语音数据进行语音识别得到语音识别结果,通过所述服务器依据所述语音识别结果获取账目信息;

所述反馈模块包括:

第二接收子模块,用于接收所述耳机收纳装置发送的反馈信息,所述反馈信息由所述服务器依据所述账目信息生成。

在本发明实施例中,所述耳机与耳机收纳装置通信;所述账目信息获取模块1302可以包括:

第三发送子模块,用于向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置依据所述用户语音数据获取账目信息;

所述反馈模块包括:

第三接收子模块,用于接收所述耳机收纳装置依据所述账目信息生成的反馈信息。

在本发明实施例中,所述耳机具有语音助手,所述语音助手部署于所述交互装置。

在本发明实施例中,所述的装置还可以包括:

第一唤醒模块,用于响应作用于耳机的预设触控区域的触控操作,唤醒所述语音助手。

在本发明实施例中,所述的装置还可以包括:

监听模块,用于监听用户语音数据;

第二唤醒模块,用于当检测到用户语音数据中包含预设唤醒词时,唤醒所述语音助手。

本发明实施例还公开了另一种交互装置,应用于耳机,所述耳机具有语音助手,所述语音助手部署在所述交互装置,所述交互装置可以包括:

用户语音数据获取模块,用于获取用户语音数据;

账目信息获取模块,用于依据所述用户语音数据获取账目信息;

反馈模块,用于依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。

图14是根据一示例性实施例示出的一种用于交互的耳机1400的结构框图。参照图14,耳机1400可以包括以下一个或多个组件:处理组件1402,存储器1404,电力组件1406,多媒体组件1408,音频组件1410,输入/输出(i/o)的接口1412,传感器组件1414,以及通信组件1416。

处理组件1402通常控制耳机1400的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件1402可以包括一个或多个处理器1420来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1402可以包括一个或多个模块,便于处理组件1402和其他组件之间的交互。例如,处理部件1402可以包括多媒体模块,以方便多媒体组件1408和处理组件1402之间的交互。

存储器1404被配置为存储各种类型的数据以支持在耳机1400的操作。这些数据的示例包括用于在耳机1400上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。

电力组件1406为耳机1400的各种组件提供电力。电力组件1406可以包括电源管理系统,一个或多个电源,及其他与为耳机1400生成、管理和分配电力相关联的组件。

多媒体组件1408包括在所述耳机1400和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1408包括一个前置摄像头和/或后置摄像头。当耳机1400处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1410被配置为输出和/或输入音频信号。例如,音频组件1410包括一个麦克风(mic),当耳机1400处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1404或经由通信组件1416发送。在一些实施例中,音频组件1410还包括一个扬声器,用于输出音频信号。

i/o接口1412为处理组件1402和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1414包括一个或多个传感器,用于为耳机1400提供各个方面的状态评估。例如,传感器组件1414可以检测到耳机1400的打开/关闭状态,组件的相对定位,例如所述组件为耳机1400的显示器和小键盘,传感器组件1414还可以检测耳机1400或耳机1400一个组件的位置改变,用户与耳机1400接触的存在或不存在,耳机1400方位或加速/减速和耳机1400的温度变化。传感器组件1414可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1414还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1414还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。

通信组件1416被配置为便于耳机1400和其他设备之间有线或无线方式的通信。耳机1400可以接入基于通信标准的无线网络,如wifi,2g或3g,或它们的组合。在一个示例性实施例中,通信部件1414经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信部件1414还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。

在示例性实施例中,耳机1400可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。

在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1404,上述指令可由耳机1400的处理器1420执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

本发明实施例还公开了一种耳机,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:

获取用户语音数据;

依据所述用户语音数据获取账目信息;

依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。

可选地,所述依据所述用户语音数据获取账目信息,包括:

对所述用户语音数据进行语音识别得到识别文本;

对所述识别文本进行语句检测,得到至少一个语句;

识别所述至少一个语句对应的用户意图,并确定对应于记账意图的语句;

从对应于记账意图的语句中识别账目信息。

可选地,所述依据所述账目信息获取反馈信息,包括:

依据所述记账意图和所述账目信息生成反馈信息。

可选地,所述账目信息包括事项信息和/或金额信息。

可选地,所述依据所述记账意图和所述账目信息生成反馈信息,包括:

依据预设表达风格、所述记账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述记账意图和账目信息生成反馈信息,包括:

依据预设人物特征信息、所述记账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述用户语音数据获取账目信息,包括:

对所述用户语音数据进行语音识别得到识别文本;

对所述识别文本进行语句检测,得到至少一个语句;

识别所述至少一个语句对应的用户意图,并确定对应于查账意图的语句;

依据所述对应于查账意图的语句查找账目信息。

可选地,所述依据所述账目信息获取反馈信息,包括:

依据所述查账意图和所述账目信息生成反馈信息。

可选地,所述账目信息包括事项信息和/或金额信息。

可选地,所述依据所述查账意图和所述账目信息生成反馈信息,包括:

依据预设表达风格、所述查账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述查账意图和所述账目信息生成反馈信息,包括:

依据预设人物特征信息、所述查账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述用户语音数据获取账目信息,包括:

在耳机本地依据所述用户语音数据获取账目信息。

可选地,所述耳机与服务器通信;所述依据所述用户语音数据获取账目信息,包括:

向所述服务器发送所述用户语音数据,以使所述服务器依据所述用户语音数据获取账目信息;

所述依据所述账目信息获取反馈信息,包括:

接收所述服务器依据所述账目信息生成的反馈信息。

可选地,所述耳机与耳机收纳装置通信,所述耳机收纳装置与服务器通信;所述依据所述用户语音数据获取账目信息,包括:

向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置向所述服务器发送所述用户语音数据,通过所述服务器依据所述用户语音数据获取账目信息;或者,以使所述耳机收纳装置对所述用户语音数据进行语音识别得到语音识别结果,通过所述服务器依据所述语音识别结果获取账目信息;

所述依据所述账目信息获取反馈信息,包括:

接收所述耳机收纳装置发送的反馈信息,所述反馈信息由所述服务器依据所述账目信息生成。

可选地,所述耳机与耳机收纳装置通信;所述依据所述用户语音数据获取账目信息,包括:

向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置依据所述用户语音数据获取账目信息;

所述依据所述账目信息获取反馈信息,包括:

接收所述耳机收纳装置依据所述账目信息生成的反馈信息。

可选地,所述一个或者一个以上的程序包括语音助手。

可选地,还包含用于进行以下操作的指令:

响应作用于耳机的预设触控区域的触控操作,唤醒所述语音助手。

可选地,还包含用于进行以下操作的指令:

监听用户语音数据;

当检测到用户语音数据中包含预设唤醒词时,唤醒所述语音助手。

本发明实施例还公开了一种耳机,包括有存储器,以及语音助手,其中语音助手存储于存储器中,且经配置以由一个或者一个以上处理器执行所述语音助手包含用于进行以下操作的指令:

获取用户语音数据;

依据所述用户语音数据获取账目信息;

依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。

本发明实施例还公开了一种非临时性计算机可读存储介质,当所述存储介质中的指令由耳机的处理器执行时,使得耳机能够执行一种记账方法,所述方法可以包括:

获取用户语音数据;

依据所述用户语音数据获取账目信息;

依据所述账目信息获取反馈信息,并依据所述反馈信息进行输出。

可选地,所述依据所述用户语音数据获取账目信息,包括:

对所述用户语音数据进行语音识别得到识别文本;

对所述识别文本进行语句检测,得到至少一个语句;

识别所述至少一个语句对应的用户意图,并确定对应于记账意图的语句;

从对应于记账意图的语句中识别账目信息。

可选地,所述依据所述账目信息获取反馈信息,包括:

依据所述记账意图和所述账目信息生成反馈信息。

可选地,所述账目信息包括事项信息和/或金额信息。

可选地,所述依据所述记账意图和所述账目信息生成反馈信息,包括:

依据预设表达风格、所述记账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述记账意图和账目信息生成反馈信息,包括:

依据预设人物特征信息、所述记账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述用户语音数据获取账目信息,包括:

对所述用户语音数据进行语音识别得到识别文本;

对所述识别文本进行语句检测,得到至少一个语句;

识别所述至少一个语句对应的用户意图,并确定对应于查账意图的语句;

依据所述对应于查账意图的语句查找账目信息。

可选地,所述依据所述账目信息获取反馈信息,包括:

依据所述查账意图和所述账目信息生成反馈信息。

可选地,所述账目信息包括事项信息和/或金额信息。

可选地,所述依据所述查账意图和所述账目信息生成反馈信息,包括:

依据预设表达风格、所述查账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述查账意图和所述账目信息生成反馈信息,包括:

依据预设人物特征信息、所述查账意图和所述账目信息,生成反馈信息。

可选地,所述依据所述用户语音数据获取账目信息,包括:

在耳机本地依据所述用户语音数据获取账目信息。

可选地,所述耳机与服务器通信;所述依据所述用户语音数据获取账目信息,包括:

向所述服务器发送所述用户语音数据,以使所述服务器依据所述用户语音数据获取账目信息;

所述依据所述账目信息获取反馈信息,包括:

接收所述服务器依据所述账目信息生成的反馈信息。

可选地,所述耳机与耳机收纳装置通信,所述耳机收纳装置与服务器通信;所述依据所述用户语音数据获取账目信息,包括:

向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置向所述服务器发送所述用户语音数据,通过所述服务器依据所述用户语音数据获取账目信息;或者,以使所述耳机收纳装置对所述用户语音数据进行语音识别得到语音识别结果,通过所述服务器依据所述语音识别结果获取账目信息;

所述依据所述账目信息获取反馈信息,包括:

接收所述耳机收纳装置发送的反馈信息,所述反馈信息由所述服务器依据所述账目信息生成。

可选地,所述耳机与耳机收纳装置通信;所述依据所述用户语音数据获取账目信息,包括:

向所述耳机收纳装置发送所述用户语音数据,以使所述耳机收纳装置依据所述用户语音数据获取账目信息;

所述依据所述账目信息获取反馈信息,包括:

接收所述耳机收纳装置依据所述账目信息生成的反馈信息。

可选地,所述耳机具有语音助手。

可选地,还包括:

响应作用于耳机的预设触控区域的触控操作,唤醒所述语音助手。

可选地,还包括:

监听用户语音数据;

当检测到用户语音数据中包含预设唤醒词时,唤醒所述语音助手。

本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种交互方法、一种交互装置和一种耳机,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

起点商标作为专业知识产权交易平台,可以帮助大家解决很多问题,如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通,为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除

相关标签:
tips