商标分类 
商标转让 
您当前的位置： 包括处理用户语音的电子设备和控制电子设备上语音识别的方法的系统与流程
2021-01-28 12:01:49|
272|
起点商标网
本公开涉及包括处理用户语音(或用户话音)的电子设备和控制电子设备上语音识别的方法的系统。
背景技术：
电子设备的话音控制允许用户使用人类交互中常见的语音来操作电子设备。这还允许用户在不使用他们的手并且不用操作笨重的界面的情况下操作设备。然而，正确地解释话音命令可能是具有挑战性的。
上述信息仅作为背景信息来呈现，以帮助理解本公开。关于上述内容中的任何内容是否可以作为关于本公开的现有技术适用，没有作出确定，并且没有作出断言。
技术实现要素：
技术问题
越来越多的服务和功能通过电子设备(例如，智能电话或其它便携式电子设备)来提供。话音控制可以通过用更自然的人类语音命令替换笨重的用户界面来方便电子设备的操作。
例如，基于语音识别的控制技术可以分析通过用户发声接收的语音(命令)，并提供与用户请求(或命令)最一致的服务。与用户使用电子设备上的物理或机械按钮或使用附加输入设备(例如，鼠标或键盘，或显示在触摸可识别的显示器上的用户界面)的操作相比，这种技术允许更容易地控制电子设备，因此正在广泛使用。
用户可以将发声输入到包括在集成智能系统中的电子设备(例如，智能电话)中。当用户的发声包含与一个参数相对应的多个单词时，包括在集成智能系统中的智能服务器可能不能如用户所期望的那样处理用户的发声。例如，当用户将发声“我吃了香蕉和苹果作为早餐。保存”输入到用户终端时，发声包含对应于特定参数(例如，食物种类)的两个单词，并且智能服务器因此可能仅确定(或提取或映射)对应于特定参数的一个单词，例如“香蕉”或“苹果”。因此，智能服务器可能不能执行与用户意图一致的发声处理(例如，生成或选择操作信息(例如，路径规则)以提供(或执行)与用户意图一致的任务)。
当用户的发声包含多个单词，每个单词对应于多个参数(例如，食物的种类和食物的量)中的相应一个时，智能服务器可能不能如用户所期望的那样处理用户的发声。例如，当用户终端接收到用户的发声“我吃了一个苹果和一碗豆芽汤作为早餐”时，智能服务器可以单独处理包含在发声中的所有单词，即“苹果(参数：食物种类)”、“一个”(参数：食物量)、“大豆汤(参数：食物种类)”和“一碗(参数：食物量)”，并且因此可没有考虑用户发声所期望的单词之间的链接关系(即，
此外，智能服务器可能仅仅以“单词单元”处理用户的发声，但是可能不以“语义单元”(该术语可以与“语义组”互换使用，以便于在整个说明书中进行描述)来进行处理。因此，当从用户的发声中识别用户的意图或根据用户的意图生成操作信息所必需的强制性单词(或强制性参数)从用户的发声中缺失时，可能无法执行请求输入缺失单词的操作。例如，当用户终端接收到用户的发声“我吃了一碗豆芽汤和一只苹果作为早餐。保存”时，智能服务器可能无法以语义单元(例如，第一语义组：[豆芽汤，一碗]，第二语义组：[苹果，一个])处理用户的发声，并最终识别用户的意图或生成操作信息，因为用户的发声缺少强制性单词“豆芽汤”。这样，智能服务器可能最终无法执行与用户的发声一致的发声处理。如本文所用，术语“强制性单词”可以与“强制性参数”具有相同含义使用(例如，术语可以表示相同的目标或对象)。
问题的解决方案
本公开的某些实施例可以解决上述情况。
根据实施例，可以提供一种包括电子设备(例如，智能服务器)的系统，所述电子设备能够产生用于执行与用户的意图一致的任务的操作信息，尽管用户的发声包含与特定参数(例如，食物的种类)相对应的多个单词。
根据实施例，可以提供一种包括电子设备(例如，用户终端)的系统，所述电子设备能够提供与用户的意图一致的任务，尽管用户的发声包含与特定参数(例如，食物种类)相对应的多个单词。
根据实施例，可以提供一种包括电子设备(例如，用户终端或智能服务器)的系统，所述电子设备能够向用户通知提供通过用户发声所请求的任务所必需的强制性单词的缺失，或者能够通过以语义单元处理用户发声来识别用户的意图。
根据实施例，可以提供一种控制电子设备(例如，智能服务器)的方法，所述电子设备能够产生用于执行与用户的意图一致的任务的操作信息，尽管用户的发声包含与特定参数(例如，食物的种类)相对应的多个单词。
根据实施例，可以提供一种控制电子设备(例如，用户终端)的方法，所述电子设备能够提供与用户的意图一致的任务，尽管用户的发声包含与特定参数(例如，食物种类)相对应的多个单词。
根据实施例，可以提供一种控制电子设备(例如，用户终端或智能服务器)的方法，所述方法能够向用户通知提供通过用户发声请求的任务所必需的强制性单词的缺失，或者能够通过以语义单元处理用户发声来识别用户的意图。
根据实施例，一种电子设备包括通信电路、输入模块、至少一个处理器和存储器，所述存储器可操作地与所述至少一个处理器、所述输入模块和所述通信电路连接，其中所述存储器存储指令，所述指令被配置成：使所述至少一个处理器能够根据用户的用于唤醒的第一发声提供功能；在提供所述功能的同时通过所述输入模块接收所述用户的第二发声，所述第二发声包括具有预定的相关性的多个单词；经由所述通信电路将关于所述用户的所述第二发声的信息发送到另一电子设备；并根据所述发送从所述第二电子装置接收与所述用户的所述第二发声相关的响应，并提供所接收的响应。根据实施例，一种方法包括：由第一电子设备根据用户的用于唤醒的第一发声提供功能；在所述第一电子设备提供所述功能的同时，通过所述第一电子设备的输入模块接收所述用户的第二发声，所述第二发声包括具有预定的相关性的多个单词；经由所述第一电子设备的通信电路将关于所述用户的所述第二发声的信息发送到所述第二电子设备；以及响应于所述发送从所述第二电子设备接收与所述用户的所述第二发声相关的响应，并提供所接收的响应。
根据实施例，一种存储指令的计算机可读记录介质，所述指令被配置成由处理器执行至少一个操作，所述至少一个操作包括：根据用户的用于唤醒的第一发声提供功能；在电子设备提供所述功能的同时，通过所述电子设备的输入模块接收所述用户的第二发声，所述第二发声包括具有预定的相关性的多个单词；经由上述电子设备的通信电路将关于所述用户的第二发声的信息发送到另一电子设备；并且响应于所述发送，从所述另一电子设备接收与所述用户的所述第二发声相关的响应，并提供所接收的响应。
通过下面结合附图的详细描述，本公开的其它方面、优点和显著特征对于本领域技术人员将变得显而易见，所述详细描述公开了本公开的示例实施例。
本发明的有益效果
根据某些实施例，电子设备(例如，智能服务器)可以提供与用户的意图一致的任务，尽管用户的发声包含与特定参数(例如，食物的种类)相对应的多个单词。
根据某些实施例，电子设备(例如，智能服务器)可以向用户通知强制性单词的缺失，该强制性单词是提供通过用户发声请求的任务或通过以语义单元处理用户发声来识别用户意图所必需的。
本文所述的效果不限于此，并且对于本领域普通技术人员显而易见的是，本文可以公开各种效果。
附图说明
当结合附图考虑时，通过参考以下详细描述，将会更好地理解本公开内容及其伴随的许多方面，将容易地获得对本公开内容及其伴随的许多方面的更完全的理解，其中：
图1是示出根据实施例的集成智能系统的视图；
图2是示出根据实施例的集成智能系统中的用户终端的框图；
图3是示出根据实施例在用户终端上执行智能app的示例操作的视图；
图4是示出根据实施例的集成智能系统中的智能服务器的框图；
图5是示出根据实施例的智能服务模块的上下文模块收集当前状态的示例操作的视图；
图6是示出根据实施例的智能服务模块的提议模块的框图；
图7是示出根据实施例的由路径规划器模块生成路径规则的示例方法的视图；
图8是示出根据实施例的由智能服务模块的人物模块管理用户信息的示例操作的视图；
图9a和图9b是示出当用户的发声包含与一个参数相对应的多个单词时，由智能服务器根据传统技术处理用户的发声的示例结果的视图；
图10是示出根据实施例的操作智能服务器的示例方法的视图；
图11a、图11b、图11c、图11d和图11e是示出根据实施例由智能服务器选择包含在用户发声中的单词的示例操作的视图；
图12a和图12b是示出根据实施例的预先指定的参数的示例分级结构的视图；
图13、图14和图15a是示出根据实施例的操作智能服务器的示例方法的视图；
图15b是示出根据实施例的由智能服务器识别包含在用户发声中的标准单词的操作的视图；
图15c是示出根据实施例的由智能服务器以指定顺序对所选择的单词进行分类而不管用户发声中包含的单词的顺序以生成操作信息的示例操作的视图；
图15d是示出根据实施例的当用户的发声包含类似单词时，通过将类似单词转换为标准单词来生成操作信息的示例操作的视图；
图16a、图16b、图16c和图16d是示出根据实施例的当发声者的发声中缺少强制性单词时操作集成智能系统或智能服务器的示例方法的视图；
图17a和图17b是示出根据实施例的根据基于输入的用户发声所生成的操作信息而显示在用户终端上的示例屏幕的视图；
图18是示出根据实施例的示例电子设备的视图；以及
图19是示出根据实施例的操作电子设备的示例方法的视图。
在所有附图中，相同的附图标记将被理解为表示相同的部件、组件和结构。
具体实施方式
图1是示出根据实施例的集成智能系统的示例的视图。在某些实施例中，集成智能系统可以包括电子设备，例如智能电话。
参照图1，集成智能系统10可以包括用户终端100、智能服务器200、个人信息服务器300或提议服务器400。用户终端100可以接收用户发声并向智能服务器200提供该发声。个人信息服务器300存储关于过去用户行为的信息。提议服务器400提供关于在用户终端中可用的不同应用的信息。智能服务器200基于个人信息服务器300和提议服务器400的信息来确定要执行的功能。
根据实施例，用户终端100可以通过存储在用户终端100中的app(或应用程序)(例如，告警app、消息app、照片(gallery)app等)来提供用户所需的服务。例如，根据实施例，用户终端100可以通过存储在用户终端100中的智能app(或语音识别app)来执行和操作另一个app。用户终端100的智能app可以通过智能app接收用户输入以执行和操作另一app。智能app可以包括使用来自用户交互的过去和实时数据来进行预测和/或建议以传递自适应用户体验的(多个)应用。用户输入可以通过例如物理按钮、触摸板、经由麦克风的语音输入或远程输入来接收。用户终端100可以是可连接到因特网的各种终端设备(或电子设备)，例如蜂窝电话、智能电话、个人数字助理(pda)或膝上型计算机。
根据实施例，用户终端100可以接收用户发声作为用户输入。用户终端100可以接收用户发声并基于用户发声生成操作app的命令。因此，用户终端100可以使用该命令来操作app。
根据实施例，智能服务器200可以通过通信网络(例如，互连网)从用户终端100接收用户的语音输入(或用户的话音输入)，并将该语音输入转换为文本数据。智能服务器200可以基于文本数据生成(或选择)路径规则。路径规则可以包括关于执行app的功能的动作(或操作)的信息或者关于执行操作所必需的参数的信息。路径规则可以包括app的操作顺序。用户终端100可以接收路径规则，根据路径规则选择app，并且在所选择的app上执行包括在路径规则中的操作。
如这里所使用的，术语“路径规则”通常可以指电子设备提供用户所请求的任务的状态序列，但不限于此。换句话说，根据实施例，路径规则可以包含关于序列的信息。任务可以是例如智能app可以提供的某个动作。任务可以包括产生时间表、将照片发送到期望的一方、或提供天气信息。用户终端100可以通过顺序地具有至少一个或多个状态(例如，用户终端100的操作状态)来提供任务。
根据实施例，路径规则可以由人工智能(ai)系统提供或创建。ai系统可以是基于规则的系统或基于神经网络的系统(例如，前馈神经网络(fnn))或递归神经网络(rnn))。或者，ai系统可以是其组合或与其不同的系统。路径规则可以从一组预定义的路径规则中选择或者响应于用户请求而实时创建。例如，ai系统可以从多个预定义的路径规则中选择至少一个，或者可以动态地(或实时地)创建路径规则。根据实施例，用户终端100可以使用混合系统来提供路径规则。
根据实施例，用户终端100可以执行操作并在显示器上显示对应于已经执行操作的用户终端100的状态的屏幕。用户终端100可以执行该操作并且禁止在显示器上显示执行该操作的结果。用户终端100可以执行例如多个操作并在显示器上仅显示多个操作的一些结果。用户终端100可以在显示器上显示例如仅按顺序执行最后操作的结果。作为另一示例，根据实施例，用户终端100可以接收用户输入并在显示器上显示执行操作的结果。
根据实施例，个人信息服务器300可以包括存储用户信息的数据库。例如，根据实施例，个人信息服务器300可以从用户终端100接收用户信息(例如，上下文信息或app执行)，并将用户信息存储在数据库中。智能服务器200可以通过通信网络从个人信息服务器300接收用户信息，并在为用户输入创建路径规则时使用该信息。根据实施例，用户终端100可以通过通信网络从个人信息服务器300接收用户信息，并且使用该信息作为用于管理数据库的信息。
根据实施例，提议服务器400可以包括数据库，该数据库存储与要在终端中提供的功能或者应用或功能的介绍有关的信息。例如，根据实施例，提议服务器400可以从个人信息服务器300接收用户终端100的用户信息，并且包括关于用户可以使用的功能的数据库。用户终端100可以通过通信网络从提议服务器400接收关于要提供的功能的信息，并将该信息提供给用户。
图2是示出根据实施例的集成智能系统中的用户终端的框图。
参照图2，根据实施例，用户终端100可以包括输入模块110、显示器120、扬声器130、存储器140和处理器150。在下文中，在单数上下文中使用的“处理器”应被理解为包括一个或多个处理器。用户终端100还可以包括外壳。用户终端100的部件可以位于外壳中或外壳上。根据实施例，用户终端100还可以包括位于外壳内部的通信电路。根据实施例，用户终端100可以通过通信电路向外部服务器(例如，智能服务器200)发送数据(或信息)或从外部服务器(例如，智能服务器200)接收数据(或信息)。处理器150被配置成根据用户通过输入模块110的用于唤醒的第一发声来提供功能。处理器150还被配置为在提供功能的同时通过输入模块110接收用户的第二发声，该第二发声包括具有预先指定的相关词的多个单词。通信电路将关于用户的第二发声的信息发送到另一电子设备(例如，智能服务器200)，并接收与第二发声相关的响应。根据本公开的实施例，输入模块110可以接收来自用户的用户输入。例如，根据实施例，输入模块110可以从与其连接的外部设备(例如，键盘或耳机)接收用户输入。作为另一示例，根据实施例，输入模块110可以包括与显示器120组合的触摸屏(例如，触摸屏显示器)。作为另一示例，输入模块110可以包括位于用户终端100(或用户终端100的外壳)中的硬件键(或物理键)112。
根据实施例，输入模块110可以包括能够接收作为语音信号的用户发声的麦克风。例如，根据实施例，输入模块110可以包括语音输入系统，并通过语音输入系统接收作为语音信号的用户发声。麦克风可以通过例如外壳的一部分(例如，第一部分)暴露。
根据本公开的实施例，显示器120可以显示图像、视频和/或应用执行屏幕。例如，显示器120可以显示app的图形用户界面(gui)。根据实施例，显示器120可以通过例如外壳的一部分(例如，第二部分)暴露。
根据本公开的实施例，扬声器130可以输出语音信号。例如，根据实施例，扬声器130可以将从用户终端100内部生成的语音信号输出到外部。根据实施例，扬声器130可以通过例如外壳的一部分(例如，第三部分)暴露。
根据本公开的实施例，存储器140可以存储多个app(或应用程序)141和143。多个app141和143可以是例如用于执行与用户输入相对应的功能的程序。根据本发明的实施例，存储器140可包括智能代理145、执行管理器模块147或智能服务模块149。智能代理145、执行管理器模块147和智能服务模块149可以是处理接收到的用户输入(例如，用户发声)的框架(或应用框架)。
根据本公开的实施例，存储器140可以包括数据库，该数据库可以存储识别用户输入所必需的信息。例如，存储器140可以包括能够存储日志信息的日志数据库。作为另一示例，存储器140可以包括能够存储用户信息的个人数据库。
根据本公开的实施例，存储器140可以存储多个app141和143。多个app141和143可以被加载和操作。例如，存储器140中存储的多个app141和143可以由执行管理器模块147加载和操作。多个app141和143可以包括执行服务模块141a和143a以执行功能。根据实施例，多个app141和143可以通过执行服务模块141a和143a执行多个操作(例如，状态序列)141b和143b以执行功能。换句话说，执行服务模块141a和143a可以由执行管理器模块147激活并执行多个操作141b和143b。
根据本公开的实施例，当执行app141和143的操作141b和143b时，可以在显示器120上显示根据操作141b和143b的执行的执行状态屏幕。根据实施例，执行状态屏幕可以是例如操作141b和143b的处于已经完成的状态的屏幕。执行状态屏幕可以是例如操作141b和143b的处于已经停止的执行状态的屏幕(部分完成(landing))(例如，当没有输入操作141b和143b所需的参数时)。
根据本公开的实施例，执行服务模块141a和143a可以按照路径规则执行操作141b和143b。例如，根据实施例，执行服务模块141a和143a可以由执行管理器模块147激活，根据路径规则从执行管理器模块147接收执行请求，并根据执行请求执行操作141b和143b，从而执行app141和143的功能。当操作141b和143b的执行完成时，执行服务模块141a和143a可以向执行管理器模块147发送完成信息。
根据本公开的实施例，当在app141和143上执行多个操作141b和143b时，可以顺序地执行多个操作141b和143b。当一个操作(例如，第一app141的操作1或第二app143的操作1)执行完成时，执行服务模块141a和143a可以开放下一个操作(例如，第一app141的操作2或第二app143的操作2)并向执行管理器模块147发送完成信息。这里，“开放操作”可以被理解为将操作转换到可执行状态或准备操作的执行。换句话说，除非操作是开放的，否则不能执行该操作。在接收到完成信息时，执行管理器模块147可将对下一操作的执行请求(例如，第一app141的操作2或第二app143的操作2)传送到执行服务模块。根据本公开的实施例，当执行多个app141和143时，可以顺序地执行多个app141和143。例如，当完成第一app141的最后一个操作(例如，第一app141的操作3)的执行并且因此接收到完成信息时，执行管理器模块147可以向执行服务模块143a发送对第二app143的第一操作(例如，第二app143的操作1)的执行请求。
根据本公开的实施例，当在app141和app143上执行多个操作141b和143b时，可以在显示器120上显示多个操作141b和143b的执行的结果屏幕。根据本公开的实施例，可以在显示器120上仅显示多个操作141b和143b的执行的多个结果屏幕中的一些。
根据本公开的实施例，存储器140可以存储与智能代理145交互工作的智能app(例如，语音识别app)。根据实施例，与智能代理145交互工作的app可以接收作为语音信号的用户发声并处理该发声。根据本公开的实施例，与智能代理145交互工作的app可以由通过输入模块110(例如，通过硬件键、触摸屏或特定语音的输入)录入的特定输入来操作。
根据本公开的实施例，存储在存储器140中的智能代理145、执行管理器模块147或智能服务模块149可以由处理器150执行。根据实施例，智能代理145、执行管理器模块147或智能服务模块149的功能可以由处理器150来实现。根据实施例，结合处理器150的操作来描述智能代理145、执行管理器模块147和智能服务模块149的功能。根据本公开的实施例，存储在存储器140中的智能代理145、执行管理器模块147或智能服务模块149可以用软件或硬件来实现。
根据本公开的实施例，处理器150可以控制用户终端100的整体操作。例如，处理器150可以控制输入模块110接收用户输入。根据实施例，处理器150可以控制显示器120显示图像。根据实施例，处理器150可以控制扬声器130输出语音信号。根据实施例，处理器150可以控制存储器140执行程序并提取或存储必要的信息。
根据本发明的实施例，处理器150可执行存储在存储器140中的智能代理145、执行管理器模块147或智能服务模块149。因此，根据实施例，处理器150可以实现智能代理145、执行管理器模块147或智能服务模块149的功能。
根据本公开的实施例，处理器150可执行智能代理145以基于作为用户输入而接收的语音信号来生成操作app的命令。根据本公开的实施例，处理器150可执行执行管理器模块147以根据所产生的命令来执行存储在存储器140中的app141和143。根据实施例，处理器150可以执行智能服务模块149以管理用户信息并使用用户信息处理用户输入。
根据实施例，处理器150可以执行智能代理145以将通过输入模块110接收的用户输入发送到智能服务器200，并通过智能服务器200处理用户输入。
根据本公开的实施例，处理器150可以执行智能代理145以在将用户输入发送到智能服务器200之前预处理用户输入。根据本公开的实施例，智能代理145可以包括自适应回声消除器(aec)模块、噪声抑制(ns)模块、端点检测(epd)模块或自动增益控制(agc)模块，以预处理用户输入。根据实施例，aec模块可以去除在混合在用户输入中的回声。根据实施例，ns模块可以抑制混合在用户输入中的背景噪声。根据实施例，epd模块可以检测包含在用户输入中的用户语音的端点，以使用检测到的端点来找到用户语音存在的位置。agc模块可以识别用户输入并调整用户输入的音量，以便正确处理所识别的用户输入。根据本公开的实施例，尽管能够执行上述所有预处理组件以提供更好的性能，但是处理器150可以可选地执行其中一些预处理组件，以便以更低的功率操作。
根据本公开的实施例，智能代理145可以包括存储在存储器140中的唤醒识别模块，以识别用户的调用。因此，根据实施例，处理器150可以通过唤醒识别模块识别用户的唤醒命令，并且在接收到唤醒命令时，处理器120可以执行智能代理145以接收用户输入。根据实施例，唤醒识别模块可以在低功率处理器(例如，包括在音频编解码器中的处理器)中实现。根据实施例，处理器150可以在通过硬件键接收到用户输入时执行智能代理145。当执行智能代理145时，可以执行与智能代理145交互工作的智能app(例如，语音识别app)。
根据本公开的实施例，智能代理145可以包括执行用户输入的语音识别模块。处理器150可以接收用户输入以通过语音识别模块在app上执行操作。例如，处理器150可以通过语音识别模块识别用于执行诸如app141和143上的唤醒命令的操作的有限用户(语音)输入(例如，当在相机app上执行捕获操作时产生的“点击”声音)。根据实施例，处理器150可以通过语音识别模块帮助智能服务器200识别和快速处理在用户终端100中可处理的用户命令。根据实施例，执行用户输入的智能代理145的语音识别模块可以在app处理器中实现。
根据本公开的实施例，智能代理145的语音识别模块(包括唤醒识别模块的语音识别模块)可以使用用于识别语音的算法来识别用户输入。根据实施例，用于识别语音的算法可以是例如隐藏马尔可夫模型(hmm)算法、人工神经网络(ann)算法或动态时间扭曲(dtw)算法中的至少一个。
根据本公开的实施例，处理器150可以执行智能代理145以将用户的语音输入转换为文本数据。例如，根据实施例，处理器150可以通过智能代理145向智能服务器200发送用户语音，并且从智能服务器200接收对应于用户语音的文本数据。因此，根据实施例，处理器150可以在显示器120上显示转换后的文本数据。
根据本公开的实施例，处理器150可以执行智能代理145以从智能服务器200接收路径规则。根据实施例，处理器150可以通过智能代理145将路径规则传送到执行管理器模块147。
根据本公开的实施例，处理器150可以执行智能代理145以根据从智能服务器200接收的路径规则将执行结果日志传送到智能服务模块149。所传送的执行结果日志可以在人物管理器149b的用户偏好信息中累积和管理。
根据本公开的实施例，处理器150可以执行执行管理器模块147以从智能代理145接收路径规则、执行app141和143，并且允许app141和143执行包含在路径规则中的操作141b和143b。例如，处理器150可以通过执行管理器模块147向app141和143发送执行操作141b和143b的命令信息(例如，路径规则信息)，并且从app141和143接收关于操作141b和143b的完成信息。
根据本公开的实施例，处理器150可以执行执行管理器模块147，以在智能代理145与app141和143之间传送命令信息(例如，路径规则信息)，以执行app141和143的操作141b和143b。处理器150可通过执行管理器模块147按照路径规则绑定要执行的app141和143，并将关于路径规则中包含的关于操作141b和143b的命令信息(例如，路径规则信息)传送到app141和143。例如，处理器150可以通过执行管理器模块147将包含在路径规则中的操作141b和143b顺序地传送到app141和143，并按照路径规则顺序地执行app141和143的操作141b和143b。
根据实施例，处理器150可以执行执行管理器模块147以管理app141和143的操作141b和143b的执行状态。例如，处理器150可以通过执行管理器模块147从app141和143接收关于操作141b和143b的执行状态的信息。当操作141b和143b的执行状态是例如部分完成状态时(例如，当没有输入操作141b和143b所需的参数时)，处理器150可以通过执行管理器模块147将关于部分完成状态的信息传送到智能代理145。处理器150可以请求用户使用通过智能代理145传送的信息录入必要的信息(例如，参数信息)。当操作141b和143b的执行状态是例如操作状态的其它状态时，处理器150可以通过智能代理145从用户接收发声。处理器150可以将关于通过执行管理器模块147执行的app141和143以及app141和143的执行状态的信息传送到智能代理145。处理器150可以通过智能代理145将用户发声发送到智能服务器200。处理器150可以通过智能代理145从智能服务器200接收关于用户发声的参数信息。处理器150可以将通过智能代理145接收的参数信息传送到执行管理器模块147。执行管理器模块147可使用所接收的参数信息将操作141b和143b的参数改变为新参数。
根据实施例，处理器150可以执行执行管理器模块147以将包含在路径规则中的参数信息传送到app141和143。当按照路径规则顺序执行多个app141和143时，执行管理器模块147可以将包含在路径规则中的参数信息从一个app传递到另一app。
根据本公开的实施例，处理器150可执行执行管理器模块147以接收多个路径规则。处理器150可以基于用户发声通过执行管理器模块147来选择多个路径规则。例如，当用户发声指定某一app141以执行某一操作141a但未指定另一app143以执行另一操作143b时，处理器150可通过执行管理器模块147接收多个不同路径规则，通过所述多个不同路径规则执行相同的app141(例如，galleryapp)以执行操作141a，且执行不同的app143(例如，消息app或电报app)以执行另一个操作143b。处理器150可以通过执行管理器模块147执行多个路径规则的相同操作141b和143b(例如，相同的连续操作141b和143b)。当执行了相同的操作时，处理器150可以通过执行管理器模块147在显示器120上显示状态屏幕，此处可以选择各自包含在多个路径规则中的相应一个中的不同的app141和143。
根据本公开的实施例，智能服务模块149可以包括上下文模块149a、人物模块149b或提议模块149c。
根据实施例，处理器150可以执行上下文模块149a以从app141和143收集app141和143的当前状态。例如，处理器150可以执行上下文模块149a以接收指示app141和143的当前状态的上下文信息，从而通过所接收的上下文信息收集app141和143的当前状态。
根据实施例，处理器150可以执行人物模块149b来管理关于用户终端100的用户使用的个人信息。例如，处理器150可以执行人物模块149b来收集用户终端100的使用信息和执行结果，并且使用所收集的用户终端100的使用信息和执行结果来管理用户的个人信息。
根据实施例，处理器150可以执行提议模块149c以预测用户的意图并基于用户的意图向用户推荐命令。例如，处理器150可以执行提议模块149c，以便在给定用户的当前状态(例如，时间、地点、上下文或app)的情况下向用户推荐命令。如这里所使用的，“用户的意图”应该被理解为是指对用户可能的意图的机器确定，而不管可能的意图是否是实际的意图。
图3是示出根据本公开的实施例在用户终端上执行智能app的示例的视图。
图3示出用户终端100接收用户输入并执行与智能代理145交互工作的智能app(例如，语音识别app)的示例。在左边，用户终端100接收用于唤醒的第一用户发声120a。在右边，用户终端100接收第二用户发声。
根据本公开的实施例，用户终端100可以执行智能app以识别通过硬件键112的语音。例如，当用户终端100通过硬件键112接收用户输入时，用户终端100可以在显示器120上显示智能app的用户界面(ui)121。用户可以通过显示在显示器120上的智能appui121来触摸智能appui121中的用于语音输入120b的语音识别按钮121a。作为另一示例，用户可以连续地按下用于语音录入120b的硬件键112。
根据本公开的实施例，用户终端100可以执行智能app以识别通过麦克风111的语音。例如，当指定语音(例如，“唤醒！”)通过麦克风111输入(120a)，用户终端100可以在显示器120上显示智能appui121。
图4是示出根据本公开的实施例的集成智能系统中的智能服务器的框图。集成智能系统包括与智能服务器200通信的用户终端100。
参照图4，智能服务器200可以包括自动语音识别(asr)模块210、自然语言理解(nlu)模块220、路径规划器模块230、对话管理器(dm)模块240、自然语言生成器(nlg)模块250或文本到语音(tts)模块260。根据实施例，智能服务器200可以包括通信电路、存储器和处理器。处理器可以执行存储在存储器中的命令以驱动asr模块210、nlu模块220、路径规划器模块230、dm模块240、nlg模块250和tts模块260。智能服务器200可以通过通信电路向/从外部电子设备(例如，用户终端100)发送/接收数据(或信息)。
智能服务器200的nlu模块220或路径规划器模块230可以生成路径规则。
根据本公开的实施例，asr模块210可以将从用户终端100接收的用户输入转换为文本数据。
根据本公开的实施例，asr模块210可以将从用户终端100接收的用户输入转换为文本数据。例如，asr模块210可以包括语音识别模块。语音识别模块可以包括声学模型和语言模型。例如，声学模型可以包括与发音相关的信息，并且语言模型可以包括单元音素信息和单元音素信息片段的组合。语音识别模块可以使用发音相关信息和单元音素信息将用户发声转换为文本数据。关于声学模型和语言模型的信息可以存储在例如自动语音识别(asr)数据库(db)211中。根据本公开的实施例，nlu模块220可以执行句法分析或语义分析以掌握用户的意图。根据句法分析，用户输入可以被划分为句法单元(例如，单词、短语或词素)，并且可以掌握句法单元具有哪些句法元素。语义分析可以使用例如语义匹配、规则匹配或公式匹配来执行。因此，nlu模块220可以获得表示用户输入的意图所必需的域、意图或参数(或槽(slot))。
根据本公开的实施例，nlu模块220可以使用已经被划分为域、意图和掌握意图所必需的参数(或槽)的匹配规则来确定用户的意图和参数。例如，一个域(例如，警报)可以包括多个意图(例如，警报设置或释放警报)，并且一个意图可以包括多个参数(例如，时间、重复计数或警报声音)。多个规则可以包括例如一个或多个基本元素参数。匹配规则可以存储在自然语言理解(nlu)数据库(db)221中。由于例如重音、讲话风格和常用术语，nludb211还可以包括与用户的语音相关联的特殊性。
根据本公开的实施例，nlu模块220可以使用诸如词素或短语等语言特征(例如，句法元素)来掌握从用户输入中提取的单词的含义，将所掌握的单词的含义与域和意图相匹配，并确定用户的意图。例如，nlu模块220可以计算每个域和意图中包含多少从用户输入中提取的单词，从而确定用户的意图。根据本公开的实施例，nlu模块220可以使用单词来确定用户输入的参数，其中单词是掌握意图的基础。根据本公开的实施例，nlu模块220可以使用nludb221来确定用户的意图，nludb221中存储有用于掌握用户输入的意图的语言特征的。根据本公开的实施例，nlu模块220可以使用个人语言模型(plm)来确定用户的意图。例如，nlu模块220可以使用个人信息(例如，联系人列表或音乐列表)来确定用户的意图。plm可以存储在例如nludb221中。根据本公开的实施例，asr模块210，而不是单独的nlu模块220，可以通过参考存储在nludb221中的plm来识别用户的语音。
根据本公开的实施例，nlu模块220可以基于用户输入的意图和参数来生成路径规则。例如，nlu模块220可以基于用户输入的意图来选择要执行的应用程序，并确定要对所选择的应用程序执行的操作。nlu模块220可确定对应于所确定的操作的参数来生成路径规则。根据本公开的实施例，由nlu模块220生成的路径规则可以包括关于要执行的app、要在app上执行的操作(例如，至少一个或多个状态)以及执行操作所必需的参数的信息。
根据本公开的实施例，nlu模块220可以基于参数和用户输入的意图来生成一个或多个路径规则。例如，nlu模块220可以从路径规划器模块230接收对应于用户终端100的路径规则集，将参数和用户输入的意图映射到所接收的路径规则集，并确定路径规则。
根据本公开的实施例，nlu模块220可以基于参数和用户输入的意图来确定要执行的app、要在app上执行的操作以及执行操作所需的参数，从而生成一个或多个路径规则。例如，nlu模块220可以通过使用用户终端100的信息根据用户输入布置要执行的app和要在app上执行的操作来生成本体或图形模型形式的路径规则。所生成的路径规则可以通过例如路径规划器模块230存储在路径规则数据库(prdb)231中。所生成的路径规则可以被添加到数据库231的路径规则集。
根据本公开的实施例，nlu模块220可选择所生成的多个路径规则中的至少一者。例如，nlu模块220可以选择多个路径规则中最佳的一个。作为另一示例，nlu模块220可以在基于用户发声仅指定一些操作时选择多个路径规则。nlu模块220可以通过用户的附加输入来确定多个路径规则中的一个。
根据本公开的实施例，nlu模块220可以在请求用户输入时向用户终端100发送路径规则。例如，nlu模块220可以向用户终端100发送与用户输入相对应的一个路径规则。作为另一个例子，nlu模块220可以向用户终端100发送与用户输入相对应的多个路径规则。例如，当基于用户发声仅指定一些操作时，可以由nlu模块220生成多个路径规则。
根据本公开的实施例，路径规划器模块230可以选择多个路径规则中的至少一个。
根据本公开的实施例，路径规划器模块230可以将包括多个路径规则的路径规则集递送到nlu模块220。路径规则集中的多个路径规则可以表的形式存储在与路径规划器模块230连接的路径规则数据库231中。例如，路径规划器模块230可以将与从智能代理145接收的用户终端100的信息(例如，os信息或app信息)相对应的路径规则集递送到nlu模块220。存储在路径规则数据库231中的表可以例如按域或域版本存储。
根据本公开的实施例，路径规划器模块230可从路径规则集中选择一个或一个以上路径规则，并将其递送到nlu模块220。例如，路径规划器模块230可以将用户的意图和参数与对应于用户终端100的路径规则集相匹配，以选择一个或多个路径规则并将其递送到nlu模块220。
根据本公开的实施例，路径规划器模块230可以使用用户的意图和参数来生成一个或多个路径规则。例如，路径规划器模块230可以基于用户的意图和参数来确定要执行的app和要在app上执行的操作，以生成一个或多个路径规则。根据本公开的实施例，路径规划器模块230可以将所生成的路径规则存储在路径规则数据库231中。
根据本公开的实施例，路径规划器模块230可以将由nlu模块220生成的路径规则存储在路径规则数据库231中。所生成的路径规则可以被添加到存储在路径规则数据库231中的路径规则集中。
根据本公开的实施例，存储在路径规则数据库231中的表可以包括多个路径规则或多个路径规则集。多个路径规则或多个路径规则集可以反映执行每个路径规则的设备的种类、版本、类型或特性。
根据本公开的实施例，dm模块240可以确定由路径规划器模块230掌握的用户的意图是否是清楚的。例如，dm模块240可以基于参数信息是否足够来确定用户的意图是否清楚。dm模块240可以确定nlu模块220掌握的参数是否足以提供任务。根据本公开的实施例，当用户的意图不清楚时，dm模块240可以执行反馈以向用户发送对必要信息的请求。例如，dm模块240可以执行反馈以发送对参数信息的请求，从而掌握用户的意图。
根据本公开的实施例，dm模块240可以包括内容提供者模块。当可以基于nlu模块220所掌握的意图和参数来执行操作时，内容提供者模块可以生成提供与用户输入相对应的任务的结果。根据本公开的实施例，dm模块240可以响应于用户输入将由内容提供者模块生成的结果发送到用户终端100。
根据本公开的实施例，nlg模块250可以将指定的信息转换为文本。文本信息可以是自然语言发声的形式。所指定的信息可以是例如关于附加输入的信息、指示对应于用户输入的操作已完成的信息、或指示用户的附加输入的信息(例如，针对用户输入的反馈信息)。文本信息可以被发送到用户终端100并被显示在显示器120上，或者文本信息可以被发送到tts模块260并被转换成语音。
根据本公开的实施例，tts模块260可以将文本信息转换为语音信息。tts模块260可以从nlg模块250接收文本信息，将文本信息转换为语音信息，并将语音信息发送到用户终端100。用户终端100可以通过扬声器130输出语音信息。
根据本公开的实施例，nlu模块220、路径规划器模块230和dm模块240可以在单个模块中实现。例如，nlu模块220，路径规划器模块230和dm模块240可以在单个模块中实现，以确定用户的意图和参数，并生成对应于用户的意图和所确定的参数的响应(例如，路径规则)。因此，所生成的响应可以被发送到用户终端100。
图5是示出根据本公开的实施例的智能服务模块的上下文模块收集当前状态的示例的视图。
参照图5，在从智能代理145接收(①)上下文请求时，处理器150可以经由上下文模块149a向app141和143发送对指示当前状态的上下文信息的请求(②)。根据本公开的实施例，处理器150可以通过上下文模块149a从app141和143接收(③)上下文信息并向智能代理145发送(④)上下文信息。
根据实施例，处理器150可以经由上下文模块149a从app141和143接收多个上下文信息。上下文信息可以是例如关于最新执行的app141和143的信息。作为另一示例，上下文信息可以是关于app141和143的当前状态的信息(例如，在图库中观看照片的情况下，可以是关于照片的信息)。
根据本公开的实施例，处理器150通过上下文模块149a不仅可以从app141和143而且可以从设备平台接收指示用户终端100的当前状态的上下文信息。上下文信息可以包括正常上下文信息、用户上下文信息或设备上下文信息。
正常上下文信息可以包括关于用户终端100的正常信息。可以通过经由例如设备平台的传感器集线器接收数据以及通过内部算法来识别正常上下文信息。例如，正常上下文信息可以包括关于当前时间/空间的信息。关于当前时间/空间的信息可以包括关于例如用户终端100的当前时间或当前位置的信息。当前时间可以由用户终端100的时钟来识别，并且关于当前位置的信息可以由全球定位系统(gps)来识别。作为另一示例，正常上下文信息可以包括关于物理运动的信息。关于物理运动的信息可以包括关于例如行走、跑步或驾驶的信息。物理运动信息可以由运动传感器来识别。驾驶信息可以由运动传感器识别，并且可以检测车辆中的蓝牙连接，从而可以识别上车和停车。作为另一示例，正常上下文信息可以包括用户活动信息。用户活动信息可以包括关于例如通勤、购物或旅行的信息。用户活动信息可以使用关于已经由用户或app在数据库中注册的地点的信息来识别。
例如，当正常上下文信息指示用户正在驾驶时，上下文模块149a可以使智能代理145偏向于选择导航应用。如果正常上下文信息指示它是夜晚时间，则上下文模块145可以使智能代理偏向与找到餐馆和夜店相关的app。如果gps指示用户远离他们的住所城市，则上下文模块149a可以将智能代理145偏向旅行应用。
用户上下文信息可以包括关于用户的信息。例如，用户上下文信息可以包括关于用户的情绪状态的信息。例如，生物传感器可以指示用户的脉搏率并确定压力水平。快速脉搏率、伴以由麦克风检测到的更大的说话音量，可以指示用户不舒服或处于困境中，而较低的脉搏率和较软的话音可以指示用户处于放松状态。情绪状态信息可以包括关于例如用户的幸福、悲伤或愤怒的信息。用户的困境状态可以使得上下文模块149a将智能代理145偏向于选择紧急应用。作为另一示例，用户上下文信息可以包括关于用户当前状态的信息。当前状态信息可以包括关于例如兴趣或意图(例如购物)的信息。
设备上下文信息可以包括关于用户终端100的状态的信息。例如，设备上下文信息可以包括关于由执行管理器模块147执行的路径规则的信息。作为另一示例，设备信息可以包括电池信息。电池信息可以通过例如电池的充电或放电状态来识别。作为另一示例，设备信息可以包括关于网络或连接的设备的信息。可以通过与所连接的设备连接的通信接口来识别关于所连接的设备的信息。
图6是示出根据本发明实施例的智能服务模块的建议模块的框图。智能服务服务器149c_1可以使用来自上下文提示生成模块149c_2、重用提示生成模块149c_5和介绍提示生成模块149c_6的输入来确定功能。
参照图6，提议模块149c可以包括提示提供模块149c_1、上下文提示生成模块149c_2、条件检查模块149c_3、条件模型模块149c_4、重用提示生成模块149c_5或介绍提示生成模块149c_6。
根据本公开的实施例，处理器150可以执行提示提供模块149c_1，该提示提供模块149c_1可以向用户提供提示。例如，处理器150可以通过提示提供模块149c_1从上下文提示生成模块149c_2、重用提示生成模块149c_5或介绍提示生成模块149c_6接收所生成的提示，并将该提示提供给用户。
根据本发明的实施例，处理器150可执行条件检查模块149c_3或条件模型模块149c_4以根据当前状态生成可推荐的命中。处理器150可执行条件检查模块149c_3以接收对应于当前状态的信息，并执行条件模型模块149c_4以使用所接收的信息来设置条件模型。例如，处理器150可以执行条件模型模块149c_4以掌握例如时间、位置、上下文或所使用的app，其中向用户提供提示并且以优先级降序向用户提供极有可能使用的提示。
根据本公开的实施例，处理器150可执行重用提示生成模块149c_5以根据使用频率生成提示。例如，处理器150可以执行重用提示生成模块149c_5以基于用户的使用模式生成提示。
根据本公开的实施例，介绍提示生成模块149c_6可以生成提示以向用户介绍其他用户频繁使用的新功能或新功能。例如，介绍新功能的提示可以包括对智能代理145的介绍(例如，操作方法)。
根据本公开的实施例，提议模块149c的上下文提示生成模块149c_2、条件检查模块149c_3、条件模型模块149c_4、重用提示生成模块149c_5或介绍提示生成模块149c_6可以被包括在个人信息服务器300中。例如，处理器150可以通过提议模块149c的提示提供模块149c_1从个人信息服务器300的上下文提示生成模块149c_2、重用提示生成模块149c_5或介绍提示生成模块149c_6接收提示，并将接收到的提示提供给用户。
根据本公开的实施例，用户终端100可以根据如下的一系列步骤来提供提示。例如，在接收到来自智能代理145的提供提示请求时，处理器150可以通过提示提供模块149c_1向上下文提示生成模块149c_2传送生成提示请求。在接收到生成提示请求时，处理器150可以通过条件检查模块149c_3从上下文模块149a和人物模块149b接收对应于当前状态的信息。处理器150可以通过条件检查模块149c_3将接收到的信息传送到条件模型模块149c_4，并且条件模型模块149c_4可以使用该信息以可用性的降序向提供给用户的提示分配优先级。处理器150可以通过上下文提示生成模块149c_2识别(⑥)条件并生成对应于当前状态的提示。处理器150可以通过上下文提示生成模块149c_2将所生成的提示传送到提示提供模块149c_1。处理器150可以通过提示提供模块149c_1按照指定的规则对提示进行排序，并将提示传送到智能代理145。
根据本公开的实施例，处理器150可以通过提示提供模块149c_1生成多个上下文提示，并且按照指定的规则向所述多个上下文提示分配优先级。根据本公开的实施例，处理器150可以通过提示提供模块149c_1首先向用户提供多个上下文提示中的较高优先级的上下文提示。
根据本公开的实施例，用户终端100可以根据使用频率提出提示。例如，在接收到来自智能代理145的提供提示请求时，处理器150可以通过提示提供模块149c_1将生成提示请求传送到重用提示生成模块149c_5。在接收到生成提示请求时，处理器150可以通过重用提示生成模块149c_5从人物模块149b接收用户信息。例如，处理器150可以通过重用提示生成模块149c_5从人物模块149b接收包括在用户偏好信息中的路径规则、包括在路径规则中的参数、app的执行频率以及关于使用app的时间/空间的信息。处理器150可以通过重用提示生成模块149c_5生成与接收到的用户信息相对应的提示。处理器150可以通过重用提示生成模块149c_5将所生成的提示传送到提示提供模块149c_1。处理器150可以通过提示提供模块149c_1对提示进行排序，并将提示传送到智能代理145。
根据本公开的实施例，用户终端100可以提出针对新功能的提示。例如，在接收到来自智能代理145的提供提示请求时，处理器120可以通过提示提供模块149c_1将生成提示请求传送到介绍提示生成模块149c_6。处理器150可以通过介绍提示生成模块149c_6从提议服务器400传送提供介绍提示请求，并从提议服务器400接收关于要介绍的功能的信息。例如，提议服务器400可以存储关于要引入的功能的信息。针对要引入的功能的提示列表可以由服务运营商来更新。处理器150可以通过介绍提示生成模块149c_6将所生成的提示传送到提示提供模块149c_1。处理器150可以通过提示提供模块149c_1对提示进行排序，并将提示发送(⑥)给智能代理145。
因此，处理器150可以通过提议模块149c向用户提供由上下文提示生成模块149c_2、重用提示生成模块149c_5或介绍提示生成模块149c_6生成的提示。例如，处理器150可以通过提议模块149c在操作智能代理145的app上显示生成的提示，并通过app从用户接收用于选择提示的输入。
图7是示出根据本公开的实施例的由路径规划器模块生成路径规则的方法的视图。
参照图7，根据本公开的实施例，nlu模块220可以将app的功能划分为任何一个操作(例如，状态a到状态f)，并将其存储在路径规则数据库231中。例如，nlu模块220可以在路径规则数据库231中存储路径规则集，该路径规则集包括被划分为任何一个操作的多个路径规则a-b1-c1、a-b1-c2、a-b1-c3-d-f和a-b1-c3-d-e-f。
根据本公开的实施例，路径规划器模块230的路径规则数据库231可以存储路径规则集以执行app的功能。路径规则集可以包括多个路径规则，该多个路径规则包括多个操作(例如，状态序列)。在多个路径规则中，可以顺序布置根据分别输入到多个操作中的相应一个的参数执行的操作。根据本公开的实施例，可以以本体或图形模型的形式来配置多个路径规则，并将其存储在路径规则数据库231中。
根据本公开的实施例，nlu模块220可以选择对应于参数和用户输入的意图的多个路径规则a-b1-c1、a-b1-c2、a-b1-c3-d-f和a-b1-c3-d-e-f中最优的一个a-b1-c3-d-f。
根据本公开的实施例，nlu模块220可以将多个路径规则递送到用户终端100，除非存在与用户输入完全匹配的路径规则。例如，nlu模块220可以选择部分地对应于用户输入的路径规则(例如，a-b1)。nlu模块220可以选择包括部分对应于用户输入的路径规则(例如，a-b1)的一个或多个路径规则(例如，a-b1-c1、a-b1-c2、a-b1-c3-d-f、a-b1-c3-d-e-f)，并将其传送到用户终端100。
根据本公开的实施例，nlu模块220可以基于用户终端100的附加输入来选择多个路径规则中的一个，并且将所选择的路径规则递送到用户终端100。例如，nlu模块220可以按照用户终端100的附加用户输入(例如，选择c3的输入)来选择多个路径规则(例如，a-b1-c1、a-b1-c2、a-b1-c3-d-f、a-b1-c3-d-e-f)中的一个(例如，a-b1-c3-d-f)，并将所选择的路径规则发送到用户终端100。
根据本公开的实施例，nlu模块220可以确定与用户终端100的通过nlu220的附加用户输入(例如，选择c3的输入)相对应的用户的意图和参数，并且将所确定的用户的意图或参数发送到用户终端100。用户终端100可以基于所发送的参数或意图从多个路径规则(例如，a-b1-c1、a-b1-c2、a-b1-c3-d-f、a-b1-c3-d-e-f)中选择一个(例如，a-b1-c3-d-f)。
因此，用户终端100可以通过所选择的路径规则来完成app141和143的操作。
根据本公开的实施例，当智能服务器200接收到信息不充分的用户输入时，nlu模块220可以生成部分地对应于所接收到的用户输入的路径规则。例如，nlu模块220可以向智能代理145发送部分对应的路径规则。处理器150可执行智能代理145以接收路径规则并将部分对应的路径规则传送到执行管理器模块147。处理器150可以按照路径规则通过执行管理器模块147执行第一应用141。处理器150可以在执行第一应用141的同时通过执行管理器模块147向智能代理145发送关于参数不充分的信息。处理器150可以通过智能代理145使用关于参数不充分的信息向用户发送对附加输入的请求。在接收到来自用户的附加输入时，处理器150可以通过智能代理145将其发送到智能服务器200进行处理。nlu模块220可以基于参数信息和附加用户输入的意图来生成添加的路径规则，并将该路径规则发送到智能代理145。处理器150可以通过智能代理145向执行管理器模块147发送路径规则以执行第二应用143。
根据本公开的实施例，当智能服务器200接收到具有一些缺失信息的用户输入时，nlu模块220可以向个人信息服务器300发送对用户信息的请求。个人信息服务器300可以向nlu模块220发送关于已经录入存储在人物数据库中的用户输入的用户的信息。nlu模块220可以使用用户信息来选择与具有一些缺失操作的用户输入相对应的路径规则。因此，尽管智能服务器200接收到具有一些缺失信息的用户输入，但是nlu模块220可以发送对缺失信息的请求并接收附加输入，或者nlu模块3220可以使用用户信息，确定与用户输入相对应的路径规则。
下面的表1可以表示根据实施例的与用户请求的任务相关的示例路径规则。
[表1]
参考表1，智能服务器(例如图1的智能服务器200)根据用户发声(例如，“共享照片”)生成或选择的路径规则可以包括至少一个状态25、26、27、28、29或30。例如，该至少一个状态(例如，终端的任何一个操作状态)可以对应于以下各项中的至少一个：执行照片应用(picturesview)25、执行照片搜索功能(searchview)26、输出搜索结果显示屏幕(searchviewresult)27、输出没有所选照片的搜索结果显示屏幕(searchemptyselectedview)28、输出具有至少一个所选照片的搜索结果显示屏幕(searchselectedview)29、或输出共享应用选择屏幕(crossshare)30。根据实施例，路径规则参数信息可以对应于至少一个状态。例如，它可以被包括在输出具有至少一个所选照片的搜索结果显示屏幕的状态29中。
作为执行包括状态25、26、27、28、29或30的序列的路径规则(对应于a-f)的结果，用户所请求的任务(例如“共享照片”)可以得到执行。
图8是示出根据本公开的实施例的智能服务模块的人物模块149b管理用户信息的示例的视图。
参照图8，处理器150可以通过人物模块149b从app141和143、执行管理器模块147或上下文模块149a接收关于用户终端100的信息。处理器150可以通过app141和143以及执行管理器模块147将app操作141b和143b的执行的结果信息存储在操作日志数据库中。处理器150可以通过上下文模块149a将关于用户终端100的当前状态的信息存储在上下文数据库中。处理器150可以通过人物模块149从操作日志数据库或上下文数据库接收所存储的信息。存储在操作日志数据库和上下文数据库中的数据可以由例如分析引擎来分析，并被传送到人物模块149b。
根据本公开的实施例，处理器150可以通过人物模块149b将从app141和143、执行管理器模块147或上下文模块149a接收的信息发送到提议模块149c。例如，处理器150可以通过个人模块149b将存储在操作日志数据库或上下文数据库中的数据传送到提议模块149c。
根据本公开的实施例，处理器150可以通过个人模块149b将从app141和143、执行管理器模块147或上下文模块149a接收的信息发送到个人信息服务器300。例如，处理器150可以通过人物模块149b周期性地将在操作日志数据库或上下文数据库中积累的数据发送到个人信息服务器300。
根据实施例，处理器150可以通过人物模块149b将存储在操作日志数据库或上下文数据库中的数据传送到提议模块149c。由人物模块149b生成的用户信息可以存储在人物数据库中。人物模块149b可以周期性地将存储在人物数据库中的用户信息发送到个人信息服务器300。根据本公开的实施例，由人物模块149b发送到个人信息服务器300的信息可以被存储在人物数据库中。个人信息服务器300可以使用存储在人物数据库中的信息来推断生成智能服务器200的路径规则所必需的用户信息。
根据本公开的实施例，使用从人物模块149b发送的信息推断的用户信息可以包括简档信息或偏好信息。可以通过用户的帐户和累计信息来推断简档信息或偏好信息。
简档信息可以包括用户的个人信息。简档信息可以包括例如用户的人口统计信息。人口统计信息可以包括例如用户的性别、年龄、地址、婚姻状况和职业。作为另一示例，简档信息可以包括生活事件信息。可以通过比较日志信息和生活事件模型来推断生活事件信息，并且通过分析行为模式来加强生活事件信息。作为另一示例，简档信息可以包括兴趣信息。兴趣信息可以包括例如购物兴趣或个人兴趣(例如，体育兴趣或政治学习)。例如，简档信息可以包括活动区域信息。活动区域信息可以包括关于例如家庭或工作场所的信息。活动区域信息不仅可以包括关于地点或位置的信息，还可以包括关于基于累计停留时间和访问次数以优先级记录的区域的信息。例如，简档信息可以包括活动时间信息。活动时间信息可以包括关于例如起床时间、通勤时间或睡眠时间的信息。可以使用活动区域信息(例如，关于家庭或工作场所的信息)来推断通勤时间信息。睡眠时间信息可以通过用户终端100的未使用时间来推断。
偏好信息可以包括关于用户偏好的信息。例如，偏好信息可以包括关于app偏好的信息。可以通过例如使用app的记录(例如，每个时间或地点的使用记录)来推断app偏好。app偏好可用于根据用户的当前状态(例如，时间或地点)来确定要执行的应用。例如，偏好信息可以包括关于联系人偏好的信息。可以通过分析例如关于一个人例如在每个时间或地点与另一个人联系的频率的信息来推断联系人偏好。联系人偏好可用于根据用户的当前状态(例如，联系重名的人)来确定联系人。作为另一示例，偏好信息可以包括设置信息。设置信息可以通过例如分析例如每个时间或地点进行特定设置的频率来推断。设置信息可用于根据用户的当前状态(例如，时间、地点或上下文)来进行特定设置。例如，偏好信息可以包括地点偏好。地点偏好可以通过例如访问特定地点的记录(例如，每次访问的记录)来推断。地点偏好可用于根据用户的当前状态(例如，时间)来确定用户正在访问的地点。例如，偏好信息可以包括命令偏好。命令偏好可以通过例如命令的使用频率(例如，每个时间或地点的使用频率)来推断。命令偏好可用于根据用户的当前状态(例如，时间或地点)来确定要使用的命令模式。具体地，命令偏好可以包括关于在所执行的app的当前状态下用户通过日志信息的分析主要选择的菜单的信息。
图9a和图9b是示出当用户的发声包含与一个参数相对应的多个单词时由智能服务器根据传统技术处理用户的发声的示例结果的视图
参照图9a，根据传统技术，便携式终端900可以从用户接收第一发声920(例如，“我吃了香蕉、苹果和牛奶作为早餐，保存”)。根据传统技术，便携式终端900可以在便携式终端900的显示模块910上显示从用户接收的发声的内容。便携式终端900可以将接收到的关于第一发声920的信息发送到传统技术的智能服务(未示出)。由于用户终端包含与一个参数(例如，食物种类)相对应的多个单词(例如，香蕉、苹果、牛奶)，智能服务器可能只选择多个单词中的一个。
智能服务器可以基于所选择的任何一个单词来生成操作信息(例如，路径规则)。智能服务器可以将生成的操作信息发送到便携式终端900。便携式终端900可以基于从智能服务器接收的操作信息在显示模块910上(例如，顺序地)显示推荐屏幕912，如图9b所示。如图9b所示，便携式终端900根据基于一个单词(例如，香蕉)的操作信息提供任务，其结果是不能充分反映用户的意图。
图10是示出根据实施例的操作智能服务器(例如图1的智能服务器200)的方法1000的示例的视图。
参照图10，根据实施例，在操作1010，智能服务器(例如图1的智能服务器200)可以获得关于从用户终端(例如图1的用户终端100)发送的用户发声的信息。根据实施例，用户的发声可以是包含可以对应于各种预先指定的参数的单词的发声，例如，“我吃了香蕉、苹果和牛奶作为早餐，保存”，或“我吃了一个苹果和一碗豆芽汤作为早餐，保存”或“保存收缩压120和舒张压80”。
根据实施例，在操作1020，智能服务器(例如图1的智能服务器200)可以识别用户发声的意图。根据实施例，操作1020可以由nlu模块(例如，图4的nlu模块220)执行。
根据实施例，在操作1030，智能服务器(例如图1的智能服务器200)可以基于所识别的意图来选择多个单词。根据实施例，智能服务器(例如，图1的智能服务器200)可以根据发声的意图将所选择的单词映射到预先指定的参数。根据实施例，操作1030也可以被理解为“从用户的发声中提取参数”。根据实施例，预先指定的参数可以包括根据(或取决于)在操作1020中识别的用户意图预先指定的参数。这些参数可以由不同的app来定义。例如，根据实施例，当用户的意图被识别为保存早餐信息(路径规则id:samsunghealth_85)时，以下各参数中的至少一个参数可以被预先指定(或声明)为预先指定的参数：指示“早餐”、“午餐”或“晚餐”的用餐类型参数(“foodsearchmeal”)，指示“韩餐”、“西餐”还是“日餐”的食物类别(“foodsearchcategory”)，指示食物的种类(例如“苹果”)的用餐结果(“foodsearchresult”)，以及用户已经食用的特定种类的食物的量(“foodsearchcount”)。根据实施例，这种预先指定的参数仅仅是示例，并且本公开的某些实施例不限于此。
根据实施例，在操作1040中，智能服务器(例如图1的智能服务器200)可以识别所选择的单词的相关性。根据实施例，相关性可以包括链接关系、逻辑运算关系和顺序关系中的至少一个。
根据实施例，链接关系可以表示多个单词(或参数)可以形成单个语义组(例如，“苹果”(“foodsearchresult”)和“一个”(“foodsearchcount”))的关系。根据实施例，可以为多个参数预先指定链接关系。根据实施例，关于链接关系的信息(例如，关于预先指定的参数的信息)可以存储在例如lnudb221中。
根据实施例，逻辑运算关系可以表示这样的关系，其中需要针对用户发声中包含的多个数字的逻辑运算(例如，大小比较)来产生操作信息。例如，当用户终端(例如，图1的用户终端100)接收到用户的发声“保存收缩压120和舒张压80”时，用户的意图可以被智能服务器(例如，图1的智能服务器200)识别为“存储血压信息”。根据实施例，可以为根据所识别的用户的意图预先指定的参数(例如，“bphighnumber”和“bplownumber”)预先指定逻辑运算关系。根据实施例，智能服务器(例如，图4的nlu模块220)可以比较包括在用户发声中的“120”和“80”的大小。例如，根据实施例，智能服务器(例如，图4的nlu模块220)可以指定(或映射)用户发声中所提及(或表示)的第一个数字为“bphighnumber”，而下一个提及的数字为“bphighnumber”，并比较这些数字的大小。根据实施例，当比较结果对应于指定参数(或者比较结果是“真”)时，智能服务器(例如，图4的nlu模块220)可以指定为每个数字指定的参数作为最终参数。根据实施例，当比较结果不对应于指定参数(或者比较结果是“假”)时，智能服务器(例如，图4的nlu模块220)可以在为多个数字指定的参数间切换。根据实施例，智能服务器(例如，图4的nlu模块220)可以将切换的参数指定为每个数字的最终参数。根据实施例，当三个或更多个数字需要大小比较时，智能服务器(例如，图4的nlu模块220)可以顺序地选择两个数字并进行大小比较。
根据实施例，顺序关系可以表示被指定为允许将多个参数作为单个参数进行处理(或设置)以便生成操作信息的关系。根据实施例，当电子设备接收到用户的发声“启动5千米跑步程序”时，智能服务器(例如，图4的nlu模块220)可以将“5千米跑步”映射到单个参数(例如，“programname”)。根据实施例，“5千米跑步"可以是包括三个参数类型的一组单词，每个参数类型对应于“5(或五)”、“千米”和“跑步”中相应的一个。根据实施例，在需要多个参数的顺序来生成操作信息的情况下，顺序关系可以表示为相应参数指定的关系。例如，可以要求用户终端(例如图1的用户终端100)的用户的发声遵循以下顺序：“5”→“千米”→“跑步”，以根据用户的发声执行“5千米跑步程序”。这样，根据实施例，当多个参数的顺序对于生成用于提供根据用户发声的任务的操作信息有意义时，可以为某些参数预先指定顺序关系。
根据实施例，智能服务器(例如，图1的智能服务器200)可以重复地识别包含在用户发声中的多个单词中的每个单词的相关性。根据实施例，智能服务器(例如，图1的智能服务器200)可以确定用户的发声是否包含具有或可能具有语义组的多个单词集。
根据实施例，在操作1050中，智能服务器(例如图1的智能服务器200)可以基于所识别的相关性来生成用于提供根据用户发声的任务的操作信息。根据实施例，智能服务器(例如，图4的nlu模块220或路径规划器模块230)可以以这样的方式生成操作信息(例如，路径规则)，即，从存储在路径规则db231中的至少一个路径规则中选择与用户发声的意图相对应的至少一个路径规则，并将关于在操作1040中识别的相关性的信息添加(或更新)到所选择的路径规则。例如，智能服务器可以将关于在操作1040中识别的相关性的信息添加到操作信息(例如，路径规则)，该操作信息包括执行特定应用(例如，
根据实施例，智能服务器(例如，图4的nlu模块220或路径规划器模块230)可以将所生成的操作信息存储在nludb(例如，图4的nludb220)或路径规则db(例如，图4的路径规则db230)中。
根据实施例，在操作1060，智能服务器(例如，图1的智能服务器200)可以将生成的操作信息发送到用户终端(例如，图1的用户终端100)。
根据实施例，在操作1020中，智能服务器(例如，图1的智能服务器200)还可以识别对应于用户发声的域(例如，特定应用(例如，三星健康)、tv或移动终端)。例如，根据实施例，智能服务器(例如，图4的nlu模块220)可以基于链接关系信息来识别用户发声的内容对应于哪个域，其中链接关系信息包含域与存储在智能服务器(例如，图4的nlu模块220)中的用户发声的内容(或用户意图)之间的链接关系。
图11a至图11e是示出根据实施例由智能服务器(例如，图1的智能服务器200)选择包含在用户发声中的单词的示例操作的视图。
结合图11a来描述该示例，其中用户终端(例如，图1的用户终端100)接收用户的发声“我吃了一个香蕉作为早餐，保存”。根据实施例，智能服务器(例如，图1的智能服务器200)可以从用户的发声中识别用户的意图，并且将至少一个单词(或者从用户的发声中选择一个单词)映射到根据所识别的意图预先指定的至少一个参数。根据实施例，智能服务器(例如，图1的智能服务器200)可以将用户发声的“早餐”映射到第一参数1101(“foodsearchmeal”)，将“香蕉”映射到第二参数1102(“foodsearchresult”)，并将“一个”映射到第三参数1103(“foodsearchcount”)。根据实施例，第二参数1102和第三参数1103可以被预先指定为在它们之间具有链接关系，并且第一参数1101可以被预先指定为不与第二参数1102和第三参数1103具有链接关系(或独立关系)。根据实施例，独立关系可以意味着在参数之间不存在相关性。
结合图11b描述该示例，其中用户终端(例如，图1的用户终端100)接收用户的发声“我吃了一个香蕉和一碗豆芽汤作为早餐，保存”。根据实施例，智能服务器(例如，图1的智能服务器200)可以将用户发声的“早餐”映射到第一参数1101(“foodsearchmeal”),将“香蕉”映射到第二参数1102(“foodsearchresult”),将“一个”映射到第三参数1103(“foodsearchcount”)，将“豆芽汤"映射至第二参数1102(“foodsearchresult”),将“一碗”至第三参数1103(“foodsearchcount”)。
结合图11c描述该，其中用户终端(例如，图1的用户终端100)接收用户的发声“我吃了一碗韩国食物豆芽汤和一个香蕉作为早餐，保存”。根据实施例，智能服务器(例如，图1的智能服务器200)可以将用户发声的“早餐”映射到第一参数1101(“foodsearchmeal”)，将韩国食物映射到第四参数1104(“foodsearchcategory”),将“豆芽汤”映射到第二参数1102(“foodsearchresult”)，将“一碗”映射到第三参数1103(“foodsearchcount”)，将“香蕉”映射到第二参数1102(“foodsearchresult”)，并将“一个”映射到第三参数1103(“foodsearchcount”)。根据实施例，第一参数1101可以被预先指定为与第二参数1102至第四参数1104具有独立关系。根据实施例，第二参数1102至第四参数1104可以被预先指定为在其间具有链接关系。
结合图11d描述该示例，其中用户终端(例如，图1的用户终端100)接收用户的发声“保存收缩压120(一百二十)和舒张压80(八十)”。根据实施例，智能服务器(例如，图1的智能服务器200)可以临时或最终将“120(即，一百二十)”映射到第五参数1105(“bphighnumber”)，并将“80(八十)”映射到第六参数1106(“bplownumber”)。根据实施例，第五参数1105和第六参数1106可以被预先指定为具有逻辑运算关系。
结合图11e描述该示例，其中用户终端(例如，图1的用户终端100)接收用户的发声“启动5千米跑步程序”。根据实施例，智能服务器(例如，图1的智能服务器200)可以将用户发声的“5(或五)”映射到7-1参数1107a(“距离”)，将“千米”映射到7-2参数1107b(“单位”)，并且将“跑步”映射到7-3参数1107c(“事件”)。根据实施例，7-1参数1107a至7-3参数1107c可以被预先指定为具有顺序关系。根据实施例，智能服务器(例如，图1的智能服务器200)可以将7-1参数1107a至7-3参数1107c映射到单个第七参数1107(“programname”)，以生成对应于用户发声的操作信息。
图12a和图12b是示出根据实施例的预先指定的参数的示例分级结构的视图。
参照图12a，根据实施例，预定参数(例如，具有“链接关系”的参数)可以具有分级结构。例如，可将较高参数1200(例如，“foodinfo”或“一个香蕉”)划分为第一较低参数1212(例如，“foodsearchresult”或“香蕉”)和第二较低参数1214(例如，“foodsearchcount”或“一个”)。因此，根据实施例，智能服务器(例如，图1的智能服务器200)可以将用户发声中的“一个香蕉”理解为具有两级深度的短语。根据实施例，第一较低参数1212和第二较低参数1214可以处于同一级别。根据实施例，智能服务器(例如，图1的智能服务器200)可以识别关于特定短语的深度信息。根据实施例，智能服务器(例如图1的智能服务器200)可以生成包含所识别的深度信息的操作信息。
图12b示出根据实施例的其中参数具有三级深度的示例。例如，较高参数1200(例如，“foodinfowithcategory”或“一碗韩国食物豆芽汤”)可以被划分为第一较低参数1212(例如，“foodinfo”或“韩国食物”)和第二较低参数1214(例如，“foodinfo”或“一碗豆芽汤”)，其处于比较高参数1200低的级别。根据实施例，第二较低参数1214可以被划分为第三较低参数1222(例如，“foodsearchresult”或“豆芽汤”)和第四较低参数1224(例如，“foodsearchcount”或“一碗”)，它们处于低于第一较低参数1214和第二较低参数1214的级别。因此，根据实施例，智能服务器(例如，图1的智能服务器200)可以将用户发声中的“一碗韩国食物豆芽汤”理解为具有三级深度的短语。根据实施例，第三较低参数1222和第四较低参数1224可以处于同一级别。根据实施例，智能服务器(例如，图1的智能服务器200)也可以将“一碗韩国食物豆芽汤和一个香蕉”理解为具有三级深度的短语。根据实施例，所生成的操作信息的基于示例javascript对象符号(json)的表示可以如下所示：
根据实施例，当用户的发声包含具有不同意图的多个句子时，本公开的某些实施例也可以适用。例如，当用户终端(例如，图1的用户终端100)接收到用户的发声“显示记录饮水的屏幕。再加一杯”时，发声“显示记录饮水的屏幕”的意图可以是“查看所消费的饮料的记录屏幕”，并且发声“再加一杯”的意图可以是“添加或删除饮料”。然而，第二发声(即用户发声中的“再加一杯”)中可能缺失“一杯”的含义。根据实施例，对应于“水”的参数和对应于“一杯”的参数可以被预先指定为具有相关性(例如，链接关系)。根据实施例，当在用户的连续发声(或在指定阈值时间内录入的不同发声)中的第二发声(例如，“再加一杯”)中缺少强制性单词(例如，“水”)时，智能服务器(例如，图1的智能服务器200)可以应用单词(例如，“水”)，在第二发声之前接收到的第一发声所包含的单词(例如，“显示用于记录饮水的屏幕”)中，该单词与第二发声中包含的单词所对应的参数相关联。根据实施例，智能服务器(例如，图1的智能服务器200)可以识别接收到的用户发声的意图，或者基于已被应用来自第一发声的单词的第二发声来生成操作信息。图13到15a是示出根据实施例的操作智能服务器(例如，图1的智能服务器200)的示例方法1300、1400和1500的视图。
图13示出根据实施例的由智能服务器(例如，图1的智能服务器200)执行逻辑运算关系的示例操作。根据实施例，以上结合图10所述的操作中的至少一些可以类似地应用于操作1300。
参照图13，根据实施例，在操作1310中，智能服务器(例如，图1的智能服务器200)可以选择包含在用户发声(例如，“保存收缩压120和舒张压80”)中的多个数字(例如，“120”和“80”)。
根据实施例，在操作1320中，智能服务器(例如，图1的智能服务器200)可以在选择的多个数字之间进行大小比较。根据实施例，特定参数可以临时(或暂时)映射到所选择的多个参数中的各个参数。
根据实施例，在操作1330中，智能服务器(例如，图1的智能服务器200)可以基于比较1320的结果将预先指定的参数映射到多个数字中的每一个。根据实施例，当比较1320的结果对应于(或匹配于)临时映射的参数时，智能服务器(例如，图1的智能服务器200)可以最终(或结论性地)将临时映射的参数映射到每个数字。
根据实施例，在操作1340中，智能服务器(例如，图1的智能服务器200)可以基于在操作1330中映射的参数生成用于提供对应于用户发声的任务的操作信息。根据实施例，与上面结合操作1050所描述的生成操作信息有关的内容的至少一部分可以应用于操作1340。
根据实施例，在操作1350中，智能服务器(例如，图1的智能服务器200)可以将在操作1340中生成的操作信息发送到用户终端(例如，图1的用户终端100)。
根据实施例，智能服务器(例如，图1的智能服务器200)可以首先在所选择的数字之间进行大小比较，并且根据比较的结果将根据用户意图预先指定的参数映射到每个数。
图14示出根据实施例的由智能服务器(例如，图1的智能服务器200)执行顺序关系的示例操作。根据实施例，上面结合图10所述的操作中的至少一些可以类似地应用于这些操作。
根据实施例，在操作1410中，智能服务器(例如，图1的智能服务器200)可以在包括在用户发声中的单词中选择与预先指定的参数相对应的单词。根据实施例，操作1410可以被理解为从用户的发声中提取参数。
根据实施例，在操作1420中，智能服务器(例如，图1的智能服务器200)可以按照预先指定的顺序对所选择的单词进行排序。例如，根据实施例，智能服务器(例如，图1的智能服务器200)可以按照“5”、“千米”和“跑步”的顺序对所选择的单词进行排序，以便生成操作信息。
根据实施例，在操作1430中，智能服务器(例如，图1的智能服务器200)可以将排序的单词映射到一个预先指定的参数。根据实施例，智能服务器(例如，图1的智能服务器200)可以将按“5”、“千米”和“跑步”的顺序排序的单词映射到一个预先指定的参数(例如，“programname”)。根据实施例，智能服务器(例如，图1的智能服务器200)可以将多个单词映射到一个预先指定的参数，使得三个单词“5”、“千米”和“跑步”可以被理解(例如，处理)为单个单词，例如，“5千米跑步”。
根据实施例，在操作1440中，智能服务器(例如，图1的智能服务器200)可以基于在操作1430中映射的单个参数生成用于提供对应于用户发声的任务的操作信息。根据实施例，与以上结合操作1050所描述的生成操作信息有关的内容的至少一部分可以应用于操作1440。
根据实施例，在操作1450中，智能服务器(例如，图1的智能服务器200)可以将在操作1440中生成的操作信息发送到用户终端(例如，图1的用户终端100)。
由智能服务器(例如，图1的智能服务器200)从用户的发声中选择以识别用户的意图或生成操作信息(例如，路径规则)的单词可以不是标准单词(或存储在智能服务器(例如，图1的智能服务器200)中的单词)。图15a示出在这种情况下操作智能服务器(例如，图1的智能服务器200)的示例方法1500。
根据实施例，在操作1505中，智能服务器(例如，图1的智能服务器200)可以在包括在用户发声中的单词中选择与预先指定的参数相对应的单词。根据实施例，操作1505可以被理解为从用户的发声中提取参数。
根据实施例，在操作1515中，智能服务器(例如，图1的智能服务器200)可以识别在操作1505中选择的单词是否是标准单词。例如，当所选单词是“千米”时，智能服务器(例如，图1的智能服务器200)可以识别所选单词是标准单词，并且，当所选单词是“千”时，智能服务器(例如，图1的智能服务器200)可以识别所选单词是类似单词(或非标准单词)。前面的描述导致俚语和缩写短语可以被理解。此外，智能服务器可以使用与距离相关的跑步来确定“千”意味着“千米”而不是“千克”。另一方面，如果同生词是一种物质，则“千”可以被认为是“千克”。
根据实施例，当在操作1515中至少一个所选择的单词被识别为类似单词时(操作1515中的“否”)，智能服务器(例如，图1的智能服务器200)可以在操作1525中基于类似单词信息将至少一个所选择的单词切换为标准单词。根据实施例，类似单词信息可以包括可以对应于标准单词的单词列表(例如，“kilo”、“kiro”、“kirometer”或“km”)。根据实施例，类似单词信息可以被存储在智能服务器(例如，nludb221)中。
根据实施例，在操作1535中，智能服务器(例如，图1的智能服务器200)可以基于切换到的标准单词生成用于提供对应于用户发声的任务的操作信息。根据实施例，与以上结合操作1050所描述的生成操作信息有关的内容的至少一部分可以应用于操作1535。
根据实施例，在操作1545中，智能服务器(例如，图1的智能服务器200)可以将生成的操作信息发送到用户终端(例如，图1的用户终端100)。
根据实施例，当在操作1515中所选择的单词被识别为标准单词(操作1515中的“是”)时，智能服务器(例如，图1的智能服务器200)可以在操作1555中基于所选择的单词生成用于提供对应于用户发声的任务的操作信息。根据实施例，与以上结合操作1050所描述的生成操作信息有关的内容的至少一部分可以应用于操作1555。
图15b是示出根据实施例的由智能服务器(例如，图1的智能服务器200)识别包括在用户发声中的标准单词的操作的视图。图15b示出包括在用户发声中的所有单词(例如，“运行5(或五)千米跑步程序”)都是标准单词的示例。
参照图15b，根据实施例，智能服务器(例如，图4的nlu模块220)可以识别包括在用户发声中的所有单词是否都是标准单词。根据实施例，例如，“5(或五)”、“千米”和“跑步”可以被预先指定为标准单词。根据实施例，当包括在用户发声中的所有单词都被识别为标准单词时，智能服务器(例如，图4的nlu模块220)可以识别所选择的单词是否已经以预先指定的参数顺序(例如，“距离”→“单位”→“事件”)录入，其中每个参数对应于标准单词中的相应一个。根据实施例，当所选择的单词被识别为已经以指定的顺序输入时，智能服务器(例如，图4的nlu模块220)可以将所选择的单词映射到单个参数(例如，“programname”)。根据实施例，智能服务器(例如，图4的nlu模块220或路径规划器模块230)可以基于映射到单个参数的多个单词来生成操作信息。
根据实施例，分别对应于标准单词1510、1520和1530的类似单词列表1512、1522和1532可以预先存储在智能服务器(例如，图1的智能服务器200)中。在实际讲话的情况下，用户时常可以缩短或省略一个或多个单词。为了反映这种用户讲话模式，可以存储根据预先指定的顺序(例如，“距离”→“单位”→“事件”)的反映用户真实讲话模式的短语(即，不是单个单词单元)，其将录入的用户发声与所存储的短语进行比较，并生成操作信息。为了生成用于提供特定任务(例如，运行“5千米跑步程序”)的操作信息，可以将诸如“5千米跑步”、“5千跑步”或“5km跑步”之类的短语存储为类似短语，和“5千米跑步”一样。当录入用户的发声“5千跑步”时，智能服务器处理用户的发声以将录入的发声理解为“5千米跑步”。
然而，根据实施例，智能服务器(例如，图1的智能服务器200)可以预先存储以单词为单元预先指定的类似单词列表，并且如图15b所示以每个单词为基础来确定每个单词是否对应于标准单词，而不是通过比较整个短语。与比较整个短语相比，本方法可以保存智能服务器(例如，图1的智能服务器200)的资源并导致考虑更多的单词组合。例如，五个类似的单词(例如，“daseot”、“paive”、“whaive”、“5”和“0”，它们是在韩语中表示数字5的常见方式，并且可以被认为是非标准的)可以预先被指定为对应于“5”。根据实施例，可以预先为“千米(kilometer)”指定五个类似的单词(例如，“kiro”、“kilo”、“kilometer”、“keiem”和“km(km或km)”。根据实施例，可以预先为“跑步(running)”指定四个类似单词(例如，“runing”、“learning”、“run”和“rearning”)。因此，根据实施例可以生成100个短语(5×5×4)。然而，如图15b所示的包括在类似单词列表1512、1522和1532中的类似单词的种类仅作为示例提供，并且本公开的实施例不限于此。如本文所用，术语“类似单词”可与术语“非标准单词”互换使用。
图15c是示出根据实施例的通过智能服务器(例如，图1的智能服务器200)以指定顺序对从用户发声中选择的单词进行排序以生成操作信息的示例操作的视图。
参照图15c，根据实施例，智能服务器(例如，图4的nlu模块220)可以识别从用户发声中选择的单词没有根据预先指定的顺序录入。在这种情况下，根据实施例，智能服务器(例如，图4的nlu模块220)可以按照预先指定的顺序对从用户的发声中选择的单词进行排序。根据实施例，智能服务器(例如，图4的nlu模块220或路径规划器模块230)可以基于排序的单词生成操作信息。
图15d是示出根据实施例，当用户的发声包含非标准单词“kilo”时，通过将非标准单词转换为标准单词来生成操作信息的示例操作的视图。
参照图15d，根据实施例，当用户的发声被识别为包含非标准单词时，智能服务器(例如，图4的nlu模块220或路径规划器模块230)可以将从用户的发声中选择的单词切换为标准单词1510、1520和1530，并且按照预先指定的顺序对切换后的标准单词进行排序。根据实施例，智能服务器(例如，图4的nlu模块220或路径规划器模块230)可以基于排序的单词生成操作信息。
根据实施例，智能服务器(例如，图1的智能服务器200)可以为用户终端(例如，图1的用户终端100)生成操作信息，以至少基于结合图15a至图15d所描述的某些实施例来执行计算。例如，当用户终端(例如，图1的用户终端100)接收到用户的发声“计算5加3减7乘以6”时，智能服务器(例如，图4的nlu模块220)可以将“计算5加3减7乘6”转换为“5+3-7×6”并生成操作信息。根据实施例，智能服务器(例如，图1的智能服务器200)可以预先存储“+”作为“加”的标准单词。根据实施例，智能服务器(例如，图1的智能服务器200)可以预先存储“-”作为“减”的标准单词。根据实施例，智能服务器(例如，图1的智能服务器200)可以预先存储“×”作为“乘”的标准单词。
图16a至图16d是示出根据实施例的当用户发声中缺少强制性单词时操作智能服务器(例如，图1的智能服务器200)或集成智能系统10的示例方法1600、1610、1620和1630的视图。
参照图16a，根据实施例，在操作1610中，智能服务器(例如，图1的智能服务器200)可以在包括在用户发声中的单词中选择与预先指定的参数相对应的单词。例如，根据实施例，当用户终端(例如，图1的用户终端100)接收到用户的发声“我吃了一碗和一个苹果作为早餐。保存”时，智能服务器(例如，图1的智能服务器200)可以选择用户发声中对应于特定参数的“早餐”、“一碗”、“苹果”和“一个”。根据实施例，操作1610可以被理解为从用户的发声中提取参数。
根据实施例，在操作1620中，智能服务器(例如，图1的智能服务器200)可以识别是否缺失生成操作信息所必需的强制性单词。根据实施例，智能服务器(例如，图4的nlu模块220)可以识别从用户发声中选择的单词中缺失了“一碗”是关于什么的(例如，“豆芽汤”)。根据实施例，“一碗”是关于什么的在生成用于提供根据用户发声的任务的操作信息时可以是强制性单词。
根据实施例，当在操作1620中识别出包括所有强制性单词(操作1620中的“否”)时，智能服务器(例如，图4的nlu模块220或路径规划器模块230)可以在操作1630中基于所选择的单词来生成用于提供根据用户发声的任务的操作信息。根据实施例，与以上结合操作1050所描述的生成操作信息有关的内容的至少一部分可以应用于操作1630。
根据实施例，在操作1640中，智能服务器(例如，图1的智能服务器200)可以将生成的操作信息发送到用户终端(例如，图1的用户终端100)。
根据实施例，当在操作1620中识别出至少一个强制性单词被识别为缺失时(操作1620中的“是”)，智能服务器(例如，图4的nlu模块220或路径规划器模块230)可以向用户终端(例如，图1的用户终端100)发送对强制性单词的请求。
参照图16b，根据实施例，在操作1612中，用户终端100可以接收用户的第一发声(例如，“我吃了一碗和一个苹果作为早餐。保存”)。
根据实施例，在操作1614中，用户终端100可以向智能服务器200(例如，nlu模块220)发送关于所接收的第一发声的信息。
根据实施例，在操作1616中，智能服务器200(例如，nlu模块220)可以基于从用户终端100接收的关于第一发声的信息来生成用于提供根据用户发声的任务的第一操作信息。根据实施例，第一操作信息可以包含基于缺失至少一个强制性单词(例如，“豆芽汤”)的发声而生成的操作信息。
根据实施例，在操作1618中，智能服务器200(例如，nlu模块220)可以将在操作1616中生成的第一操作信息发送到用户终端100。
根据实施例，在操作1622中，用户终端100可以基于从智能服务器200(例如，nlu模块220)接收的第一操作信息来提供任务(例如，显示根据用户终端100上的第一操作信息的应用的执行屏幕)。
根据实施例，在操作1624中，用户终端100可以在提供操作1622中的任务的同时识别是否包括(或缺失)强制性单词(或强制性参数)。根据实施例，在操作1624中，第一发声可以是缺失强制性单词(例如，“豆芽汤”)的发声，并且用户终端100可以识别第一发声是缺失强制性单词的发声。
根据实施例，在操作1626中，用户终端100可以通知智能服务器200(例如，nlg模块250)强制性单词缺失。根据实施例，用户终端100可以向nlu模块220发送与强制性单词缺失相关的通知。在这种情况下，根据实施例，nlu模块220可以将从用户终端100接收到的通知发送到nlg模块250。
根据实施例，在操作1628中，智能服务器200(例如，nlg模块250)可以请求用户终端100提供缺失的强制性单词。
根据实施例，在操作1632中，用户终端100可以接收用户的第二发声(例如，“我吃了一碗豆芽汤和一个苹果作为早餐。保存”)，第二发声包含应操作1628中智能服务器200(例如，nlg模块250)的请求的强制性单词。根据实施例，在操作1632中，用户终端100可以输出(例如，用话音)用于请求重新录入包含强制性单词的发声的通知消息，以从用户接收第二发声。
然而，根据实施例，可以省略操作1626和1628。在这种情况下，根据实施例，可以由用户终端100在没有来自智能服务器200的任何请求的情况下执行操作1632。
根据实施例，在操作1634中，用户终端100可以将从用户接收到的关于第二发声的信息发送到智能服务200(例如，nlu模块220)。
根据实施例，在操作1636中，智能服务器200(例如，nlu模块220)可以基于从用户接收到的关于第二发声的信息来生成用于提供根据用户发声的任务的第二操作信息。根据实施例，第二操作信息可以包含基于包含至少一个强制性单词(例如，“豆芽汤”)的发声而生成的操作信息。
根据实施例，在操作1638中，智能服务器200(例如，nlu模块220)可以将在操作1636中生成的第二操作信息发送到用户终端100。
根据实施例，在操作1642中，用户终端100可以基于第二操作信息来提供任务(例如，在显示器上显示包括包含在用户的第二发声中的早餐信息的执行屏幕，或者将包含在第二发声中的早餐信息存储在用户终端100中)。
图16c示出在从用户接收到包含从第一发声中缺失的强制性单词的第二发声时由用户终端100更新操作信息的示例。根据实施例，上面结合图16b所作的操作1612到1624的描述可以至少部分地应用于图16c的操作1644到1656。
根据实施例，在操作1658中，用户终端100可以接收包含强制性单词的用户的第二发声(例如，“我吃了一碗豆芽汤和一个苹果作为早餐。保存”)。根据实施例，在操作1658中，用户终端100可以输出(例如，用话音)用于请求重新录入包含强制性单词的发声的通知消息，以从用户接收第二发声。
根据实施例，在操作1662中，用户终端100可以向智能服务器200(例如，nlu模块220)发送接收到第二发声的通知，例如，指示获得了包含缺失的强制性单词的用户发声的通知。根据实施例，操作1662可以与操作1666同时执行或者在操作1666之后执行。可替代地，可以省略操作1662。
根据实施例，在操作1664中，用户终端100可以将从用户录入的强制性单词添加到操作信息(或更新操作信息)。例如，根据实施例，用户终端100可以更新操作信息，使得关于包含在第二发声中的强制性单词(例如，“豆芽汤”)的信息被包括在从智能服务器200(例如，nlu模块220)接收的操作信息中。
根据实施例，在操作1666中，用户终端100可以基于在操作1664中更新的操作信息来提供任务(例如，显示包括包含在用户的第二发声中的早餐信息的执行屏幕，或者将包含在第二发声中的早餐信息存储在用户终端100中)。
图16d示出由智能服务器200(例如，nlu模块220)识别用户的发声是否包含强制性单词的示例。
参照图16d，根据实施例，在操作1668中，用户终端100可以接收用户的第一发声。
根据实施例，在操作1672中，用户终端100可以向智能服务器200(例如，nlu模块220)发送关于所接收的第一发声的信息。
根据实施例，在操作1674中，智能服务器200(nlu模块220)可以识别用户的第一发声是否包含用于生成操作信息的强制性单词。
根据实施例，当从用户的第一发声中识别出缺失用于生成操作信息的强制性单词时，智能服务器200(nlu模块220)可以在操作1676中通知nlg模块250该强制性单词缺失。
根据实施例，在操作1678中，智能服务器200(例如，nlg模块250)可以请求用户终端100提供强制性单词。
根据实施例，在操作1682，用户终端100可以从用户接收第二发声。根据实施例，在操作1682中，用户终端100可以输出(例如，用话音)用于请求重新录入发声的通知消息，以从用户接收第二发声。
根据实施例，在操作1684中，用户终端100可以将从用户接收到的关于第二发声的信息发送到智能服务200(例如，nlu模块220)。
根据实施例，在操作1686中，智能服务器200(例如，nlu模块220)可以基于关于所接收的第二发声的信息来生成用于提供根据用户发声的任务的操作信息。
根据实施例，在操作1688中，智能服务器200(nlu模块220)可以将生成的操作信息发送到用户终端100。
尽管图16d示出操作1674由nlu模块220执行，但这仅是示例。例如，操作1674可以由根据实施例的集成智能系统(例如，图1的集成智能系统10)的至少一些其它设备或组件来执行。根据实施例，操作1678还可以由集成智能系统(例如，图1的集成智能系统10)的至少一些其它设备或组件来执行。
图17a和图17b是示出根据实施例的、根据基于录入的用户发声生成的操作信息而显示在用户终端100上的示例屏幕的视图。
参照图17a，用户终端100可以从用户1701接收包含第一单词集1710和第二单词集1720的发声1700，其中包括具有相关性的多个单词。根据实施例，用户的发声1700可以包括用于调用智能服务的唤醒单词或短语(例如，嗨bixby)。
根据实施例，用户终端100可以基于从智能服务器(例如，图2的智能服务器200)接收的操作信息(例如，路径规则)来提供根据用户发声的任务，并且输出(例如，显示)执行该任务的结果。参照图17b，根据实施例，用户终端100可以在显示器120上输出屏幕1730，其是执行反映用户意图的任务的结果。根据实施例，屏幕1730至少可以包括执行任务的结果即部分1710a和1720b，其根据语义组被分别存储(例如，“一个香蕉”和“一个苹果”)。
图18是示出根据实施例的示例电子设备(例如，图1的用户终端100)的视图。
图18是示出根据各种实施例的网络环境1800中的电子装置1801的框图。参照图18，网络环境1800中的电子装置1801可经由第一网络1898(例如，短距离无线通信网络)与电子装置1802进行通信，或者经由第二网络1899(例如，长距离无线通信网络)与电子装置1804或服务器1808进行通信。根据实施例，电子装置1801可经由服务器1808与电子装置1804进行通信。根据实施例，电子装置1801可包括处理器1820、存储器1830、输入装置1850、声音输出装置1855、显示装置1860、音频模块1870、传感器模块1876、接口1877、触觉模块1879、相机模块1880、电力管理模块1888、电池1889、通信模块1890、用户识别模块(sim)1896或天线模块1897。在一些实施例中，可从电子装置1801中省略所述部件中的至少一个(例如，显示装置1860或相机模块1880)，或者可将一个或更多个其它部件添加到电子装置1801中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块1876(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置1860(例如，显示器)中。
处理器1820可运行例如软件(例如，程序1840)来控制电子装置1801的与处理器1820连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器1820可将从另一部件(例如，传感器模块1876或通信模块1890)接收到的命令或数据加载到易失性存储器1832中，对存储在易失性存储器1832中的命令或数据进行处理，并将结果数据存储在非易失性存储器1834中。根据实施例，处理器1820可包括主处理器1821(例如，中央处理器(cpu)或应用处理器(ap))以及与主处理器1821在操作上独立的或者相结合的辅助处理器1823(例如，图形处理单元(gpu)、图像信号处理器(isp)、传感器中枢处理器或通信处理器(cp))。另外地或者可选择地，辅助处理器1823可被适配为比主处理器1821耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器1823实现为与主处理器1821分离，或者实现为主处理器1821的部分。
在主处理器1821处于未激活(例如，睡眠)状态时，辅助处理器1823可控制与电子装置1801(而非主处理器1821)的部件之中的至少一个部件(例如，显示装置1860、传感器模块1876或通信模块1890)相关的功能或状态中的至少一些，或者在主处理器1821处于激活状态(例如，运行应用)时，辅助处理器1823可与主处理器1821一起来控制与电子装置1801的部件之中的至少一个部件(例如，显示装置1860、传感器模块1876或通信模块1890)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器1823(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器1823相关的另一部件(例如，相机模块1880或通信模块1890)的部分。
存储器1830可存储由电子装置1801的至少一个部件(例如，处理器1820或传感器模块1876)使用的各种数据。所述各种数据可包括例如软件(例如，程序1840)以及针对与其相关的命令的输入数据或输出数据。存储器1830可包括易失性存储器1832或非易失性存储器1834。
可将程序1840作为软件存储在存储器1830中，并且程序1840可包括例如操作系统(os)1842、中间件1844或应用1846。
输入装置1850可从电子装置1801的外部(例如，用户)接收将由电子装置1801的其它部件(例如，处理器1820)使用的命令或数据。输入装置1850可包括例如麦克风、鼠标、键盘或数字笔。
声音输出装置1855可将声音信号输出到电子装置1801的外部。声音输出装置1855可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置1860可向电子装置1801的外部(例如，用户)视觉地提供信息。显示装置1860可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置1860可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块1870可将声音转换为电信号，反之亦可。根据实施例，音频模块1870可经由输入装置1850获得声音，或者经由声音输出装置1855或与电子装置1801直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置1802)的耳机输出声音。
传感器模块1876可检测电子装置1801的操作状态(例如，功率或温度)或电子装置1801外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块1876可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(ir)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口1877可支持将用来使电子装置1801与外部电子装置(例如，电子装置1802)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口1877可包括例如高清晰度多媒体接口(hdmi)、通用串行总线(usb)接口、安全数字(sd)卡接口或音频接口。
连接端1878可包括连接器，其中，电子装置1801可经由所述连接器与外部电子装置(例如，电子装置1802)物理连接。根据实施例，连接端1878可包括例如hdmi连接器、usb连接器、sd卡连接器或音频连接器(例如，耳机连接器)。
触觉模块1879可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块1879可包括例如电机、压电元件或电刺激器。
相机模块1880可捕获静止图像或运动图像。根据实施例，相机模块1880可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块1888可管理对电子装置1801的供电。根据实施例，可将电力管理模块1888实现为例如电力管理集成电路(pmic)的至少部分。
电池1889可对电子装置1801的至少一个部件供电。根据实施例，电池1889可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块1890可支持在电子装置1801与外部电子装置(例如，电子装置1802、电子装置1804或服务器1808)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块1890可包括能够与处理器1820(例如，应用处理器(ap))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块1890可包括无线通信模块1892(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(gnss)通信模块)或有线通信模块1894(例如，局域网(lan)通信模块或电力线通信(plc)模块)。这些通信模块中的相应一个可经由第一网络1898(例如，短距离通信网络，诸如蓝牙、无线保真(wi-fi)直连或红外数据协会(irda))或第二网络1899(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，lan或广域网(wan)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块1892可使用存储在用户识别模块1896中的用户信息(例如，国际移动用户识别码(imsi))识别并验证通信网络(诸如第一网络1898或第二网络1899)中的电子装置1801。
天线模块1897可将信号或电力发送到电子装置1801的外部(例如，外部电子装置)或者从电子装置1801的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块1897可包括一个或多个天线，在这种情况下，可由例如通信模块1890(例如，无线通信模块1892)从所述多个天线中选择适合于在通信网络(诸如第一网络1898或第二网络1899)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块1890和外部电子装置之间发送或接收信号或电力。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(gpio)、串行外设接口(spi)或移动工业处理器接口(mipi))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络1899连接的服务器1808在电子装置1801和外部电子装置1804之间发送或接收命令或数据。电子装置1802和电子装置1804中的每一个可以是与电子装置1801相同类型的装置，或者是与电子装置1801不同类型的装置。根据实施例，将在电子装置1801运行的全部操作或一些操作可在外部电子装置1802、外部电子装置1804或服务器1808中的一个或更多个运行。例如，如果电子装置1801应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置1801可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置1801除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置1801。电子装置1801可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图19是示出根据实施例的操作第一电子设备(例如，图1的用户终端100)的方法1900的视图。
参照图19，根据实施例，在操作1910中，操作第一电子设备(例如，图1的用户终端100)的方法可以根据用户的唤醒发声来提供智能服务。
根据实施例，在操作1920中，操作第一电子设备(例如图1的用户终端100)的方法可以在通过第一电子设备提供智能服务的同时接收用户的发声。
根据实施例，在操作1930中，操作第一电子设备(例如，图1的用户终端100)的方法可以将接收到的关于用户发声的信息发送到第二电子设备。
根据实施例，在操作1940中，操作第一电子设备(例如，图1的用户终端100)的方法可以从第二电子设备接收与用户发声有关的响应，并提供所接收的响应。
根据实施例，一种集成智能系统包括：第一电子设备，其包括通信电路、麦克风和至少一个处理器，所述至少一个处理器作为所述第一电子设备的一部分，或者被配置成与所述第一电子设备进行远程通信；所述集成智能系统还包括存储器，其位于所述第一电子设备上或所述第一电子设备外部，并且可操作地与所述至少一个处理器连接，其中，所述存储器可以存储指令，所述指令被执行以使得所述至少一个处理器能够进行以下操作：根据用户的输入来提供智能服务；在通过第一电子设备提供智能服务的同时，通过麦克风接收用户的发声，用户的发声包括至少一个第一单词集，该第一单词集包括具有预先指定的相关性的多个单词；通过通信电路将接收到的关于用户发声的信息发送到第二电子设备；并且响应于所述发送从第二电子设备接收与所述用户发声相关的响应，并提供接收到的响应。
根据实施例，用户的发声还可以包括至少一个单词，该至少一个单词缺少与所述第一单词集的预先指定的相关性。第二电子设备可以包括被配置为将不同语义组中的所述第一单词集与所述至少一个字区分开的指令。
根据实施例，包括在所述第一单词集中的多个单词可以包括至少两个或更多个彼此不同并且对应于预先指定的参数的单词。第二电子设备可以包括被配置为将所述至少两个或更多个单词设置为包括在单个语义组中的单词的指令。
根据实施例，第二电子设备可以包括被配置为确定用户的发声是否包括与预先指定的参数相对应的多个单词的指令。
根据实施例，用户的发声还可以包括第二单词集，该第二单词集包括与所述多个单词不同并且具有预先指定的相关性的多个单词。第二电子设备可以包括被配置为区分在不同语义组中的第一单词集和第二单词集的指令。
根据实施例，包括在第一单词集中的多个单词中的至少一个单词以及包括在第二单词集中的多个单词中的至少一个单词可以对应于相同的参数。
根据实施例，预先指定的参数可以包括具有分级结构的第一参数、第二参数和第三参数。包括在第一单词集中的多个单词可以包括每一个都对应于第一参数、第二参数和第三参数中的至少两个或更多个中的相应一个的单词。
根据实施例，预先指定的相关性可以包括参数之间的链接关系、逻辑运算关系和顺序关系中的至少一个，其中每个参数对应于多个单词中的相应单词。
根据实施例，第二电子设备可以包括指令，该指令被配置为确定预先指定的相关性是否是链接关系、逻辑运算关系和顺序关系，并且当预先指定的相关性是逻辑运算关系时，比较包括在用户发声中的至少两个或更多个数字的大小，并且基于比较的结果确定每个数字的参数。
根据实施例，第二电子设备还可以包括指令，该指令被配置为确定预先指定的相关性是否是链接关系、逻辑运算关系和顺序关系，并且当预先指定的相关性是顺序关系时，按照预先指定的顺序对从包括在用户发声中的多个单词中选择的单词进行排序，并且将所选择的单词映射到预先指定的参数。
根据实施例，第二电子设备可以包括指令，该指令被配置为基于存储在第二电子设备中的类似单词列表，将从包括在用户发声中的多个单词中选择的单词转换为预先指定的标准单词。
根据实施例，用户的发声可以包括第一发声和第二发声。第二电子设备可以包括指令，该指令被配置为将从第一发声中选择的至少一个单词映射到根据用户的第二发声的意图确定的参数中的至少一个。从第一发声中选择的至少一个单词可以不被包括在第二发声中。
根据实施例，一种集成智能系统中的控制方法包括：根据用户的请求提供智能服务；在通过第一电子设备提供智能服务的同时，通过第一电子设备的麦克风接收用户的发声，所述用户的发声包括至少一个第一单词集，所述至少一个第一单词集包括具有预先指定的相关性的多个单词；经由所述第一电子设备的通信电路将关于所接收的用户发声的信息发送到第二电子设备；并且响应于所述发送，从所述第二电子设备接收与用户发声相关的响应，并提供所接收的响应。
根据实施例，可以提供一种存储指令的计算机可读记录介质，所述指令被配置成由处理器执行至少一个操作，所述至少一个操作包括：根据用户的请求提供智能服务；在通过所述第一电子设备提供所述智能服务的同时，通过第一电子设备的麦克风接收用户的发声，所述用户的发声包括至少一个第一单词集，所述至少一个第一单词集包括具有预先指定的相关性的多个单词；经由第一电子设备的通信电路将接收到的关于用户发声的信息发送到第二电子设备；并且响应于该发送从第二电子设备接收与用户发声相关的响应，并且提供接收到的响应。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“a或b”、“a和b中的至少一个”、“a或b中的至少一个”、“a、b或c”、“a、b和c中的至少一个”以及“a、b或c中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(asic)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器1836或外部存储器1838)中的可由机器(例如，电子装置1801)读取的一个或更多个指令的软件(例如，程序1840)。例如，在处理器的控制下，所述机器(例如，电子装置1801)的处理器(例如，处理器1820)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(cd-rom))的形式来发布计算机程序产品，或者可经由应用商店(例如，playstoretm)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
根据实施例，在此描述的电子设备(例如，图1的用户终端100或图1的智能服务器200)不限于上述设备。如本文所用，术语“用户”可表示使用电子装置的人或另一装置(例如，人工智能电子装置)。
虽然已经参考本公开的某些示例实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本发明的精神和范围的情况下，可以在形式和细节上进行各种改变。
起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】
与客服一对一沟通，为大家解决相关问题。
此文章来源于网络,如有侵权,请联系删除
热门咨询
