用于利用语音开始检测来唤醒短语检测的双管线体系结构的制作方法

相关申请

本申请是于2018年6月5日提交的美国非临时申请号16/000,102的国际申请，其要求于2018年3月12日提交的美国临时申请号62/641,753的优先权和利益，所有这些申请特此通过引用被全部并入本文。

本公开涉及语音(speech)识别的领域，且尤其是涉及语音开始和唤醒短语(phrase)检测。

背景

越来越多的现代计算设备以语音识别能力为特征，允许用户通过话音命令和自然语音来执行各种各样的计算任务。诸如移动电话或智能扬声器之类的设备提供了集成的虚拟助理，其可以通过在局域网和/或广域网上通信来对用户的命令或自然语言请求做出响应，以检索所请求的信息或以控制其他设备(例如灯、加热和空调控制器、音频或视频设备等)。具有语音识别能力的设备常常保持在低功耗模式中，直到特定的词或短语(即，唤醒短语)被说出为止，这允许用户在设备被这样激活之后使用话音命令来控制设备。

然而，由于设备的一部分(包括麦克风和一些语音检测电路)在长时间段内保持在通电状态中，唤醒短语检测的实现方式导致增加的功耗。此外，用于执行唤醒短语检测的附加电路可能增加时延，其表现为当一般语音识别在进行中时的较慢的响应时间。

附图简述

本公开在附图的图中通过示例的方式而不是通过限制的方式被示出。

图1是根据一个实施例的计算系统的框图。

图2根据一个实施例示出了短语检测电路的框图。

图3a根据一个实施例示出了用于使数据流与历史缓冲器同步的方法。

图4根据一个实施例示出了用于在计算系统中执行唤醒短语检测的过程的流程图。

详细描述

下面的描述阐述了许多特定细节，例如特定系统、部件、方法等的示例，以便提供对所主张的主题的若干实施例的良好理解。然而对本领域中的技术人员将明显的是，至少一些实施例可在没有这些特定细节的情况下被实践。在其他实例中，众所周知的部件或方法未被详细描述或以简单框图形式呈现，以便避免使所主张的主题不必要地模糊。因此，所阐述的特定细节仅仅是示例性的。特定的实现方式可相对于这些示例性细节变化，并且仍然被设想为在所主张的主题的范围内。

对于支持语音识别的设备，唤醒短语检测(wupd)技术的实现方式允许设备的主要处理元件的功率选通，主要处理元件被维持在低功耗状态(例如睡眠状态)中直到唤醒短语被检测到为止。在一个实施例中，wupd本身利用大量的功率和处理资源，且因此也通过比wupd消耗更少功率的语音开始检测(sod)或噪声阈值电平分析器(ntla)技术被选通。当sod或ntla电路检测到语音开始事件时，wupd电路被激活(即，转换到更高的功耗状态)以确定唤醒短语是否已经被说出。

根据一种方法，来自麦克风的音频数据连续地由用于检测语音开始事件的sod电路且然后由wupd电路处理以检测唤醒短语；然而，使用用于执行sod的高质量音频数据不必要地增加了复杂性和功耗，因为sod可以使用比wupd更低质量的音频数据来有效地被执行。音频数据的连续处理也增加了时延，因为当在语音开始之前的静默(或相对安静)的时段被包括在音频数据中时，wupd是有效的。在一个实施例中，静默或相对安静的时段以低于预定检测阈值或小于阈值量(该阈值量高于环境噪声水平)的声音水平为特征。历史缓冲器捕获在语音开始之前的这个静默时段；然而，在管线中的历史缓冲器增加了在麦克风和wupd输入之间的时延。

计算设备的一个实施例实现了包括具有用于执行sod(或ntla)的第一高时延和低音频质量管线和用于执行wupd处理的第二低时延和高音频质量管线的两个处理管线的短语检测电路。在这样的实施例中，sod通过唤醒wupd电路来对检测到语音或其他声音开始事件做出响应。功率在等待语音开始事件所花费的时间内被节省，因为sod对较低质量的音频数据进行操作，允许sod电路以较低的时钟速率进行操作。在高时延管线中的历史缓冲器在语音开始事件之前记录音频样本。历史缓冲器由wupd电路通过专用接口可访问，并且不增加通过第二低时延管线提供到wupd电路的高质量音频数据的时延。

响应于检测到语音开始事件，sod电路唤醒wupd电路，wupd电路在与sod电路不同的功率域中被供应功率。sod电路在较长的时间段内保持被供电的低功耗功率域中操作，而wupd在语音开始事件被检测到之后的有限时间期间在消耗更大数量的功率的功率域中操作。

wupd电路包括处理单元，该处理单元在wupd电路被激活时(相对于sod)执行更高复杂度和更高功率的计算以确定特定唤醒词或短语是否已经被说出。wupd基于在历史缓冲器中记录的音频数据(对应于在语音开始之前的时间)和通过低时延管线接收的高质量音频数据来做出这个确定。因此，使用高质量和低时延管线来执行wupd和随后的语音识别任务，导致对用户命令的响应能力提高。

图1示出了计算系统100的实施例，其中sod和wupd电路被实现。通常，计算系统100被体现为多种不同类型的设备中的任何一种，包括但不限于膝上型或台式计算机、移动设备、智能扬声器、车辆信息娱乐系统、家用电器等。计算系统100包括通过总线101与彼此通信的多个部件102-111。在计算系统100中，部件102-111中的每一个能够直接通过总线101或者经由其他部件102-111中的一个或更多个来与其他部件102-111中的任一个通信。在计算系统100中的部件101-108被包含在单个物理外壳(例如膝上型或台式机箱、移动电话机壳、智能扬声器壳体等)内。在替代实施例中，计算系统100的一些部件被实现为外围设备，使得整个计算系统100不驻留在单个物理外壳内。

计算系统100还包括用于从用户接收信息或向用户提供信息的用户接口设备。特别地，计算系统100包括输入设备102，例如键盘、鼠标、触摸屏、或用于从用户接收信息的其他设备。计算系统100通过显示器103(例如监视器、发光二极管(led)显示器、液晶显示器)或其他输出设备向用户显示信息。

此外，计算系统100包括用于通过有线网络或无线网络发送和接收数据的网络适配器107。计算系统100还包括一个或更多个外围设备108。外围设备108可以包括大容量存储设备、位置检测设备、传感器、输入设备、或由计算系统100使用的其他类型的设备。

计算系统100包括处理单元104。处理单元104接收并执行被存储在存储器系统105中的指令106。在一个实施例中，处理单元104包括驻留在公共集成电路衬底上的多个处理核心。存储器系统105包括由计算系统100使用的存储器设备，例如随机存取存储器(ram)模块、只读存储器(rom)模块、硬盘、和其他非暂时性计算机可读介质。

计算系统100的一些实施例可以包括比如图1所示的实施例更少或更多的部件。例如，某些实施例在没有任何显示器103或输入设备102的情况下被实现。其他实施例具有多于一个特定部件；例如，计算系统100的实施例可以具有多个处理单元104、总线101、网络适配器107、存储器系统105等。

通常，计算系统100代表具有语音识别能力的设备；因此，系统100包括用于接收话音命令和其他语音的麦克风111以及用于向用户提供合成声音反馈和/或播放其他声音(例如音乐、警报等)的扬声器109。处理单元104执行来自存储器系统105的指令106以实现能够识别一个或更多个话音命令的语音识别引擎。计算系统100通过执行与话音命令相关联的任务来对识别出的话音命令做出响应，该任务可以包括控制本地或远程硬件资源、检索信息等。例如，一个或更多个识别出的话音命令可以使计算系统100经由网络适配器107在网络上传送一个或更多个网络消息以从互联网检索信息、拨打电话呼叫、远程地控制家用电器或娱乐系统等。在一个实施例中，扬声器设备109响应于识别出的话音命令来生成声音输出，以便向用户确认话音命令被正确地识别或执行，或者将所检索或计算的信息转发回用户。

在一个实施例中，计算系统100的不同部分被选通，以在它们不被使用时节省功率。例如，实现语音识别引擎的处理单元104被保持在睡眠状态中，直到短语检测电路110检测到唤醒短语已经由用户说出为止。短语检测电路110从音频换能器(即，麦克风111)接收音频信号，并检测语音开始事件(即，当用户在静默时间段之后开始讲话时)，且然后检测所检测到的语音是否包括唤醒短语。

图2示出了短语检测电路110的实施例，其包括语音开始检测(sod)电路和唤醒短语检测(wupd)电路。在一个实施例中，短语检测电路110的一些或全部由集成电路设备中(即，在单个集成电路衬底上)或单个设备封装中的电路实现。在替代实施例中，短语检测电路110的部件被分布在多个集成电路设备、设备封装、或其他电路当中。短语检测电路110包括用于将音频数据从音频数据源传送到wupd电路的第一低时延和高质量管线以及用于将音频数据从音频数据源传送到wupd电路的高时延和低质量管线。

在一个实施例中，音频数据源是连接到麦克风111的脉冲密度调制器(pdm)前端211。在pdm前端211中，pdm221基于来自换能器(即，麦克风111)的信号来生成脉冲密度调制比特流。pdm221向麦克风111提供确定初始采样率的时钟信号，然后从麦克风111接收表示从环境捕获的音频的数据信号。pdm221从数据信号生成pdm比特流，并将比特流提供到抽取器222，抽取器222通过降低来自pdm221的脉冲密度调制比特流的采样率来生成提供到高时延管线和低时延管线的音频数据。

在替代实施例中，音频数据源是辅助模数转换器(auxadc)前端230。在辅助adc前端230中，模数转换器231将来自麦克风111的模拟信号转换成数字音频信号。数字音频信号被提供到抽取器232，抽取器232降低来自adc231的数字音频信号的采样率以生成提供到高时延管线和低时延管线的音频数据。

高时延、低质量管线包括另一个抽取器212和历史缓冲器216。语音开始检测器(sod)213连接到抽取器212的输出端。抽取器212进一步降低音频数据的采样率，并将这个较低质量的音频数据提供到历史缓冲器216和sod213。在一个实施例中，历史缓冲器216是存储音频数据的一部分(包括音频数据的固定数量的最新接收的数据样本)的循环缓冲器。在历史缓冲器216的输入端处接收的每个音频数据样本被写在缓冲器216中的当前位置处，之后当前位置被递增到缓冲器216中的下一个顺序位置。在到达序列中的最终位置(例如，对应于缓冲器216的末端)时，缓冲器216重新开始该序列，重写先前存储在缓冲器中的最旧的数据样本。历史缓冲器216以降低的采样率存储来自抽取器212的输出端的音频数据；因此，历史缓冲器216比在采样率没有降低时消耗更少的存储器。

在历史缓冲器216以较低采样率记录音频数据的低质量版本的样本的同时，sod213还分析低质量音频数据以检测在音频数据中捕获的任何语音开始事件。具有降低的采样率的音频数据足以检测语音开始(或其他声音开始)事件，同时允许sod213电路以较低的频率计时，因而降低sod的功耗和复杂性。

语音开始检测器213(或其他类型的声音开始检测器)和历史缓冲器216在第一功率域210中被供应功率，而wupd电路在第二功率域240中被供应功率，第二功率域240通过隔离单元241-243与第一功率域210隔离。sod功率域210在较长的持续时间内保持通电，在该较长的持续时间期间sod213和历史缓冲器216可以连续地操作，允许设备检测在这个时间期间由用户说出唤醒短语引起的语音开始事件。

在检测到语音开始事件时，sod213使sod标志214有效。功率管理单元215接收sod标志214，并通过使wupd功率域240能够将wupd电路从低功耗状态(例如睡眠状态)唤醒到较高功耗状态来做出响应。wupd处理单元248使用经由高时延管线(通过历史缓冲器216)从pdm前端211接收的音频数据样本的第一部分和经由低时延管线从pdm前端211接收的音频数据样本的第二部分来执行唤醒短语检测。

同步电路217通过以下方式来对语音开始事件做出响应：同步从两条管线输出到wupd处理单元248的数据流，以防止处理单元248接收冗余音频数据样本或未能在wupd被执行的连续时间段内接收到所有可用的音频数据样本。特别是，同步电路217通过记录在历史缓冲器216中与传送到处理单元的音频数据的第二部分的初始数据样本的时间对应的存储器位置来使来自两个管线的音频数据的输出同步。

当语音开始事件检被测到时，wupd处理单元248从历史缓冲器216中检索音频数据。这些数据中的一些可以表示在语音开始之前记录的静默或相对安静，这便于对唤醒短语的检测。在一个实施例中，所记录的静默不是绝对静默，而是包括可用于噪声统计估计和短语剪裁避免(phraseclippingavoidance)的环境噪声。wupd处理单元248通过专用的一组寄存器245检索音频数据的第一部分。因此，音频数据的第一部分的样本通过寄存器访问异步地传送到处理单元248。音频数据的第一部分的样本通过总线247从寄存器245传送到处理单元248。在一个实施例中，总线247是高级高性能总线(ahb)。

低时延、高质量管线通过直接存储器存取(dma)接口244将音频数据样本流从pdm前端211提供到处理单元248。在一个实施例中，经由低时延管线传送的音频数据样本表示音频数据的与第一部分有很少或没有重叠的第二部分。换句话说，第一部分和第二部分包括在不同时间段期间捕获的样本。数据通过低时延管线以比通过高时延管线传送的数据低的时延从pdm前端211传送到处理单元248，因为通过低时延管线传送的数据不被历史缓冲器216延迟。此外，通过低时延管线传送的音频数据是比通过高时延管线传送的低质量音频数据更高的质量(即，具有更高的采样率)。更高质量的音频数据被用于wupd过程，且随后由语音识别引擎用于一般话音命令和语音识别。在替代实施例中，历史缓冲器216记录高质量音频数据而不是低质量音频数据。在这样的实施例中，历史缓冲器216从pdm前端211而不是从抽取器212接收高质量音频数据。

图3根据一个实施例示出了用于使经由低时延管线提供的dma流中的音频数据与从历史缓冲器216提供的音频数据同步的方法。在图3中，音频数据样本由在dma流301和历史缓冲器216中的单个数位数字指示，其中较低的数字指示较早的样本。

当处理单元248被激活时，处理单元248开始从dma流301读取最新捕获的音频样本，其经由低时延管线传送到处理单元248。此时，同步电路217记录在历史缓冲器216中与在dma流301中的初始数据样本(即，样本“8”)被捕获的采样时间对应的存储器位置303。如图3所示，所记录的存储器位置303存储在与在dma流301中的初始数据样本“8”相同的时间捕获的相对应的数据样本“8”。

在一个实施例中，基于在dma流301中的初始样本的采样时间或dma流301的开始来确定所记录的存储器位置；然而，所记录的存储器位置不需要包含在与dma流中的初始样本确切地相同的时间捕获的样本。在dma流301中的初始样本和在缓冲器216中的所记录的存储器位置处的样本的采样时间可以相差有限量的时间或有限数量的样本。在一个实施例中，在缓冲器216中的样本和流301之间的某个量的间隙或重叠被wupd过程容忍。此外，来自流301的相对应的样本“8”和在缓冲器216中的样本“8”不需要具有相同的采样周期，因为在dma流301中的音频数据的采样率高于存储在历史缓冲器216中的音频数据的采样率。

在唤醒之后，处理单元248通过经由寄存器245从缓冲器216中的顺序存储器位置读取样本来从历史缓冲器216检索音频数据的第一部分的样本。处理单元248在方向304上读取存储器位置，该方向304开始于在存储器位置302处在缓冲器216中的最老的样本(即，样本“0”)。在到达缓冲器216的末端(即，样本“5”)时，读出在缓冲器的另一端(即，样本“6”)处继续，并继续进行直到到达由同步电路217记录的存储器位置303为止。

在一个实施例中，从历史缓冲器216读出音频数据的第一部分是以比实时更快的速率异步地被执行的，允许缓冲器216的读出赶上dma流301。在一个实施例中，当在历史缓冲器216中的样本被读取时，来自dma流301的音频数据由处理单元248缓冲。在到达所记录的存储器位置303时，处理单元248检索并开始处理音频数据的第二部分的初始数据样本(即，样本“8”)。来自dma流301的低时延和高质量音频数据的连续流此后被用于执行wupd，并用于后续的话音命令、语音识别、和其他音频记录和处理任务。

处理单元248响应于基于音频数据的第一部分和第二部分识别唤醒短语(或其他声音模式)而启动语音识别引擎。用于实现语音识别引擎的计算系统100的部件(例如处理单元104和存储器105)从低功耗状态(例如睡眠状态)转变到较高功耗状态(例如工作状态)。当这样被激活时，语音识别引擎使用来自dma流301的音频数据的连续流来识别话音命令和/或其他口头语言。

图4是示出wupd过程的实施例的流程图。在wupd过程400中的操作由在计算系统100中的部件(例如在短语检测电路110中的sod和wupd电路)执行。

在块401，pdm前端211从换能器信号(例如在麦克风111中的换能器)生成pdm比特流。在pdm前端211中的pdm电路221生成pdm比特流，并将pdm比特流提供到抽取器222。在块403，抽取器222抽取pdm比特流以生成相对于在麦克风111处的初始采样率具有降低的采样率的音频数据信号。该音频数据表示通过低时延管线传送的高质量(即，较高采样率)音频数据，并被用于执行wupd和一般语音识别。

在块405，音频数据通过高时延管线被传送。块405包括块407和409。在块407，在第二抽取器212处接收高质量音频数据，第二抽取器212降低高质量音频数据的采样率以在它的输出端处生成低质量(即，较低采样率)音频数据。在块409，在较低采样率下的音频数据的一部分被存储在历史缓冲器216中。固定数量的最新数据样本以较低的采样率存储在历史缓冲器216中。

低质量音频数据也从抽取器212提供到sod213。sod213处理低质量音频数据以确定任何语音开始事件(例如，在静默时间段之后的口头唤醒短语的开始)是否已经在音频数据中被捕获。在替代实施例中，sod213监测除语音之外的声音(例如音调、口哨声、警报等)的开始。在块413，如果sod213没有检测到语音开始事件，则过程返回到块401。过程400因此重复块401-413以生成高质量和低质量音频数据，利用音频数据的最新样本来更新历史缓冲器216，并继续监测语音开始，直到语音开始被检测到为止。

在块413，如果sod213检测到语音开始事件，sod使sod标志214有效，sod标志214向功率管理单元215指示语音开始事件已经出现。在块415，功率管理单元215启用向wupd电路供应功率的wupd功率域240。在一个实施例中，这将wupd电路从低功耗状态(例如睡眠状态)转变到较高功耗状态(例如工作状态)。

在块417，当wupd处理单元248是活动的并开始经由dma流接收音频数据的第二部分时，同步电路217记录在历史缓冲器216中对应于dma流的初始数据样本的时间的存储器位置。在块419，处理单元248从历史缓冲器216读取音频数据的第一部分。历史缓冲器216异步地向处理单元248提供所请求的样本。在块421，如果在历史缓冲器216中没有到达由同步电路217记录的存储器位置，则过程400返回到块419。过程400因此重复块419和421以从历史缓冲器216读出音频数据，直到所记录的存储器位置被到达为止。

在块421，如果在历史缓冲器216中的所记录的存储器位置被到达，则在历史缓冲器216中的所有数据样本在dma流开始之前的一时间段内被读出。过程400在块423处继续，在块423，处理单元248由从历史缓冲器216读取音频数据(即，经由高时延管线)转变到从dma流读取数据(即，低时延管线)。通过块417-423的操作，经由高时延管线的音频数据的第一部分的传送与经由低时延管线的第二部分的传送同步，使得在这两个部分之间的采样时间中的任何间隙或重叠被最小化。由处理单元248正在处理的样本的时延随着时间的推移而减小，因为处理缓冲的音频数据比生成新音频样本快得多。

当音频数据的第一部分和第二部分被接收到时(如在块419-423提供的)，wupd处理单元248对接收到的音频数据执行唤醒短语识别过程以确定音频数据是否记录了用户说出唤醒短语。在块425，如果唤醒短语没有在音频数据中被检测到，则wupd电路返回到如在块427提供的低功耗睡眠状态，过程400继续回到块401。过程400因此重复块401-427，经由高时延和低时延管线传送音频数据，每当语音开始事件被检测到时激活wupd电路，并且确定唤醒短语是否已经被记录。重复块401-427的循环，直到唤醒短语在块425被检测到为止。

在块425，如果唤醒短语在音频数据中被检测到，则过程400在块429继续。在块429，处理单元248启用语音识别引擎。在一个实施例中，处理单元248启用向计算系统100中的部件(例如处理单元104、存储器105等)供应功率的另一功率域，这些部件从低功耗状态(例如睡眠状态)转变到较高功耗状态(例如工作状态)。由执行指令106的处理单元104实现的语音识别引擎通过处理通过高质量、低时延管线传送的并通过dma流接收的音频数据来识别由用户说出的话音命令或自然语言，这在wupd完成后继续。

计算设备100因此利用用于执行sod(或ntla)的高时延和低音频质量管线以及用于执行wupd处理和后续语音识别任务的低时延和高音频质量管线。在等待语音开始事件所花费的时间期间节省功率，因为sod对较低质量音频数据进行操作，允许sod电路以较低的时钟速率进行操作。使用高质量和低时延管线来执行wupd和后续语音识别任务，导致识别准确度和对用户命令的响应能力提高。

在一个实施例中，上面示出的双管线方法(其中低功耗事件检测过程通过启用更高功耗模式识别过程来对检测到的事件做出响应)可以用在除语音检测之外的应用中。对于这样的应用，也可以基于较低质量换能器或传感器数据来执行低功率事件检测，而使用较高质量(例如较高采样率和/或分辨率)数据来执行较高功率模式识别。例如，运动开始检测器可以使用低质量视频流来检测在很少运动或没有运动的时间段之后的运动，然后通过启用使用更高质量视频流的更高功耗模式识别过程(例如面部识别)来对检测到的运动做出响应。可以基于模式识别的结果来执行进一步的动作，例如记录音频、视频、或静止图像、发送通知等。在替代实施例中，响应于检测到事件(例如温度、环境光、环境条件、或可被感测的许多条件或事件中的任何一个的变化)而由开始事件检测器启用更高功率模式识别过程。

在前述实施例中，可以进行各种修改；例如，被描述为以高电压被有效的信号可以替代地以低电压被有效，或者指定部件可以用具有类似功能的其他部件替换。如本文所述的，“电气地连接”或“电气地耦合”的导电电极可以被耦合，使得相对低电阻的导电路径存在于导电电极之间。被描述为“实质上”相等的量、尺寸或其他值可以是名义上相等的，但不需要确切地相等(存在由于制造公差、环境条件、量化或舍入误差、和/或其他因素而引起的变化)，或者可以足够接近相等用于达到预期的效果或益处。

本文描述的实施例包括各种操作。这些操作可由硬件部件、软件、固件、或其组合执行。如本文中所使用的，术语“耦合到”可意味着直接地或通过一个或更多个中间部件间接地耦合。本文所述的通过各种总线提供的任何信号可以与其它信号时间复用并通过一个或更多个公共总线被提供。此外，在电路部件或块之间的互连可被示为总线或单信号线。总线中的每一个可以可选地是一个或更多个单信号线，并且单信号线中的每一个可以可选地是总线。

某些实施例可被实现为可包括存储在计算机可读介质上的指令的计算机程序产品。这些指令可以用来对通用或专用处理器编程以执行所描述的操作。计算机可读介质包括用于存储或传送以机器(例如计算机)可读的形式(例如软件、处理应用)的信息的任何机构。计算机可读存储介质可以包括但不限于磁存储介质(例如软盘)；光学存储介质(例如cd-rom)；磁光存储介质；只读存储器(rom)；随机存取存储器(ram)；可擦除可编程存储器(例如eprom和eeprom)；闪存或适合于存储电子指令的另一类型的介质。

此外，一些实施例可以在分布式计算环境中被实践，其中计算机可读介质被存储在多于一个计算机系统上和/或由多于一个计算机系统执行。另外，在计算机系统之间传送的信息可以在连接计算机系统的传送介质当中被推拉。

虽然方法的操作在本文以特定的顺序被示出和描述，但是每种方法的操作的顺序可以被改变，使得特定操作可以以相反的顺序被执行，或使得特定操作可与其他操作至少部分地并行地被执行。在另一实施例中，不同操作的指令或子操作可以是以间歇和/或交替的方式进行。

在前述描述中，所主张的主题参考其特定示例性实施例被描述。然而将明显的是，可对其做出各种修改和改变而不偏离如在所附权利要求中阐述的本发明的更宽范围。说明书和附图相应地应在说明性意义上而不是限制性意义上被考虑。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除