音频信号的处理方法、终端设备及存储介质与流程

本发明涉及音频处理技术领域，尤其涉及音频信号的处理方法、终端设备及计算机可读存储介质。

背景技术：

骨传导是一种声音传导方式，即将声音转化为不同频率的机械振动，通过人的颅骨、骨迷路、内耳淋巴液、螺旋器、听觉中枢来传递声波。相对于通过振膜产生声波的经典声音传导方式，骨传导省去了许多声波传递的步骤，能在嘈杂的环境中实现清晰的声音还原，而且声波也不会因为在空气中扩散而影响到他人。由于骨传导存在上述优势，因而出现了基于骨传导采集用户声音信号的设备。

但是，在现有的骨传导设备中，源于骨传导拾震器件自身的硬件缺陷，会导致通过骨传导拾震器件采集的音频信号出现高频衰减严重的现象。这样导致骨传导音频采集设备采集的音频信号不完整。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现要素：

本发明的主要目的在于提供一种音频信号的处理方法、终端设备及计算机可读存储介质，旨在达成提升终端设备采集的语音信号的完整性的目的。

为实现上述目的，本发明提供一种音频信号的处理方法，所述音频信号的处理方法包括以下步骤：

获取骨传导拾震器件采集的骨导音频信号；

获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数，其中，所述低频传递函数和所述高频传递函数为同一语音对应的骨导音频信号与气导音频信号之间对应的传递函数；

基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展，并将扩展后的所述初始音频作为输出音频。

可选地，所述获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数的步骤包括：

获取所述骨导音频信号的低频特性；

获取与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数。

可选地，所述音频信号的处理方法应用于终端设备，所述获取与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数的步骤包括：

将所述低频特性发送至服务器，其中，所述服务器设置为根据接收到的所述低频特性，获取云端数据库中保存的，与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数，并将所述低频传递函数及所述高频传递函数发送至所述终端设备；

接收所述服务器发送的所述低频传递函数及所述高频传递函数。

可选地，所述音频信号的处理方法应用于终端设备，所述获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数的步骤包括：

将所述骨导音频信号发送至服务器，其中，所述服务器设置为根据接收到的所述骨导音频信号，获取云端数据库中保存的与所述初始音频匹配的低频，以及所述低频传递函数对应的所述高频传递函数，并将获取到的所述低频传递函数和所述高频传递函数发送至所述终端设备；

接收所述服务器发送的所述低频传递函数和所述高频传递函数。

可选地，所述低频传递函数与所述高频传递函数一一对应，关联保存于数据库中。

可选地，所述获取骨传导拾震器件采集的骨导音频信号的步骤之后，还包括：

获取麦克风采集到的气导音频信号；

根据所述骨导音频信号及所述气导音频信号确定所述低频传递函数及所述高频传递函数；

关联保存所述初始音频的低频特性、所述低频传递函数及所述高频传递函数。

可选地，所述根据所述骨导音频信号及所述气导音频信号确定所述低频传递函数及所述高频传递函数的步骤包括：

获取所述骨导音频信号的第一低频特性，以及所述气导音频信号的第二低频特性；

获取所述骨导音频信号的第一高频特性，以及所述气导音频信号的第二高频特性；

根据第一低频特性及所述第二低频特性确定所述低频传递函数，以及根据所述第一高频特性和第二高频特性确定所述高频传递函数。

可选地，所述低频传递传递函数及所述高频传递函数基于训练语音信号得到，其中，所述训练语音信号包括同一语音对应的所述骨传导音频信号和所述气导音频信号。

此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音频信号处理程序，所述音频信号处理程序被所述处理器执行时实现如上所述的音频信号的处理方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有音频信号处理程序，所述音频信号处理程序被处理器执行时实现如上所述的音频信号的处理方法的步骤。

本发明实施例提出的一种音频信号的处理方法、终端设备及计算机可读存储介质，先获取骨传导拾震器件采集的骨导音频信号，然后获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数，其中，所述低频传递函数和所述高频传递函数为同一语音对应的骨导音频信号与气导音频信号之间对应的传递函数，并基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展，并将扩展后的所述初始音频作为输出音频，由于可以通过低频传递函数和高频传递函数，扩展骨传导拾震器件采集的骨导音频信号的高频部分，从而使得终端设备可以基于骨传导拾震器件采集到的初始音频得到完整的音频信号。这样达成了提高设备采集的音频信号的完整性的效果。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本发明音频信号的处理方法的一实施例的流程示意图；

图3为本发明音频信号的处理方法的另一实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

由于在现有的骨传导设备中，源于骨传导拾震器件自身的硬件缺陷，会导致通过骨传导拾震器件采集的音频信号出现高频衰减严重的现象。这样导致骨传导音频采集设备采集的音频信号不完整。

为解决上述缺陷，本发明实施例提出一种音频信号的处理方法，其主要解决方案包括以下步骤：

获取骨传导拾震器件采集的骨导音频信号；

获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数，其中，所述低频传递函数和所述高频传递函数为同一语音对应的骨导音频信号与气导音频信号之间对应的传递函数；

基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展，并将扩展后的所述初始音频作为输出音频。

由于可以通过低频传递函数和高频传递函数，扩展骨传导拾震器件采集的骨导音频信号的高频部分，从而使得终端设备可以基于骨传导拾震器件采集到的初始音频得到完整的音频信号。这样达成了提高设备采集的音频信号的完整性的效果。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是骨传导耳机等终端设备。

如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括骨传导拾震器件等，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及音频信号处理程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的音频信号处理程序，并执行以下操作：

获取骨传导拾震器件采集的骨导音频信号；

获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数，其中，所述低频传递函数和所述高频传递函数为同一语音对应的骨导音频信号与气导音频信号之间对应的传递函数；

基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展，并将扩展后的所述初始音频作为输出音频。

进一步地，处理器1001可以调用存储器1005中存储的音频信号处理程序，还执行以下操作：

获取所述骨导音频信号的低频特性；

获取与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数。

进一步地，处理器1001可以调用存储器1005中存储的音频信号处理程序，还执行以下操作：

将所述低频特性发送至服务器，其中，所述服务器设置为根据接收到的所述低频特性，获取云端数据库中保存的，与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数，并将所述低频传递函数及所述高频传递函数发送至所述终端设备；

接收所述服务器发送的所述低频传递函数及所述高频传递函数。

进一步地，处理器1001可以调用存储器1005中存储的音频信号处理程序，还执行以下操作：

将所述骨导音频信号发送至服务器，其中，所述服务器设置为根据接收到的所述骨导音频信号，获取云端数据库中保存的与所述初始音频匹配的低频，以及所述低频传递函数对应的所述高频传递函数，并将获取到的所述低频传递函数和所述高频传递函数发送至所述终端设备；

接收所述服务器发送的所述低频传递函数和所述高频传递函数。

进一步地，处理器1001可以调用存储器1005中存储的音频信号处理程序，还执行以下操作：

获取麦克风采集到的气导音频信号；

根据所述骨导音频信号及所述气导音频信号确定所述低频传递函数及所述高频传递函数；

关联保存所述初始音频的低频特性、所述低频传递函数及所述高频传递函数。

进一步地，处理器1001可以调用存储器1005中存储的音频信号处理程序，还执行以下操作：

获取所述骨导音频信号的第一低频特性，以及所述气导音频信号的第二低频特性；

获取所述骨导音频信号的第一高频特性，以及所述气导音频信号的第二高频特性；

根据第一低频特性及所述第二低频特性确定所述低频传递函数，以及根据所述第一高频特性和第二高频特性确定所述高频传递函数。

参照图2，在本发明音频信号的处理方法的一实施例中，所述音频信号的处理方法包括以下步骤：

步骤s10、获取骨传导拾震器件采集的骨导音频信号；

步骤s20、获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数，其中，所述低频传递函数和所述高频传递函数为同一语音对应的骨导音频信号与气导音频信号之间对应的传递函数；

步骤s30、基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展，并将扩展后的所述初始音频作为输出音频。

骨传导是一种声音传导方式，即将声音转化为不同频率的机械振动，通过人的颅骨、骨迷路、内耳淋巴液、螺旋器、听觉中枢来传递声波。相对于通过振膜产生声波的经典声音传导方式，骨传导省去了许多声波传递的步骤，能在嘈杂的环境中实现清晰的声音还原，而且声波也不会因为在空气中扩散而影响到他人。由于骨传导存在上述优势，因而出现了基于骨传导采集用户声音信号的设备。

但是，在现有的骨传导设备中，源于骨传导拾震器件自身的硬件缺陷，会导致通过骨传导拾震器件采集的音频信号出现高频衰减严重的现象。这样导致骨传导音频采集设备采集的音频信号不完整。

为解决现有的骨传导音频采集设备，只能适用于低频环境，而无法采集音源语音的高频部分的缺陷，本发明实施例提出一种音频信号的处理方法。

在本实施例中，上述音频信号的处理方法应用于终端设备，上述终端设备设置有骨传导拾震器件。其中，上述骨传导拾震器件用于采集因音源语音而产生振动的物体的振动波，并将该振动波转换为语音信号。

示例性地，上述终端设备设置为骨传导耳机，当用户佩戴骨传导耳机时，在用户说话的过程中，会导致肢体同时产生振动，因此，设置于骨传导耳机上的骨传导拾震器件可以采集用户肢体的振动波，并将该振动波转换为音频信号。

当终端设备上设置有骨传导拾震器件时，可以通过骨传导拾震器件采集音频，然后获取骨传导拾震器件采集的初始音频后。

进一步地，当获取到该骨导音频信号后，可以获取与该骨导音频信号匹配的预存的低频传递函数，以及该低频传递函数对应的预存的高频传递函数。可以理解的是，上述高频传递函数和上述低频传递函数为预先保存的数据。其中，所述低频传递函数和所述高频传递函数为同一音源对应骨传导音频信号与气导音频信号之间对应的传递函数。

具体地，当获取到该骨导音频信号后，可以获取该初始音频的低频特性。进而查询数据库中与该低频特性匹配的预存低频

示例性地，当获取到骨传导拾震器件采集的骨导音频信号时，先对采集到的信号进行转换，以将时域信号转换为频域信号。需要说明的是，终端设备可以先获取通过骨传导拾震器件采集的骨导音频信号，其中，终端设备直接获取到的上述骨导音频信号为时域信号。因此，在获取到上述初始音频后，可以基于fft(fastfouriertransform，快速傅里叶变换)，将骨导音频信号从时域信号转换为频域信号。进一步地，可以对转换后的骨导音频信号进行信号分析，从而提取该骨导音频信号的低频特性。其中，上述低频特性可以包括该骨导音频信号的谐波能量变化，以及幅值和频率分布情况等特性。进而，当获取到该骨导音频信号的低频特性后，可以基于该低频特性，在数据库中查找与该低频特性匹配的低频传递函数，例如，低频各频率点不丢失，且每频率△spl(灵敏度差值)＝±0.1db，则认为该低频特性与预存的低频特性匹配。其中，数据库中可以将预存的低频特性与低频传递函数关联保存。使得当获取到的骨导音频信号的低频特性，与数据库中保存的预存的低频特性匹配时，或该匹配的低频特性关联的低频传递函数。进一步的，数据库中还保存有与该低频传递函数一一对应，且关联保存的高频传递函数，因此，当获取到该低频传递函数后，还可以获取该低频传递函数对应的高频传递函数。

可选地，作为一种实现方式，在获取到上述骨导音频信号的低频特性后，也可以将所述低频特性发送至服务器，其中，所述服务器设置为根据接收到的所述低频特性，获取云端数据库中保存的，与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数，并将所述低频传递函数及所述高频传递函数发送至所述终端设备，然后接收所述服务器发送的所述低频传递函数及所述高频传递函数。由于上述传递函数保存云端服务器，使得数据库管理者可以更加便捷地更新数据库中保存的上述低频传递函数和高频传递函数，以适应更多的应用场景和不同声音特征的用户。

需要说明的是，上述低频传递传递函数及所述高频传递函数基于训练语音信号得到，其中，所述训练语音信号包括同一语音对应的所述骨传导音频信号和所述气导音频信号。

示例性地，在训练过程中，可以通过骨传导拾震器件以及麦克风同时采集同一音源输出的语音。在本示例中，将骨传导拾震器件采集到的该语音对应的音频信号描述为骨导音频信号。将麦克风等采集到的该音频对应的音频信号描述为气导音频信号(即麦克风采集的通过空气传播的声波对应的音频信号)。然后将该骨导音频信号及该气导音频信号从时域信号转换为频域信号。并对转换为频域信号后的骨导音频信号和气导音频信号进行信号分析，获取骨导音频信号的第一低频特性和第一高频特性，以及所述气导音频信号对应第二低频特性和第二高频特性。进而根据第一低频特性及所述第二低频特性确定所述低频传递函数，以及根据所述第一高频特性和第二高频特性确定所述高频传递函数。

具体地，在本示例中，在一训练过程中，可以同时录制骨导音频信号及气导音频信号，并将骨导音频信号及气导音频信号，通过fft从时域转换频域，并提取频域信号中的频率、幅值等特性，确定每份语音产生的低频特性(<预设频率值，例如2khz)和高频特性(>预设频率值)。其中，低频特性一般只是谐波能量的变化，而高频特性就是复杂的衰减、频率丢失等变化。进一步地，x1(n)表示骨导音频信号中，低频部分用频域表示，x2(n)表示骨导音频信号中，高频部分用频域表示；y1(n)表示气导音频信号中，低频部分用频域表示，y2(n)表示气导音频信号中，高频部分用频域表示。进一步地，可以根据以下公式计算低频部分对应的频域传递函数h1(n)：

h1(n)＝x1(n)/y1(n)；

根据以下公式计算高频部分对应的频域传递函数h2(n)：

h2(n)＝x2(n)/y2(n)

进一步的，在本示例中，可以再通过逆变换得到低频部分对应的时域传递函数h1(t)和高频部分对应的时域传递函数h2(t)。其中，低频部分对应的时域传递函数h1(t)和高频部分对应的时域传递函数h2(t)只能配对使用，不可单独使用。并且，每一组训练语音就会均可以生成低频部分对应的时域传递函数h1(t)和高频部分对应的时域传递函数h2(t)并将其关联保存至数据库中。

进一步地，当获取到骨传导拾震器件当前时刻采集到的骨导音频信号对应的低频传递函数和高频传递函数后，可以基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展。

具体地，当获取到骨导音频信号x(t)后，可以基于以下公式对骨导音频信号x(t)进行频域扩展：

y(t)＝x(t)/[h1(t)*h2(t)]

其中，y(t)、h1(t)和h2(t)分别为扩展后的音频信号、低频传递函数和高频传递函数。当对骨导音频信号进行扩展后，可以将扩展后骨导音频信号作为终端设备的输出音频。

示例性地，当终端设备为骨传导耳机时，上述骨传导耳机可以作为移动终端的音频采集设备，进而骨传导耳机可以将扩展后骨导音频信号作为输出音频发送至与自身连接的终端设备。

需要说明的是，为提高通过本实施例记载的音频信号的处理方法得到的输出音频的质量，可以根据实时接收到的初始音频，动态更新该初始音频匹配的低频传递函数和高频传递函数。例如，每秒更新10-50次。

在本实施例公开的技术方案中，先获取骨传导拾震器件采集的骨导音频信号，然后获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数，其中，所述低频传递函数和所述高频传递函数为同一语音对应的骨导音频信号与气导音频信号之间对应的传递函数，并基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展，并将扩展后的所述初始音频作为输出音频，由于可以通过低频传递函数和高频传递函数，扩展骨传导拾震器件采集的骨导音频信号的高频部分，从而使得终端设备可以基于骨传导拾震器件采集到的初始音频得到完整的音频信号。这样达成了提高设备采集的音频信号的完整性的效果。

参照图3，基于上述实施例，在另一实施例中，所述步骤s20包括：

步骤s21、将所述低频特性发送至服务器，其中，所述服务器设置为根据接收到的所述低频特性，获取云端数据库中保存的，与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数，并将所述低频传递函数及所述高频传递函数发送至所述终端设备；

步骤s22、接收所述服务器发送的所述低频传递函数及所述高频传递函数。

在本实施例中，可以将所述骨导音频信号发送至服务器，其中，所述服务器设置为根据接收到的所述骨导音频信号，获取云端数据库中保存的与所述初始音频匹配的低频，以及所述低频传递函数对应的所述高频传递函数，并将获取到的所述低频传递函数和所述高频传递函数发送至所述终端设备，接收所述服务器发送的所述低频传递函数和所述高频传递函数。

需要说明的是，服务器接收到上述骨导音频信号后，对比上述初始音频的低频特性与预存的低频特性。其中，上述预存的低频特性可以是预存的训练语音信号中的骨传导音频信号的低频特性。进而使得服务器可以获取与上述骨导音频信号匹配的，基于训练语音信号确定的低频传递函数和高频传递函数。并将获取到的低频传递函数和高频传递函数发送至终端设备。

在本实施例公开的技术方案中，由于确定低频传递函数和高频传递函数的过程可以由服务器完成，这样达成了降低终端设备的运行开销的效果。

此外，本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音频信号处理程序，所述音频信号处理程序被所述处理器执行时实现如上各个实施例所述的音频信号的处理方法的步骤。

可选地，所述终端设备为骨传导耳机。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有音频信号处理程序，所述音频信号处理程序被处理器执行时实现如上各个实施例所述的音频信号的处理方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是骨传导耳机等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除