身心健康监测方法、设备及计算机可读存储介质与流程

本发明涉及健康监测领域，尤其涉及身心健康监测方法、装置、设备及计算机可读存储介质。
背景技术：
：随着生活质量的提高和生活节奏的加快，人们对自己的健康状况愈加关注，传统的健康监测方法是通过随身佩戴或植入体内的一些传感器，获取用户的体征信息，但无论是随身佩戴还是植入体内，对用户来说都有额外的负担，且传统的健康监测方法只能获取用户的某些生物指标，这并不能起到对健康(例如心理健康)全面监测的作用。技术实现要素：本发明的主要目的在于提供一种身心健康监测方法、设备及计算机可读存储介质，旨在解决传统的健康监测方法对用户有额外的负担，且不能对健康全面监测的技术问题。此外，为实现上述目的，本发明还提供一种身心健康监测方法，所述身心健康监测方法包括以下步骤：接收语音信息，将所述语音信息转化为文本信息，并根据所述文本信息，生成文本情绪状态；提取所述语音信息的音频特征，并根据所述音频特征，生成音频情绪状态；对所述文本情绪状态和所述音频情绪状态进行融合，得到语音情绪状态；获取生物指标，将所述语音情绪状态与所述生物指标结合，生成身心健康监测信息。可选地，所述根据所述文本信息，生成文本情绪状态的步骤包括：对所述文本信息进行分词处理，得到目标词汇；获取预设语音分类模型对应的情绪分类结果，以及每个情绪分类结果关联的文本数据库；计算每个目标词汇在每个文本数据库中的存在比例，和所有目标词汇在每个文本数据库中的存在比例之和；将存在比例之和最大的文本数据库关联的情绪分类结果作为文本情绪状态。可选地，所述根据所述文本信息，生成文本情绪状态的步骤包括：对所述文本信息进行向量化处理，得到文本向量；将所述文本向量输入到预设文本情绪感知器，得到所述文本信息对应的文本情绪状态。可选地，所述预设文本情绪感知器包括：封闭复发模型和逻辑回归模型；所述将所述文本向量输入到预设文本情绪感知器，得到所述文本信息对应的文本情绪状态的步骤包括：将所述文本向量输入到所述封闭复发模型的编码模块，得到文本编码向量；通过所述封闭复发模型的解码模块对所述文本编码向量进行解码，得到情绪特征；将所述情绪特征输入到所述逻辑回归模型进行情绪分类处理，生成文本情绪状态。可选地，所述提取所述语音信息的音频特征，并根据所述音频特征，生成音频情绪状态的步骤包括：提取所述语音信息的音频特征，并对所述音频特征进行向量化处理，得到音频向量；将所述音频向量输入到预设序列编解码模型的编码模块，得到音频编码向量；通过所述预设序列编解码模型的解码模块对所述音频编码向量进行解码，生成音频情绪状态。可选地，所述对所述文本情绪状态和所述音频情绪状态进行融合，得到语音情绪状态的步骤包括：将所述文本情绪状态和所述音频情绪状态输入预设分类模型，并依次通过所述预设分类模型中的全连接层和逻辑回归层；查询所述预设分类模型对应的分类结果，获取每个分类结果关联的文本概率值和音频概率值；计算每个分类结果关联的文本概率值与音频概率值的数值之和，并将所述数值之和最大的分类结果作为语音情绪状态。可选地，所述对所述文本情绪状态和所述音频情绪状态进行融合，得到语音情绪状态的步骤之后，包括：根据所述文本信息和所述语音情绪状态，确定目标对话状态，查找预设对话数据库中与所述目标对话状态匹配度最高的目标话语；对所述目标话语进行评分，得到匹配分值；若所述匹配分值大于预设阈值，则输出所述目标话语。可选地，所述对所述目标话语进行评分，得到匹配分值的步骤之后，包括：若所述匹配分值小于或等于预设阈值，则将所述当前对话状态输入到预设语音应答模型，生成应答语音；输出所述应答语音。此外，为实现上述目的，本发明还提供一种身心健康监测设备，所述身心健康监测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的身心健康监测程序，所述身心健康监测程序被所述处理器执行时实现如上述的身心健康监测方法的步骤。此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有身心健康监测程序，所述身心健康监测程序被处理器执行时实现如上述的身心健康监测方法的步骤。本发明实施例提出的一种身心健康监测方法、设备及计算机可读存储介质。本发明实施例中身心健康监测程序在接收到用户产生的语音信息后，将语音信息转化为文本信息，进而根据文本信息生成对应的文本情绪状态，进一步地，身心健康监测程序还会提取语音信息的音频特征，并根据提取到的音频特征，生成音频情绪状态，然后，对文本情绪状态和音频情绪状态进行融合，最终得到语音情绪状态，得到的语音情绪状态可以表示用户的心理健康情况，最终，通过获取用户的生物指标，将语音情绪状态和生物指标结合，生成身心健康监测信息并输出。本发明根据用户产生的语音信息，以及获取用户的生物指标，在不增加用户负担的情况下，实现了对用户身心健康的全面监测。附图说明图1为本发明实施例提供的身心健康监测设备一种实施方式的硬件结构示意图；图2为本发明身心健康监测方法第一实施例的流程示意图；图3为本发明身心健康监测方法第一实施例中的身心健康监测流程示意图；图4为本发明身心健康监测方法第二实施例的流程示意图。本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。本发明实施例身心健康监测终端(又叫终端、设备或者终端设备)可以是pc、智能手机、平板电脑和便携计算机等具有信息处理功能的终端，也可以是各种可以获取生物电信号的贴片式传感器和具有录音功能的设备。如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。可选地，终端还可以包括摄像头、rf(radiofrequency，射频)电路，传感器、音频电路、wifi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及身心健康监测程序。在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的身心健康监测程序，所述身心健康监测程序被处理器执行时实现下述实施例提供的身心健康监测方法中的操作。基于上述身心健康监测设备硬件结构，提出了本发明身心健康监测方法的实施例。参照图2，在本发明身心健康监测方法的第一实施例中，所述身心健康监测方法包括：步骤s10，接收语音信息，将所述语音信息转化为文本信息，并根据所述文本信息，生成文本情绪状态。本实施例中的身心健康监测方法应用于身心健康监测终端，其中，身心健康监测终端包括个人电脑和智能手机等信息处理设备(下文以智能手机表示)，也包括各种可以获取生物电信号(如心率和血压等)的贴片式传感器，还包括安装了可以获取音频信息的录音器的设备(例如，智能音箱和具有语音交互功能的智能电视等)。本实施例中的语音信息由预设音频采集单元获取并发送至安装了身心健康监测程序的设备，其中，预设音频采集单元是指，可以获取音频信息的元器件，该元器件具有录音功能。本实施例给出一种具体应用场景，现有一台具有语音交互功能的智能电视，该电视内部安装有音频采集单元，在音频采集单元处于通电状态时，可以实时获取音频信息，获取到的音频信息包括近场音频信息和远场音频信息，其中近场音频信息是指，电视机本身产生的音频，而远场音频信息是指，距离音频采集单元较远(一般为2至8米)的音频信息。通过现有的主动降噪技术，可以将音频采集单元获取到的音频信息中的近场音频信息滤除，从而得到远场音频信息，再进一步获取远场音频信息中的语音信息(即本实施例中的语音信息)，通过现有的语音转文字技术，将语音信息转化为文本信息，获取文本信息对应的语义信息(包括领域、意图和话题等),通过这些语义信息，可以确定文本信息所表示的情绪状态(即本实施例中的文本情绪状态)，情绪状态包括生气、开心、伤心、中性、惊讶、厌恶、恐惧和非中性等。例如，一段语音信息转化的文本信息为“我今天做了好吃的”，通过获取该文本信息对应的语义信息，可以确定该文本信息所表示的文本情绪状态为开心。步骤s20，提取所述语音信息的音频特征，并根据所述音频特征，生成音频情绪状态。可知地，在将语音信息转化为文本信息的同时，身心健康监测程序还会提取语音信息的音频特征，提取的音频特征包括，音速、音调和音色等，通过对音频特征的分析，可以确定这些音频特征所表示的情绪状态(即本实施例中的音频情绪状态)，例如，若提取到的音频特征为音速快，音调高，音色嘶哑，则可以确定这些音频特征所表示的音频情绪状态为生气，具体地，如何判定音速快或者音调高，可以通过设置一个阈值，当获取到的语音信息中相邻两个音位之间的时间距离大于这个阈值时，判定音速快。步骤s30，对所述文本情绪状态和所述音频情绪状态进行融合，得到语音情绪状态。可知地，还需要对生成的文本情绪状态和音频情绪状态进行融合，从而生成最终的语音情绪状态，即语音信息所表示的情绪状态。一般情况下，生成的文本情绪状态和生成的音频情绪状态是相同的，当生成的文本情绪状态和生成的音频情绪状态不相同时，身心健康监测程序可以根据文本情绪状态和音频情绪状态的优先级，选择文本情绪状态或者音频情绪状态作为最终生成的语音情绪状态。可知地，无论是文本情绪状态或者音频情绪状态，可表示的情绪状态都包括生气、开心、伤心、中性、惊讶、厌恶、恐惧和非中性等，大多数情况下，生成的文本情绪状态和音频情绪状态是相同的，当生成的文本情绪状态和音频情绪状态不相同时，身心健康监测程序将获取文本情绪状态和音频情绪状态的优先级，以根据文本情绪状态和音频情绪状态的优先级高低，确定选择文本情绪状态或者音频情绪状态作为最终生成的语音情绪状态。若文本情绪状态的优先级高于音频情绪状态的优先级，则代表文本信息所表示的情绪更加强烈，身心健康监测程序将选择文本情绪状态作为最终生成的语音情绪状态；若音频情绪状态的优先级低于文本情绪状态的优先级，则代表音频特征所表示的情绪更加强烈，身心健康监测程序将选择音频情绪状态作为最终生成的语音情绪状态。可知地，还可以对文本情绪状态和音频情绪状态进行评分，最终根据评分的大小，确定选择文本情绪状态或者音频情绪状态作为最终生成的语音情绪状态。步骤s40，获取生物指标，将所述语音情绪状态与所述生物指标结合，生成身心健康监测信息。可知地，本实施例中的身心健康监测程序还可以通过贴片式传感器获取用户的多种生物指标，例如血压和心率等，其中，贴片式传感器是指，可贴在椅子或床上面的一种特殊形式的传感器，这种传感器相较于附着式的传感器(如智能手环和智能手表等)，对用户来讲没有任何负担，最终，身心健康监测程序会定期生成由语音情绪状态和生物指标结合而成的身心健康监测信息，该身心健康监测信息还可以发送至用户的智能手机上，以便用户查看。具体地，步骤s10细化的步骤，包括：步骤a1，对所述文本信息进行分词处理，得到目标词汇。步骤a2，获取预设语音分类模型对应的情绪分类结果，以及每个情绪分类结果关联的文本数据库。步骤a3，计算每个目标词汇在每个文本数据库中的存在比例，和所有目标词汇在每个文本数据库中的存在比例之和。步骤a4，将存在比例之和最大的文本数据库关联的情绪分类结果作为文本情绪状态。本实施例中文本信息是经过语音信息转变而来的文字信息，多为完整的一句话，可以理解的是，对完整的一句话进行分解，很容易得到构成完整的一句话的词组(即本实施例中的目标词汇)，其中，构成完整的一句话的词组包括语法结构上的主语，谓语，宾语等，很明显地，主语对于文本所体现出的情绪的生成是没有参考价值的，而谓语与宾语在情绪的生成方面的参考价值是不相同的，其中，宾语的参考价值较大，预设语音分类模型(即图3中的语义理解模块中使用的模型)在建模时确定的多个情绪分类结果，每个情绪分类结果都对应有一个文本数据库(即本实施例中与每个情绪分类结果关联的文本数据库)，因此，文本数据库中的词汇大多是宾语，且文本数据库中的词汇是由预先确定的完整句子拆分出来的，拆分出来的所有词汇都将被保存在文本数据库中，而某个词汇在文本数据库中的存在比例越大，则越能体现出这个词汇对于情绪状态的生成的参考价值，例如，词汇“好玩”在“开心”这个情绪状态对应的文本数据库中所占的比例很大，有很多由“好玩”组成的句子都被判定成开心的情绪状态，则在“开心”这个情绪状态关联的文本数据库中，目标词汇开心所占的比例最高，而对于文本信息“真好玩”来说，其分词处理后，得到目标词汇“真”和目标词汇“好玩”，其中，目标词汇“真”是个程度副词，其在两极化情绪中所占的比例较大(例如，开心和伤心)，而在中性情绪中所占的比例较小(例如中性情绪)，目标词汇“好玩”很明显与开心情绪状态关联性更大，如表1所示，表中数字为目标词汇在每个情绪状态关联的文本数据库中的存在比例，则“真”和“好玩”的存在比例之和最大的情绪状态为开心。生气开心伤心中性惊讶厌恶恐惧非中性“真”0.050.050.050.0010.050.050.050.005“好玩”0.0030.10.0010.010.0080.0020.0010.005表1具体地，步骤s10细化的步骤，还包括：步骤b1，对所述文本信息进行向量化处理，得到文本向量。步骤b2，将所述文本向量输入到预设文本情绪感知器，得到所述文本信息对应的文本情绪状态。具体地，步骤b2细化的步骤，包括：步骤c1，将所述文本向量输入到所述封闭复发模型的编码模块，得到文本编码向量。步骤c2，通过所述封闭复发模型的解码模块对所述文本编码向量进行解码，得到情绪特征。步骤c3，将所述情绪特征输入到所述逻辑回归模型进行情绪分类处理，生成文本情绪状态。本实施例中在获取到由语音信息转化而来的文本信息时，将进一步获取该文本信息对应的语义信息，可以理解的是，获取该文本信息对应的语义信息的过程即是，对文本信息进行拆分的过程，拆分的分类标签包括领域、意图和话题等，可知地，对文本信息拆分后得到的语义信息由多个标签组成，对语义信息进行向量化处理，得到文本向量的过程，实质是将每个标签作为一个向量。而本实施例中的预设文本情绪感知器是一个可以根据文本信息，生成文本情绪状态的工具，其内部采用多层gru(gatedrecurrentunit，封闭的复发性单元)模型(一种用于判断句子是否合理的语言模型)，gru模型包括编码模块和解码模块，编码模块采用双向gru，输入为文本向量，输出为解码向量，解码模块采用双向gru结合点积注意力，得到情绪特征，其中，点积注意力是指，在预测或推断某个词时，使用点积注意力，可以判断文本中的词与某个词具有多强的关联性，然后对加权后的文本向量求和后得到预测或推断的词。可知地，将文本向量输入到封闭复发模型的编码模块后，得到文本编码向量，再通过封闭复发模型的解码模块对文本编码向量进行解码，得到的情绪特征可能存在多种，进一步地，将得到的情绪特征输入到逻辑回归模型进行情绪分类处理，最终得到文本情绪特征。具体地，步骤s20细化的步骤包括：步骤d1，提取所述语音信息的音频特征，并对所述音频特征进行向量化处理，得到音频向量。步骤d2，将所述音频向量输入到预设序列编解码模型的编码模块，得到音频编码向量。步骤d3，通过所述预设序列编解码模型的解码模块对所述音频编码向量进行解码，生成音频情绪状态。本实施例中的预设序列编解码模型为语音情绪感知器(即图3中的情绪感知模块)内使用的模型，而语音情绪感知器是一个可以根据音频特征，生成音频情绪状态的工具，预设序列编解码模型也包括编码模块和解码模块，可知地，身心健康监测程序在提取到语音信息的音频特征后，会对这些音频特征进行向量化处理，得到音频向量，将得到的音频向量输入到预设序列编解码模型的编码模块，得到音频编码向量，再通过所述预设序列编解码模型的解码模块对所述音频编码向量进行解码，得到音频情绪状态，由于得到的音频情绪状态可能存在多种，所以，进一步地，音频特征还会被输入到逻辑回归模型进行情绪分类处理，最终得到音频情绪特征。具体地，表中s30细化的步骤包括：步骤e1，将所述文本情绪状态和所述音频情绪状态输入预设分类模型，并依次通过所述预设分类模型中的全连接层和逻辑回归层。步骤e2，查询所述预设分类模型对应的分类结果，获取每个分类结果关联的文本概率值和音频概率值。步骤e3，计算每个分类结果关联的文本概率值与音频概率值的数值之和，并将所述数值之和最大的分类结果作为语音情绪状态。本实施例中预设分类模型是一种处理多分类问题的模型，将上述实施例中得到的文本情绪状态和音频情绪状态依次输入到预设分类模型中，可知地，预设分类模型对应有多种分类结果，例如，生气、开心、伤心、中性、惊讶、厌恶、恐惧、非中性等，本实施例中的全连接层和逻辑回归层属于预设分类模型，其中，全连接层的作用是，建立输入参数(即文本情绪状态和音频情绪状态)与各分类结果之间的关联，而逻辑回归层的作用是，计算输入参数与各分类结果相同的概率，当文本情绪状态和音频情绪状态依次输入到预设分类模型中，并通过全连接层和逻辑回归层后，预设分类模型将输出两组概率数集，分别对应文本情绪状态在各分类结果下的概率集，和音频情绪状态在各分类结果下的概率集，且每组概率集中的所有概率数之和等于1。本实施例给出一种具体应用场景，假设文本情绪状态为a，音频情绪状态为b，将a和b输入到预设分类模型中后，得到的输出结果如表2和表3所示所示，其中，表2和表3分别表示文本情绪状态和音频情绪状态的分类结果，将同一个结果下的概率值相加，得到概率值之和，再从所有概率值之和中选出最大的数作为预设分类模型的输出结果(即本实施例中的语音情绪状态)。结果生气开心伤心中性惊讶厌恶恐惧非中性概率0.020.010.80.010.010.010.130.01表2结果生气开心伤心中性惊讶厌恶恐惧非中性概率0.020.010.820.020.010.010.110.01表3在本实施例中身心健康监测程序在接收到用户产生的语音信息后，将语音信息转化为文本信息，进而根据文本信息生成对应的文本情绪状态，进一步地，身心健康监测程序还会提取语音信息的音频特征，并根据提取到的音频特征，生成音频情绪状态，然后，对文本情绪状态和音频情绪状态进行融合，最终得到语音情绪状态，得到的语音情绪状态可以表示用户的心理健康情况，最终，通过获取用户的生物指标，将语音情绪状态和生物指标结合，生成身心健康监测信息并输出。本发明根据用户产生的语音信息，以及获取用户的生物指标，在不增加用户负担的情况下，实现了对用户身心健康的全面监测。进一步地，参照图4，在本发明上述实施例的基础上，提出了本发明身心健康监测方法的第二实施例。本实施例是第一实施例中步骤s30之后的步骤，本实施例与本发明上述实施例的区别在于：步骤s50，根据所述文本信息和所述语音情绪状态，确定目标对话状态，查找预设对话数据库中与所述目标对话状态匹配度最高的目标话语。可知地，本实施例中的目标对话状态是指，对于不同的语音情绪状态，身心健康监测程序会进行不同的回应，其中，若语音情绪状态为消极情绪(如伤心，厌恶等)，身心健康监测程序会进行抚慰式回复，若语音情绪状态为积极情绪(如开心)，身心健康监测程序又会进行响应式回复，目标对话状态的不同实质上是，对用户说出的话进行回复的话的语气不同，可知地，不同的目标对话状态匹配有不同的对话数据库(即本实施例中的预设对话数据库)，预设对话数据库中存放了很多用于回复的话语，从预设对话数据库中选出与目标对话状态匹配度最高的回复话语(即本实施例中的目标话语)，其中，匹配度的确定可以是在预先计算好的，例如，在产品试验阶段，研发人员通过大量的语音回复实验，确定最佳的回复语句，将这个最佳的回复语句作为与某个目标对话状态匹配度最高的话术，如图3中的话术匹配模块，例如，当身心健康监测程序确定用户的语音情绪状态为生气时，目标对话状态为对生气进行抚慰式回复，则身心健康监测程序查找预设对话数据库，确定语句“莫生气，生气伤身体”为与目标对话状态匹配度最高的目标话语，如图3中的话术生成模块。步骤s60，对所述目标话语进行评分，得到匹配分值。可知地，确定的目标话语也不一定是最佳的回复话语，考虑到个人差异的不同，每个人对同一句话的接收程度不同，因此，在确定目标话语后还需要对目标话语进行评分，评分依据可以是用户反馈，若根据用户的反馈，使目标话语的评分(即匹配分值)小于某个值，则输出提示信息，以供程序开发者对预设对话数据库中各话术进行更新。步骤s70，若所述匹配分值大于预设阈值，则输出所述目标话语。可知地，在生成语音情绪特征后，还可以通过具有语音交互功能的设备对用户发出的语音进行回复，以实现对用户身心健康的全面保护。例如，根据语音情绪状态，确定用户当前的情绪状态为生气，这种情况下，身心健康监测程序将会查询预设对话数据库，并从中获取与当前对话状态匹配度最高的对话(即本实施例中的目标话语)，例如，一段语音信息转化的文本信息为“这日子没法过了！”，通过获取该文本信息对应的语义信息，和该语音信息的音频特征，可以确定这段语音信息对应的语音情绪状态为伤心，身心健康监测程序从预设对话数据库中查询到的目标话语为“十年修得同船渡，百年修得共枕眠”，可知地，身心健康监测程序还将对该目标话语进行评分，得到匹配分值，在匹配分值大于预设阈值时，将该目标话语输出，可知地，对目标话语进行评分还可以与用户反馈结合，即根据用户的反馈情况，调整目标话语的评分。具体地，步骤s60之后的步骤，包括：步骤c1，若所述匹配分值小于或等于预设阈值，则将所述当前对话状态输入到预设语音应答模型，生成应答语音。步骤c2，输出所述应答语音。可知地，若对目标话语的评分低于预设阈值，则表示预设对话数据库中可能不存在较匹配的回复话术，这种情况下，身心健康监测程序还可以把当前对话状态输入到预设语音应答模型中，以生成应答语音，可知地，预设语音应答模型为机器学习模型，利用现有的人工智能技术可以很容易得出应答语音，但该应答语音也具有一定的缺点，即应答话术比较中性，可能对用户身心健康的调节起到的作用并不大，目标话语或者应答语音的输出方式，可以是通过智能电视播放。在本实施例中在生成语音情绪状态后，身心健康监测还可以对语音情绪状态反映出的用户身心健康状态进行回复，实现了对用户身心健康的全面保护。此外，本发明实施例还提出一种身心健康监测装置，所述身心健康监测装置包括：文本情绪状态生成模块，用于接收语音信息，将所述语音信息转化为文本信息，并根据所述文本信息，生成文本情绪状态；提取模块，用于提取所述语音信息的音频特征，并根据所述音频特征，生成音频情绪状态；融合模块，用于对所述文本情绪状态和所述音频情绪状态进行融合，得到语音情绪状态；生成模块，用于获取生物指标，将所述语音情绪状态与所述生物指标结合，生成身心健康监测信息。可选地，所述文本情绪状态生成模块，包括：分词单元，用于对所述文本信息进行分词处理，得到目标词汇；情绪分类结果获取单元，用于获取预设语音分类模型对应的情绪分类结果，以及每个情绪分类结果关联的文本数据库；存在比例计算单元，用于计算每个目标词汇在每个文本数据库中的存在比例，和所有目标词汇在每个文本数据库中的存在比例之和；选择单元，用于将存在比例之和最大的文本数据库关联的情绪分类结果作为文本情绪状态。可选地，所述文本情绪状态生成模块，包括：向量化处理单元，用于对所述文本信息进行向量化处理，得到文本向量；第一输入单元，用于将所述文本向量输入到预设文本情绪感知器，得到所述文本信息对应的文本情绪状态。可选地，所述第一输入单元，包括：第二输入单元，用于将所述文本向量输入到所述封闭复发模型的编码模块，得到文本编码向量；第一解码单元，用于通过所述封闭复发模型的解码模块对所述文本编码向量进行解码，得到情绪特征；第三输入单元，用于将所述情绪特征输入到所述逻辑回归模型进行情绪分类处理，生成文本情绪状态。可选地，所述提取模块，包括：提取单元，用于提取所述语音信息的音频特征，并对所述音频特征进行向量化处理，得到音频向量；第四输入单元，用于将所述音频向量输入到预设序列编解码模型的编码模块，得到音频编码向量；第二解码单元，用于通过所述预设序列编解码模型的解码模块对所述音频编码向量进行解码，生成音频情绪状态。可选地，所述融合模块，包括：输入单元，用于将所述文本情绪状态和所述音频情绪状态输入预设分类模型，并依次通过所述预设分类模型中的全连接层和逻辑回归层；查询单元，用于查询所述预设分类模型对应的分类结果，获取每个分类结果关联的文本概率值和音频概率值；计算单元，用于计算每个分类结果关联的文本概率值与音频概率值的数值之和，并将所述数值之和最大的分类结果作为语音情绪状态。可选地，所述身心健康监测装置，还包括：查找单元，用于根据所述文本信息和所述语音情绪状态，确定目标对话状态，查找预设对话数据库中与所述目标对话状态匹配度最高的目标话语；评分单元，用于对所述目标话语进行评分，得到匹配分值；第一输出单元，用于若所述匹配分值大于预设阈值，则输出所述目标话语。可选地，所述身心健康监测装置，还包括：第五输入单元，用于若所述匹配分值小于或等于预设阈值，则将所述当前对话状态输入到预设语音应答模型，生成应答语音；第二输出单元，用于输出所述应答语音。上述各程序模块所执行的方法可参照本发明方法各个实施例，此处不再赘述。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件商品的形式体现出来，该计算机软件商品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机和平板电脑等)执行本发明各个实施例所述的方法。以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的
技术领域：
，均同理包括在本发明的专利保护范围内。当前第1页1 2 3 

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除