商标分类 
商标转让 
您当前的位置： 基于深度学习的猪咳嗽声监测与预警系统的制作方法
2021-01-28 13:01:12|
313|
起点商标网
本发明涉及智能养殖领域，尤其是一种基于深度学习的猪咳嗽声监测与预警系统。
背景技术：
养猪业是我国畜牧业的重要组成部分，猪肉的产量与消费总量均超过其它肉类的50％。尽管受非洲猪瘟的影响，猪肉需求量仍在所用动物肉类占比中最大。然而，猪舍养殖密度高与通风性较差等问题使呼吸系统疾病成为最常见、危害最严重的疾病之一。因此，猪呼吸系统疾病的早期监测尤为重要。咳嗽是猪呼吸系统疾病的主要症状之一，通过对猪咳嗽声的监测可以及时发现猪呼吸系统疾病。然而，目前传统的监测方法主要靠人为蹲点，耗时耗力，识别率低。
陆续有学者提出咳嗽声识别算法，但目前存在识别准确率低以及无法应用于工程领域的问题。深度学习则以神经网络为基础，并将其扩展至多层网络。在机器学习领域，对特征提取及选择对模型的最终结果发挥重要作用，而深度学习自动提取特征是一个非常重要的特点，即无监督学习。因此，将深度学习技术与语音识别技术结合，融合边缘计算技术，识别猪只咳嗽声，对猪呼吸系统疾病进行早期预警，有助于提高猪只养殖的福利水平。
中国专利cn201810948774公开了一种基于声学分析的母猪呼吸系统疾病预警装置，该装置由音频采集节点、wifi(无线)网络、arm(微处理器)、gprs无线通信四部分组成，所述音频采集节点利用录音器获取猪舍内的声音信号后通过wifi将数据发送到arm处理器；arm处理器对声音信号分析识别后判断猪只是否患病；当判断为患病时，取相邻节点采集音频数据，利用双麦克风确定声源位置，最后通过gprs无线通信将患病猪只信息发送给饲养员。该发明依靠wifi传输音频数据，存在丢包问题的同时在arm板上运行算法，执行效率低。
中国专利cn109493874a公开了一种基于卷积神经网络的生猪咳嗽声音识别方法，通过将生猪咳嗽声音、非生猪咳嗽声音生成两类声音信号的语谱图并保存成图片格式，一个作为训练集，一个作为测试集，将训练集数据和相应的数据标签输入到卷积神经网络对网络进行训练，完成网络训练过程后，将测试集内待识别的声音信号语谱图输入训练好的卷积神经网络，输出结果为两类信号的标签，根据标签即可对咳嗽声音进行识别。该方案着重在于解决咳嗽声识别算法层面的问题，不适用于工程领域。
中国专利cn107094633a公开了一种具有呼吸道疾病监测功能的猪舍，其中呼吸道疾病监测系统包括声音采集模块，用于检测生猪发出的咳嗽声信号，并发送咳嗽声信号；发电模块，生猪咳嗽时触发震动开关使发电模块为声音采集模块提供电能；信息处理装置:包括声音预处理、特征提取、咳嗽识别模块；最后是提示装置，用于接收咳嗽声识别成功信号和生猪编码信号，提示饲养人员；猪舍还配备通风系统、消毒系统。该方案则缺少远程监控猪只行为功能。
此外，现有的猪咳嗽声识别预警系统例如中国专利cn110189756a，多采用机器学习方法，精确度低。综上所述：目前的猪咳嗽声识别算法普遍采用机器学习，识别精度低；猪咳嗽声预警装置或者系统存在传输音频速率低或者算法运行速率低等问题。
技术实现要素：
本发明针对背景技术中存在的问题，为提高猪咳嗽声识别的精确度，实时掌握猪只健康状况，提出了基于深度学习的猪咳嗽声监测与预警系统。
本发明公开了一种基于深度学习的猪咳嗽声监测与预警系统，它包括数据采集模块、路由、深度学习服务器、云服务器和预警客户端，
所述数据采集模块包括音频采集装置和视频采集装置，数据采集模块将音频和视频数据通过路由上传至深度学习服务器和云服务器；
深度学习服务器对声音信号预处理、特征提取、建模分析后识别是否存在咳嗽声以及对咳嗽声分类，进而判别是否存在患病猪只以及患病程度；并将患病猪只所在栋舍、可能患病程度等信息存入数据库；
云服务器提供云计算服务，深度学习服务器将疾病预警信息发送至预警客户端。
优选的，所述数据采集模块包括拾音器、摄像头、电源模块、网络模块、本地服务器和导轨，拾音器、摄像头架设在由步进电机驱动的导轨之上，进行全天候音视频信息的采集存储；音频数据通过网络模块传输至本地服务器的同时上传至深度学习服务器，视频数据通过网络传输至云端，实现客户端实时监控。
优选的，本地服务器对音频信息进行分割存储：
一个拾音器对应一个本地服务器存储文件夹，通过计算机程序多线程实时监测文件夹里文件的变化，当检测到有音频存入后开始计时，时长达到15分钟后开始分割语音，并实时上传到深度学习服务器；
深度学习服务器对15分钟语音进行识别后，清空内存同时保存结果，保证不重复识别与实时性。
优选的，深度学习服务器执行以下咳嗽声算法流程：
s1、音频数据预处理；
s2、特征提取，运用梅尔频率倒谱系数mfcc对分帧后的猪咳嗽音频信号进行特征提取：
s2-1、对猪声音信号x(n)经过预加重及汉明窗分帧后得到短时信号xi(n)，其中帧长为30ms，帧移为10ms；
s2-2、对短时信号xi(n)进行离散傅里叶变换得到线性频谱x(k)，获得猪声音信号的幅度谱，
式中：x(k)为频域信号；xi(n)表示第i帧短时信号；n为傅里叶变换的点数；
s2-3、频域信号x(k)通过由m个三角滤波器组成的滤波器组，三角滤波器对声音信号的频谱具有平滑化、消除谐波的作用，每个三角滤波器的中心频率为f(m)，m＝1,2,…,m，f(m)之间的间隔随着m值的增大而增宽，呈现由密到疏的状态；
三角滤波器组频率响应定义为：
式中:
s2-4、对声音信号经过滤波器组输出的能量系数进行对数转换，对数能量s(m)可表示为：
式中，hm(k)为滤波器组；
s2-5、利用离散余弦变换将对数能量s(m)转换到倒谱域，获得梅尔频率倒谱系数mfcc参数：
式中，l表示mfcc的阶数；
s3、咳嗽声识别。
具体的，s1中，所述音频数据预处理包括：
预加重：使用一阶fir高通滤波器对猪声音信号进行预加重处理，传递函数如下：
h(z)＝1-αz-10.9≤α≤1.0
式中，α为预加重因子；
加窗分帧：将长时信号进行分帧处理，并对每帧数据进行时序排列表示原声音信号；选用汉明窗的对猪声音信号进行分帧处理，汉明窗定义表达式：
式中：n为窗长；
谱减法降噪：
s1-3-1、对原始信号经汉明窗分帧后的第i帧信号xi(m)进行离散傅里叶变换dft：
式中，
s1-3-2、获取帧信号对应的幅值和相位角，其中幅值为ai(k)＝|xi(k)|，相位角
s1-3-3、以猪声音信号中静默段作为噪声信号，提取噪声信号的平均能量：
式中，ei(k)表示第i帧中第k个采样点的值，f为噪声信号的帧数；
s1-3-4、获得谱减去噪后信号的幅值：
式中，α表示过减因子；β表示增益补偿因子；
s1-3-5、将谱减后的幅值
端点检测：
s1-4-1、降噪后猪声音信号为y(n)，利用汉明窗对y(n)分帧处理得到第i帧信号为si(n)：
si(n)＝w(n)*y((i-1)*inc+n)1≤n≤n,1≤i≤fn
式中，si(n)表示每一帧的值，n＝1，2，…，n，n为离散声音信号时间序列，n为帧长，i表示帧数；w(n)表示汉明窗的窗函数；inc为帧移长度；fn为声音信号分帧处理后的总帧数；
s1-4-2、利用下式获得声音信号的短时帧能量ei:
s1-4-3、获取帧信号的过零率，短时过零率的定义如下式：
式中：sgn[]表示符号函数，其定义
具体的，s3中，咳嗽声识别采用深层结构的前馈记忆序列神经网络dfsmn+连接时序分类ctc的咳嗽声识别模型，其中：
dfsmn单元由如下三个公式表示：
htn＝max(wnmtn-1+btn,0)
ptn＝vtnhtn+vtn
式中：
优选的，当dfsmn和ctc对咳嗽声识别率均达到90％以上，表明猪只存在咳嗽行为。
具体的，患病程度的判断包括以下步骤：
首先、获取系统因变量的值，包括：
①单次咳嗽起振峰、下落峰时间：即一次咳嗽音频段中信号起始点到峰值时间和峰值时间到信号结束的阈值；
②单次咳嗽峰值大小：即一次咳嗽音频段中声音信号振幅到达最大振幅的阈值；
③单次咳嗽持续时间：即一次咳嗽音频段中信号起始点到结束时的阈值；
④连续咳嗽声总时长：即一次连续咳嗽第一次咳嗽时间开始到最后一次咳嗽结束；
⑤连续咳嗽峰值平均幅度差：即一次连续咳嗽中峰值之间的差的平均值；
⑥连续咳嗽相邻时间间隔：即连续咳嗽中相邻两次咳嗽的时间间隔；
⑦连续咳嗽峰值频率：即连续咳嗽中出现峰值的次数；
⑧连续咳嗽单次峰值大小：同单次咳嗽；
然后、引入多分类问题softmax函数，它将一个n维的实数向量压缩成一个满足特定条件的n维实数向量；压缩后的向量满足两个条件：向量中的每个元素的大小都在[0,1]；向量所有元素的和为1，表达式如下：
式中：j代表第j个参数向量；k表示参数总个数；
最后、建立多重线性回归方程，表达式如下：
式中：z为猪只呼吸道疾病评价指标，
优选的，呼吸道疾病判断与分类结果表示如下：
①不患呼吸道疾病猪只：z值为0-25，属于健康猪只，基本没有咳嗽状况；
②患轻微呼吸道疾病猪只：z值为25-60，猪只出现不正常且多次咳嗽，出现呼吸道相关疾病且程度较轻，可能原因为prrs病毒感染，猪只表现体温升高、厌食、呼吸困难的症状；
③患严重呼吸道疾病猪只：z值为60-80，猪只出现不正常多次连续咳嗽，呼吸道疾病程度较重，判断原因为疑似猪甲型流感病毒iavs，发病猪张口呼吸，呼吸急促和腹式呼吸，伴有眼结膜潮红、水样泪流、流鼻涕、体重下降、虚脱的症状。
本发明的有益效果
本发明运用前沿的语音识别深度学习技术blstm以及dfsmn，咳嗽声识别精度较高；本发明直接将音频数据传输至深度学习服务器，算法执行效率高，所需时间短；本发明将音频数据与视频数据结合，可通过安装于猪舍顶部的摄像头远程实时监听、监控猪只行为，有利于饲养管理人员决策；本发明集成app消息提醒和短信通知业务，预警消息接收更加方便快捷。具体的：
(1)该系统以搭载拾音器、摄像头设备的移动导轨为载体，避免大量采集设备的分布式使用，合理利用资源的基础上监测范围更广且具有可控性。视频和音频的结合使数据多维一体化，采集到的信息音视频结合更立体直观。同时无接触式采集数据可以避免猪应激效应，保障猪只福利。
(2)无线同步数据到服务器的方式，避免了传统有线设备的安装维护成本高和稳定性不足等问题，高度的鲁棒性能够保证整个系统长期稳定工作。同时，无线网传输音、视频数据实时性高，实现云端可视化监控，为用户提供良好体验。
(3)自行搭建的深度学习服务器满足算法运行所需效率，且性价比高，同时具有低功耗、高性能、易扩展等特点。采用分布式即深度学习服务器与云服务器结合的方式，使整个系统具有透明性、高效率、可靠性高、通信方便快捷等特点。
(4)基于深度学习的声音识别模型能够快速、高质量检测猪只咳嗽声、连续咳嗽声，降低人为判断的失误率，大大提高猪只呼吸道疾病的早期发现率，从而降低猪只的死亡率。
(5)猪咳嗽声监测与预警系统设有可视化web界面，便捷式移动端手机app,简介明了展示猪只咳嗽相关信息，同时短信提醒与app消息提醒方便快捷，一体化、自动化程度高，减少人工巡视强度，提高养殖福利的同时增加经济效益。
附图说明
图1为猪呼吸疾病预警系统整体架构示意图
图2为音、视频采集节点结构图
图3为音频分割算法流程图
图4为咳嗽声识别算法流程图
图5为咳嗽声数据挖掘流程图
图6为三角滤波器组成的滤波器组
图7为连续语音识别技术流程图
图8为基于blstm-ctc的猪咳嗽声识别流程图
图9为blstm模型结构示意图
图10为基于dfsmn+ctc的猪咳嗽声识别流程图
图11为猪呼吸系统疾病评级标准图
图12为猪咳嗽声监测与预警平台功能模块架构图
具体实施方式
下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：
结合图1，该系统通过拾音器获取、存储猪舍内采集的音频信息，利用socket无线通信技术实现本地音频数据实时上传至深度学习服务器，利用声学分析技术对复杂环境下的猪舍声音信号进行预处理与特征获取；研究对比基于双向长短时记忆网络(blstm)和深层前馈序列记忆神经网络(dfsmn)的猪咳嗽声变化规律，建立端对端的咳嗽声识别模型；最终形成猪呼吸系统疾病预警平台，高效、精准地实现猪呼吸系统疾病早期预警。
数据采集模块为音视频可移动导轨设备获取猪舍内声音及视频信息后，音频信息通过一层交换机与路由器后无线传输至深度学习服务器；服务器对声音信号预处理、特征提取、建模分析后识别是否存在咳嗽声以及对咳嗽声分类，进而判别是否存在患病猪只以及患病程度；将患病猪只所在栋舍、可能患病程度等信息存入数据库；同时通过http(超文本传输协议)给手机客户端发送包含疾病预警信息，提醒管理员作出相应检查措施；管理员可同时登陆手机客户端与网页浏览器端查看更详细实时及历史数据信息。
本系统设计拾音器外接摄像头的可移动音视频采集设备，音频采样精度为16位，采样频率为48000hz，音频数据通过交换机存储至本地机房服务器的同时，通过音频分割算法进行音频分割后，通过socket通信技术实时上传至处理服务器，处理服务器进行咳嗽声的监测，识别到咳嗽声、连续咳嗽声即将相应预警信息发送给管理员，管理员登录系统可查看咳嗽猪只所在栋舍、相应视频监控、咳嗽声次数、报警时间等信息。采集到的视频数据通过一层交换机网络存储至数字监控录像机，同时上传至云服务器，实现远程实时监控猪舍情况。
音、视频采集节点设计
音、视频采集设备主要由拾音器模块、电源模块、网络模块、和导轨模块四部分组成，如图所示。拾音器、摄像头架设在由步进电机驱动的导轨之上，进行全天候音视频信息的采集存储。拾音器采集到的音频以.wav的形式通过以太网存储在本地机房服务器的同时通过socket通信上传至深度学习服务器；视频信息通过网络传输至云端，实现客户端实时监控。
音频分割算法设计
在本专利中，为实现全天候音频数据采集与实时上传处理服务器，需要对音频信息进行分割存储。首先一个拾音器对应一个本地服务器存储文件夹，通过计算机程序多线程实时监测文件夹里文件的变化，当检测到有音频存入后开始计时，时长达到15分钟后开始分割语音，并实时上传到深度学习服务器。深度学习服务器对15分钟语音进行识别后，清空内存同时保存结果，保证不重复识别与实时性。算法执行流程如图3所示。
深度学习服务器结构设计
本专利使用的深度学习服务器主要由核心处理器、图像显示器、存储模块、电源模块组成。gpu(图形处理器)为四块显存gtx1080ti；显卡为rtx8000，性价比高且散热效果好，噪音更小；cpu(中央处理器)使用金牌6149，主频较高足以支持训练模型强度；内存使用r4版本的内存条；磁盘存储部分使用磁盘阵列存储，读取速度更佳；电源使用1250w供电电源；服务器机架采用塔式机架，占地面积小；软件系统安装ubuntu18.04lts(linux操作系统)表1为深度学习服务器硬件及软件型号说明。
表1深度学习服务器硬件及软件型号说明
咳嗽声识别算法流程
畜禽声学监测是基于声学、信号处理及模式识别等多个学科的一种无损监测技术，本发明的咳嗽声监测算法可以分为预处理、特征提取和分类识别三个步骤，音频信号处理流程如图4所示。
下面结合图5详细描述咳嗽声数据挖掘流程。
(1)预处理
为了消除采集设备和猪舍内噪声等带来的混叠、高次谐波失真、高频等因素对音频信号质量的影响，尽可能保证后续声音处理得到的信号均匀、平滑,为信号参数提取提供优质的参数,提高音频处理质量，需要对原始声音信号进行预处理。本专利预处理方法包括以下4步。
预加重：声音信号在传输过程中，相对于低频分量，高频部分存在较大的衰减度，为了提高声音信号的信噪比，依据信号的衰减特性，对高频成分进行适当增强。使用一阶fir高通滤波器对猪声音信号进行预加重处理。具体的传递函数如下式(1-1)所示，式中：α为预加重因子。
h(z)＝1-αz-10.9≤α≤1.0(1-1)
加窗分帧：声音是时变、非平稳信号，在处理过程中，该信号无法进行特征分析，通常认为声音信号在10～30ms内是短时平稳的，因此可将长时信号进行分帧处理，并对每帧数据进行时序排列表示原声音信号。本专利选用汉明窗的对猪声音信号进行分帧处理，能够更好地减少边缘效应和频谱泄露。汉明窗定义表达式如式(1-2)所示，式中：n为窗长。
谱减法降噪：猪舍环境复杂，需要降低噪声干扰。将声音信号类比为目标信号与噪声信号的叠加，获取声音信号的前几帧或静默段作为噪声信号，获取平均噪声能量，实现声音信号的去噪处理。谱减法实现原理如下。
①对原始信号经汉明窗分帧后的第i帧信号xi(m)进行离散傅里叶变换(dft)，如式(1-3)所示，式中
②获取帧信号对应的幅值和相位角，其中幅值为ai(k)＝|xi(k)|，相位角如下式(1-4)所示。
③以猪声音信号中静默段作为噪声信号，提取噪声信号的平均能量如下式(1-5)所示，式中：ei(k)表示第i帧中第k个采样点的值，f为噪声信号的帧数。
④利用原信号的幅值ai(k)与噪声信号的平均能量d(k)相谱减，即可得到谱减去噪后信号的幅值，该幅值可以表示如(1-6)所示，式中：α表示过减因子；β表示增益补偿因子。
⑤由于猪声音信号对相位不敏感，因此将谱减后的幅值
端点检测：端点检测指在声音信号中判断非静默段信号的起止点，准确的起止点判断对于猪咳嗽声的准确识别具有重要意义。
①假设降噪后猪声音信号为y(n)，利用汉明窗对y(n)分帧处理得到第i帧信号为si(n)，如式(1-7)所示，式中：si(n)表示每一帧的值，n＝1，2，…，n，n为离散声音信号时间序列，n为帧长，i表示帧数；w(n)表示汉明窗的窗函数；inc为帧移长度；fn为声音信号分帧处理后的总帧数。
si(n)＝w(n)*y((i-1)*inc+n)1≤n≤n,1≤i≤fn(1-7)
②利用式(1-8)获得声音信号的短时帧能量。
③获取帧信号的过零率，短时过零率的定义如式(1-9)所示。
式中：sgn[]表示符号函数，其定义如式(1-10)所示。
(2)特征提取
人耳对声音频谱的响应是非线性的，mfcc(梅尔频率倒谱系数)在fbank(filterbankfeature)的基础上进行倒谱转换，以类似于人耳的方式对音频进行处理，可以提高声音信号识别的性能，本发明运用mfcc(梅尔频率倒谱系数)对分帧后的猪咳嗽音频信号进行特征提取。
①对猪声音信号x(n)经过预加重及汉明窗分帧后得到短时信号xi(n)，其中帧长为30ms，帧移为10ms。
②对短时信号xi(n)进行离散傅里叶变换得到线性频谱x(k)，获得猪声音信号的幅度谱，式中：x(k)为频域信号；xi(n)表示第i帧短时信号；n为傅里叶变换的点数。
③频域信号x(k)通过由m个三角滤波器组成的滤波器组，三角滤波器对声音信号的频谱具有平滑化、消除谐波的作用，每个三角滤波器的中心频率为f(m)，m＝1,2,…,m。由于猪声音信号有效信号主要分布在低频段，因此f(m)之间的间隔随着m值的增大而增宽，呈现由密到疏的状态，如图6所示为三角滤波器组。
该三角滤波器组频率响应定义如式(1-12)所示。
式中:
④对声音信号经过滤波器组输出的能量系数进行对数转换，对数能量s(m)可表示为式(1-13)，式中：hm(k)为滤波器组。
⑤利用离散余弦变换将对数能量s(m)转换到倒谱域如式(1-14)所示，进而获得mfcc(梅尔频率倒谱系数)参数，式中：l表示mfcc的阶数，通常取12-16。本发明中l＝16。
(3)咳嗽声识别
本专利运用深度学习技术结合连续语音识别技术对猪咳嗽、连续咳嗽声识别，无论是在识别准确率、误识别率、召回率等方面都显著优于传统机器学习。
深度学习指利用多层数字信号处理技术，通过有监督或无监督的方法，进行信号转换、特征提取及模式识别等任务。连续语音识别技术一般由特征提取、声学模型、语言模型及解码搜索等四个部分组成，如图7所示。在本发明中猪的咳嗽声信号并不属于语音信号，不存在对构词、语法及句法等规则的学习，因此在训练过程中无需语言模型。
本专利运用深度学习技术结合连续语音识别技术对猪咳嗽、连续咳嗽声识别，无论是在识别准确率、误识别率、召回率等方面都显著优于传统机器学习。
深度学习指利用多层数字信号处理技术，通过有监督或无监督的方法，进行信号转换、特征提取及模式识别等任务。连续语音识别技术一般由特征提取、声学模型、语言模型及解码搜索等四个部分组成，如图7所示。在本发明中猪的咳嗽声信号并不属于语音信号，不存在对构词、语法及句法等规则的学习，因此在训练过程中无需语言模型。
基于blstm+ctc的咳嗽声识别模型
图8所示为基于blstm-ctc(双向长短时记忆网络-连接时序分类)的猪咳嗽声识别流程，对猪的咳嗽、连续咳嗽声信号提取mfcc+e(梅尔频率倒谱系数+短时能量)组合特征后，将特征参数输入blstm网络模型中，利用blstm的记忆单元和门限机制学习咳嗽声信号的特征，对应输出可能标签的概率分布，将该概率矩阵作为ctc模型的输入，利用训练集声音信号的标记获取模型的损失值，完成整个blstm-ctc模型的训练。通过猪声音信号的测试集对blstm-ctc模型进行测试，对模型输出的概率矩阵，利用集束搜索算法获得概率最大的输出结果，即为识别结果。
首先运用blstm，通过2个独立的lstm(长短期记忆人工神经网络)分别对猪声音信号进行前向和后向处理，同时将输出结果组合后进入下一层进行处理。充分利用声音信号的时序特征建立猪咳嗽声识别模型。如图9为本发明使用的blstm模型结构示意图。
lstm单元主要由记忆单元、输入门、输出门及遗忘门等四部分组成，其中记忆单元彼此相连形成有向环，其他门控单元调节输入与输出记忆单元的信息，lstm单元原理如下。
(1)输入门控制输入记忆单元的信息，包含前一时刻记忆的输出和此刻的输入，输入信息的百分比it定义如式(1-16)所示，式中：σ表示sigmoid函数；wi表示输入门权值；ht-1表示前一记忆单元的输出；xt表示此时刻输入；bi表示输入门阈值。
it＝σ(wi[ht-1,xt]+bi)(1-16)
(2)遗忘门控制遗忘前一记忆单元的部分状态，遗忘信息的百分比ft定义如式(1-17)所示，式中：wf表示遗忘门权值；bf表示遗忘门阈值。
ft＝σ(wf[ht-1,xt]+bf)(1-17)
(3)综合输入门与遗忘门信息，此刻记忆单元的状态ct的定义如式(1-18)所示，式中：tanh是双曲正切函数；wc表示记忆单元权值；bc表示记忆单元阈值。
ct＝ftct-1+ittanh(wc[ht-1,xt]+bc)(1-18)
(4)输出门控制输出信息，其中输出信息的百分比定义式如(1-19)所示，式中：wo表示输出门权值；bo表示输出门阈值。
ot＝σ(wo[ht-1,xt]+bo)(1-19)
(5)通过输出门控制，最终记忆单元的输出信息ht如式(1-20)所示。
ht＝ottanhct(1-20)
(6)在blstm-ctc建模过程中，定义y为对应输入猪声音信号x经过blstm-ctc模型输出的序列标记，ctc建模的目的是实现blstm网络输出y的概率最大化，其中损失函数lctc的定义如式(1-21)所示，当损失函数值越小，表示模型训练效果越好，进而实现对blstm模型的优化。
lctc＝-logp(y/x)(1-21)
(7)集束搜索算法的实现思想如下：将初始节点插入list集合；将节点从list中取出，若该节点为最终节点则输出结果，算法结束；若不是最终节点，则取集束宽度大小的最优节点添加到list中，返回第二步继续执行；当所有节点处理后，输出最优结果。
基于dfsmn+ctc的咳嗽声识别模型
dfsmn在帧级别的交叉熵训练准则下，相比blstm，在训练速度和模型参数方面展现出了显著优势。dfsmn单元由如下三个公式表示：
htn＝max(wnmtn-1+btn,0)(1-22)
ptn＝vtnhtn+vtn(1-23)
本专利中，我们用dfsmn(深层结构的前馈记忆序列神经网络)替代blstm，结合ctc再次建模，进行验证blstm+ctc的准确度，两个模型对咳嗽声识别率均达到90％以上，才表明猪只存在咳嗽行为。
图10所示为基于dfsmn+ctc(深层结构的前馈记忆序列神经网络+连接时序分类)的猪咳嗽声识别流程，对猪的咳嗽、连续咳嗽声信号提取mfcc+e(短时能量)组合特征后，将特征参数输入dfsmn网络模型中，dfsmn为有10个dfsmn组件和2个完全连接的relu(线性整流函数)叠层、一个线性投影层和一个带有对应输出可能标签输出层组成，将该输出层再作为ctc模型的输入，利用训练集声音信号的标记获取模型的损失值，完成整个dfsmn+ctc模型的训练。
猪呼吸系统疾病判断及评级标准设计
咳嗽的强度及其发生的频率等特征在判断猪只是否患呼吸系统疾病及患病程度上具有很高的诊断价值，自动识别咳嗽声及疾病预警系统能帮助饲养、管理人员更好地监护猪只。本系统设计了逻辑回归的多分类方法建立咳嗽声与呼吸系统疾病之间的联系。逻辑回归是一种广义线性回归，与多重线性回归分析有很多相同之处。首先获取系统因变量的值，包括：
(1)单次咳嗽起振峰、下落峰时间：即一次咳嗽音频段中信号起始点到峰值时间和峰值时间到信号结束的阈值。
(2)单次咳嗽峰值大小：即一次咳嗽音频段中声音信号振幅到达最大振幅的阈值(短时能量)。
(3)单次咳嗽持续时间：即一次咳嗽音频段中信号起始点到结束时的阈值。
(4)连续咳嗽声总时长：即一次连续咳嗽第一次咳嗽时间开始到最后一次咳嗽结束。
(5)连续咳嗽峰值平均幅度差：即一次连续咳嗽中峰值之间的差的平均值。
(6)连续咳嗽相邻时间间隔：即连续咳嗽中相邻两次咳嗽的时间间隔。
(7)连续咳嗽峰值频率：即连续咳嗽中出现峰值的次数(过零率)。
(8)连续咳嗽单次峰值大小：同单次咳嗽(短时能量)。
引入多分类问题softmax函数，它将一个n维的实数向量压缩成一个满足特定条件的n维实数向量。压缩后的向量满足两个条件：向量中的每个元素的大小都在[0,1]；向量所有元素的和为1，表达式如下：
建立多重线性回归方程，表达式如下：
式中z为猪只呼吸道疾病评价指标，
(1)不患呼吸道疾病猪只：z值为0-25，属于健康猪只，基本没有咳嗽状况。
(2)患轻微呼吸道疾病猪只：z值为25-60，猪只出现不正常且多次咳嗽，出现呼吸道相关疾病且程度较轻，可能原因为prrs病毒感染，猪只表现体温升高、厌食、呼吸困难等症状。
(3)患严重呼吸道疾病猪只：z值为60-80，猪只出现不正常多次连续咳嗽，呼吸道疾病程度较重，可能原因为猪甲型流感病毒(iavs)，发病猪张口呼吸，呼吸急促和腹式呼吸，伴有眼结膜潮红、水样泪流、流鼻涕、体重下降、虚脱等症状。
如图11为猪呼吸系统疾病评级标准图，将各部分相加得到最终评级值。
猪咳嗽声监测与预警平台
本发明的猪咳嗽声监测与预警平台主要负责猪咳嗽声的智能化监测和可视化展示。获取音频信号后通过socket(套接字)客户端与服务端通信技术上传深度学习服务器，利用上述深度学习模型进行数据挖掘，同时将结果与原始数据url(统一资源定位器)存入数据库，获取音视频数据后存入云端，设计html(超文本标记语言)可视化界面及安卓客户端软件实现多维度信息展示，系统同时集成短信、app(手机软件)信息通知模块，便于实时将咳嗽声信息通知管理员，及时掌握猪只健康状况。
猪咳嗽声监测与预警平台主要包括咳嗽声监测信息展示模块、短信预警模块、音视频监控模块、管理员信息管理和猪只信息管理五大模块。图12为猪咳嗽声监测与预警平台功能模块架构图。
管理员信息管理模块功能有：注册登录、密码修改、信息展示、报警信息、报表统计、参数设置、用户管理、发布通知、数据管理等，对前、后台系统的访问权限进行控制，对各猪场用户实现了启用/停用、修改/删除等操作管理，便于管理员修改个人信息及养殖人员的权限分配，使系统具有良好的安全性与可靠性。
短信预警模块在系统中内嵌短信平台接口，通过中间件监测数据库咳嗽声变化，分栋分舍进行手机短信咳嗽声预警和连续咳嗽声预警。为保证用户体验良好，同时提供手机app弹窗式消息提醒，同样采取中间件以广播式或者端对端形式发送，广播式将向所有安装app的用户例如饲养员发送消息，端对端发送则向指定用户例如管理员发送消息。做到分形式分内容管理。
连续咳嗽声监测预警模块展示系统检测到的咳嗽猪所在栋舍、咳嗽声次数、检测时间及历史信息等，便于管理员查询系统实时监测结果及历史监测信息。
猪只信息管理模块采取手动录入方式展示猪只日龄信息、猪只栋舍信息、栋舍管理员信息等，便于管理员了解每个栋舍中猪只信息，及时采取措施。
音视频监控模块通过网络平台接口，连接摄像头。用户可根据需要实时查询猪舍获取的音视频信息，同时具备音视频回放功能。
系统前台界面设计简洁实用，能够设置系统参数、接收系统通知消息，为猪场提供更好的服务，后台管理员系统界面简洁、用户体验良好，能够设置系统默认参数、备份还原数据。支持不同场区不同用户的体验。
本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】
与客服一对一沟通，为大家解决相关问题。
此文章来源于网络,如有侵权,请联系删除
热门咨询
