一种基于深度卷积神经网络的森林火灾消防方法及系统与流程

本发明涉及森林消防技术领域，具体涉及一种基于深度卷积神经网络的森林火灾消防方法及系统。

背景技术：

随着全球气候变暖，世界森林火灾频发，森林资源和人民群众生命财产损失严重。在森林火灾扑救中，扑火队员常处于一种高危险环境。无论是林火研究发达的国家，如美国、加拿大等，还是林火研究不发达的国家，如印度尼西亚等，扑火队员都面临着相似的安全威胁。据统计，森林火灾引起的伤亡人数中，扑火队员所占的比重呈现上升趋势，如何保证森林火灾扑救过程中扑火队员的人身安全问题，成为各方关注的焦点。第四次国际林火大会以扑火安全为主题，对林火安全研究工作的挑战、存在问题和关键领域等进行了深入分析和研讨，会议提议物理学家、生物学家和社会科学家团结起来、通力合作，在扑火安全方面针对迫切需要的设备开展研究。

申请号为cn201910033933.3的中国专利公开了一种全地形森林消防侦查机器人及其应用，包括机体、行走装置、独立悬挂系统、消防水炮和车载云台，机体通过独立悬挂系统连接行走装置，消防水炮和车载云台安装在机体上方。本发明全地形森林消防侦查机器人采用新型行走装置，其与独立悬挂系统、消防水炮和车载云台配合，可实现消防侦查机器人根据不同工况快速转换轮式与履带式形态，在平坦硬路面上，转换成轮式形态，从而提高行驶速度，降低功率消耗；在松软地面上，转换成履带式形态，从而增大接地面积，提高牵引力。

现有技术存在以下技术缺陷：上述机器人无法通过自动识别烟雾或火焰，控制消防水炮自动进行消防工作，实用性较低。

技术实现要素：

本发明目的在于提供一种基于深度卷积神经网络的森林火灾消防方法及系统，具有通过自动识别烟雾或火焰，控制消防水炮自动进行消防工作的优点。

为实现上述目的，本发明所采用的技术方案是：一种基于深度卷积神经网络的森林火灾消防系统，包括行走装置及设置在所述行走装置上的机体，所述机体上设置有云台，所述云台上设置有消防装置，还包括：

定位装置，用于获取所述机体的位置信息；

图像采集装置，用于采集多张多方位的环境图像；

中央控制器，所述行走装置、云台、消防装置、定位装置均与所述中央控制器电性连接；

所述中央控制器内设置有烟雾及火焰识别装置，与图像采集装置电性连接，用于对所述图像采集装置采集的环境图像进行处理，并识别所述环境图像中的烟雾图像及火焰图像，检测所述机体的周围是否发生火灾；所述烟雾及火焰识别装置识别环境图像中存在烟雾图像或火焰图像时，所述中央控制器控制所述行走装置、云台及消防装置配合进行消防工作；

所述定位装置、图像采集装置、烟雾及火焰识别装置及中央控制器均设置在所述机体上。

优选的，所述图像采集装置包括四个图像传感器，四个所述图像传感器分别安装在所述机体的四周。

优选的，所述烟雾及火焰识别装置包括

训练模块，用于使用多张所述环境图像对卷积神经网络进行训练，获得tiny-yolov3模型；与之前的yolo算法相比，yolov3采用了精度更高的darknet53作为特征提取网络，设计了目标多尺度检测结构，使用了logistic函数代替传统的softmax函数。darknet53借鉴了resnet残差网络的思路，在一些层之间设置了快捷路径，研究表明：darknet53相比于resnet-152，在精度上接近，但速度更快；

目标检测模型，用于识别所述环境图像中的烟雾图像及火焰图像；

图像预处理模块，用于对所述环境图像进行直方图均衡化处理和对数变换处理，获得处理后的环境图像，并将处理后的所述环境图像发送至训练模块及目标检测模型。

优选的，所述tiny-yolov3模型使用二元交叉熵损失函数进行类别预测，

其中，n是训练图片的总数量；yi取值为0或1，yi取值为1表示第i张输入的图片包含垃圾的图像，yi取值为0则表示第i张输入的图片不包含垃圾的图像；pi值为对第i张输入的图片是否包含垃圾的图像的预测的概率，pi值在0至1之间。

优选的，所述深度卷积神经网络模型包括darknet框架，所述darknet框架包括53个卷积层及22个residual层，所述darknet框架中的53个卷积层用于对草地的环境图像进行特征提取，所述darknet框架中的22个residual层用于解决深度卷积神经网络模型中的梯度弥散或梯度爆炸。

通过上述技术方案，一方面，darknet-53网络采用全卷积结构，yolov3前向传播过程中，张量的尺寸变换是通过改变卷积核的步长来实现的。卷积的步长为2，每次经过卷积之后，图像边长缩小一半。另一方面，darknet-53网络引入了residual结构。yolov2中还是类似vgg那样直筒型的网络结构，层数太多训起来会有梯度问题，所以darknet-19也就19层。得益于resnet的residual结构，训练深层网络的难度大大减小。因此darknet-53网络做到53层，精度提升比较明显。

优选的，训练模块包括labelimage工具。

优选的，所述训练模块采用随机梯度下降法优化tiny-yolov3模型。

通过上述技术方案，随机梯度下降(stochasticgradientdescent,sgd)是梯度下降算法的一个扩展。随机梯度下降的核心是：梯度是期望。期望可使用小规模的样本近似估计。批量梯度下降法(batchgradientdescent,bgd)：是梯度下降法的最原始形式，每迭代一步或更新每一参数时，都要用到训练集中的所有样本数据，当样本数目很多时，训练过程会很慢。随机梯度下降法(stochasticgradientdescent,sgd)：由于批量梯度下降法在更新每一个参数时，都需要所有的训练样本，所以训练过程会随着样本数量的加大而变得异常的缓慢。随机梯度下降法正是为了解决批量梯度下降法这一弊端而提出的。随机梯度下降是通过每个样本来迭代更新一次。sgd伴随的一个问题是噪音较bgd要多，使得sgd并不是每次迭代都向着最优化方向进行。

一种基于深度卷积神经网络的森林火灾消防方法，应用于权利要求1-7任意一项所述的一种基于深度卷积神经网络的森林火灾消防系统，包括以下步骤，

s1：使用多张环境图像对卷积神经网络进行训练，获得目标检测模型，执行s2；

s2：以机体的初始位置为原点建立环境栅格地图，执行s3；

s3：获取当前栅格的多张多方位的环境图像，执行s4；

s4：识别所述环境图像中是否有烟雾图像及火焰图像，若是，执行s5，若不是，执行s6；

s5：控制云台及消防装置进行消防工作，执行s3；

s6：检测机体的四周是否存在障碍物，并按照行走规则及内螺旋算法控制行走装置带动机器人移动至下一栅格内，执行s3。

优选的，所述s4包括以下步骤，

s41：对环境图像进行直方图均衡化处理和对数变换处理，输入至目标检测模型，执行s42；

s42：目标检测模型识别所述环境图像中是否有烟雾图像及火焰图像。

优选的，所述s42还包括以下步骤，

s421：设置iou阈值及置信度阈值，执行s422；

s422：对输入的环境图像进行尺寸调整，执行s423；

s423：输入至tiny-yolov3模型进行特征提取，执行s424；

s424：通过类似fpn网络对烟雾或火焰进行多尺度融合预测，将特征图划分为多个网格；使用k-means聚类方法对训练集的边界框做聚类，得到合适的anchorbox，并在每个网格上产生3个anchorbox数来生成预测的目标边界框，通过二元交叉熵损失函数来预测类别。

综上所述，本发明的有益效果为：

1、本发明具有通过自动识别烟雾或火焰，控制消防水炮自动进行消防工作的优点；

2、本发明还设置有避障装置，使得本系统能胜任环境较为复杂的区域的消防工作，具有进一步提高了本系统的实用性的优点。

附图说明

图1为本发明用于展示一种基于深度卷积神经网络的森林火灾消防系统的结构示意图；

图2为本发明的用于展示一种基于深度卷积神经网络的森林火灾消防系统的框图；

图3为本发明用于展示一种基于深度卷积神经网络的森林火灾消防方法的流程示意图；

图4为本发明用于展示建立栅格地图的示意图；

图5为本发明的实施例用于展示第一张识别环境图像中的烟雾图像及火焰图像的示意图；

图6为本发明的实施例用于展示第二张识别环境图像中的烟雾图像及火焰图像的示意图。

图中，1、行走装置；2、机体；3、云台；4、消防装置；5、图像传感器；6、避障装置；61、前方红外测距传感器；62、左侧红外测距传感器；63、右侧红外测距传感器。

具体实施方式

下面结合本发明的附图1～6，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1、2，一种基于深度卷积神经网络的森林火灾消防系统，包括行走装置1及设置在行走装置1上的机体2，机体2上设置有云台3，云台3上设置有消防装置4。值得说明的是，本实施例中，行走装置1包括行星齿轮减速机构、轮毂机构和橡胶履带传动机。行星齿轮减速机构包括前行星架、后行星架、驱动轴、太阳轮、行星轴、行星轮和离合器；太阳轮固定安装在驱动轴上，驱动轴穿过后行星架，行星轮通过轴承连接安装在行星轴上，三个行星轮与太阳轮相啮合，行星轴安装连接于前行星架和后行星架之间，离合器安装于驱动轴与后行星架之间。行星齿轮减速机构还包括制动器，制动器安装于后行星架与机体2之间。轮毂机构包括毂板、加强板和承重轴，每侧毂板通过承重轴对应连接加强板，支撑杆一端与毂板铰接、另一端与前行星架或后行星架铰接。橡胶履带传动机构包括橡胶履带、驱动轮、承重轮；驱动轮安装于行星轴并固定连接在行星轮上，行星轮左右两端各有一个驱动轮，承重轮安装在毂板与加强板之间的承重轴上，橡胶履带包裹着驱动轮和承重轮，且橡胶履带内侧与驱动轮啮合。

值得说明的是，本实施例中，云台3为电动云台3，包含两台执行电动机，两台执行电动机的输出轴上均连接有编码器，通过两台编码器，分别实现云台3仰俯角度和水平转动角度的监测。消防装置4为水炮，机体2内设置有水箱，水箱内蓄有水，水炮与水箱的内部通过软管连接。

参照,1、2，本系统还包括：

定位装置，用于获取机体2的位置信息，值得说明的是，本实施例中，定位装置为北斗定位器；

图像采集装置，包括四个图像传感器5，值得说明的是，本实施例中，图像传感器5为高清摄像机，四个高清摄像机分别位于机体2的前方、后方、左侧和右侧，用于采集四个方向上的环境图像；

中央控制器，行走装置1、云台3、消防装置4、离合器、制动器及两台编码器均与中央控制器电性连接，本实施例中，中央控制器采用高通的单核cpu；

中央控制器内设置有烟雾及火焰识别装置，与图像采集装置电性连接，用于对图像采集装置采集的环境图像进行处理，并识别环境图像中的烟雾图像及火焰图像，检测机体2的周围是否发生火灾，烟雾及火焰识别装置识别环境图像中存在烟雾图像或火焰图像时，中央控制器控制行走装置1、云台3及消防装置4配合进行消防工作。

定位装置、图像采集装置、烟雾及火焰识别装置及中央控制器均设置在机体2上。

烟雾及火焰识别装置包括

训练模块，用于使用多张环境图像对卷积神经网络进行训练，获得目标检测模型，值得说明的是，目标检测模型为tiny-yolov3模型，训练模块包括labelimage工具，训练模块采用随机梯度下降法优化tiny-yolov3模型。

随机梯度下降(stochasticgradientdescent,sgd)是梯度下降算法的一个扩展。随机梯度下降的核心是：梯度是期望。期望可使用小规模的样本近似估计。批量梯度下降法(batchgradientdescent,bgd)：是梯度下降法的最原始形式，每迭代一步或更新每一参数时，都要用到训练集中的所有样本数据，当样本数目很多时，训练过程会很慢。随机梯度下降法(stochasticgradientdescent,sgd)：由于批量梯度下降法在更新每一个参数时，都需要所有的训练样本，所以训练过程会随着样本数量的加大而变得异常的缓慢。随机梯度下降法正是为了解决批量梯度下降法这一弊端而提出的。随机梯度下降是通过每个样本来迭代更新一次。sgd伴随的一个问题是噪音较bgd要多，使得sgd并不是每次迭代都向着最优化方向进行。

目标检测模型，用于识别环境图像中的烟雾图像及火焰图像；

图像预处理模块，用于对环境图像进行直方图均衡化处理和对数变换处理，以在增强环境图像的整体对比度的同时增强环境图像的暗部细节，获得处理后的环境图像，并将处理后的环境图像发送至训练模块及目标检测模型。

tiny-yolov3模型包括darknet框架，所述darknet框架包括53个卷积层及22个residual层，所述darknet框架中的53个卷积层用于对草地的环境图像进行特征提取，所述darknet框架中的22个residual层用于解决深度卷积神经网络模型中的梯度弥散或梯度爆炸。一方面，darknet-53网络采用全卷积结构，yolov3前向传播过程中，张量的尺寸变换是通过改变卷积核的步长来实现的。卷积的步长为2，每次经过卷积之后，图像边长缩小一半。另一方面，darknet-53网络引入了residual结构。yolov2中还是类似vgg那样直筒型的网络结构，层数太多训起来会有梯度问题，所以darknet-19也就19层。得益于resnet的residual结构，训练深层网络的难度大大减小。因此darknet-53网络做到53层，精度提升比较明显。

参照图1、2，值得说明的是，本系统还包括避障装置6，避障装置6与中央控制器电性连接，避障装置6用于检测机体2的四周是否存在障碍物。避障装置6包括前方红外测距传感器61、左侧红外测距传感器62及右侧红外测距传感器63，前方红外测距传感器61、左侧红外测距传感器62均与中央控制器电性连接。

值得说明的是，本实施例中，本系统还包括gprs无线通信装置，操作人员使用上位机或移动终端通过gprs无线通信装置与中央控制器通信。

参照图3，一种基于深度卷积神经网络的森林火灾消防方法，应用于一种基于深度卷积神经网络的森林火灾消防系统，包括以下步骤，

s1：使用多张环境图像对卷积神经网络进行训练，获得目标检测模型，执行s2；

值得说明的是，本实施中，用于实验的数据集有三部分，第一部分来自加州大学欧文分校的森林火灾数据集，从中收集到森林火焰样本2000张；第二部分火焰和烟雾数据集为从森林火灾相关视频中截取，获得森林火焰样本5500张，森林烟雾样本4200张；第三部分火焰和烟雾数据集为从石油化工、大型仓库火灾现场视频中截取，以增强模型的泛化能力，获得火焰样本4000张，烟雾样本2000张；三部分样本一共收集到火焰样本11500张，烟雾样本8200张，对获得的火焰和烟雾样本进行数据增强，得到不同角度、不同光照和不同噪音的火焰样本46000张、烟雾样本32000张，将收集到的样本检测为416*416大小；随机选用火焰样本36800张、烟雾样本25600张为训练集进行训练，剩下的火焰样本和烟雾样本则作为测试集。总共训练次50000次，每训练5000次自动保存一次权重，基础学习率为0.001，批量大小为32，动量为0.9，权重衰减系数为0.0005，采用l2正则化减少过拟合。

参照图4，s2：以机体2的初始位置为原点建立环境栅格地图，执行s3；值得说明的是，在建立环境栅格地图时，中央控制器以当前机体2所在的初始位置为原点o，且为一个边界点按照设定的地图长度及宽度建立栅格地图，操作人员也可以通过上位机或移动终端改变该栅格地图的长度或宽度；栅格地图中的栅格用二维数组map[][]表示，map[x][y]＝0，表示该栅格没有被访问过，map[x][y]＝1，表示该栅格中存在障碍物，map[x][y]＝2，表示系统已经走过；

s3：获取当前栅格的多张多方位的环境图像，执行s4；值得说明的是，多张方位的环境图像即四个高清摄像机在采集的位于机体2的四个方向环境图像；

s4：识别环境图像中是否有烟雾图像及火焰图像，若是，执行s5，若不是，执行s6；

s5：控制云台3及消防装置4进行消防工作，执行s3；值得说明的是，当某一方位的高清摄像机采集的图像中检测到烟雾图像或火焰图像时，中央控制器控制云台3转动，使得水炮对该方位进行消防工作；

s6：检测机体2的四周是否存在障碍物，并按照行走规则及内螺旋算法控制行走装置1带动机器人移动至下一栅格内，执行s3。

s4包括以下步骤，

s41：对环境图像进行直方图均衡化处理和对数变换处理，输入至目标检测模型，执行s42；

s42：目标检测模型识别环境图像中是否有烟雾图像及火焰图像。

s42还包括以下步骤，

s421：设置iou阈值及置信度阈值，执行s422；

s422：对输入的环境图像进行尺寸调整，执行s423；

s423：输入至tiny-yolov3模型进行特征提取，执行s424；

s424：通过类似fpn网络对烟雾或火焰进行多尺度融合预测，将特征图划分为多个网格；使用k-means聚类方法对训练集的边界框做聚类，得到合适的anchorbox，并在每个网格上产生3个anchorbox数来生成预测的目标边界框，通过二元交叉熵损失函数来预测类别，

其中，n是训练图片的总数量；yi取值为0或1，yi取值为1表示第i张输入的图片包含垃圾的图像，yi取值为0则表示第i张输入的图片不包含垃圾的图像；pi值为对第i张输入的图片是否包含垃圾的图像的预测的概率，pi值在0至1之间。tiny-yolov3模型包括darknet框架，darknet框架包括53个卷积层及22个residual层，darknet框架中的53个卷积层用于对草地的环境图像进行特征提取，darknet框架中的22个residual层用于解决深度卷积神经网络模型中的梯度弥散或梯度爆炸。

值得说明的是，参照图5、6，本实施例还对tiny-yolov3模型的性能进行了检测，在tiny-yolov3目标检测模型的fps为41f/s，具有较好的实时检测效果。对火焰和烟雾检测的准确率(accuracy)和召回率(recall)如表1所示：

表1

从表1可以看出，tiny-yolov3目标检测模型对火焰检测的准确率为94.82％，召回率为90.12％。对烟雾检测准确率为90.49％，召回率为85.26％，对火焰和烟雾检测有较高的准确率和召回率。

值得说明的是，内螺旋算法是指系统按一定的方向对栅格地图进行覆盖，本实施例中，系统按照顺时针的方向对栅格地图进行覆盖。系统没有经过的栅格，用map[x][y]-＝0进行标识，系统经过的栅格用map[x][y]＝2进行标识，系统检测到存在障碍物的栅格，用map[x][y]＝1进行标识，系统每经过一个栅格，对栅格地图的栅格标识进行更新。

行走规则具体包括以下步骤，

s61：检测机体2的前方是否存在障碍物，若不存在，执行s62，若存在，执行s63；

s62：检测机体2的左侧是否存在障碍物，若不存在，左转，若存在，直行；

s63：检测机体2的左侧是否存在障碍物，若不存在，左转，若存在，右转。

值得说明的是，当机体位于某一栅格，且该栅格的前方、左侧及右侧均检测存在障碍物时，中央控制器选择与该栅格距离最短且未被访问的下一个栅格，并规划路线控制机体移动至该下一个栅格，执行s3。

在本发明的描述中，需要理解的是，术语“逆时针”、“顺时针”“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除