一种铁路货车关键部件故障图像智能检测装置的制作方法

本发明属于自动化检测技术与图像识别技术领域，具体涉及一种铁路货车关键部件故障图像智能检测装置。

背景技术：

货车故障轨边图像检测系统(tfds)是我国铁路货车运行安全的重要保障设备，是铁路车辆5t系统之一。该系统是通过在铁路轨边安装一套tfds装置，可实时获取经过设备的铁路货车车辆的图像数据和车辆信息，通过后台数据处理，将图像推送至铁路货车列检中心，通过人工看图的方式检测故障。

人工检测方式虽然发现了很多故障，但也存在以下问题：1)工作强度大，检车效率低；2)受人员素质、个人能力等影响，错检、漏检故障现象经常发生，作业质量不能保证；3)需要培养大量的动检人员，人员成本居高不下。

随着货车故障轨边图像检测系统在全路的应用，tfds图像故障检测能够自动识别并智能预警的需要已经日益凸现，自动识别技术将成为与铁路运输系统紧密连接的重要创新点和应用方向。

技术实现要素：

针对目前tfds图像故障检测需要自动识别并智能预警的需求，本发明提供了一种铁路货车关键部件故障图像智能检测装置，以识别铁路货车关键部件故障。

本发明的铁路货车关键部件故障图像智能检测装置，包括：高速线阵成像单元、高速三维成像单元、面阵抓拍成像单元、图像采集处理单元、车轮传感器、车辆信息采集单元、图像存储单元、图像自动识别单元、信号控制单元以及铁路车号自动识别装置(aei)。

高速线阵成像单元和高速三维成像单元布置在两侧和铁轨下方，面阵抓拍成像单元布置在铁轨的两侧。高速线阵成像单元、高速三维成像单元和面阵抓拍成像单元分别连接一个图像采集处理单元。高速线阵成像单元从图像采集处理单元接收启动扫描拍照信号，从信号控制单元接收触发脉冲信号，对运行中的火车部件拍摄线阵图像。高速三维成像单元从图像采集处理单元接收启动拍照信号，从信号控制单元接收触发脉冲信号，对运行中的火车部件拍摄三维图像。面阵抓拍成像单元从图像采集处理单元接收启动拍照信号，从定位抓拍磁钢接收脉冲信号，对火车车轮部位拍摄面阵图像。

图像采集处理单元获取高速线阵成像单元、高速三维成像单元和面阵抓拍成像单元拍摄的图像，对图像进行变换和增强处理，处理后的线阵图像压缩发送至图像存储单元和图像自动识别单元，处理后的三维图像和面阵图像发送至图像自动识别单元。

车轮传感器安装在铁轨内侧。车轮传感器包括开机磁钢、计轴计辆及测速磁钢和定位抓拍磁钢。开机磁钢在有火车车轮经过时触发检测装置由待机状态进入接车工作状态。定位抓拍磁钢在火车车轮经过时生成脉冲信号发送给面阵抓拍成像单元触发拍照。计轴计辆及测速磁钢在火车车轮经过时，生成脉冲信号给车辆信息采集单元。

铁路车号自动识别装置识别火车车身底部的电子标签信息并发送给车辆信息采集单元。

车辆信息采集单元接收车轮传感器信号及火车的电子标签信息，计算出当前火车车轮的实时速度，进而计算出车轴之间的距离，通过模板匹配的方式得到火车的轴距，同时将读取到的火车的电子标签信息融合，形成完整的车辆信息，发送给图像存储单元和图像自动识别单元。车辆信息采集单元根据火车的轴距进一步识别当前火车是否为货车。

通过网络通知图像采集处理单元开启或停止采集图像。车辆信息采集单元根据当前火车车轮的实时速度，实时更新相机的扫描频率，并发送给信号控制单元。

信号控制单元接收车轮传感器的脉冲信号，并进行滤波整形处理，将整形后信号实时发送给车辆信息采集单元，同时接收车辆信息采集单元的输出信号，做信号分频处理后发送给高速线阵成像单元和高速三维成像单元，触发拍照。

图像自动识别单元接收车辆信息和火车图像，根据车辆信息对图像分类，对图像中的异常进行定位和识别，将识别结果发送至图像存储单元。

本发明的铁路货车关键部件故障图像智能检测装置，相对于现有技术，具有如下优点：

(1)本发明采用多种成像方式获取火车图像，所加入的3d机器视觉技术有多方面的优势，通过高速三维成像单元采集的数据有3个维度的信息，可以补偿2d图像检测的不足，比如判别有水渍油渍的故障点，通过2d数据自动识别为误报故障，通过3d数据可忽略表面水渍油渍，过滤该误报点，从而提高货车部件故障检测的准确率。

(2)本发明可针对性抓拍指定部件，定位精度高；通过硬件设计直接触发相机拍照，忽略了车辆运行速度变化带来的图像窜位等影响，可准确定位拍摄滚动轴承端头螺栓、锁紧板、枕簧等位置图片，识别过程可减少定位这个过程，提高识别效率。

(3)本发明采用基于深度学习的图像自动识别技术，定位关键部位和识别故障，通过对少数负样本进行过采样的方法，使得以往限制机器学习算法应用、造成误报漏报较多的样本不平衡问题得以解决，并且实验证明本发明装置具有较高的故障诊断准确率以及较低的误报率。

附图说明

图1为本发明装置的整体连接示意图；

图2为本发明装置的轨边部分安装图；

图3为本发明线阵图像比对的流程图；

图4为本发明线阵图像拉伸案例图；

图5为本发明装置将图4修正后的效果图；

图6为本发明对货车轴端螺栓丢失故障的识别效果统计趋势示意图；

图7为本发明对货车挡键丢失故障的识别效果统计趋势示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

如图1所示，本发明提供的一种铁路货车关键部件故障图像智能检测装置可分为三部分，分别是轨边单元、室内单元和列检中心。其中轨边单元及室内单元安装在探测站，探测站一般位于到达货车列检所前10km-20km的轨边咽喉处。轨边单元主要包含高速线阵成像单元、高速三维成像单元、面阵抓拍成像单元、铁路车号自动识别装置(aei)的室外天线、车轮传感器，安装在铁轨下及铁轨两侧，完成货车车辆信息的探测及图像拍照功能。室内单元主要包含车辆信息采集单元、图像采集处理单元、图像存储单元、图像自动识别单元、信号控制单元、aei室内单元，安装在距离轨边单元100m内的轨边机房内，完成信号控制、车辆信息采集、图像数据采集处理、图像识别及数据存储功能。列检中心主要包括报警终端。

本发明采用多种成像方式来获取火车部位的图像，通过三维成像能补偿通过2d图像检测的不足。如图1所示，本发明设置有三个图像采集处理单元，分别与高速线阵成像单元、高速三维成像单元和面阵抓拍成像单元连接，高速线阵成像单元、高速三维成像单元还与信号控制单元连接。如图2所示，本发明实施例中，在铁轨的两侧布置面阵抓拍成像单元，在铁轨两侧和铁轨下方布置高速线阵成像单元和高速三维成像单元，在铁轨内侧布置车轮传感器。

高速线阵成像单元，由线阵相机和激光补偿光源组成，用于对运行中的货车车辆走行部进行成像。本发明实施例中，高速线阵成像单元的激光光源发光波长为808nm，同时线阵相机镜头内安装有808nm带通滤光片，在相机成像时不会因阳光干扰而导致图像曝光过度，从而影响图像质量。相机成像频率50khz以上在千兆网接口来说就是高速了，本发明的线阵相机成像频率在80khz，因此称为高速线阵成像单元。高速线阵成像单元具有硬件输入触发接口和网口，触发口输入端连接信号控制单元的信号输出端，网口与第一图像采集处理单元的网口连接。当货车经过探测站时，第一图像采集处理单元会通过网络通知高速线阵成像单元启动扫描拍照，同时车辆信息采集单元控制信号控制单元给高速线阵成像单元发送触发脉冲信号，高速线阵成像单元完成曝光拍照，同时图像数据会通过网络发送至第一图像采集处理单元做图像前期处理。

高速三维成像单元，由3d相机和激光光源组成，用于获取运行中的货车车辆关键部位的三维信息数据。本发明实施例中，高速三维成像单元的激光光源发光波长为915nm，同时3d相机镜头内安装有915nm带通滤光片，具有抗阳光干扰功能，同时高速三维成像单元与高速线阵成像单元位置距离比较近，为防止发生光学干涉，因此设计这两个成像单元使用的激光光源波长不一样。高速三维成像单元同样具有硬件触发接口和网口，工作取图方式同高速线阵成像单元。高速三维成像单元的触发接口的输入端连接信号控制单元的信号输出端，网口与第二图像采集处理单元的网口连接。当货车经过探测站时，第二图像采集处理单元通过网络通知高速三维成像单元启动拍照，同时车辆信息采集单元控制信号控制单元给高速三维成像单元发送触发脉冲信号，高速三维成像单元拍照。高速三维成像单元的工作原理是通过三角测量法获取运行中的货车车辆关键部位的三维信息数据，将三维图像数据通过网线发送至第二图像采集处理单元。

面阵抓拍成像单元，由面阵相机和led补偿光源组成，抓拍运动中的货车车轮及附近关键部位的图像。其中led补偿光源发光波长为610nm，同时面阵相机镜头内安装有610nm带通滤光片，具有抗阳光干扰功能。面阵抓拍成像单元具有硬件触发接口和网口，硬件触发接口的输入端连接定位抓拍车轮传感器，即图1中的第二车轮传感器，网口连接第三图像采集处理单元。当货车经过探测站时，第三图像采集处理单元通过网络通知面阵抓拍成像单元启动拍照功能，当车轮经过磁钢上方时产生脉冲信号触发相机拍照，通过此种硬件直接触发方式可减少延时，精确抓拍车轮附近的关键部件，如轴端螺栓、锁紧板、承载鞍、枕簧等，同时图像数据会通过网络发送至第三图像采集处理单元做图像处理。

图像采集处理单元，通过网线连接成像单元，用于配置成像单元参数，获取成像单元图像数据，处理图像数据，并将数据分别发送至图像存储单元和图像自动识别单元。当火车经过探测站时，图像采集处理单元获取成像单元拍摄的图像，对图像进行图像变换(旋转、镜像)、图像增强、图像压缩、三维数据空间变换等处理，同时，对不同类型图像做分发处理，线阵图像经过压缩后分别发送至图像存储单元和图像自动识别单元，三维图像和面阵图像处理后发送至图像自动识别单元。

车轮传感器，又称磁钢，安装在铁路钢轨内侧，车轮传感器分为开机磁钢、计轴计辆及测速磁钢、定位抓拍磁钢，如图2所示。图1中的第一车轮传感器和第二车轮传感器仅是一个示意，其中第二车轮传感器为定位抓拍磁钢。本发明的开机磁钢和计轴计辆及测速磁钢信号输出端接入在信号控制单元，当车辆经过时产生模拟信号，并将信号实时传递至信号控制单元进行处理。定位抓拍磁钢信号输出端接到面阵抓拍成像单元信号输入端，用于触发相机拍照。开机磁钢称作1、2号磁钢，成对出现，1、2号磁钢安装距离为250mm±10mm，安装在距离探测设备来车方向前80米位置，当火车经过1、2号磁钢时会触发检测装置由待机状态进入接车工作状态。计轴计辆及测速磁钢称作3、4号磁钢，成对出现，3、4号磁钢安装距离为250mm±10mm，安装在距离探测设备来车方向前4-5米处，该磁钢的作用是测速、计轴计辆、判别火车类型，例如当货车经过探测站时正常接车，当客车或者动车经过探测站时中断接车，装置进入待机状态。计轴计辆及测速磁钢在火车经过时，当车轮经过磁钢时，生成脉冲信号给车辆信息采集单元。定位抓拍磁钢的信号输出端直连面阵抓拍成像单元，当车轮经过磁钢时，生成脉冲信号直接触发相机拍照，达到精准抓拍的目的。

铁路车号自动识别装置(aei)，分为室外天线和室内单元，通过同轴电缆连接。当货车底部电子标签射频卡进入室外天线工作区时，室外天线收到电子标签发来的载波信号，通过同轴电缆传送到室内单元，室内单元对接收到的载波信号进行解调、解码，将解码后的电子标签信息通过串口通信方式发送至车辆信息采集单元。电子标签信息包括站段归属、车辆车型、车号等信息。

车辆信息采集单元，是本装置的核心控制单元，主要功能是信号接收及控制调度，对接收到的车辆信息进行计算加工处理，根据计算结果输出相关信号。车辆信息采集单元用于采集车轮传感器信号及车辆电子标签信息，计算出当前货车车轮的实时速度，进而计算出车轴之间的距离，通过模板匹配的方式得到该货车的轴距信息，同时将读取到的车辆电子标签信息融合，形成完整的车辆信息，发送给图像存储单元。车辆信息采集单元还通过网络方式告知图像采集处理单元何时采集图像或者停止采集图像。车辆信息采集单元还通过得到的当前车轮的速度，实时更新相机的扫描频率，通过信号控制单元输出至高速线阵成像单元及高速三维成像单元，以达到好的图像效果。

车辆信息采集单元接收设置3、4号磁钢距离为s，当火车车轮经过3、4号磁钢时的时间分别为t1、t2，则可计算出当前火车车轮的速度同时记录火车每根轴经过4号磁钢时的时间tn，进而根据距离等于速度乘以时间的公式，可计算出火车的每个转向架的轴距和每辆车前后两个转向架之间的轴距，通过这些轴距信息与标准轴距模版做匹配，可得到每辆车的轴距信息，可进一步判别客货车，同时可根据这些信息对采集的图像进行匹配剪裁等。

图像存储单元，用于接收车辆信息和火车图像数据，将车辆信息和图像数据关联，存储在本地。同时，图像存储单元接收图像自动识别单元的报警识别结果，将识别结果与车辆信息等数据融合后存储，并将识别的报警结果推送至列检中心。

信号控制单元，用于接收车轮传感器的脉冲信号，并进行滤波整形处理，将整形后信号实时发送给车辆信息采集单元，同时接收车辆信息采集单元的输出信号，做信号分频处理后，将信号发送给高速线阵成像单元和高速三维成像单元，触发成像单元相机拍照。

图像自动识别单元接收车辆信息和拍摄的高清图像，根据车辆信息对货车车辆图像数据分类，对图像中的异常进行定位和识别，将识别结果发送至图像存储单元。图像自动识别单元主要实现了线阵图像对比功能、货车关键部件定位和模块化图像比对功能、以及基于深度学习的图像自动识别功能。

线阵图像对比功能。如图3所示，图像自动识别单元根据车号获取货车图像数据，加载当前拍摄的图像和历史的图像，进行图像配准后进行全局对比分析，实现线阵图像的对比，识别车辆异常。要实现线阵图像自动对比，需要解决图像拉伸压缩的配准问题。线阵采集的图片由于速度变化等各种原因会出现拉伸、压缩或错位的情况，采用图像配准技术可解决图像拉伸、压缩或错位的问题。图4为由于速度变化导致图像拉伸的案例，图5为将图4修正为标准图案例。本发明中通过图像定位技术在当前拍摄的图像找到车轮位置，同时根据车号得到该车的轴距信息、转向架类型等，通过该车的实际轴距信息可以将图像进行拉伸或者压缩，结合图像配准技术，将形变图恢复至正常图。

关键部件定位和模块化图像比对功能。除了利用线阵图像进行整车的对比识别外，对关键部件的重点识别在也发挥着重要作用。通过定位核心部件和多发异常部件，设置针对性策略和参数，设置合理的报警策略，可以提高检测精度，降低误报。关键部件定位方法主要有：a.图像处理和特征检测。b.人工标定不同种类车型货车的关键部件的标准模板，将采集到的图像的关键部件图像与人工标定的标准模板进行比例匹配、配准匹配或相似度匹配。c.训练模型检测。采用智能学习算法，对多次采集的同一车辆同一部位图像进行比对和分析，对出现异常的图像进行自动报警。

本发明将深度学习技术运用于关键部位故障识别中，本发明实施例具体应用基于keras框架下的vgg16深度网络进行重要部件图像特征的提取。vgg16网络是依据imagenet数据集分类的需求而设计的，包括13个卷积层和3个全连接层，中间有5次池化操作，目的是减小参数量并使特征获得对微小位移的不变性，最后的softmax层将1000维实数值输出转化为不同分类的概率。在关键部位故障识别应用中，对于关键部位图像，先将其大小转化为统一设定的尺寸，如224*224像素，再将vgg16网络中的最后softmax层，以及倒数第二层，即1000个节点的全连接层去掉，最后进行前向计算，可得到每幅图像的4096维特征向量表示。深度网络提取特征向量会兼顾全局与局部信息，并对目标物的微小移动不敏感，这就可以防止因为定位误差造成误判。

在生成深度学习的训练数据集时，采用监督学习方式标记出正负样本，正样本的标记为1，负样本标记为-1，负样本表示出现故障。最后把特征向量及标签送入支持向量机中进行训练，得到模型文件。支持向量机输出分类结果，分类结果为出现故障或者无故障。

对于铁路系统而言，运用机器学习算法的核心问题在于正负样本严重不平衡，对于铁路列车，由于出现故障的情况非常少，因此可供积累的负样本严重偏少。在这种情况下，如果直接将大量的正样本和极少的负样本用于训练，最后会得到一个几乎无法检测出负样本的分类器，因为数据集中绝大多数是正样本，哪怕分类器把全部样本都判断为正样本，准确率也是接近100％。在这种情况下，需要对训练数据集进行处理，改善正负样本不平衡的状态，本发明采用smote(syntheticminorityoversamplingtechnique)算法扩充负样本，smote算法为一种将少数类样本进行过采样的算法。一般而言，常见的样本集在属性空间中往往存在以下特性：某类样本趋向于出现在同类样本附近，故该算法在少数类样本的邻域中添加新样本。在smote算法中，邻域空间的确定采用k近邻法：首先在少数类样本中随机选择一个样本x，然后在剩余全部少数类样本中找到其k近邻样本，从中随机选取一个近邻样本x’，进而在样本x与x’连接线某个位置生成新样本，最终达到扩充负样本，解决样本不平衡问题的效果。

在训练好vgg16网络和支持向量机，得到模型文件后，在实时线上运行时，对采集的图像进行部位识别，找出很多疑似关键部位的矩形框区域，再对这些矩形框区域的位置进行排序，根据关键部位的排布规律筛选校验，筛选得到每一个关键部位区域的定位图像，最后结合模型文件，对截取出来的像素区域进行故障检测。

图像自动识别单元还利用采集的3d图像进行故障补充检测。对于2d图像，其本质记录的是物体表面反射光强度的信息；而3d图像记载的是深度信息。因此，对于列车表面上的水渍、污渍等，在2d图像上会体现为噪点和干扰。若对这样的图像进行特征提取，就会把这些污渍等干扰也提取为特征向量纳入数据集，其必然对后续的定位和识别带来影响。图像自动识别单元提取货车在无故障情况下所采集的3d图像的灰度特征和梯度特征，作为标准保存，对实时采集的3d图像的灰度特征和梯度特征与标准对比，判断部件是否出现故障。对于3d图像，提取灰度特征，本质上表征的是物体相对于相机镜头深度分布的信息；提取梯度特征，本质上表征的是物体表面高低差以及粗糙度的信息。对于固定在轨边的设备，因轨间距以及列车各部件均为标准件，在无故障情况下，部件表面的深度信息是非常稳定的，不会受表面污渍，水渍，以及环境光照等因素影响。当各部件发生故障时，深度信息的变化是非常明显的，因此在3d图像上提取特征用于检测故障判别优于2d图像。

本发明实施例利用南京东车辆段配属的货车，对安装在南京东车辆段的探测站装置进行了测试，经过5个多月的模拟故障及测试结果分析，积累了大量故障样本，随着故障样本积累的逐渐增多及大量故障样本训练，从第16次验证开始装置趋于稳定，如图6和7所示，故障识别误报率达到50％以下，并实现零漏报。在设备试用过程中，室外相机受环境影响，拍摄的图像质量有所下降，误报率有一定程度上的升高，在可控范围内，定期维护清洁成像单元可以提高拍摄图像质量，降低误报率。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除