一种驾驶员的驾驶能力判断方法、安全驾驶方法及其系统与流程

本发明涉及驾驶员驾驶状态检测领域，特别是一种驾驶员的驾驶能力判断方法、与所述驾驶员的驾驶能力判断方法相对应的驾驶员的驾驶能力判断装置、采用所述驾驶员的驾驶能力判断方法的安全驾驶方法、采用所述驾驶员的驾驶能力判断装置的安全驾驶系统。

背景技术：

随着汽车工业的快速发展，交通事故的概率也在不断上升，其中，大多数事故是由人为因素造成的，如疲劳驾驶、驾驶员突发疾病、驾驶员注意力分散等。如何预防和降低此类因驾驶员状态异常发生的交通事故，关键在于对驾驶员异常状态的检测和识别。目前，对驾驶员的状态检测多为基于视觉传感器的疲劳状态检测，或者通过接触设备检测驾驶员的心跳、血压等的健康检测。单一传感器检测驾驶员状态存在检测到的特征信息少，识别状态单一的缺点，接触式传感器存在佩戴麻烦，或者使驾驶员感到不舒适的缺点。

现有专利文献专利申请《基于多传感器融合的驾驶员状态监测方法和系统》(公布号为cn111179552a，公布日为2020年05月19日)，其通过采集驾驶员的闭眼行为并当闭眼行为的时长超过闭眼阈值时，由此判断驾驶员处于第一疲劳状态，过采集驾驶员的打哈欠行为并当打哈欠行为的时长超过打哈欠阈值时，由此判断驾驶员处于第二疲劳状态，过采集驾驶员的心率信息并进行数据处理后，当处理后的心率信息超过疲劳阈值时，由此判断驾驶员处于第三疲劳状态。三个疲劳状态分别通过设置一个权值，再进行叠加，根据叠加值判定疲劳程度，再根据疲劳程度(轻度疲劳、中度疲劳、重度疲劳)通过相应的语音播报和/或震动座椅提醒驾驶员。

然而，目前的疲劳结果判断不是非常准确，因此驾驶员的体验非常差，比较反感车辆的这些提醒方式，经常强迫性关闭这个功能，从而导致这个功能几乎成为一个伪命题。另外，心率信息一般是用来反应运动强度、身体异常现象，在疲劳程度上由于人体的差异性没办法很好的表达疲劳，因而也容易造成疲劳误判断。

技术实现要素：

为克服传统的驾驶员状态检测方法的精度低下导致驾驶员的驾驶体验不佳的技术问题，本发明提供一种驾驶员的驾驶能力判断方法、与所述驾驶员的驾驶能力判断方法相对应的驾驶员的驾驶能力判断装置、采用所述驾驶员的驾驶能力判断方法的安全驾驶方法、采用所述驾驶员的驾驶能力判断装置的安全驾驶系统。

本发明采用以下技术方案实现：一种驾驶员的驾驶能力判断方法，其包括以下步骤：

一、数据采集

采集驾驶员在一个单位时间t内的平均心率hr，驾驶员在单位时间t内的前后点头次数n1及每次前后点头的前后点头时长t1和前后点头速度f1，驾驶员在单位时间t内的左右点头次数n2及每次左右点头的左右点头时长t2和左右点头速度f2；还采集驾驶员在单位时间t内的眨眼频率fe，打哈欠频率fm，每次打哈欠时对头部的遮挡时长th，驾驶员表情；

二、判断驾驶员身体是否异常

根据平均心率hr、遮挡时长th、驾驶员表情判断驾驶员身体是否异常，同时满足以下条件时，则判断驾驶员身体异常：

(1)平均心率hr大于一个心率上限阈值hr2或小于一个心率下限阈值hr1；

(2)遮挡时长th大于一个遮挡阈值th；以及

(3)驾驶员表情为异常表情；

三、判断驾驶员是否疲劳

驾驶员疲劳判断方法包括步骤：

步骤一、根据眨眼频率fe、打哈欠频率fm判断驾驶员是否为面部疲劳状态，定义为面部疲劳ff，面部疲劳ff＝1的判断方法为同时满足条件：

(1)眨眼频率fe大于一个眨眼频率阈值fe；以及

(2)打哈欠频率fm大于一个打哈欠频率阈值fm；

步骤二、根据前后点头次数n1、前后点头速度f1、左右点头次数n2、左右点头速度f2判断驾驶员是否为头部疲劳状态，定义为头部疲劳fh，头部疲劳fh＝1的判断方法为同时满足条件：

(1)前后点头时长t1大于一个前后点头时长阈值t1或者左右点头时长t2大于一个左右点头时长阈值t2；

(2)前后点头次数n1大于一个前后点头次数阈值n1或者左右点头次数n2大于一个左右点头次数阈值n2；以及

(3)前后点头速度f1大于一个前后点头速度阈值f1或者左右点头速度f2大于一个左右点头速度阈值f2；以及

步骤三，当面部疲劳ff＝1或者头部疲劳fh＝1时，判断驾驶员疲劳；

四、判断驾驶员的驾驶能力

驾驶能力的判断方法包括步骤：

步骤一、计算驾驶员的综合异常度ad：

ad＝a1*△hr+a2*△th

其中，△hr表示驾驶员身体异常下，平均心率hr与心率下限阈值hr1的差的绝对值或者平均心率hr与心率上限hr2的差的绝对值；△th表示驾驶员身体异常下，遮挡时长th与阈值th的差的绝对值，a1和a2分别表示△hr和△th在计算过程中的权重系数；

步骤二、计算驾驶员的综合疲劳度fd：

fd＝b1*△fe+b2*△fm+b3*△t+b4*△n+b5*△f

其中，△fe表示驾驶员眨眼频率fe与阈值fe的差的绝对值；△fm表示驾驶员疲劳下，打哈欠频率fm与打哈欠频率阈值fm的差的绝对值；△t表示驾驶员疲劳下，前后点头时长t1与前后点头时长阈值t1的差的绝对值、左右点头时长t2与左右点头时长阈值t2的差的绝对值中的较大值；△n表示驾驶员疲劳下，前后点头次数n1与前后点头次数阈值n1的差的绝对值、左右点头次数n2与左右点头次数阈值n2的差的绝对值中的较大值；△f表示驾驶员疲劳下，前后点头速度f1与前后点头速度阈值f1的差的绝对值、左右点头速度f2与左右点头速度阈值f2的差的绝对值中的较大值；b1、b2、b3、b4、b5分别表示△fe、△fm、△t、△n、△f在计算过程中的权重系数；以及

步骤三、判断驾驶员的驾驶能力

当综合异常度ad大于一个综合异常度阈值ad时，或者综合疲劳度fd大于一个综合疲劳度阈值fd时，判断驾驶员不能有效控制车辆。

作为上述方案的进一步改进，平均心率hr的计算方法为：

采集驾驶员在单位时间t内的胸腔起伏次数b；

计算胸腔起伏速率b/min：b/t；

根据胸腔起伏速率b/min得到驾驶员的平均心率hr：k*(b/t)，其中，k为转换系数。

作为上述方案的进一步改进，前后点头次数n1及每次前后点头的前后点头时长t1和前后点头速度f1的计算方法为：

采集驾驶员的额头或下巴前后移动的前后移动距离fb以及记录此次出现前后移动距离fb的相应时长；

将前后移动距离fb和一个前后移动阈值tfb进行比较，若前后移动距离fb大于前后移动阈值tfb，判断驾驶员出现前后点头动作，即为一次前后点头次数，并定义出现前后移动距离fb的相应时长为前后点头时长t1，前后移动距离fb除以前后点头时长t1得到前后点头速度f1；以及

统计单位时间t内前后点头次数n1及每次前后点头的前后点头时长t1和前后点头速度f1；

左右点头次数n2及每次左右点头的左右点头时长t2和左右点头速度f2的计算方法为：

采集驾驶员的额头或下巴左右移动的左右移动距离lr以及记录此次出现左右移动距离lr的相应时长；

将左右移动距离lr和一个左右移动阈值tlr进行比较，若左右移动距离lr大于左右移动阈值tlr，判断驾驶员出现左右点头动作，即为一次左右点头次数，并定义出现左右移动距离lr的相应时长为左右点头时长t2，左右移动距离lr除以左右点头时长t2得到左右点头速度f2；

统计单位时间t内左右点头次数n2及每次左右点头的左右点头时长t2和左右点头速度f2。

作为上述方案的进一步改进，眨眼频率fe的计算方法为：

检测驾驶员的面部器官，定位眼睛部位；

对定位后的眼睛部位，判断前后两个采样时刻的眼睛闭合状态，眼睛每闭合一次计数一次闭眼次数；

统计单位时间t内的闭眼次数，得到眨眼频率fe。

作为上述方案的进一步改进，打哈欠频率fm的的计算方法为：

检测驾驶员的面部器官，定位嘴巴部位；

对定位后的嘴巴部位，判断嘴巴是否张开，若嘴巴张开，则判断是否有人手遮挡嘴巴，是则计数一次打哈欠次数；

若无法定位嘴巴部位，则检测驾驶员的人手，如果检测到人手，则判断人手遮挡嘴巴并计数一次打哈欠次数，同时记录出现此次人手遮挡嘴巴的时长；

统计单位时间t内的打哈欠次数fm，每次人手遮挡嘴巴的时长为相应的遮挡时长th。

作为上述方案的进一步改进，a1和a2分别为0.6和0.4；

和/或，

b1、b2、b3、b4、b5分别为0.3、0.3、0.1、0.2、0.1。

本发明还提供一种车辆的安全驾驶方法，其包括以下步骤：

采用上述任意驾驶员的驾驶能力判断方法来判断驾驶员能不能有效控制车辆；

当判断驾驶员不能有效控制车辆时，启动所述车辆的自动驾驶系统，使得所述车辆开启自动驾驶功能，并启动车辆的驾驶员报警提示功能。

本发明还提供一种驾驶员的驾驶能力判断装置，其包括：

一、数据采集模块，其用于采集驾驶员的驾驶数据：

采集驾驶员在一个单位时间t内的平均心率hr，驾驶员在单位时间t内的前后点头次数n1及每次前后点头的前后点头时长t1和前后点头速度f1，驾驶员在单位时间t内的左右点头次数n2及每次左右点头的左右点头时长t2和左右点头速度f2；还采集驾驶员在单位时间t内的眨眼频率fe，打哈欠频率fm，每次打打哈欠时对头部的遮挡时长th，驾驶员表情；

二、身体异常判断模块，其用于判断驾驶员身体是否异：

根据平均心率hr、遮挡时长th、驾驶员表情判断驾驶员身体是否异常，同时满足以下条件时，则判断驾驶员身体异常：

(1)平均心率hr大于一个心率上限阈值hr2或小于一个心率下限阈值hr1；

(2)遮挡时长th大于一个遮挡阈值th；以及

(3)驾驶员表情为异常表情；

三、驾驶员疲劳判断模块，其用于判断驾驶员是否疲劳，其包括：

面部疲劳判断子模块，其用于根据眨眼频率fe、打哈欠频率fm判断驾驶员是否为面部疲劳状态，定义为面部疲劳ff，面部疲劳ff＝1的判断方法为同时满足条件：

(1)眨眼频率fe大于一个眨眼频率阈值fe；以及

(2)打哈欠频率fm大于一个打哈欠频率阈值fm；

头部疲劳判断子模块，其用于判断驾驶员是否头部疲劳：根据前后点头次数n1、前后点头速度f1、左右点头次数n2、左右点头速度f2判断驾驶员是否为头部疲劳状态，定义为头部疲劳fh，头部疲劳fh＝1的判断方法为同时满足条件：

(1)前后点头时长t1大于一个前后点头时长阈值t1或者左右点头时长t2大于一个左右点头时长阈值t2；

(2)前后点头次数n1大于一个前后点头次数阈值n1或者左右点头次数n2大于一个左右点头次数阈值n2；以及

(3)前后点头速度f1大于一个前后点头速度阈值f1或者左右点头速度f2大于一个左右点头速度阈值f2；以及

驾驶员疲劳判断子模块，其用于判断驾驶员是否疲劳：当面部疲劳ff＝1或者头部疲劳fh＝1时，判断驾驶员疲劳；以及

四、驾驶能力判断模块，其包括：

综合异常度计算子模块，其用于计算驾驶员的综合异常度ad：

ad＝a1*△hr+a2*△th

其中，△hr表示驾驶员身体异常下，平均心率hr与心率下限阈值hr1的差的绝对值或者平均心率hr与心率上限hr2的差的绝对值；△th表示驾驶员身体异常下，遮挡时长th与阈值th的差的绝对值，a1和a2分别表示△hr和△th在计算过程中的权重系数；以及

综合疲劳度计算子模块，其用于计算驾驶员的综合疲劳度fd：

fd＝b1*△fe+b2*△fm+b3*△t+b4*△n+b5*△f

其中，△fe表示驾驶员眨眼频率fe与阈值fe的差的绝对值；△fm表示驾驶员疲劳下，打哈欠频率fm与打哈欠频率阈值fm的差的绝对值；△t表示驾驶员疲劳下，前后点头时长t1与前后点头时长阈值t1的差的绝对值、左右点头时长t2与左右点头时长阈值t2的差的绝对值中的较大值；△n表示驾驶员疲劳下，前后点头次数n1与前后点头次数阈值n1的差的绝对值、左右点头次数n2与左右点头次数阈值n2的差的绝对值中的较大值；△f表示驾驶员疲劳下，前后点头速度f1与前后点头速度阈值f1的差的绝对值、左右点头速度f2与左右点头速度阈值f2的差的绝对值中的较大值；b1、b2、b3、b4、b5分别表示△fe、△fm、△t、△n、△f在计算过程中的权重系数；以及

驾驶能力判断子模块，其用于判断驾驶员的驾驶能力：当综合异常度ad大于一个综合异常度阈值ad时，或者综合疲劳度fd大于一个综合疲劳度阈值fd时，判断驾驶员不能有效控制车辆。

作为上述方案的进一步改进，所述驾驶能力判断装置采用上述任意驾驶员的驾驶能力判断方法。

本发明还提供一种车辆的安全驾驶系统，其安装了一个驾驶能力判断装置，所述驾驶能力判断装置为上述任意驾驶员的驾驶能力判断装置。

本发明改变传统的驾驶员状态检测方式，对采集的数据进行不一样的数据分析，实现两个检测目的：驾驶员的身体是否异常、检测驾驶员是否疲劳；并在检测驾驶员的身体异常、检测驾驶员疲劳的条件下，通过量化身体异常得出综合异常度、量化驾驶员疲劳得出综合疲劳度，使得驾驶员的身体异常、驾驶员的疲劳程度有一个精确的量的概念，从而驾驶员的驾驶能力有一个合理性的判断，最终对驾驶员能不能有效控制车辆做出一个驾驶员心里能承受的判断依据，得到驾驶员对本发明的充分认可与信赖。

附图说明

图1为本发明实施例1提供的驾驶员的驾驶状态检测方法的流程图。

图2为图1中驾驶状态检测方法所采用的平均心率hr的计算方法流程图。

图3为图1中驾驶状态检测方法所采用的遮挡时长th的计算方法流程图。

图4为图1中驾驶状态检测方法所采用的驾驶员身体异常的判断方法流程图。

图5为本发明实施例2提供的基于毫米波雷达和相机融合的驾驶员状态检测系统的结构示意图。

图6为图5中驾驶员状态检测系统的数据处理模块的数据处理方法流程图。

图7为图5中驾驶员状态检测系统的驾驶员状态检测方法流程图。

图8为本发明实施例3提供的驾驶员的驾驶能力判断方法的流程图。

图9为本发明实施例4提供的基于毫米波雷达和相机融合的驾驶员状态检测系统的模块框架图。

图10为图9中雷达处理模块的处理方法流程图。

图11为图9中视觉处理模块的处理方法流程图。

图12为图9中驾驶员状态检测系统的生理异常状态分析图。

图13为图9中驾驶员状态检测系统的疲劳状态分析图。

图14为图9中驾驶员状态检测系统的驾驶能力分析图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

请参阅图1，其为本实施例公开的驾驶员的驾驶状态检测方法的流程图，所述驾驶员的驾驶状态检测方法也称之为驾驶员状态检测方法。所述状态检测方法主要包括三个大步骤：一、数据采集；二、判断驾驶员身体是否异常；三、驾驶员身体异常下，检测驾驶员的驾驶状态。当然如果驾驶员身体正常，则重新数据采集，进行下一轮的驾驶状态检测。

数据采集主要采集驾驶员在一个单位时间t内的平均心率hr，每次打打哈欠时对头部的遮挡时长th，驾驶员表情。

请结合图2，在本实施例中，平均心率hr的计算方法为：采集驾驶员在单位时间t内的胸腔起伏次数b(可以通过毫米波雷达检测驾驶员在单位时间t内的胸腔起伏次数b)；计算胸腔起伏速率b/min：b/t；根据胸腔起伏速率b/min得到驾驶员的平均心率hr：k*(b/t)。其中，k为转换系数，可以通过实验得到。

请结合图3，在本实施例中，遮挡时长th的计算方法为：检测驾驶员的面部器官，定位嘴巴部位；对定位后的嘴巴部位，判断嘴巴是否张开，若嘴巴张开，则判断是否有人手遮挡嘴巴，是则计数一次打哈欠次数，同时记录出现此次人手遮挡嘴巴的时长；若无法定位嘴巴部位，则检测驾驶员的人手，如果检测到人手，则判断人手遮挡嘴巴并计数一次打哈欠次数，同时记录出现此次人手遮挡嘴巴的时长；统计单位时间t内的打哈欠次数fm，每次人手遮挡嘴巴的时长为相应的遮挡时长th。可通过红外相机识别面部器官，如红外相机通过获取驾驶员的面部图像检测驾驶员的面部器官，面部识别技术采用现有的技术手段即可满足本发明的需求，因此在此不再详细叙述面部识别技术的细节。

采用红外相机，驾驶员表情也可以通过面部图像才识别。驾驶员表情的判断方法：获取驾驶员的面部图像；利用卷积神经网络和训练好的表情库，对所述面部图像进行驾驶员面部表情的识别，从而识别出驾驶员表情为正常表情或为异常表情。

判断驾驶员身体是否异常，主要是根据平均心率hr、遮挡时长th、驾驶员表情判断驾驶员身体是否异常。请结合图4，在本实施例中，需要同时满足以下条件时，则判断驾驶员身体异常：

(1)平均心率hr大于一个心率上限阈值hr2或小于一个心率下限阈值hr1；

(2)遮挡时长th大于一个遮挡阈值th；以及

(3)驾驶员表情为异常表情。异常表情可以指痛苦表情。

驾驶员身体异常下，驾驶状态的检测方法包括步骤：计算驾驶员的综合异常度ad；当综合异常度ad大于一个综合异常度阈值ad时，判断驾驶员处于非驾驶状态。当然，当综合异常度ad不大于综合异常度阈值ad时，判断驾驶员处于正常驾驶状态。

综合异常度ad：ad＝a1*△hr+a2*△th

其中，△hr表示驾驶员身体异常下，平均心率hr与心率下限阈值hr1的差的绝对值或者平均心率hr与心率上限hr2的差的绝对值；△th表示驾驶员身体异常下，遮挡时长th与阈值th的差的绝对值，a1和a2分别表示△hr和△th在计算过程中的权重系数。在本实施例中，a1和a2分别为0.6和0.4。

本发明改变传统的驾驶员状态检测方式，对采集的数据进行不一样的数据分析，实现检测驾驶员是否身体异常的驾驶目的；并在检测驾驶员身体异常的条件下，通过量化驾驶员身体异常得出身体异常度，使得驾驶员的身体异常程度有一个精确的量的概念，从而驾驶员的驾驶能力有一个合理性的判断，最终对驾驶员能不能有效控制车辆做出一个驾驶员心里能承受的判断依据，得到驾驶员对本发明的充分认可与信赖。

本实施例的驾驶状态检测方法在具体实现时，可通过设计软件的方式来实现，其构架方式可为一种驾驶状态检测装置。所述驾驶状态检测装置包括数据采集模块、身体异常判断模块、驾驶员疲劳判断模块、驾驶状态判断模块。

数据采集模块用于采集驾驶员的驾驶数据。如，采集驾驶员在一个单位时间t内的平均心率hr，每次打打哈欠时对头部的遮挡时长th，驾驶员表情等，在其他实施例中(如实施例2、3、4)还可以采集驾驶员在单位时间t内的前后点头次数n1及每次前后点头的前后点头时长t1和前后点头速度f1，驾驶员在单位时间t内的左右点头次数n2及每次左右点头的左右点头时长t2和左右点头速度f2；还采集驾驶员在单位时间t内的眨眼频率fe，打哈欠频率fm。

身体异常判断模块用于判断驾驶员身体是否异。在本实施例中，身体异常判断模块根据平均心率hr、遮挡时长th、驾驶员表情判断驾驶员身体是否异常，同时满足以下条件时，则判断驾驶员身体异常：

(1)平均心率hr大于一个心率上限阈值hr2或小于一个心率下限阈值hr1；

(2)遮挡时长th大于一个遮挡阈值th；以及

(3)驾驶员表情为异常表情。

驾驶员疲劳判断模块用于判断驾驶员是否疲劳，驾驶员疲劳判断模块包括面部疲劳判断子模块、驾驶员疲劳判断子模块。面部疲劳判断子模块用于根据眨眼频率fe、打哈欠频率fm判断驾驶员是否为面部疲劳状态，定义为面部疲劳ff，面部疲劳ff＝1的判断方法为同时满足条件：

(1)眨眼频率fe大于一个眨眼频率阈值fe；以及

(2)打哈欠频率fm大于一个打哈欠频率阈值fm。

驾驶员疲劳判断子模块用于判断驾驶员是否疲劳：当面部疲劳ff＝1或者头部疲劳fh＝1时，判断驾驶员疲劳。

驾驶状态判断模块包括综合异常度计算子模块、驾驶能力判断子模块。综合异常度计算子模块用于计算驾驶员的综合异常度ad：

ad＝a1*△hr+a2*△th

其中，△hr表示驾驶员身体异常下，平均心率hr与心率下限阈值hr1的差的绝对值或者平均心率hr与心率上限hr2的差的绝对值；△th表示驾驶员身体异常下，遮挡时长th与阈值th的差的绝对值，a1和a2分别表示△hr和△th在计算过程中的权重系数。

驾驶能力判断子模块用于判断驾驶员的驾驶能力：当综合异常度ad大于一个综合异常度阈值ad时，判断驾驶员不能有效控制车辆。

本实施例的驾驶状态检测方法可应用于现有车辆中，所述车辆安装有驾驶员状态检测系统、智能辅助系统、报警系统。驾驶员状态检测系统就是采用本实施例的驾驶状态检测方法，驾驶员状态检测方法判断驾驶员不能有效控制车辆时，启动所述智能辅助系统，使得所述车辆开启自动驾驶功能；还可启动所述报警系统，使得所述车辆开启驾驶员报警提示功能。

驾驶员状态检测系统只需要在现有车辆上安装毫米波雷达、红外相机和驾驶员状态检测系统(可以采用独立的控制板，也可以以软件的方式加载在车辆的控制板上)，就可以对现有车辆进行更新升级，实现驾驶员状态检测，无需通过置换车辆的方式，因而成本低，易于推广与实现。

实施例2

请参阅图5，其为本实施例公开的基于毫米波雷达和相机融合的驾驶员状态检测系统的结构示意图。所述驾驶员状态检测系统包括数据采集模块、数据处理系统。

数据采集模块包括毫米波雷达和红外相机。毫米波雷达用于检测驾驶员的额头或下巴前后移动的前后移动距离fb以及记录此次出现前后移动距离fb的相应时长，所述毫米波雷达还用于检测驾驶员的额头或下巴左右移动的左右移动距离lr以及记录此次出现左右移动距离lr的相应时长。所述红外相机用于通过获取驾驶员的面部图像检测驾驶员的面部器官。

数据处理系统包括数据处理模块、驾驶员疲劳判断模块、驾驶状态判断模块。

请结合图6，数据处理模块将前后移动距离fb和一个前后移动阈值tfb进行比较，若前后移动距离fb大于前后移动阈值tfb，判断驾驶员出现前后点头动作，即为一次前后点头次数，并定义出现前后移动距离fb的相应时长为前后点头时长t1，前后移动距离fb除以前后点头时长t1得到前后点头速度f1，统计单位时间t内前后点头次数n1及每次前后点头的前后点头时长t1和前后点头速度f1。

数据处理模块还将左右移动距离lr和一个左右移动阈值tlr进行比较，若左右移动距离lr大于左右移动阈值tlr，判断驾驶员出现左右点头动作，即为一次左右点头次数，并定义出现左右移动距离lr的相应时长为左右点头时长t2，左右移动距离lr除以左右点头时长t2得到左右点头速度f2，统计单位时间t内左右点头次数n2及每次左右点头的左右点头时长t2和左右点头速度f2。

请结合图7，数据处理模块还根据所述面部器官定位眼睛部位，对定位后的眼睛部位，判断前后两个采样时刻的眼睛闭合状态，眼睛每闭合一次计数一次闭眼次数，统计单位时间t内的闭眼次数，得到眨眼频率fe。

数据处理模块还根据所述面部器官定位嘴巴部位，对定位后的嘴巴部位，判断嘴巴是否张开，若嘴巴张开，则判断是否有人手遮挡嘴巴，是则计数一次打哈欠次数，若无法定位嘴巴部位，则检测驾驶员的人手，如果检测到人手，则判断人手遮挡嘴巴并计数一次打哈欠次数，统计单位时间t内的打哈欠次数fm。数据处理模块在判断人手遮挡嘴巴并计数一次打哈欠次数的同时，还记录出现此次人手遮挡嘴巴的时长，每次人手遮挡嘴巴的时长为相应的遮挡时长th，如图3所示。

驾驶员疲劳判断模块包括面部疲劳判断子模块、头部疲劳判断子模块、驾驶员疲劳判断子模块。

面部疲劳判断子模块根据眨眼频率fe、打哈欠频率fm判断驾驶员是否为面部疲劳状态，定义为面部疲劳ff，面部疲劳ff＝1的判断方法为同时满足条件：

(1)眨眼频率fe大于一个眨眼频率阈值fe；以及

(2)打哈欠频率fm大于一个打哈欠频率阈值fm。

头部疲劳判断子模块根据前后点头次数n1、前后点头速度f1、左右点头次数n2、左右点头速度f2判断驾驶员是否为头部疲劳状态，定义为头部疲劳fh，头部疲劳fh＝1的判断方法为同时满足条件(请结合图8)：

(1)前后点头时长t1大于一个前后点头时长阈值t1或者左右点头时长t2大于一个左右点头时长阈值t2；

(2)前后点头次数n1大于一个前后点头次数阈值n1或者左右点头次数n2大于一个左右点头次数阈值n2；

(3)前后点头速度f1大于一个前后点头速度阈值f1或者左右点头速度f2大于一个左右点头速度阈值f2。

驾驶员疲劳判断子模块在面部疲劳ff＝1或者头部疲劳fh＝1时，判断驾驶员疲劳。

驾驶状态判断模块包括综合疲劳度计算子模块、驾驶能力判断子模块。综合疲劳度计算子模块计算驾驶员的综合疲劳度fd：

fd＝b1*△fe+b2*△fm+b3*△t+b4*△n+b5*△f

其中，△fe表示驾驶员眨眼频率fe与阈值fe的差的绝对值；△fm表示驾驶员疲劳下，打哈欠频率fm与打哈欠频率阈值fm的差的绝对值；△t表示驾驶员疲劳下，前后点头时长t1与前后点头时长阈值t1的差的绝对值、左右点头时长t2与左右点头时长阈值t2的差的绝对值中的较大值；△n表示驾驶员疲劳下，前后点头次数n1与前后点头次数阈值n1的差的绝对值、左右点头次数n2与左右点头次数阈值n2的差的绝对值中的较大值；△f表示驾驶员疲劳下，前后点头速度f1与前后点头速度阈值f1的差的绝对值、左右点头速度f2与左右点头速度阈值f2的差的绝对值中的较大值；b1、b2、b3、b4、b5分别表示△fe、△fm、△t、△n、△f在计算过程中的权重系数。在本实施例中，b1、b2、b3、b4、b5分别为0.3、0.3、0.1、0.2、0.1。

所述驾驶能力判断子模块在综合疲劳度fd大于一个综合疲劳度阈值fd时，判断驾驶员处于非驾驶状态。

本发明改变传统的驾驶员状态检测方式，对采集的数据进行不一样的数据分析，实现检测驾驶员是否疲劳的驾驶目的；并在检测驾驶员疲劳的条件下，通过量化驾驶员疲劳得出疲劳度，使得驾驶员的疲劳程度有一个精确的量的概念，从而驾驶员的驾驶能力有一个合理性的判断，最终对驾驶员能不能有效控制车辆做出一个驾驶员心里能承受的判断依据，得到驾驶员对本发明的充分认可与信赖。另外，本发明只需要在现有车辆上安装毫米波雷达、红外相机和数据处理系统(可以采用独立的控制板，也可以以软件的方式加载在车辆的控制板上)，就可以对现有车辆进行更新升级，实现驾驶员状态检测，无需通过置换车辆的方式，因而成本低，易于推广与实现。

在其他实施例中，数据处理系统还可包括身体异常判断模块。身体异常判断模块根据驾驶员的平均心率hr、驾驶员每次打哈欠时对头部的遮挡时长th、驾驶员表情判断驾驶员身体是否异常，同时满足以下条件时，则判断驾驶员身体异常(如图4所示)：

(1)平均心率hr大于一个心率上限阈值hr2或小于一个心率下限阈值hr1；

(2)遮挡时长th大于一个遮挡阈值th；以及

(3)驾驶员表情为异常表情。

其中，针对平均心率hr，可采用毫米波雷实现，检测驾驶员在单位时间t内的胸腔起伏次数b；所述数据处理模块还计算胸腔起伏速率b/min：b/t；根据胸腔起伏速率b/min得到驾驶员的平均心率hr：k*(b/t)，其中，k为转换系数(如图2所示)。

也就是说还可以在本实施例的基础上增加实施例1的方法。当然本实施例的驾驶员状态检测系统可以安装在车辆中使用。车辆安装有驾驶员状态检测系统、智能辅助系统、报警系统。驾驶状态检测系统可为本实施例的基于毫米波雷达和相机融合的驾驶员状态检测系统，所述驾驶员状态检测系统判断驾驶员不能有效控制车辆时，启动所述智能辅助系统，使得所述车辆开启自动驾驶功能；还可启动所述报警系统，使得所述车辆开启驾驶员报警提示功能。

实施例3

请参阅图8，其为本实施例驾驶员的驾驶能力判断方法的流程图。驾驶能力判断方法包括以下步骤：

一、数据采集；

二、判断驾驶员身体是否异常；

三、判断驾驶员是否疲劳；

四、判断驾驶员的驾驶能力。

在数据采集步骤中，采集驾驶员在一个单位时间t内的平均心率hr，驾驶员在单位时间t内的前后点头次数n1及每次前后点头的前后点头时长t1和前后点头速度f1，驾驶员在单位时间t内的左右点头次数n2及每次左右点头的左右点头时长t2和左右点头速度f2；还采集驾驶员在单位时间t内的眨眼频率fe，打哈欠频率fm，每次打哈欠时对头部的遮挡时长th，驾驶员表情。平均心率hr的计算方法请参阅具体实施1中介绍，如图2所示；前后点头次数n1，前后点头时长t1，前后点头速度f1，左右点头次数n2，左右点头时长t2和左右点头速度f2请参阅具体实施2中介绍，如图6所示。

在判断驾驶员身体是否异常步骤中，根据平均心率hr、遮挡时长th、驾驶员表情判断驾驶员身体是否异常，同时满足以下条件时，则判断驾驶员身体异常(可请参阅具体实施1中介绍，如图4所示)：

(1)平均心率hr大于一个心率上限阈值hr2或小于一个心率下限阈值hr1；

(2)遮挡时长th大于一个遮挡阈值th；以及

(3)驾驶员表情为异常表情。

在判断驾驶员是否疲劳步骤中，驾驶员疲劳判断方法包括步骤。

步骤一、根据眨眼频率fe、打哈欠频率fm判断驾驶员是否为面部疲劳状态，定义为面部疲劳ff，面部疲劳ff＝1的判断方法为同时满足条件(可请参阅具体实施2中介绍，如图7所示)：

(1)眨眼频率fe大于一个眨眼频率阈值fe；以及

(2)打哈欠频率fm大于一个打哈欠频率阈值fm。

步骤二、根据前后点头次数n1、前后点头速度f1、左右点头次数n2、左右点头速度f2判断驾驶员是否为头部疲劳状态，定义为头部疲劳fh，头部疲劳fh＝1的判断方法为同时满足条件：

(1)前后点头时长t1大于一个前后点头时长阈值t1或者左右点头时长t2大于一个左右点头时长阈值t2；

(2)前后点头次数n1大于一个前后点头次数阈值n1或者左右点头次数n2大于一个左右点头次数阈值n2；

(3)前后点头速度f1大于一个前后点头速度阈值f1或者左右点头速度f2大于一个左右点头速度阈值f2。

步骤三，当面部疲劳ff＝1或者头部疲劳fh＝1时，判断驾驶员疲劳。

在判断驾驶员的驾驶能力步骤中，驾驶能力的判断方法包括步骤。

步骤一、计算驾驶员的综合异常度ad：

ad＝a1*△hr+a2*△th

其中，△hr表示驾驶员身体异常下，平均心率hr与心率下限阈值hr1的差的绝对值或者平均心率hr与心率上限hr2的差的绝对值；△th表示驾驶员身体异常下，遮挡时长th与阈值th的差的绝对值，a1和a2分别表示△hr和△th在计算过程中的权重系数。

步骤二、计算驾驶员的综合疲劳度fd：

fd＝b1*△fe+b2*△fm+b3*△t+b4*△n+b5*△f

其中，△fe表示驾驶员眨眼频率fe与阈值fe的差的绝对值；△fm表示驾驶员疲劳下，打哈欠频率fm与打哈欠频率阈值fm的差的绝对值；△t表示驾驶员疲劳下，前后点头时长t1与前后点头时长阈值t1的差的绝对值、左右点头时长t2与左右点头时长阈值t2的差的绝对值中的较大值；△n表示驾驶员疲劳下，前后点头次数n1与前后点头次数阈值n1的差的绝对值、左右点头次数n2与左右点头次数阈值n2的差的绝对值中的较大值；△f表示驾驶员疲劳下，前后点头速度f1与前后点头速度阈值f1的差的绝对值、左右点头速度f2与左右点头速度阈值f2的差的绝对值中的较大值；b1、b2、b3、b4、b5分别表示△fe、△fm、△t、△n、△f在计算过程中的权重系数。

步骤三、判断驾驶员的驾驶能力

当综合异常度ad大于一个综合异常度阈值ad时，或者综合疲劳度fd大于一个综合疲劳度阈值fd时，判断驾驶员不能有效控制车辆。

本实施例的驾驶能力判断方法可应用于车辆的安全驾驶方法中，车辆的安全驾驶方法包括以下步骤：

采用实施例1的驾驶状态检测方法或者实施例2的驾驶员状态检测系统来判断驾驶员能不能有效控制车辆；

当判断驾驶员不能有效控制车辆时，启动所述车辆的智能辅助系统，使得所述车辆开启自动驾驶功能，并启动车辆的驾驶员报警提示功能。

本实施例的驾驶能力判断方法可通过一种驾驶员的驾驶能力判断装置来实现。驾驶能力判断装置包括如下模块。

一、数据采集模块，其用于采集驾驶员的驾驶数据。驾驶数据如上介绍，在此不再累述。

二、身体异常判断模块，其用于判断驾驶员身体是否异，判断驾驶员身体异常的方法如上介绍，在此不再累述。

三、驾驶员疲劳判断模块，其用于判断驾驶员是否疲劳，其包括面部疲劳判断子模块、头部疲劳判断子模块、驾驶员疲劳判断子模块。面部疲劳判断子模块用于根据眨眼频率fe、打哈欠频率fm判断驾驶员是否为面部疲劳状态，定义为面部疲劳ff，面部疲劳ff＝1的判断方法如上介绍，在此不再累述。头部疲劳判断子模块用于判断驾驶员是否头部疲劳，头部疲劳的判断方法如上介绍，在此不再累述。驾驶员疲劳判断子模块用于判断驾驶员是否疲劳：当面部疲劳ff＝1或者头部疲劳fh＝1时，判断驾驶员疲劳。

四、驾驶能力判断模块，其包括综合异常度计算子模块、综合疲劳度计算子模块、驾驶能力判断子模块。综合异常度计算子模块用于计算驾驶员的综合异常度ad；综合疲劳度计算子模块用于计算驾驶员的综合疲劳度fd；驾驶能力判断子模块用于判断驾驶员的驾驶能力：当综合异常度ad大于一个综合异常度阈值ad时，或者综合疲劳度fd大于一个综合疲劳度阈值fd时，判断驾驶员不能有效控制车辆。

驾驶能力判断装置可应用在车辆的安全驾驶系统中，实现车辆的安全驾驶。安全驾驶系统包括智能辅助系统、报警系统。驾驶能力判断装置统判断驾驶员不能有效控制车辆时，启动所述智能辅助系统，使得所述车辆开启自动驾驶功能；还可启动所述报警系统，使得所述车辆开启驾驶员报警提示功能。

实施例4

请参阅图9，其为基于毫米波雷达和相机融合的驾驶员状态检测系统的模块框架图。驾驶员状态检测系统包括驾驶员状态检测模块、信息处理模块和决策模块。其中，驾驶员状态检测模块包括雷达处理模块与视觉处理模块，信息处理模块又分为驾驶员状态分析与驾驶员驾驶能力分析。

雷达处理模块中包含毫米波雷达，通过毫米波雷达对驾驶员胸腔起伏速率和驾驶员头部整体状态进行检测，得到驾驶员心跳频率和驾驶员点头时长、点头次数及点头速度信息，作为信息处理模块的输入。

视觉处理模块包含红外相机，通过红外相机对驾驶员面部器官动作和驾驶员手部动作进行检测，得到驾驶员眨眼频率、哈欠频率、手对胸部或头部遮挡时长以及面部表情信息，作为信息处理模块的输入。

信息处理模块根据上述接收到的驾驶员状态检测模块数据，对驾驶员进行状态分析，判断驾驶员状态是否存在异常，异常情况分为生理异常与疲劳。若驾驶员状态存在异常，根据异常结果信息，对驾驶员驾驶能力进行分析，得到该异常状态下驾驶员能否有效控制车辆，并将分析结果发送给决策模块。

决策模块根据接收到的信息处理模块分析结果，执行相应警报操作：在驾驶员出现生理异常或疲劳问题，但仍能有效控制车辆时，通过语音警示提醒驾驶员；在驾驶员出现生理异常或疲劳问题，且不能有效控制车辆时，报警并接管驾驶员操纵车辆的权限。

驾驶员状态检测系统的驾驶员状态检测方法主要包括以下步骤。

步骤一：毫米波雷达检测驾驶员胸腔起伏速率和驾驶员头部整体状态，得到驾驶员心率、点头时长、点头次数和点头速度信息，发送给信号处理模块。

步骤二：红外相机检测驾驶员面部器官动作和驾驶员手部动作，得到驾驶员眨眼频率、哈欠频率、手对胸部或头部的遮挡时长以及面部表情信息，发送给信息处理模块。

步骤三：信息处理模块根据接收到的雷达处理模块和视觉处理模块的数据，首先，对驾驶员状态进行分析，得到驾驶员异常状态类别，然后，对驾驶员驾驶能力进行分析，得到驾驶员驾驶能力判断结果。最后，将分析结果发送给决策模块。

步骤四：决策模块根据接收到的信息处理模块分析结果，发出语音警示提醒驾驶员或者报警并接管驾驶员操纵车辆的权限。

图10为驾驶员状态检测的系统的雷达处理模块的处理方法流程图。雷达处理模块的处理方法主要分为两部分，驾驶员心率检测和驾驶员点头信息检测。在本实施例中，流程图中的y表示是，n表示否。

所述驾驶员心率检测的步骤主要为：

步骤一：毫米波雷达统计驾驶员胸腔单位时间内起伏次数b；

步骤二：计算驾驶员胸腔起伏速率b/min；

步骤三：根据胸腔起伏速率，计算得到驾驶员心率hr，作为信息处理模块的输入。

所述驾驶员点头信息检测的步骤主要为：

步骤一:通过毫米波雷达检测驾驶员额头和下巴前后移动的距离fb和左右移动的距离lr；

步骤二：将额头和下巴前后移动的距离fb和阈值tfb进行比较，若fb大于阈值tfb，判断驾驶员出现前后点头动作；

步骤三：将额头和下巴左右移动的距离lr和阈值tlr进行比较，若lr大于阈值tlr，判断驾驶员出现左右点头动作；

步骤四：统计前后点头时长t1、单位时间内前后点头次数n1以及点头速度f1，作为信息处理模块的输入；

步骤五：统计左右点头时长t2、单位时间内前后点头次数n2以及点头速度f2，作为信息处理模块的输入。

图11为驾驶员状态检测系统的视觉处理模块的处理方法流程图。视觉处理模块的处理方法主要分为四部分，驾驶员眨眼频率检测、驾驶员哈欠频率检测、驾驶员手对胸部或头部遮挡时长检测以及驾驶面部表情检测。

所述驾驶员眨眼频率表检测的步骤主要为：

步骤一：红外相机检测驾驶员面部器官，定位眼睛部位；

步骤二：对眼睛闭合状态进行判断；

步骤三：统计单位时间内闭眼次数，计算眨眼频率fe，作为信息处理模块的输入。

所述驾驶员哈欠频率检测的步骤主要为：

步骤一：红外相机检测驾驶员面部器官，定位嘴巴部位；

步骤二：若无法定位嘴巴，则检测人手；

步骤三：对嘴巴闭合状态进行判断，若嘴巴张开，则进入步骤四，否则返回步骤一；

步骤四：对人手是否遮挡嘴巴进行判断，统计张嘴次数和手遮挡嘴巴次数，计算哈欠频率fm，作为信息处理模块的输入。

所述驾驶员手对胸部或头部遮挡时长检测的步骤主要为：

步骤一：红外相机识别人手；

步骤二：对人手是否遮挡胸部或者头部进行位置判断；

步骤三：统计驾驶员手对胸部或头部遮挡时间th，作为信息处理模块的输入。

所述驾驶员面部表情检测主要通过红外相机获取驾驶员面部图像，利用卷积神经网络和训练好的表情库，对驾驶员面部表情进行识别，将驾驶员表情分为正常和异常两大类。其中，表情异常主要为突发性疾病、意外时出现的紧张、痛苦等表情。

图12为驾驶员状态检测系统的生理异常状态分析图。生理异常状态分析主要对驾驶员心率hr、驾驶员手对胸部或头部遮挡时长th、驾驶员面部表情进行分析。

所述驾驶员状态判定为生理异常时，需要同时满足以下条件：

(1)驾驶员心率hr大于阈值hr2或小于阈值hr1；

(2)驾驶员手对胸部或头部遮挡时长th大于阈值th；

(3)驾驶员面部表情异常。

图13为驾驶员状态检测系统的疲劳状态分析图，主要对驾驶员眨眼频率fe、驾驶员哈欠频率fm、驾驶员面部表情、驾驶员前后点头和左右点头时长t1和t2、驾驶员前后点头和左右点头次数n1和n2、驾驶员前后点头和左右点头速度f1和f2进行分析。

所述驾驶员状态判定为疲劳时，需要满足以下任一条件：

(1)驾驶员面部信息判断结果为疲劳(ff＝1)；

(2)驾驶员头部信息判断结果为疲劳(fh＝1)。

其中，驾驶员面部信息判断结果为疲劳需要同时满足以下条件：

(1)驾驶员眨眼频率fe大于阈值fe；

(2)驾驶员哈欠频率fm大于阈值fm；

驾驶员头部信息判断结果为疲劳需要同时满足以下条件：

(1)驾驶员前后时长t1大于阈值t1或者左右点头时长t2大于阈值t2；

(2)驾驶员前后点头次数n1大于阈值n1或者左右点头次数n2大于阈值n2；

(3)驾驶员前后点头速度f1大于阈值f1或者左右点头速度大于阈值f2。

图14为驾驶员状态检测系统的驾驶能力分析图。驾驶能力分析主要通过分析驾驶员综合生理异常度a和综合疲劳度f，对驾驶员在这两种状态下驾驶员驾驶能力的判断。

所述驾驶员综合生理异常度计算公式为：

ad＝a1*△hr+a2*△th

其中，△hr和△th分别表示驾驶员心率hr与阈值hr1或hr2的差的绝对值和驾驶员手遮挡胸部或者头部时长th与阈值th的差的绝对值。上述值hr、th均为驾驶员状态判断为生理异常时得到的值。a1和a2分别表示△hr和△th在计算过程中的权重系数，分别为0.6和0.4，根据其对驾驶能力判断的重要度确定。

所述驾驶员综合疲劳度计算公式为：

fd＝b1*△fe+b2*△fm+b3*△t+b4*△n+b5*△f

其中，△fe表示驾驶员眨眼频率fe与阈值fe的差的绝对值，△fm表示驾驶员哈欠频率fm与阈值fm的差的绝对值，△t表示驾驶员前后点头时长t1与阈值t1的差的绝对值或者左右点头时长t2与阈值t2的差的绝对值中的较大值，△n表示驾驶员前后点头次数n1与阈值n1的差的绝对值或者左右点头次数n2与阈值n2的差的绝对值中的较大值，△f表示驾驶员前后点头速度f1与阈值f1的差的绝对值或者左右点头速度f2与阈值f2的差的绝对值中的较大值。上述值fe、fm、t1、t2、n1、n2、f1、f2，均为驾驶员状态判断为疲劳时得到的值。b1、b2、b3、b4、b5分别表示△fe、△fm、△t、△n、△f在计算过程中的权重系数，分别为0.3、0.3、0.1、0.2、0.1，根据其对驾驶能力判断的重要度确定。

所述驾驶员驾驶能力分析根据计算得到的驾驶员综合生理异常度ad或综合疲劳度fd，判断驾驶员在该状态下的驾驶能力，是否能有效控制车辆，得到驾驶员能有效控制车辆或者驾驶员不能有效控制车辆这两个结论之一。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除