商标分类 
商标转让 
您当前的位置： 基于模拟人的自助化BLS培训与考核系统的制作方法
2021-01-28 16:01:55|
298|
起点商标网
本发明涉及医疗技术领域，尤其涉及一种基于模拟人的自助化bls培训与考核系统。
背景技术：
缺血性心脏疾病是高病死率疾病之一，是全球公认的重大公共卫生问题。缺血性心脏疾病发病时最主要的临床表现是心脏骤停。在美国，每年约有155000人因院外心脏骤停接受急救医疗，其中仅有不到8％患者存活。根据国际共识，院外心脏骤停患者治疗成功的关键在于经bls培训的旁观者的存在，他们随时准备好，愿意并且能够采取行动进行紧急救援。有研究表明bls培训可提高旁观者实施的心肺复苏成功率，并将院外心脏骤停患者的存活率提高2-4倍。甚至2015年1月世界卫生组织已认可将cpr培训纳入全球所有学校甚至儿童的课程中。可见，bls培训对于提高社会人群整体心肺复苏率至关重要。但是目前在学校实施bls培训与考核的重要障碍是缺乏教师、设备以及所涉及的高昂的费用。
目前国内bls的培训模式依然是在固定场所，学校组织教师授课，学生上课，课后测试。教师来源常常是一线医生、护士等医务工作者。这些医务工作者常面临繁重的临床工作任务，教学时间有限，对于全民普及bls的需求来说非常缺乏。另外所用设备常常是包含有投影仪的多媒体教室以及复苏模拟人如挪威挪度公司的复苏安妮等。复苏模拟人虽然可以对bls中的胸外按压技能进行练习和客观评价，但是这些指标只是实施并完成bls中的客观操作训练部分，只是完成院外心脏骤停生存链中的第二步骤。生存链中最关键的第一个步骤“识别和启动应急反应系统”以及后续步骤“快速除颤”等都需要在教师的指导下才能完成练习和测评。
近年来一些新型bls教学培训技术被发明，如利用虚拟现实技术、基于体感识别的姿势识别技术的心肺复苏培训与考核方法。这些技术重点在于更新按压监测准确性，或提高模拟人仿真度，或基于体感探头或vr技术提高学习效率，均不能完全实现自助化，智能化真实记录并准确分析学生bls培训和考核情况。
技术实现要素：
本发明旨在提供一种基于基于模拟人的自助化bls培训与考核系统，可实现bls培训与考核的自助化、智能化、无接触化，使bls培训与考核不受时间与场所的限制。本发明包括bls培训与考核的报名、理论学习、理论考核、技能学习、技能考核，以及bls培训电子证书的发放功能。
为达到上述目的，本发明是采用以下技术方案实现的：
本发明公开的基于模拟人的自助化bls培训与考核系统，包括：
自助化bls培训与考核系统，用于培训并考核受训者的bls理论及操作技能，并发放电子培训证书；
报名终端，用于受训者进行网络注册、报名以及预约模拟人及考核时间；
学生终端，用于受训者进行理论和技能的自助化学习与考核，包括bls理论学习、基于模拟人的bls技能练习、bls理论考核、基于模拟人的自助化bls技能考核；
教师终端，用于教师进行线上教学、管理教学资料；
师生交互终端，用于学生在学习过程中与教师进行交流沟通；
持证终端，用于考核通过后发放电子培训证书；
所述报名终端、学生终端、教师终端、师生交互终端、持证终端均连接自助化bls培训与考核系统。
所述基于模拟人的自助化bls技能考核包括：
数据采集模块，所述数据采集模块用于采集受考核者在bls技能操作全过程中的操作视频；
智能判读模块，所述智能判读模块包括语音识别模块和动作识别模块，所述语音识别模块用于提取所述操作视频中的音频数据进行语音识别判读，所述动作识别模块用于提取所述操作视频中的图像数据进行动作识别判读。
自助化考核中央控制单元，所述自助化考核中央控制单元用于控制数据采集模块和智能判读模块。
优选的，所述语音识别模块对语音的识别采用以下步骤：
a.1、提取音频数据；
a.2、建立lstm语言模型；
a.3、建立lstm+cpc声学模型；
a.4、构建字典；
a.5、解码后输出文本信息；
a.6、文本检查模块对文本信息数据进行文本识别判读。
优选的，在步骤a.2中，包括以下子步骤：
a.2.1、构建文本数据库，将将bls考核内容可能涉及到的文本数据进行标注、分词；
a.2.2、建立并训练lstm语言模型，所述lstm模型由一个嵌入层，一个隐藏层和一个密集层组成，将文本数据库中的句子概率拆解成每个词的概率积；
其中，隐藏层由多个细胞单元构成，每个细胞单元包括输入节点(gt)、输入门(it)、内部状态节点(st)、忘记门(ft)、输出门(ot)，最终输出值的计算公式分别为：
it＝σ(wixxt+wihht-1+bi)
ft＝σ(wfxxt+wfhht-1+bf)
st＝(gt·it+st-1·ft)
ot＝σ(woxxt+wohht-1+bo)
ht＝st·ot
上述公式中：xt代表当前时刻网络的输入值，ht-1代表上一时刻的输出值，w代表权重矩阵，wgx表示输入节点g输入值x的权重，bg，bi，bt，bo表示输入节点的偏置项，
其中，密集层使用lstm层输出的词汇表中每个单词的条件概率来计算句子出现的联合概率，即：
p(w1，…，wn)＝p(w1)*p(w2|w1)*…*p(wn|wn-1，…，w1)；
上述公式中：p()表示联合概率函数，wn表示句子中的第n个词，p(w2|w1)表示句子中在出现词w1的条件下，出现词w2的概率，p(wn|wn-1，…，w1)表示出现句子中存在词wn-1....w1条件下，出现wn的概率。
优选的，步骤a.3包括以下子步骤：
a.3.1、声学特征提取，对bls视频信息数据中的语音进行分帧；分帧后使用线性预测编码lpcc把多个帧波形变成多个多维向量进行声学特征提取；
a.3.2、建立lstm+ctc声学模型，将提取到的声学特征转换成音素或字词；所述lstm+ctc声学模型包括lstm双向网络、ctc损失函数；
所述lstm双向网络模型用于将语音数据转换成音素，lstm双向网络模型包括输入层，前进层(ht)，后退层(h′t)，输出层(ot)，所述前进层(ht)，后退层(h′t)，输出层(ot)的表达式分别为：
ht＝f(w1xt+w2ht-1)
h′t＝f(w3xt+w5ht-1)
ot＝g(w4ht+w6h′t)
其中，w1，w2…w6代表lstm双向网络中的6个共享权值。
所述ctc损失函数用于对音素进行最大相似度训练，直接输出序列预测概率，ctc损失函数为：
其中，s＝{(x1，z1)，(x2，z2)，...(xn，zn)}，表示有n个训练样本，x是输入样本，输入样本为提取的声学特征，z是对应的真实输出标签，对于其中一个样本(x，z)，x＝(x1，x2，x3，...，xt)表示一个长度为t帧的数据，每一帧的数据是一个维度为m的向量，即每个xi∈rm，xi是第i帧的数据经过lpc计算后得到的结果；z＝(z1，z2，z3，...zu)表示这段样本语音对应正确的音素，nw：(rm)t→(rn)t代表lstm模型中x的变换。
优选的，
步骤a.4包括以下子步骤：
a.4.1、构建语言模型字典：为每个词赋予唯一的索引，输入向量
其中，ni＝(n-1)m，n-1代表前n-1个词，m表示特征向量的大小，k表示字典的大小，vi表示字典v中的第i个字，
a.4.2、构建发音字典；
步骤a.5包括：将步骤a.2中语言模型输出的概率、步骤a.3中声学模型转换出的声素、步骤a.4中字典结合解码，进行文本输出，计算公式为：
其中，p(x|h)为声学模型，p(h│c)、p(c│l和p(l│w)分别表示状态序列对上下文相关的音素序列、上下文相关的音素序列对音素序列，以及音素序列对字序列的后验概率；p(w)为语言模型；
对新采集的受训者的bls操作语音信息数据，重复步骤a.2-a.5，得到bls操作文本语句信息；
步骤a.6包括根据文本检测并抽取出关键时间点序列，并与字典进行相似度对比，
所述文本检查模块对文本信息数据进行文本识别判读的规则策略设定如下：
设置文本参数库里词语的关键字权重，权重向量w＝{w1,w2….wn}；
所述相似度对比为：计算已设定的关键字权重与新采集的文本之间的余弦相似度，计算公式为：
xi代表句子a中每个词出现次数*权重，yi代表句子b每个词出现的次数*权重。当夹角的余弦值接近于1或等于1时，两个文本相近；
对新转化的受训者的bls操作语音文本数据，重复步骤5.2-5.6，得到bls操作语音识别判读结果。
优选的，所述动作识别模块对动作的识别包括以下步骤：
b.1、视频帧序列提取，根据音频识别结果，结合关键词匹配的时间点序列提取指定时间点的视频帧；
b.2、构建骨架序列拓朴图信息；
b.3、建立并训练st-gcn模型；
b.4、动作分类。
优选的，步骤b.2中，所述构建骨架序列拓朴图信息以关节为图节点，以人体结构中的自然连接性和时间为图边制作骨架序列拓朴图，其表达式为：
g＝(v,e)
式中：v代表节点集，v＝{vti|t＝1,…,t,i＝1,...,n}，表示第t帧的第i个节点的特征向量f(vti)；e代表边的集合，有两个子集组成，第一个子集是每一帧帧内骨骼点的链接es＝{vtivtj|(i,j)∈h},h表示人体骨骼点集合，第二个子集表示不同帧间的链接，ef＝{vtiv(t+1)i}。
优选的，所述st-gcn模型包括输入层、初始化层、三层卷积层、池化层、全链接层、输出层，其中，每层卷积层包括一个att单元，一个gcn单元，一个tcn单元；卷积层的输入与输出公式如下：
其中，fin代表输入通道数为c的特征图，卷积核大小k*k；b(vti)代表采样函数，lti(vtj)代表单帧标签图，w(lti(vtj))代表权重方程，zti(vtj)代表归一化项。将空间域的模型扩展到时间域中，采样函数更换为
优选的，所述动作分类采用softmax进行动作分类操作，得到预测动作类别的概率值。
进一步的，本发明还包括数据管理模块，所述数据管理模块包括注册登录模块，视频记录模块，成绩展示模块。
本发明的有益效果如下：
1、实现bls培训与考核的全程自助化、智能化、无接触化，使bls培训与考核不受时间与场所的限制。
2、实现bls培训的自助化报名、理论学习、理论考核、技能学习、技能考核，以及bls培训电子证书的发放功能；
3、智能化、自动化地真实记录并准确分析学生bls操作过程情况，可代替教师直接对学生bls操作过程进行考核打分，节约教师资源。
附图说明
图1为本发明的架构图；
图2为本发明使用流程图；
图3为基于模拟人的自助化bls技能考核系统的架构图；
图4为智能判读模块的架构图；
图5为语音识别模块的架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
如图1所示，本发明用于培训并考核受训者的bls理论及操作技能，并发放电子培训证书；
报名终端，用于受训者进行网络注册、报名以及预约模拟人及考核时间；
学生终端，用于受训者进行理论和技能的自助化学习与考核，包括bls理论学习、基于模拟人的bls技能练习、bls理论考核、基于模拟人的自助化bls技能考核；
教师终端，用于教师进行线上教学、管理教学资料；
师生交互终端，用于学生在学习过程中与教师进行交流沟通；
持证终端，用于考核通过后发放电子培训证书；
所述报名终端、学生终端、教师终端、师生交互终端、持证终端均连接自助化bls培训与考核系统。
本发明的使用方法：学员在报名终端上进行网站注册报名、预约模拟人以及预约技能考核时间；学员在学生终端上进行bls理论学习、基于模拟人的bls技能练习、bls理论考核以及基于模拟人的自助化bls技能考核；教师在教师终端上进行线上教学及教学资料管理；学员与考师在师行交互终端上进行交流沟通；学员在持证终端上持有和查看bls培训电子证；自助化bls培训与考核系统接收报名信息和自动建立学员档案，保存相关学习和考核数据与结果，培训完成后，发放bls培训电子证至持证终端。可实现培训全程无纸化和数据化，考核的无师化，从而实现智能化自助化的bls培训。
如图2所示：具体的，本发明中学员完成培训与考核的流程：学员在网站注册报名；根据网站提供的学习资料进行bls理论自学；自学完成后在网站上进行bls理论自测考核；若理论考核通过则进行模拟人预约，若理论考核不通过则重新进行理论学习；预约模拟人完成后进行基于模拟人的bls技能练习，学员边看教学视频边练习；练习完成后预约技能考核时间；进行基于模拟人的bls技能考核，通过视频记录及自助化bls考核系统对操作过程评分；若考核通过，则获得有效期为2年的电子培训证书，或考核未通过则重新预约模拟人进行技能练习。
如图3所示，基于模拟人的自助化bls技能考核系统包括：
数据采集模块，数据采集模块用于采集受考核者在bls技能操作全过程中的操作视频；
智能判读模块，智能判读模块包括语音识别模块和动作识别模块，语音识别模块用于提取操作视频中的音频数据进行语音识别判读，动作识别模块用于提取所述操作视频中的图像数据进行动作识别判读。
自助化考核中央控制单元，自助化考核中央控制单元用于控制数据采集模块和智能判读模块。
具体的，数据采集模块包括登录终端，视频采集终端，模拟人终端；数据管理模块包括登录模块，视频记录模块，成绩展示模块；智能判读模块包括语音识别模块、动作识别模块。2)登录终端和登录模块记录学生登录信息；模拟人终端记录学生操作过程中的按压位置，按压深度，按压频率，每次吹气量等信息；视频采集终端通过摄像设备采集学生bls技能操作全过程，包括学生操作过程中的动作和声音信息数据；视频记录模块，存储并输出由视频采集终端采集的视频。视频判读模块对学生的操作视频进行智能化自动化视频判读打分。成绩展示模块综合展示视频判读模块与模拟人终端输出的考核打分结果。
基于模拟人的自助化bls技能考核系统的使用方法：步骤：1)学生通过在登录模块登录账号；2)与模拟人终端配合完成单人bls操作；3)在视频记录模块观看已完成的操作视频；4)在成绩展示模块查询考核成绩。
如图4所示，智能判读模块包括语音识别模块、动作识别模块。1)语音识别模块提取视频信息数据中的音频数据进行语音识别判读；2)动作识别模块提取视频信息数据中的图像数据进行动作识别判读。
具体的，1、如图5所示：提取视频信息数据中的音频数据进行语音识别判读，包含语音识别模块、文本检测模块。步骤：1)提取音频数据；2)建立lstm语言模型；3)建立lstm+cpc声学模型；4)构建字典；5)解码后输出文本信息；6)文本检查模块对文本信息数据进行文本识别判读。
1.1、其中，建立lstm语言模型的步骤如下：1)构建文本数据库；2)建立并训练lstm语言模型；
1.1.1、构建文本数据库：将bls考核内容可能涉及到的文本数据如“前方有人倒地”“确保现场安全”“先生先生你怎么了”“女士醒一醒”“呼之不应，无呼吸”“喂，120”“有人晕倒”“街道小区楼栋”“需要aed”，“无脉搏搏动”“01、02、03、04…27、28、29、30”，“aed到达”“打开电源”“连接电极片”“除颤”“继续胸外按压”“脉搏恢复”“意识恢复”“可触及脉搏搏动”等进行人工标注、分词，构建文本数据库。
一个隐藏层和一个密集层组成，将文本数据库中的句子概率拆解成每个词的概率积。
其中，lstm层由多个细胞单元构成，每个细胞单元包括输入节点(gt)、输入门(it)、内部状态节点(st)、忘记门(ft)、输出门(ot)，最终输出值为计算公式分别为：
it＝σ(wixxt+wihht-1+bi)
ft＝σ(wfxxt+wfhht-1+bf)
st＝(gt·it+st-1·ft)
ot＝σ(woxxt+wohht-1+bo)
ht＝st·ot
上述公式中：xt代表当前时刻网络的输入值，ht-1代表上一时刻的输出值，w代表权重矩阵，wgx表示输入节点g输入值x的权重，bg，bi，bt，bo表示输入节点的偏置项，
其中，密集层使用lstm层输出的词汇表中每个单词的条件概率来计算句子出现的联合概率，即：
p(w1，…，wn)＝p(w1)*p(w2|w1)*…*p(wn|wn-1，…，w1)；
上述公式中：p()表示联合概率函数，wn表示句子中的第n个词，p(w2|w1)表示句子中在出现词w1的条件下，出现词w2的概率，p(wn|wn-1，…，w1)表示出现句子中存在词wn-1....w1条件下，出现wn的概率。
1.2建立lstm+cpc声学模型。其特征在于，步骤1)声学特征提取：对bls视频信息数据中的语音进行分帧；分帧后使用线性预测编码lpcc把多个帧波形变成多个多维向量进行声学特征提取；2)建立lstm+ctc声学模型，将提取到的声学特征转换成音素/字词。
其中，lstm+ctc声学模型：包括lstm双向网络，ctc损失函数，其特征在于，步骤：1)通过lstm双向网络模型将语音数据转换成音素；2)通过ctc损失函数对音素进行最大相似度训练，直接输出序列预测概率。
1.2.1lstm双向网络模型包括输入层，前进层(ht)，后退层(h′t)，输出层(ot)，表达式分别为：
ht＝f(w1xt+w2ht-1)
h′t＝f(w3xt+w5ht-1)
ot＝g(w4ht+w6h′t)
其中，w1，w2…w6代表lstm双向网络中的6个共享权值。
所述ctc损失函数用于对音素进行最大相似度训练，直接输出序列预测概率，ctc损失函数为：
其中，s＝{(x1，z1)，(x2，z2)，...(xn，zn)}，表示有n个训练样本，x是输入样本，输入样本为提取的声学特征，z是对应的真实输出标签，对于其中一个样本(x，z)，x＝(x1，x2，x3，...，xt)表示一个长度为t帧的数据，每一帧的数据是一个维度为m的向量，即每个xi∈rm，xi是第i帧的数据经过lpc计算后得到的结果；z＝(z1，z2，z3，...zu)表示这段样本语音对应正确的音素，nw：(rm)t→(rn)t代表lstm模型中x的变换。
1.3、构建字典：
1.3.1构建语言模型字典：为每个词赋予唯一的索引，输入向量
其中，ni＝(n-1)m，n-1代表前n-1个词，m表示特征向量的大小，k表示字典的大小，vi表示字典v中的第i个字，
1.3.2构建发音字典：如“确qe”“保bo”“安an”“全qn”等。
1.4解码后输出文本信息：其特征在于，将1.1中语言模型输出的概率、1.2中声学模型转换出的声素、1.3中字典结合解码，进行文本输出。计算公式为：
其中，p(x|h)为声学模型，p(h│c)、p(c│l和p(l│w)分别表示状态序列对上下文相关的音素序列、上下文相关的音素序列对音素序列，以及音素序列对字序列的后验概率；p(w)为语言模型。
1.5对新采集的学生bls操作语音信息数据，重复步骤1.1-1.4，得到bls操作文本语句信息。
1.6文本检查模块对文本信息数据进行文本识别判读，其特征在于，步骤：1)检测；2)规则策略设定；3)相似度对比。
1.6.1检测：根据文本检测并抽取出关键时间点序列，文本检测结果如“前方有人倒地，确保现场安全”作为序列1，“先生先生你怎么了”“女士醒一醒”“呼之不应，无呼吸”作为序列2，“喂，120”“有人晕倒”“街道小区楼栋”“需要aed”作为序列3，“无脉搏搏动”“01、02、03、04…27、28、29、30”作为序列4，“aed到达”“打开电源”“连接电极片”“除颤”“继续胸外按压”作为序列5,“脉搏恢复”“意识恢复”“可触及脉搏搏动”作为序列6。
1.6.2规则策略设定：设置文本参数库里词语的关键字权重，权重向量w＝{w1,w2….wn}，其中
1.6.3相似度对比：计算已设定的关键字权重与新采集的文本之间的余弦相似度，计算公式为：
其中，xi代表句子a中每个词出现次数*权重，yi代表句子b每个词出现的次数*权重。当夹角的余弦值接近于1或等于1时，两个文本相近。
1.7对新转化的学生bls操作语音文本数据，重复步骤1.1-1.6，得到bls操作语音识别判读结果。
2、如图3所示：提取视频信息数据中的图像信息数据进行动作识别判读，包括步骤：1)视频帧序列提取；2)构建骨架序列拓朴图信息；3)建立并训练st-gcn模型；4)动作分类。
2.1、视频帧序列提取：根据音频识别结果，结合关键词匹配的时间点序列提取指定时间点的视频帧。
2.2、构建骨架序列拓朴图信息：以关节为图节点，以人体结构中的自然连接性和时间为图边制作骨架序列拓朴图(时空图)，计算公式为：
g＝(v,e)
v代表节点集，v＝{vti|t＝1,…,t,i＝1,...,n}，表示第t帧的第i个节点的特征向量f(vti)；e代表边的集合，有两个子集组成，第一个子集是每一帧帧内骨骼点的链接es＝{vtivtj|(i,j)∈h},h表示人体骨骼点集合。第二个子集表示不同帧间的链接，ef＝{vtiv(t+1)i}。
2.3、建立并训练st-gcn模型，包括输入层，初始化层，三层卷积层，池化层，全链接层，输出层。其中，每层卷积层包括一个att单元，一个gcn单元，一个tcn单元。
卷积层的输入与输出公式：
其中，fin代表输入通道数为c的特征图，卷积核大小k*k；b(vtj)代表采样函数，lti(vtj)代表单帧标签图，w(lti(vtj))代表权重方程，zti(vtj)代表归一化项。将空间域的模型扩展到时间域中，采样函数更换为
2.4、输出动作分类：采用softmax进行动作分类操作，得到预测动作类别的概率值。
2.5、对新采集的学生bls操作图像信息数据，重复步骤2.1-2.4，得到bls操作动作识别判读结果。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】
与客服一对一沟通，为大家解决相关问题。
此文章来源于网络,如有侵权,请联系删除
热门咨询
