视频会议方法及系统、计算机可读存储介质与流程

本发明是关于视频通信技术领域，特别是关于一种视频会议方法及系统、计算机可读存储介质。

背景技术：

随着互联网技术的发展，视频会议的应用范围越来越广。

发明人在实现本发明的过程中发现，在视频会议过程中，有时会出现有人情绪过激或失控，导致会议无法正常进展，甚至中断，严重影响会议效率和效果，目前还没有有效的解决办法。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

技术实现要素：

本发明的目的在于提供一种视频会议方法及系统、计算机可读存储介质，其能够对视频会议中人员的情绪进行监控，实现对会议辅助管理。

为实现上述目的，本发明提供了一种视频会议方法，其包括：确认视频会议过程中的当前发言人；对视频流中的所述当前发言人启动表情识别，当所述当前发言人的表情出现异常，则启动麦克风智能检测功能；当检测到所述当前发言人的说话分贝高于第一阈值和/或说话频率高于第二阈值，则向所述当前发言人的客户端发出提醒。

在本发明的一实施方式中，所述确认视频会议过程中的当前发言人包括：通过麦克风拾音的变化确认视频会议过程中的当前发言人。

在本发明的一实施方式中，所述视频会议方法还包括：当检测到所述当前发言人的说话分贝多次高于所述第一阈值或说话频率多次高于所述第二阈值，则向所述当前发言人的客户端发出情绪过激提醒，并提供关闭语音或摄像头的选项。

在本发明的一实施方式中，所述视频会议方法还包括：在视频会议开启前，预先设置并存储多个关键字，并预先分配各个关键字的等级；在视频会议过程中对所述当前发言人进行语音识别；当所述当前发言人的发言内容中包括所述关键字，则根据所述关键字的等级程度向所述当前发言人的客户端弹出相应等级的警告；其中，当所述当前发言人的发言内容中的所述关键字为最高等级，则还对所述当前发言人禁言。

在本发明的一实施方式中，所述视频会议方法还包括：当在一段时间内，没有检测到所述当前发言人的说话分贝高于所述第一阈值、没有检测到说话频率所述高于第二阈值以及没有检测到当前发言人的发言内容中出现所述关键字，则关闭所述麦克风智能检测功能。

在本发明的一实施方式中，所述视频会议方法还包括：在视频会议过程中，对视频流中的各个人员进行人脸识别，连续多次记录各个人员的脸部轮廓位置；当连续两次记录的某一人员的脸部轮廓位置的重合部分低于第三阈值，则记为一次大幅移动；当检测到在一段时间内某一人员累计出现的大幅移动次数超过第四阈值，则向该人员的客户端发出请集中注意的提醒。

在本发明的一实施方式中，所述视频会议方法还包括：在视频会议过程中，对视频流中的各个人员进行人脸识别，当一段时间内检测不到某一人员的人脸信息，则向该人员的客户端发出请集中注意的提醒。

在本发明的一实施方式中，所述视频会议方法还包括：当检测到所述当前发言人的说话分贝高于第一阈值和/或说话频率高于第二阈值，则采用语音或文字的形式向视频会议过程中的与会人的客户端发出请注意重点讲话内容的提醒。

基于同样的发明构思，本发明还提供了一种视频会议系统，其包括：当前发言人确认模块、表情识别模块、第一提醒模块。当前发言人确认模块用于确认视频会议过程中的当前发言人。表情识别模块与所述当前发言人确认模块相耦合，用于对视频流中的所述当前发言人启动表情识别。麦克风智能检测模块与所述表情识别模块相耦合，用于当所述表情识别模块判断出所述当前发言人的表情出现异常，则启动麦克风智能检测。第一提醒模块与所述麦克风智能检测模块以及所述当前发言人确认模块相耦合，用于当检测到所述当前发言人的说话分贝高于第一阈值和/或说话频率高于第二阈值，则向所述当前发言人的客户端发出提醒。

在一实施方式中，视频会议系统还包括：关键字模块以及语音识别模块。关键字模块用于在视频会议开启前，预先设置并存储多个关键字，并预先分配各个关键字的等级。语音识别模块用于在视频会议过程中对当前发言人进行语音识别，若识别出当前发言人的发言内容中包括关键字，则根据关键字的等级程度向当前发言人的客户端弹出相应等级的警告；若识别出当前发言人的发言内容中的关键字为最高等级，则还对当前发言人禁言。

在一实施方式中，视频会议系统还包括：关闭模块，其用于当在一段时间内没有检测到当前发言人的说话分贝高于第一阈值、说话频率高于第二阈值以及没有检测到当前发言人的发言内容中出现关键字，则关闭麦克风智能检测功能。

在一实施方式中，视频会议系统还包括：人脸识别模块、大幅移动记录模块、第二提醒模块、第三提醒模块。人脸识别模块用于在视频会议过程中，对视频流中的各个人员进行人脸识别，连续多次记录各个人员的脸部轮廓位置。大幅移动记录模块与人脸识别模块相耦合，用于当连续两次记录的某一人员脸部轮廓位置的重合部分低于第三阈值，则记为一次大幅移动。第二提醒模块与所述大幅移动记录模块以及人脸识别模块均相耦合，用于当检测到在一段时间内某一人员累计出现的大幅移动次数超过第四阈值，则采用语音或文字的形式向该人员的客户端发出请集中注意的提醒。第三提醒模块与人脸识别模块相耦合，第三提醒模块用于当人脸识别模块连续一段时间内检测不到某一人员的人脸信息时，则向该人员的客户端发出请集中注意的提醒。

在一实施方式中，视频会议系统还包括：第四提醒模块，其与麦克风智能检测模块相耦合，用于当麦克风智能检测模块检测到当前发言人的说话分贝高于第一阈值和/或说话频率高于第二阈值时，则向视频会议过程中的与会人的客户端发出请注意重点讲话内容的提醒。

基于同样的发明构思，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质用于执行如权利要求1～8任一所述的视频会议方法。

与现有技术相比，根据本发明的视频会议方法及系统，首先对发言人进行表情识别，初步判断出表情出现异常后，再触发麦克风智能检测，继而判断发言人的声音，根据表情和声音两个条件来判断发言人的情绪是否失控，可以比较准确地判断出发言人的情绪，进一步地，当发言人情绪和声音均异常，则发出提醒，引导会议中的发言人平静下来，达到了对会议辅助管理的目的，该方法能够提高视频会议效率。

附图说明

图1是根据本发明一实施方式的视频会议方法；

图2是根据本发明一实施方式的视频会议系统。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

图1是根据本发明一实施方式的视频会议方法，该视频会议方法包括：步骤s1～步骤s3。

在步骤s1中确认当前发言人。可以通过麦克风拾音的变化确认视频会议过程中的当前发言人。

在步骤s2中判断出表情异常后启动麦克风智能检测功能。具体地，对视频流中的当前发言人启动表情识别，若当前发言人的表情出现异常，如愤怒、暴躁、兴奋等，则启动麦克风智能检测功能。

在步骤s3中进行情绪提醒。当检测到当前发言人的说话分贝高于第一阈值和/或说话频率高于第二阈值，则采用语音或文字的形式向当前发言人的客户端发出提醒。其中，可以通过系统记录发言人日常说话的分贝以及频率，并以发言人日常说话的分贝以及频率作为确定第一阈值和第二阈值的依据，具体地，本实施方式中当检测到当前发言人的说话分贝多次高于发言人正常分贝的10％(如2次大于70分贝)或说话频率多次超出发言人正常频率的10％，则向当前发言人的客户端发出情绪过激提醒，提醒发言人是否需要暂缓后继续参与会议，还可以提供关闭语音和/或摄像头的选项，发言人可以在自己失态的情况下自动关闭语音和/或摄像头。

通过该实施方式，首先对发言人进行表情识别，初步判断出表情出现异常后，再触发麦克风智能检测，继而判断发言人的声音，根据表情和声音两个条件来判断发言人的情绪是否失控，可以比较准确地判断出发言人的情绪，进一步地，当发言人情绪和声音均异常，则发出提醒，引导会议中的发言人平静下来，达到了对会议辅助管理的目的，该方法能够提高会议效率。并且该方法中只是对发言人进行管理，所需资源小。

优选地，为了提高会议质量，一实施方式的视频会议方法还包括：在视频会议开启前，预先设置并存储多个关键字，并预先分配各个关键字的等级；在视频会议过程中对当前发言人进行语音识别；若当前发言人的发言内容中包括关键字，则根据关键字的等级程度向当前发言人的客户端弹出相应等级的警告，当前发言人的发言内容中的关键字为最高等级，则还对当前发言人禁言。其中，关键字可以为尊者姓名、特殊事件、禁止出现的名称、不文明用语等，关键字等级可以设置为一级、二级、三级等，如不文明用语为一级，直接弹出警告并禁言；某些特定事件如涉及个人隐私为二级警告，触发麦克风智能检测功能，根据结果进行相应处理，再如直呼尊者姓名为三级警告，给出提示，请发言人注意礼貌。

优选地，为了节约网络资源，视频会议方法还包括：当在一段时间内没有检测到当前发言人的说话分贝高于第一阈值、说话频率高于第二阈值以及没有检测到当前发言人的发言内容中出现关键字，则关闭麦克风智能检测功能。

优选地，为了能够进一步提高会议的效果，视频会议方法还包括：在视频会议过程中，对视频流中的各个人员进行人脸识别，连续多次记录各个人员的脸部轮廓位置；当某一人员连续两次记录的脸部轮廓位置的重合部分低于第三阈值，则记为一次大幅移动；当检测到在一段时间内某一人员累计出现的大幅移动次数超过第四阈值，则采用语音或文字的形式向该人员的客户端发出请集中注意的提醒。

优选地，为了能够进一步提高会议的效果，视频会议方法还包括：在视频会议过程中，对视频流中的各个人员进行人脸识别，当连续一段时间内检测不到某一人员的人脸信息，则采用语音或文字的形式向该人员的客户端发出请集中注意的提醒。

优选地，视频会议方法还包括：当检测到当前发言人的说话分贝高于第一阈值和/或说话频率高于第二阈值，则采用语音或文字的形式向视频会议过程中的与会人的客户端发出请注意重点讲话内容的提醒。该实施方式可以应用在远程教学领域，在讲师讲课中，如果讲师声音变大，系统向学生客户端发出提醒，提醒学生此处为重点，请注意倾听。发出提醒的方式可以是以醒目屏幕文字提醒、2～3次的闪屏提醒以及系统发出短暂特别提示音“滴滴滴”等，以免过长的系统提醒覆盖讲师声音。

基于同样的发明构思，本实施方式中还提供了一种视频会议系统，如图2所示，该系统包括：当前发言人确认模块10、表情识别模块11、麦克风智能检测模块12、第一提醒模块13。

当前发言人确认模块10用于确认视频会议过程中的当前发言人，具体地，本实施方式通过麦克风拾音的变化确认视频会议过程中的当前发言人。

表情识别模块11与当前发言人确认模块10相耦合，用于对视频流中的当前发言人启动表情识别。

麦克风智能检测模块12与表情识别模块11相耦合，用于当表情识别模块11判断出当前发言人的表情出现异常，则启动麦克风智能检测。

第一提醒模块13与麦克风智能检测模块12以及当前发言人确认模块10相耦合，用于当检测到当前发言人的说话分贝高于第一阈值和/或说话频率高于第二阈值，则采用语音或文字的形式向当前发言人的客户端发出提醒。提醒模块还用于当检测到当前发言人的说话分贝多次高于第一阈值或说话频率多次高于第二阈值，则向当前发言人的客户端发出情绪过激提醒，并提供关闭语音或摄像头的选项。

优选地，为了提高会议质量，在一实施方式中，视频会议系统还包括：关键字模块以及语音识别模块。

关键字模块用于在视频会议开启前，预先设置并存储多个关键字，并预先分配各个关键字的等级。

语音识别模块用于在视频会议过程中对当前发言人进行语音识别，若识别出当前发言人的发言内容中包括关键字，则根据关键字的等级程度向当前发言人的客户端弹出相应等级的警告；若识别出当前发言人的发言内容中的关键字为最高等级，则还对当前发言人禁言。

优选地，为了节约网络资源，在一实施方式，视频会议系统还包括：关闭模块，其用于当在一段时间内没有检测到当前发言人的说话分贝高于第一阈值、说话频率高于第二阈值以及没有检测到当前发言人的发言内容中出现关键字，则关闭麦克风智能检测功能。

优选地，为了能够进一步提高会议的效果，在一实施方式中，视频会议系统还包括：人脸识别模块、大幅移动记录模块、第二提醒模块、第三提醒模块。

人脸识别模块用于在视频会议过程中，对视频流中的各个人员进行人脸识别，连续多次记录(如每隔1秒记录一次)各个人员的脸部轮廓位置。

大幅移动记录模块与人脸识别模块相耦合，用于当某一人员连续两次记录的脸部轮廓位置的重合部分低于第三阈值(如65％)，则记为一次大幅移动。

第二提醒模块与所述大幅移动记录模块以及人脸识别模块均相耦合，用于当检测到在一段时间内某一人员累计出现的大幅移动次数超过第四阈值(如1分钟内超6次)，则采用语音或文字的形式向该人员的客户端发出请集中注意的提醒。

第三提醒模块与人脸识别模块相耦合，第三提醒模块用于当人脸识别模块连续一段时间内(如10秒内)检测不到某一人员的人脸信息时，则采用语音或文字的形式向该人员的客户端发出请集中注意的提醒。

在一实施方式中，视频会议系统还包括：第四提醒模块，其与麦克风智能检测模块12相耦合，用于当麦克风智能检测模块12检测到当前发言人的说话分贝高于第一阈值和/或说话频率高于第二阈值时，则采用语音或文字的形式向视频会议过程中的与会人的客户端发出请注意重点讲话内容的提醒。该实施方式可以应用在远程教学领域，在讲师讲课中，如果讲师声音变大，系统向学生客户端发出提醒，提醒学生此处为重点，请注意倾听。发出提醒的方式可以是以醒目屏幕文字提醒、2～3次的闪屏提醒以及系统发出短暂特别提示音“滴滴滴”等，以免过长的系统提醒覆盖讲师声音。

基于同样的发明构思，本实施方式还提供了一种计算机可读存储介质，该计算机可读存储介质用于执行上述任一实施方式所述的视频会议方法。

综上，根据本实施方式的视频会议方法及系统，首先对发言人进行表情识别，初步判断出表情出现异常后，再触发麦克风智能检测，继而判断发言人的声音，根据表情和声音两个条件来判断发言人的情绪是否失控，可以比较准确地判断出发言人的情绪，进一步地，当发言人情绪和声音均异常，则发出提醒，引导会议中的发言人平静下来，达到了对会议辅助管理的目的，该方法能够提高视频会议效率。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除