网络互动教学方法、装置、计算机设备和存储介质与流程

2021-01-25 12:01:56|

299|

起点商标网

[0001]
本申请涉及计算机技术领域，特别是涉及一种网络互动教学方法、装置、计算机设备和存储介质。

背景技术：

[0002]
随着互联网技术的发展，网络音视频技术广泛应用于购物、娱乐、教育等多个领域。而网络互动教学作为教育领域的一个重要应用，能够将教育资源进行分享和传播，实现教学过程中教师与学生之间的互动，提高教学效率。传统方式中，是通过视频会议系统来实现网络互动教学的，在互动讨论过程中，视频会议系统中的主讲终端在接收到听讲终端推送的多路视频数据以及多路引音频数据之后，需要对多路视频数据进行多画面编码，对多路音频数据进行混音处理，进而将处理后的视频数据以及音频数据推送至听讲终端。
[0003]
然而，多画面编码以及音频数据混音处理会耗费较多时间，从而导致网络互动教学的延迟较高，致使网络互动教学的效率较低。

技术实现要素：

[0004]
基于此，有必要针对上述技术问题，提供一种能够通过降低网络互动教学的延迟以提高网络互动教学效率的网络互动教学方法、装置、计算机设备和存储介质。
[0005]
一种网络互动教学方法，所述方法包括：
[0006]
在网络互动教学过程中，接收多个听讲终端推送的听讲方课堂数据、主讲方视频数据以及主讲方音频数据；
[0007]
将所述听讲方课堂数据进行解码，播放解码后的数据；
[0008]
将所述主讲方视频数据以及所述主讲方音频数据进行预处理，得到预处理后的主讲方课堂数据；
[0009]
将所述预处理后的主讲方课堂数据推送至各听讲终端，以使各听讲终端播放所述预处理后的主讲方课堂数据；
[0010]
当在数据播放过程中，接收到互动模式的触发操作时，根据所述触发操作确定目标听讲终端，将多个听讲终端中目标听讲终端以外的听讲终端作为其他听讲终端；
[0011]
将所述目标听讲终端对应的听讲方课堂数据以及所述预处理后的主讲方课堂数据进行封装，将封装后得到的课堂数据分发至所述其他听讲终端，以使所述其他听讲终端播放所述封装后得到的课堂数据。
[0012]
在其中一个实施例中，所述方法还包括：
[0013]
在网络互动教学过程中，接收跟踪指令，所述跟踪指令携带教学模式跟踪标识；
[0014]
根据所述教学模式跟踪标识确定目标教学模式，获取所述目标教学模式对应的目标主讲方视频数据以及目标主讲方音频数据；
[0015]
根据所述跟踪指令将当前主讲方视频数据切换至所述目标主讲方视频数据，以及将当前主讲方音频数据切换至所述目标主讲方音频数据。
[0016]
在其中一个实施例中，所述将所述听讲方课堂数据进行解码，播放解码后的数据包括：
[0017]
对所述听讲方课堂数据进行解码，得到各听讲终端推送的目标视频数据以及各听讲终端推送的目标音频数据；
[0018]
将多个听讲终端推送的目标视频数据进行拼接，将拼接得到的多个课堂画面进行显示；
[0019]
将多个听讲终端推送的目标音频数据进行混音处理，播放混音处理后的音频数据。
[0020]
在其中一个实施例中，所述将所述主讲方视频数据以及所述主讲方音频数据进行预处理，得到预处理后的主讲方课堂数据包括：
[0021]
对所述主讲方音频数据进行编码，得到编码后的主讲方音频数据；
[0022]
将所述编码后的主讲方音频数据以及所述主讲方视频数据进行同步处理，得到同步后的主讲方音频数据以及同步后的主讲方视频数据；
[0023]
将所述同步后的主讲方音频数据以及同步后的主讲方视频数据进行封装，将封装后得到的音视频数据作为预处理后的主讲方课堂数据。
[0024]
在其中一个实施例中，所述多个听讲终端是更新课堂状态之后的听讲终端，所述在网络互动教学过程中，接收多个听讲终端推送的听讲方课堂数据、主讲方视频数据以及主讲方音频数据之前，所述方法还包括：
[0025]
当接收到准备完成的提示信息时，根据所述提示信息确定提示终端，将所述提示终端的课堂状态更新为已就绪状态；
[0026]
在更新所述提示终端的课堂状态后，接收所述提示终端推送的听讲方课堂数据。
[0027]
在其中一个实施例中，所述方法还包括：
[0028]
在更新所述提示终端的课堂状态后，根据第一时间间隔发送心跳包至所述提示终端；
[0029]
当在预设时间段内未收到所述提示终端的响应信息时，则将所述提示终端的课堂状态标记为待就绪状态；
[0030]
根据第二预设时间间隔发送上课指令至所述提示终端，直至接收到所述提示终端返回的准备完成的提示信息。
[0031]
一种网络互动教学装置，所述装置包括：
[0032]
第一通信模块，用于在网络互动教学过程中，接收多个听讲终端推送的听讲方课堂数据；
[0033]
第二通信模块，用于接收主讲方视频数据以及主讲方音频数据；
[0034]
解码模块，用于将所述听讲方课堂数据进行解码，播放解码后的数据；
[0035]
预处理模块，用于将所述主讲方视频数据以及所述主讲方音频数据进行预处理，得到预处理后的主讲方课堂数据；
[0036]
所述第一通信模块，还用于将所述预处理后的主讲方课堂数据推送至各听讲终端，以使各听讲终端播放所述预处理后的主讲方课堂数据；
[0037]
确定模块，用于当在数据播放过程中，接收到互动模式的触发操作时，根据所述触发操作确定目标听讲终端，将多个听讲终端中目标听讲终端以外的听讲终端作为其他听讲
终端；
[0038]
所述第一通信模块，还用于将所述目标听讲终端对应的听讲方课堂数据以及所述预处理后的主讲方课堂数据进行封装，将封装后得到的课堂数据分发至所述其他听讲终端，以使所述其他听讲终端播放所述封装后得到的课堂数据。
[0039]
在其中一个实施例中，所述装置还包括：
[0040]
所述第二通信模块，还用于在网络互动教学过程中，接收跟踪指令，所述跟踪指令携带教学模式跟踪标识；
[0041]
所述第一通信模块，还用于根据所述教学模式跟踪标识确定目标教学模式，获取所述目标教学模式对应的目标主讲方视频数据以及目标主讲方音频数据；
[0042]
切换模块，用于根据所述跟踪指令将当前主讲方视频数据切换至所述目标主讲方视频数据，以及将当前主讲方音频数据切换至所述目标主讲方音频数据。
[0043]
一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。
[0044]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
[0045]
上述网络互动教学方法、装置、计算机设备和存储介质，在网络互动教学过程中，接收多个听讲终端推送的听讲方课堂数据、主讲方视频数据以及主讲方音频数据，将听讲方课堂数据进行解码，播放解码后的数据。能够使主讲教师在讲课过程中，观看到各听讲终端对应的听讲教室的学生全景图像，及时了解各听讲教室的参与情况。将主讲方视频数据以及主讲方音频数据进行预处理，得到预处理后的主讲方课堂数据，将预处理后的主讲方课堂数据推送至各听讲终端，能够使各听讲终端进行课堂学习。当在数据播放过程中，接收到互动模式的触发操作时，根据触发操作确定目标听讲终端，主讲终端可直接将目标听讲终端对应的听讲方课堂数据以及预处理后的主讲方课堂数据进行封装，将封装后得到的课堂数据分发至其他听讲终端，以使听讲教室内的学生可以在互动讨论过程中，观看到主讲终端对应的主讲教师以及目标听讲终端对应的目标听讲教室内的视频数据，听到互动讨论过程中的音频数据。主讲终端无需在数据传输之前，对将目标听讲终端对应的听讲方课堂数据以及预处理后的主讲方课堂数据进行多画面编码以及混音处理，减少了一次解码及编码过程，降低了多画面编码以及混音处理导致的延时。同时，听讲终端在接收到目标听讲终端对应的听讲方课堂数据以及预处理后的主讲方课堂数据之后，进行解码、多画面拼接及混音处理，能够均衡主讲终端与听讲终端之间的资源占用空间，主讲终端与听讲终端均无需具备较强的编码能力，只需具备多路解码能力即可，有效降低了网络互动教学中的硬件成本。
附图说明
[0046]
图1为一个实施例中网络互动教学方法的应用环境图；
[0047]
图2为一个实施例中网络互动教学方法的流程示意图；
[0048]
图3为一个实施例中根据跟踪指令进行教学模式切换步骤的流程示意图；
[0049]
图4为一个实施例中网络互动教学装置的结构框图；
[0050]
图5为一个实施例中计算机设备的内部结构图。
time messaging protocol，实时消息传输协议)协议封装后的数据。具体的，听讲方视频数据是听讲终端通过第三视频采集设备采集主讲教室的视频数据，并通过第三视频采集设备对采集到的视频数据进行编码得到的。其中，第三视频采集设备可以是网络摄像机，如rtmp(real time messaging protocol，实时消息传输协议)摄像机。听讲方视频数据的编码方式可以是h.264high profile。rtmp摄像机可以通过听讲终端上的rj45网口与听讲终端进行连接。
[0057]
听讲方音频数据可以由当前教学模式确定，如果是互动模式，通过第二音频采集设备将采集到的听讲方音频数据传输至听讲方终端，听讲方终端对听讲方音频数据进行编码。其中，第二音频采集设备可以通过音频接口，如3.5mm音频接口、莲花头、凤凰端子等接口与主讲终端进行通信。如果是讲课模式，听讲方终端直接采用本地预存的静音数据进行音频编码或直接使用预存的经过编码后的静音数据。听讲方音频数据的编码方式可以是aac(advanced audio coding，高级音频)。听讲方终端对经过编码后的听讲方视频数据和听讲方音频数据进行时间戳对齐，将经过时间戳对齐后的听讲方视频数据和听讲方音频数据按照rtmp(real time messaging protocol，实时消息传输协议)协议进行封装，将封装后的听讲方课堂数据传输至主讲方终端。主讲方视频数据可以包括主讲方所处主讲教室的第一视频数据以及主讲方的课件画面数据等多路视频数据。其中，第一视频数据可以包括主讲教师图像、板书图像、学生图像等。主讲终端可以通过第一视频采集设备采集主讲方所处主讲教室的第一视频数据、通过第视频采集设备采集主讲方所处主讲教室的课件画面视频数据以及通过第一音频采集设备采集主讲教室的音频数据。第一视频采集设备具备视频编码功能，第一视频采集设备将编码后的第一视频数据传输至主讲终端。其中，第一视频采集设备可以是网络摄像机，如rtmp摄像机。rtmp摄像机可以通过主讲终端上的rj45网口与主讲终端进行连接。第一视频数据的编码方式可以是h.264 high profile。第二视频数据采集设备中运行有预设应用程序，通过预设应用程序采集主讲方的课件画面数据。第一音频采集设备将采集到的主讲方音频数据传输至主讲方终端。主讲方终端对主讲方音频数据以及课件画面数据分别进行编码。主讲方音频数据的编码方式可以是aac。课件画面数据的编码方式可以是h.264 high profile。第一音频采集设备可以通过3.5mm音频接口、莲花头、凤凰端子等接口与主讲终端进行通信。
[0058]
由于主讲终端以及听讲终端接收到的教室内的视频数据均为编码后的视频数据，主讲终端以及听讲终端无需对视频数据进行编码，降低了对主讲终端以及听讲终端的编码能力的要求，从而降低了硬件成本。
[0059]
在其中一个实施例中，还可以在不同听讲教室或主讲教室区域设置不同用途的视频采集设备以及音频采集设备。例如，视频采集设备可以是rtmp摄像机。当设置有多个rtmp摄像机时，可以通过交换机连接多个rtmp摄像机，并通过听讲终端上的rj45网口与听讲终端进行连接，从而实现将多个rtmp摄像机与听讲终端进行连接。例如，音频采集设备可以是麦克风，麦克风可以通过听讲终端上的3.5mm音频接口、莲花头或者凤凰端子接口连接到音频处理器，音频处理器输出口通过听讲终端上的3.5mm音频接口与听讲终端进行连接。
[0060]
步骤204，将听讲方课堂数据进行解码，播放解码后的数据。
[0061]
主讲终端在接收到听讲方课堂数据、主讲方视频数据以及主讲方音频数据之后，对听讲方课堂数据进行解码，得到解码后的听讲方课堂数据。主讲方终端可以根据当前教
学场景选取待播放数据。待播放数据可以包括视频数据以及音频数据。选取的待播放数据可以是听讲终端或者主讲终端中的任意一个终端的数据。当选取的待播放数据仅为一个终端的数据时，可以直接发送至该终端进行播放。当选取的待播放数据为多个终端的数据时，可以将待播放数据中各终端的视频数据进行缩放，在将缩放后的视频数据按照预设的显示位置进行拼接，进行播放。对于待播放数据中各终端的音频数据，可以将多个终端的音频数据进行混音数据后进行播放。在其中一个实施例中，当选取的待播放数据为多个终端的数据时，将听讲方课堂数据进行解码，播放解码后的数据包括：对听讲方课堂数据进行解码，得到各听讲终端推送的目标视频数据以及各听讲终端推送的目标音频数据；将多个听讲终端推送的目标视频数据进行拼接，将拼接得到的多个课堂画面进行显示；将多个听讲终端推送的目标音频数据进行混音处理，播放混音处理后的音频数据。
[0062]
听讲方课堂数据为各听讲终端将相应的听讲方视频数据以及听讲方音频数据进行封装后得到的数据。主讲终端可以先对各听讲终端对应的听讲方课堂数据进行解析，得到分离后的听讲方视频数据以及听讲方音频数据。主讲终端对听讲方视频数据进行解码，得到解码后的视频数据，即目标视频数据。对听讲方音频数据进行解码，得到解码后的音频数据，即目标音频数据。主讲终端可以按照接收到目标视频数据的预设显示位置将目标视频数据进行依次拼接，得到多个课堂画面。其中，拼接的方式可以是glsurfaceview。从而主讲终端将组合得到的多个课堂画面通过hdmi输出口输出至显示设备，例如，显示设备可以是电视，通过显示设备显示拼接得到的多个课堂画面。主讲终端将目标音频数据传输至混音器，通过混音器对目标音频数据进行混音处理，从而避免多路音频数据之间的相互干扰。主讲终端将混音处理后的音频数据传输至音频播放器，进行播放。例如，音频播放器可以是音箱。进而主讲教师可以在讲课过程中，观看各听讲终端对应的听讲教室的学生全景图像，能够及时了解各听讲教室的参与情况。
[0063]
步骤206，将主讲方视频数据以及主讲方音频数据进行预处理，得到预处理后的主讲方课堂数据。
[0064]
步骤208，将预处理后的主讲方课堂数据推送至各听讲终端，以使各听讲终端播放预处理后的主讲方课堂数据。
[0065]
主讲终端在接收到第一视频采集设备以及第二视频采集设备传输的主讲方视频数据以及第一音频采集设备传输的主讲方音频数据之后，可对主讲方视频数据以及主讲方音频数据进行预处理，预处理的方式可以包括编码、同步以及封装。在其中一个实施例中，将主讲方视频数据以及主讲方音频数据进行预处理，得到预处理后的主讲方课堂数据包括：对主讲方音频数据进行编码，得到编码后的主讲方音频数据；将编码后的主讲方音频数据以及主讲方视频数据进行同步处理，得到同步后的主讲方音频数据以及同步后的主讲方视频数据；将同步后的主讲方音频数据以及同步后的主讲方视频数据进行封装，将封装后得到的音视频数据作为预处理后的主讲方课堂数据。
[0066]
由于主讲终端接收到的主讲方视频数据是经过编码后的视频数据，因此主讲终只需要对主讲方音频数据进行编码。例如，音频数据的编码方式可以是aac(advanced audio coding，高级音频)。从而主讲终端将编码后的主讲方音频数据与主讲方视频数据进行同步处理，同步处理可以是将编码后的主讲方音频数据与主讲方视频数据进行时间戳对齐，以保证编码后的主讲方音频数据与主讲方视频数据之间是同步的。进而主讲终端根据预设协
议将同步后的主讲方音频数据以及同步后的主讲方视频数据封装至同一个rtmp通道中，将封装后得到的音视频数据作为预处理后的主讲方课堂数据。例如，预设协议可以是rtmp协议。
[0067]
主讲终端将预处理后的主讲方课堂数据通过rtmp通道推送至各听讲终端，各听讲终端在接收到预处理后的主讲方课堂数据源之后，对预处理后的主讲方课堂数据进行解码，得到解码后的主讲方视频数据以及解码后的主讲方音频数据。听讲终端将解码后的主讲方视频数据传输至显示设备。例如，显示设备可以是电视。通过显示设备进行显示。听讲终端将解码后的听讲方音频数据传输至音频播放器，进行播放。例如，音频播放器可以是音箱。
[0068]
步骤210，当接收到互动模式的触发操作时，根据触发操作确定目标听讲终端，将多个听讲终端中目标听讲终端以外的听讲终端作为其他听讲终端。
[0069]
步骤212，将目标听讲终端对应的听讲方课堂数据以及预处理后的主讲方课堂数据进行封装，将封装后得到的课堂数据分发至其他听讲终端，以使其他听讲终端播放封装后得到的课堂数据。
[0070]
当在数据播放过程中，主讲教师可以触发主讲终端上的互动模式按钮，与听讲终端进行互动，也可以在听到听讲教室内有学生请教问题、看到听讲教室内有学生举手或是起立等需要进行互动讨论的情况时，主讲教师可以触发主讲终端上的互动模式按钮，当主讲终端接收到主讲教师对互动模式按钮的触发操作时，主讲终端响应于该触发操作，基于触发操作确定目标听讲终端。将多个听讲终端中目标听讲终端以外的听讲终端作为其他听讲终端。
[0071]
主讲终端获取目标听讲终端对应的听讲方课堂数据，主讲终端可以采取多路分发技术，直接将目标听讲终端对应的听讲方课堂数据以及预处理后的主讲方课堂数据传输至其他听讲终端。具体的，主讲终端确定主讲终端与其他各听讲终端进行数据通信的rtmp通道，从而将获取到的目标听讲终端对应的听讲方课堂数据与预处理后的主讲方课堂数据封装在确定的多个rtmp通道中，进而将封装后到得到课堂数据通过rtmp通道传输至相应的听讲终端。听讲终端在接收到该封装后的课堂数据之后，对封装后的课堂数据进行解码，得到目标听讲终端对应的听讲方视频数据及听讲方音频数据、主讲方视频数据及主讲方音频数据。听讲终端可以将目标听讲终端对应的听讲方视频数据以及主讲方视频数据进行按照数据接收时间顺序进行依次拼接，得到多个课堂画面。其中，拼接的方式可以是glsurfaceview。听讲终端将组合得到的多个课堂画面通过hdmi输出口输出至显示设备，例如，显示设备可以是电视，通过显示设备显示拼接得到的多个课堂画面。听讲终端将目标听讲终端对应的听讲方音频数据以及主讲方音频数据传输至混音器，通过混音器进行混音处理，从而避免听讲方音频数据与主讲方音频数据音频之间的相互干扰。听讲终端将混音处理后的音频数据传输至音频播放器，进行播放。例如，音频播放器可以是音箱。进而听讲终端对应的听讲教室内的学生可以在互动讨论过程中，观看到主讲终端对应的主讲教师以及目标听讲终端对应的目标听讲教室内的视频数据，听到互动讨论过程中的音频数据。
[0072]
在其中一个实施例中，可以采用rtmp(real time messaging protocol，实时消息传输协议)协议实现主讲终端以及听讲终端之间的通信。与传统方式所采用的复杂的h.323通信协议体系相比，省略了建立控制通信、建立媒体通道、媒体传输等步骤，因此互动教学
业务的开发成本更低。另外，采用rtmp协议进行通信只需要关注教学模式，无需关注会议模式，无需实现复杂的会控操作，简化了互动教学业务控制流程以及教学模式切换流程。
[0073]
在其中一个实施例中，主讲终端以及听讲终端可以将需要播放的音频数据通过3.5mm音频接口输出给音频处理器，通过音频处理器进行回声消除。其中，回声消除的方式可以是声学回声消除(acoustic echo cancellation，aec)、线路回声消除(line echo cancellation，lec)等。音频处理器将回声消除后的音频数据传输至音频播放器进行播放。通过消除回音，能够提高主讲终端以及听讲终端播放的音频数据的准确性。
[0074]
在本实施例中，在网络互动教学过程中，主讲终端接收多个听讲终端推送的听讲方课堂数据、主讲方视频数据以及主讲方音频数据，将听讲方课堂数据进行解码，播放解码后的数据。能够使主讲教师在讲课过程中，观看到各听讲终端对应的听讲教室的学生全景图像，及时了解各听讲教室的参与情况。主讲终端将主讲方视频数据以及主讲方音频数据进行预处理，得到预处理后的主讲方课堂数据，将预处理后的主讲方课堂数据推送至各听讲终端，能够使各听讲终端进行课堂学习。当在数据播放过程中，接收到互动模式的触发操作时，根据触发操作确定目标听讲终端，主讲终端直接将目标听讲终端对应的听讲方课堂数据以及预处理后的主讲方课堂数据进行封装，将封装后得到的课堂数据分发至其他听讲终端，以使听讲教室内的学生可以在互动讨论过程中，观看到主讲终端对应的主讲教师以及目标听讲终端对应的目标听讲教室内的视频数据，听到互动讨论过程中的音频数据。主讲终端无需在数据传输之前，对将目标听讲终端对应的听讲方课堂数据以及预处理后的主讲方课堂数据进行多画面编码以及混音处理，减少了一次解码及编码过程，降低了多画面编码以及混音处理导致的延时。同时，听讲终端在接收到目标听讲终端对应的听讲方课堂数据以及预处理后的主讲方课堂数据之后，进行解码、多画面拼接及混音处理，能够均衡主讲终端与听讲终端之间的资源占用空间，主讲终端与听讲终端均无需具备较强的编码能力，只需具备多路解码能力即可，有效降低了网络互动教学中的硬件成本。
[0075]
在一个实施例中，如图3所示，上述方法还包括：根据跟踪指令进行教学模式切换的步骤，该步骤具体包括：
[0076]
步骤302，在网络互动教学过程中，接收跟踪指令，跟踪指令携带教学模式跟踪标识。
[0077]
步骤304，根据教学模式跟踪标识确定目标教学模式，获取目标教学模式对应的目标主讲方视频数据以及目标主讲方音频数据。
[0078]
步骤306，根据跟踪指令将当前主讲方视频数据切换至目标主讲方视频数据，以及将当前主讲方音频数据切换至目标主讲方音频数据。
[0079]
在网络互动教学过程中，主讲终端还可以进行教学模式切换。主讲终端对应的第一视频采集设备在采集视频数据后，对采集到的视频数据进行跟踪识别。采集到的视频数据可以包括多帧图像。跟踪识别过程中所采用的图像跟踪算法可以但不限于是meanshift、camshift、kalman filter。主讲终端对应的主讲教室中预先设置有针对不同区域进行数据采集的第一视频设备，包括教师区域以及学生区域，即教师区域的第一视频采集设备采集教师图像，学生区域的第一视频采集设备采集学生图像。
[0080]
具体的，第一视频采集设备对各帧图像进行人体监测，监测出各帧图像中的人体目标，得到包含人体目标的图像，从而对包含人体目标的图像进行运动侦测，识别出人体目
标的动作，从而确定目标人体的运动情况。人体目标的动作可以是起立、坐下等。第一视频设备根据目标人体的运动情况确定相应的教学模式跟踪标识，生成跟踪指令，将跟踪指令发送至主讲终端。例如，教学模式跟踪标识可以是跟踪码。主讲终端对跟踪指令进行解析，得到教学模式跟踪标识，根据教学模式跟踪标识确定目标教学模式。其中，目标教学模式可以是教师出现、教师讲课、教师消失、走上讲台、走下讲台、学生起立、学生坐下、多人起立、开始板书、停止板书等多种教学模式中的一种或多种。主讲终端从第一视频采集设备或者第二视频采集设备中获取目标教学模式对应的目标主讲方视频数据以及目标主讲方音频数据。根据跟踪指令将当前主讲方视频数据切换至目标主讲方视频数据，以及将当前主讲方音频数据切换至目标主讲方音频数据。例如，在教师讲课时，主讲终端获取教师特写图像和声音发送至各听讲终端；在教师讲课件时，获取第二视频采集设备采集的课件画面数据和第一音频采集设备采集的教师声音发送至各听讲终端；在教师板书时，主讲终端获取板书图像和教师声音发送至各听讲终端；在学生回答问题时，主讲终端获取起立学生的特写图像及声音发送至各听讲终端；在互动讨论时，采集主讲教师、学生和互动听讲教室的学生全景图像、声音发送至其他听讲终端。
[0081]
同样的，听讲终端的教学模式切换的方式与上述主讲终端进行教学模式切换的方式是相同的。此处不再赘述。
[0082]
在本实施例中，主讲终端通过接收第一视频采集设备发送的跟踪指令，根据跟踪指令中的教学模式跟踪标识确定目标教学模式，从而根据目标教学模式在第一视频采集设备或者第二视频采集设备中获取相应的目标主讲方视频数据以及目标主讲方音频数据，进而根据目标主讲方视频数据以及目标主讲方音频数据进行教学模式切换。能够在互动教学过程中有效还原参与教学的各方场景，自动裁剪掉不必要的垃圾图像，只需要获取目标教学模式对应的目标主讲方视频数据以及目标主讲方音频数据，发送至各听讲终端即可，实现了复杂场景的切换，同时，避免了学生的注意力被分散，有效提高了授课效果。
[0083]
在一个实施例中，多个听讲终端是更新课堂状态之后的听讲终端，在网络互动教学过程中，接收多个听讲终端推送的听讲方课堂数据、主讲方视频数据以及主讲方音频数据之前，上述方法还包括：当接收到准备完成的提示信息时，根据提示信息确定提示终端，将提示终端的课堂状态更新为已就绪状态；在更新提示终端的课堂状态后，接收提示终端推送的听讲方课堂数据。
[0084]
主讲终端在接收多个听讲终端推送的听讲方课堂数据、主讲方视频数据以及主讲方音频数据之前，可以对听讲终端的课堂状态进行更新。具体的，当主讲终端接收到准备完成的提示信息时，主讲终端根据提示信息确定提示终端，提示终端为发送准备完成的提示信息的听讲终端。主讲终端将该提示终端的课堂状态更新为已就绪状态。已就绪状态表示提示终端已准备完成进行听课。主讲终端在更新提示终端的课堂状态后，可以接收该提示终端推送的听讲方课堂数据。对于未接收到准备完成的提示信息的听讲终端，主讲终端可以定时发送上课请求至相应的听讲终端，直至接收到准备完成的提示信息。
[0085]
在本实施例中，主讲终端只有在将提示终端的课堂状态更新为已就绪状态后，才可接收提示终端推送的听讲方课堂数据。能够确保接收到的听讲方课堂数据的有效性，避免垃圾数据的传输，导致传输资源的浪费。
[0086]
在一个实施例中，所述方法还包括：在更新提示终端的课堂状态后，根据第一时间
间隔发送心跳包至提示终端；当在预设时间段内未收到提示终端的响应信息时，则将提示终端的课堂状态标记为待就绪状态；根据第二预设时间间隔发送上课指令至提示终端，直至接收到提示终端返回的准备完成的提示信息。
[0087]
主讲终端在更新提示终端的课堂状态后，即将提示终端的课堂状态更新为已就绪状态之后，根据第一时间间隔发送心跳包至提示终端，即以一定的频率向提示终端发送心跳包。通过发送心跳包来保证主讲终端与听讲终端之间的正常连接。
[0088]
当主讲终端在预设时间段内未收到提示终端的响应信息时，表明提示终端心跳异常，则主讲终端会自动断开与提示终端之间的连接，将提示终端的上课状态恢复为待就绪状态。此时，主讲终端会重新定时发送上课请求至提示终端，直到收到提示终端发送的准备完成的提示信息。同时，主讲终端也会重新建立与提示终端之间的连接。由此，提高了主讲终端与听讲终端之间进行数据传输的安全性。
[0089]
在一个实施例中，主讲教师在进行讲课之前，主讲终端与听讲终端均需要进行课前准备。具体的，主讲终端接收主讲教师触发的上课准备指令，根据上课准备指令创建rtmp server，即预设网络地址、rtmp client以及建立rtmp通道。rtmp client用于推流，即将预处理后的主讲方课堂数据传输至预设网络地址。rtmp通道是将rtmp client推送的预处理后的主讲方课堂数据传输至预设网络地址的传输通道。
[0090]
之后，主讲终端获取第一配置信息，第一配置信息可以包括主讲终端标识、第一视频采集设备标识、第二视频采集设备标识、第一音频采集设备标识等。主讲终端从而根据第一配置信息开启第一视频采集设备标识对应的第一视频采集设备、第二视频采集设备标识对应的第二视频采集设备以及第一音频采集设备标识对应的第一音频采集设备，接收到第一视频采集设备、第二视频采集设备传输的主讲方视频数据以及第二音频采集设备传输的主讲方音频数据，对主讲方视频数据以及主讲方音频数据进行预处理，预处理的方式可以包括编码、同步以及封装，进而得到预处理后的主讲方课堂数据。主讲终端将预处理后的主讲方课堂数据推送至预设网络地址，主讲终端进而通过预设网络地址获取预处理后的主讲方课堂数据，对获取到的数据进行解码，得到解码后的主讲方视频数据以及解码后的主讲方音频数据。主讲终端将解码后的主讲方视频数据传输至显示设备。例如，显示设备可以是电视。通过显示设备进行显示。主讲终端将解码后的听讲方音频数据传输至音频播放器，进行播放。例如，音频播放器可以是音箱。此时主讲终端完成上课前的准备工作。主讲教师可以看到本地教学画面，听到本地教学声音。
[0091]
主讲终端在完成上课前的准备工作之后，获取互动课标识以及课程配置信息。课程配置信息包括多个预设互动课标识对应的听讲终端标识。主讲终端在课程配置信息中确定互动课程标识对应的听讲终端标识。当主讲终端接收到主讲教师触发的互动课标识对应的多个听讲终端标识的选择操作时，主讲终端响应于多个听讲终端标识的选择操作，根据各听讲终端标识生成相应的上课请求，并依次向各听讲终端标识对应的听讲终端发送上课请求。由于课程配置信息是预先配置的，存储在主讲终端的，因此当主讲终端在开启直播时，可直接根据课程配置信息选择互动课对应的听讲终端标识，以发送上课请求，实现快速开启互动教学。
[0092]
听讲终端在接收到上课请求之后，对上课请求作出响应，回复确认信息至主讲终端。主讲终端在接收到确认信息后，对相应听讲终端的网络状态更新为在线。对于未接收确
认信息的听讲终端，主讲终端可以定时发送上课请求至未接收到确认信息对应的听讲终端，直至接收到确认信息。
[0093]
主讲终端在更新听讲终端的网络状态之后，可以以一定的频率向更新网络状态后的听讲终端发送心跳包。通过发送心跳包来保证主讲终端与听讲终端之间的正常连接。当主讲终端在预设时间段内未收到更新网络状态的听讲终端的响应信息时，表明该听讲终端心跳异常，则主讲终端会自动断开与该听讲终端之间的连接，将提示终端的上课状态恢复为离线状态。此时，主讲终端会重新定时发送上课请求至该听讲终端，直到收到该听讲终端发送的确认信息。同时，主讲终端也会重新建立与该听讲终端之间的连接。由此，提高了主讲终端与听讲终端之间进行数据传输的安全性。
[0094]
听讲终端在回复确认信息之后，听讲终端可以采取上述主讲终端进行上课前准备工作的方式完成上课前的准备工作。在此不做赘述。听见终端发送准备完成的提示信息至主讲终端，主讲终端在接收到准备完成的提示信息时，将提示信息对应的提示终端的课堂状态更新为已就绪状态。主讲终端在更新提示终端的课堂状态后，可以接收该提示终端推送的听讲方课堂数据。
[0095]
在本实施例中，主讲终端与听讲终端完成上课前的准备工作，能够确保双方在本地都可正常接收到相应的数据。主讲终端只有在听讲终端的网络状态为上线且课堂状态为已就绪状态后，才可接收听讲终端推送的听讲方课堂数据。能够确保接收到的听讲方课堂数据的有效性，避免垃圾数据的传输，导致传输资源的浪费。
[0096]
应该理解的是，虽然图2至3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0097]
在一个实施例中，如图4所示，提供了一种网络互动教学装置，包括：第一通信模块402、第二通信模块404、解码模块406、预处理模块408和确定模块410，其中：
[0098]
第一通信模块402，用于在网络互动教学过程中，接收多个听讲终端推送的听讲方课堂数据.
[0099]
第二通信模块404，用于接收主讲方视频数据以及主讲方音频数据。
[0100]
解码模块406，用于将听讲方课堂数据进行解码，播放解码后的数据。
[0101]
预处理模块408，用于将主讲方视频数据以及主讲方音频数据进行预处理，得到预处理后的主讲方课堂数据。
[0102]
第一通信模块402，还用于将预处理后的主讲方课堂数据推送至各听讲终端，以使各听讲终端播放预处理后的主讲方课堂数据。
[0103]
确定模块410，用于当在数据播放过程中，接收到互动模式的触发操作时，根据触发操作确定目标听讲终端，将多个听讲终端中目标听讲终端以外的听讲终端作为其他听讲终端。
[0104]
第一通信模块402，还用于将目标听讲终端对应的听讲方课堂数据以及预处理后
的主讲方课堂数据进行封装，将封装后得到的课堂数据分发至其他听讲终端，以使其他听讲终端播放封装后得到的课堂数据。
[0105]
在一个实施例中，上述装置还包括：
[0106]
第二通信模块404，还用于在网络互动教学过程中，接收跟踪指令，跟踪指令携带教学模式跟踪标识。
[0107]
第一通信模块402，还用于根据教学模式跟踪标识确定目标教学模式，获取目标教学模式对应的目标主讲方视频数据以及目标主讲方音频数据。
[0108]
切换模块，用于根据跟踪指令将当前主讲方音频数据切换至目标主讲方视频数据，以及将当前主讲方音频数据切换至目标主讲方音频数据。
[0109]
在一个实施例中，上述装置还包括：
[0110]
检测模块，用于在将目标听讲终端对应的听讲方课堂数据以及预处理后的主讲方课堂数据进行封装之前，对当前网络参数进行检测。
[0111]
生成模块，用于当检测到网络参数小于阈值时，根据目标听讲终端标识生成相应的互动提示信息。
[0112]
第一通信模块402，还用于将互动提示信息发送至其他听讲终端，以使其他听讲终端根据互动提示信息拉取目标听讲终端对应的听讲方课堂数据。
[0113]
在一个实施例中，解码模块406，还用于对听讲方课堂数据进行解码，得到各听讲终端推送的目标视频数据以及各听讲终端推送的目标音频数据；将多个听讲终端推送的目标视频数据进行拼接，将拼接得到的多个课堂画面进行显示；将多个听讲终端推送的目标音频数据进行混音处理，播放混音处理后的音频数据。
[0114]
在一个实施例中，预处理模块408，还用于对主讲方音频数据进行编码，得到编码后的主讲方音频数据；将编码后的主讲方音频数据以及主讲方视频数据进行同步处理，得到同步后的主讲方音频数据以及同步后的主讲方视频数据；将同步后的主讲方音频数据以及同步后的主讲方视频数据进行封装，将封装后得到的音视频数据作为预处理后的主讲方课堂数据。
[0115]
在一个实施例中，上述装置还包括：
[0116]
状态更新模块，用于在网络互动教学过程中，接收多个听讲终端推送的听讲方课堂数据、主讲方视频数据以及主讲方音频数据之前，当接收到准备完成的提示信息时，根据提示信息确定提示终端，将提示终端的课堂状态更新为已就绪状态。
[0117]
第一通信模块402，还用于在更新提示终端的课堂状态后，接收提示终端推送的听讲方课堂数据。
[0118]
在一个实施例中，上述装置还包括：
[0119]
心跳包发送模块，用于在更新所述提示终端的课堂状态后，根据第一时间间隔发送心跳包至提示终端。
[0120]
状态标记模块，用于当在预设时间段内未收到提示终端的响应信息时，则将提示终端的课堂状态标记为待就绪状态。
[0121]
指令发送模块，用于根据第二预设时间间隔发送上课指令至提示终端，直至接收到提示终端返回的准备完成的提示信息。
[0122]
关于网络互动教学装置的具体限定可以参见上文中对于网络互动教学方法的限
定，在此不再赘述。上述网络互动教学装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0123]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是主讲终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、输入装置和输出装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种网络互动教学方法。该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。该计算机设备的输出装置可以包括显示屏、扬声器等。
[0124]
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0125]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述各个实施例中的步骤。
[0126]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例中的步骤。
[0127]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0128]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0129]
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击【在线咨询】或添加微信【19522093243】与客服一对一沟通，为大家解决相关问题。