AR智慧教学方法、装置、教具系统和计算机设备与流程

本发明涉及计算机视觉技术领域，尤其涉及一种ar智慧教学方法、装置、教具系统和计算机设备。

背景技术：

ar(augmentedreality，增强现实)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，在屏幕上把虚拟世界套在现实世界并进行互动，被人类感官所感知，从而达到超越现实的感官体验。

另外，传统的教材，多为平面印刷的纸质书本，虽然色彩斑斓，但一方面，互动性较差，另一方面，生产成本高。

技术实现要素：

有鉴于此，有必要针对传统教育中知识的扁平性，教学模拟缺乏真实感和实践性的的问题，提供一种ar智慧教学方法、装置、设备和存储介质。

一种ar智慧教学方法，所述方法包括以下步骤：

接收选取指令，调用摄像头，通过所述摄像头获取实物对应的取像数据；

通过所述取像数据获取对应的进阶信息，展示所述进阶信息；

根据所述取像数据及所述进阶信息，实时动态识别追踪，进行教学交互。

可选地，所述接收选取指令，调用原生摄像头，通过摄像头获取实物对应的取像数据，包括：

接收用户发送的选取指令，通过利用预设的摄像组件调用原生摄像头，通过摄像头依次获取实物对应的多张取像数据，多张所述取像数据为不同角度的取像数据。

可选地，所述通过所述取像数据获取对应的进阶信息，展示所述进阶信息，包括：

将所述取像数据与预设的一个或多个图像信息分别进行比对，当比对具有相符的图像信息时，将相符的所述图像信息对应的进阶信息进行展示，当比对无任何相符的图像信息时，返回错误提示。

可选地，所述将所述取像数据与预设的一个或多个图像信息分别进行比对，包括：

随机获取所有图像信息中的一个图像信息；

将所述取像数据中的取像特征值与所述图像信息中的图像特征值进行比较，当所述取像特征值与所述图像特征值之间的差异小于预设的特征值阈值时，确定所述取像数据与所述图像信息相符；

否则，确定所述取像数据与所述图像信息不相符，获取所有图像信息中的另一个图像信息，继续进行上一步，直至所有的图像信息都完成比较。

可选地，所述取像特征值采用颜色特征、纹理特征或形状特征中的一种；

所述图像特征值采用与所述取象特征相同的特征。

可选地，所述通过所述取像数据获取对应的进阶信息，展示所述进阶信息，包括：

向服务器发送图像识别请求，所述请求中包含有所述取像数据；

获取所述服务器返回的返回数据，若所述返回数据为进阶信息，则展示所述进阶信息，若所述返回数据为错误提示，则展示错误提示。

可选地，所述根据所述取像数据及所述进阶信息，实时动态识别追踪，进行教学交互，包括：

提取所述取像数据的特征点、所述取像数据对应的进阶信息的特征点，计算单应性变换，得到匹配点集，所述匹配点集为二维成像坐标点集与对应的三维坐标点集；

获取所述摄像头的内参，根据所述匹配点集，使用预设的求解透视n点算法，得到所述摄像头的外参；

通过所述摄像头获取实物的另一取像数据，根据所述取像数据、所述摄像头的内参、所述摄像头的外参，估算实物的三维姿态，并进行展示。

进一步地，为实现上述目的，本发明还提供一种ar智慧教学装置，包括：

获取取像数据模块，用于接收选取指令，调用摄像头，通过所述摄像头获取实物对应的取像数据；

获取进阶信息模块，用于通过所述取像数据获取对应的进阶信息，展示所述进阶信息；

动态识别模块，用于根据所述取像数据及所述进阶信息，实时动态识别追踪，进行教学交互。

为实现上述目的，本发明还提供一种ar智慧教学教具系统，包括二维图像的教材、用于识别教材中二维图像并将二维图像转换为三维动画并播放的软件终端，所述软件终端执行如权利要求1至7中任一项权利要求所述ar智慧教学方法的步骤。

为实现上述目的，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述ar智慧教学方法的步骤。

本发明提供的ar智慧教学方法，通过虚拟显示技术解决教学过程中系统结构复杂的教学难点，或者高危、高成本、实验受空间、费用的限制等实验痛点。让学生可以亲身体验，主动思考，避免了被动式的填鸭式学习，通过全真模拟的展示增加教学的真实感和实践性，呈现将更加立体，可以加深学生们对知识的印象。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。

图1为本发明一个实施例中ar智慧教学方法的流程图；

图2为本发明一个实施例中ar智慧教学装置的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

参照图1，为本发明一个实施例中的ar智慧教学方法的流程图，如图1所示，一种ar智慧教学方法，包括以下步骤：

步骤s1，获取取像数据：接收选取指令，调用摄像头，通过摄像头获取实物对应的取像数据。

本步骤通过软件终端获取取像数据，软件终端可以是智能手机、平板电脑、安装有数据连线硬件的个人计算机等。软件终端通过预设的ar微信小程序或ar应用程序获取取像数据。

具体的，软件终端接收用户发送的选取指令，通过利用预设的摄像组件调用原生摄像头，通过摄像头依次获取实物对应的多张取像数据，多张取像数据为不同角度的取像数据。在获取取像数据时，可以通过软件终端的输入界面提示用户摄取实物正面、左侧、右侧或后面等不同角度的图像，作为多张取像数据，以便于获取实物对应的不同角度的进阶信息。

步骤s2，获取和展示进阶信息：通过取像数据获取对应的进阶信息，展示进阶信息。

本步骤的进阶信息是预先根据实物制作完成的三维动画信息。进阶信息与预先存储的图像信息具有对应关系，根据图像信息可以得到进阶信息。

根据取像数据获取对应的进阶信息时，有两种方式，一种是通过软件终端自身存储的图像信息进行本地比对，另一种是与服务器端存储的图像信息进行远程比对。本地比对的方式，反馈信息速度快捷，但是由于软件终端存储的图像信息有限，可能无法得到对应的进阶信息。远程比对虽然反馈速度慢，但是由于服务器端存储有大量的图像信息，可以较为容易的得到对应的进阶信息。在进行本本步骤之前，可以通过软件终端供用户选择一种方式。

1)通过软件终端自身存储的图像信息进行本地比对方式如下：

将取像数据与预设的一个或多个图像信息分别进行比对，当比对具有相符的图像信息时，将相符的图像信息对应的进阶信息进行展示，当比对无任何相符的图像信息时，返回错误提示。

在对比是，可以采用遍历逐个对比，即：随机获取所有图像信息中的一个图像信息；将取像数据中的取像特征值与图像信息中的图像特征值进行比较，当取像特征值与图像特征值之间的差异小于预设的特征值阈值时，确定取像数据与图像信息相符；否则，确定取像数据与图像信息不相符，获取所有图像信息中的另一个图像信息，继续进行上一步，直至所有的图像信息都完成比较。

具体的，取像特征值采用颜色特征、纹理特征或形状特征中的一种；图像特征值采用与取象特征相同的特征。如取像特征值采用颜色特征时，图像特征值也采用颜色特征，以便于两者之间的比较。其中，颜色特征是一种全局特征，描述了图像或图像区域所对应景物的表面性质，例如灰度直方图等。纹理特征是一种全局特征，描述了图像或图像区域所对应景物的表面性质，例如基于共生矩阵的熵、角二阶矩和局部平稳性等。形状特征是一种局部特征，描述了局部区域内物体的外形性质，例如边界特征等。

2)与服务器端存储的图像信息进行远程比对方式如下：

向服务器发送图像识别请求，请求中包含有取像数据；若步骤s1在获取取像数据时采用了ar微信小程序，则请求中还应包括ar微信小程序的小程序信息，如小程序名称、小程序头像、小程序介绍、企业对公账户或汇款银行账号等。若服务器对图像信息进行了分类，则请求种还应包括用户输入的类别字段，此类别字段可以云识别、本地识别或活动识别选项，软件终端为用户提供输入界面，输入界面中含有类别字段的选项，在本地识别选项下还给出输入密码字段，在活动识别选项下还给出输入识别码或上传识别码字段，此选项及对应的字段即为类别字段。以便于服务器收到类别字段后查询到指定类别类目下的图像信息。

获取服务器返回的返回数据，若返回数据为进阶信息，则展示进阶信息，若返回数据为错误提示，则展示错误提示。具体的，若软件终端为手机或平板电脑时，可以藉由手机或平板电脑的屏幕作为显示单元，在运行的ar微信小程序或ar应用程序显示或播放对应的进阶信息。

步骤s3，实时动态识别：根据取像数据及进阶信息，实时动态识别追踪，进行教学交互。

通过摄像头对实物获取取像数据后，对应的进阶信息可能不是特别丰富，为了实现不同角度实物摄取后，都能得到三维动画的展示，本步骤根据有限的数据，进行实时动态识别追踪，实现教学交互的目的。

在一个实施例中，步骤s3，包括：

步骤s301，提取取像数据的特征点、取像数据对应的进阶信息的特征点，计算单应性变换，得到匹配点集，匹配点集为二维成像坐标点集与对应的三维坐标点集。

通过步骤s1和步骤s2能得到多个取像数据及对应的进阶信息，本步骤将每个取像数据及对应的进阶信息分别提取特征点，特征点的提取可以是预先确定好的，如通过图像特征算法，提取颜色特征、纹理特征或形状特征。根据单应性变换的计算原理，能得到取像数据种的特征点与进阶信息种特征点的对应关系，此对应关系就是两者的匹配点集。

步骤s302，获取摄像头的内参，根据匹配点集，使用预设的求解透视n点算法，得到摄像头的外参。

二维取像数据的三维姿态需要根据摄像头的内参和外参来实现对实物的定位和跟踪，摄像头的内参直接可以采用现有技术容易获取，但是摄像头的外参需要根据旋转信息及平移信息的计算确定。本步骤的旋转信息及平移信息在计算时，需要众多的坐标匹配对，通过求解透视n点算法确定。

步骤s303，通过摄像头获取实物的另一取像数据，根据取像数据、摄像头的内参、摄像头的外参，估算实物的三维姿态，并进行展示。

在确定出旋转信息及平移信息后，本步骤可以获取另一取像数据，直接根据取像数据的二维特征点，得到对应的三维特征点，根据三维特征点映射于三维坐标系中，估算出实物的三维姿态，此时可以实时展示实物不同方位的三维动态，非常生动、直观、形象，有助于学生理解和记忆。

本实施例ar智慧教学方法，打破了传统观点中内容为主的想法，让学生可以亲身体验，主动思考，避免了被动式的填鸭式学习，通过全真模拟的展示，增加教学的真实感和实践性。特别是在实践教学方面，虚拟现实技术可以解决教学过程中系统结构复杂的教学难点，或者高危、高成本、实验受空间、费用的限制等实验痛点。相对于传统教育中知识的扁平性，ar教学的呈现将更加立体，可以加深学生们对知识的印象。

在一个实施例中，提出了一种ar智慧教学装置，如图2所示，该装置包括：

获取取像数据模块，用于接收选取指令，调用摄像头，通过摄像头获取实物对应的取像数据；获取进阶信息模块，用于通过取像数据获取对应的进阶信息，展示进阶信息；动态识别模块，用于根据取像数据及进阶信息，实时动态识别追踪，进行教学交互。

在一个实施例中，提出了一种ar智慧教学教具系统，包括二维图像的教材、用于识别教材中二维图像并将二维图像转换为三维动画并播放的软件终端，所述软件终端执行上述各实施例的ar智慧教学方法中的步骤。

在一个实施例中，提出了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行计算机可读指令时实现上述各实施例的ar智慧教学方法中的步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除