信息处理设备、方法以及程序与流程
本技术涉及一种信息处理设备、一种信息处理方法和一种程序,尤其涉及一种能够减少分发侧的处理负荷,同时减少信息的传送量的信息处理设备、信息处理方法和程序。
背景技术:
基于音频对象在对应于收听者位置的原点周围的空间内移动的构思,建立了被标准化为用于固定视点的传统3d音频的mpeg(运动图像专家组)-h编码标准(例如,参见npl1)。
因此,在固定视点,使用基于水平方向上的角度、高度方向上的角度以及从收听者到各个音频对象的距离的极坐标,来描述从位于原点的收听者观看的与各个音频对象相关联的位置信息。
通过使用上述mpeg-h编码标准,音频对象的音频图像可以被定位在固定视点内容的空间内的音频对象的相应位置。以这种方式,可以实现高的在场音频再现。
引文列表
非专利文献
npl1:iso/iec23008-3信息技术-异构环境中的高效编码和媒体传输-部分3:3d音频
技术实现要素:
技术问题
同时,自由视点内容也称为允许收听者位置位于空间内任何位置的内容。在自由视点,不仅音频对象,而且收听者也可以在空间中移动。换言之,自由视点与固定视点的不同之处在于,收听者是可移动的。
在如上定义的自由视点,通过使用具有在mpeg-h下标准化的极坐标系统的渲染器,与固定视点的情况类似,可以实现音频再现,只要与指示从收听者观看的音频对象的位置的极坐标相关联的位置信息可用。换言之,自由视点音频再现可通过类似于固定视点的渲染处理来实现。
在这种情况下,例如,从服务器向再现侧提供各个音频对象的音频数据和指示音频对象的位置的位置信息。此后,在再现侧执行渲染,以实现将音频图像定位在空间内的音频对象的位置处的音频再现。
然而,为了通过使用mpeg-h下的渲染器来实现自由视点音频再现,每当音频对象和收听者的位置改变时,都需要从收听者的角度来更新音频对象的位置,并传送与音频对象的位置相关联的信息。因此,信息的传送量和诸如服务器等内容分发侧的处理负荷可能会增加。此外,在连接到服务器的收听者的数量增加的情况下,处理负荷变得更重,是收听者数量增加的倍数。当收听者的数量变成几千或几万时,负荷可能会变得过大。
考虑到上述情况而开发本技术,并且实现了分发侧的处理负荷的减少以及信息传送量的减少。
问题的解决方案
根据本技术的第一方面的信息处理设备包括:获取单元,获取具有第一精度并指示用户所在空间内的对象位置的低精度位置信息,并获取用于获得位置信息的额外信息,所述位置信息具有高于所述第一精度的第二精度,指示所述对象在所述空间内的位置并对应于所述用户的位置;以及位置信息计算单元,基于低精度位置信息和额外信息获得位置信息。
根据本技术的第一方面的信息处理方法或程序包括以下步骤:获取具有第一精度并指示用户所在空间内的对象位置的低精度位置信息;获取用于获得位置信息的额外信息,所述位置信息具有高于所述第一精度的第二精度,指示所述对象在所述空间内的位置并对应于所述用户的位置;并且基于低精度位置信息和额外信息获得位置信息。
根据本技术的第一方面,获取具有第一精度并指示用户所在空间内的对象位置的低精度位置信息。获取用于获得位置信息的额外信息,所述位置信息具有高于所述第一精度的第二精度,指示所述对象在所述空间内的位置并对应于所述用户的位置。基于低精度位置信息和额外信息获得位置信息。
根据本技术的第二方面的信息处理设备包括通信单元,其响应于来自低精度位置信息的传输目的地的请求,传输用于获得位置信息的额外信息,所述位置信息具有高于所述第一精度的第二精度,指示所述对象在所述空间内的位置并对应于所述用户的位置。
根据本技术的第二方面的信息处理方法或程序包括以下步骤:响应于来自低精度位置信息的传输目的地的请求,传输用于获得位置信息的额外信息,所述位置信息具有高于所述第一精度的第二精度,指示所述对象在所述空间内的位置并对应于所述用户的位置。
根据本技术的第二方面,传输具有第一精度并指示用户所在空间内的对象位置的低精度位置信息。响应于来自低精度位置信息的传输目的地的请求,传输用于获得位置信息的额外信息,所述位置信息具有高于所述第一精度的第二精度,指示所述对象在所述空间内的位置并对应于所述用户的位置。
发明的有利效果
根据本技术的第一和第二方面,随着信息传送量的减少,可以实现处理负荷的减少。
注意,要产生的有利效果不限于此处描述的有利效果,并且可以是本公开中描述的任何有利效果。
附图说明
[图1]是描绘内容再现系统的配置示例的示图;
[图2]是解释内容再现系统的处理顺序的示图;
[图3]是描绘内容再现系统的配置示例的示图;
[图4]是描绘服务器的配置示例的示图;
[图5]是描绘客户端的配置示例的示图;
[图6]是解释感知极限角的示图;
[图7]是解释编码处理和文件存储处理的流程图;
[图8]是呈现最高精度位置编码数据文件的语法示例的示图;
[图9]是解释位置信息获取处理和位置信息传输处理的流程图;
[图10]是呈现报头信息的语法示例的示图;
[图11]是表示包含低精度量化位置信息的比特流的语法示例的示图;
[图12]是解释归一化位置信息的编码示例的示图;
[图13]是解释额外比特信息获取处理和额外比特信息传输处理的流程图;
[图14]是呈现额外比特信息的传输请求的语法示例的示图;
[图15]是呈现差异数据的语法示例的示图;
[图16]是描绘计算机的配置示例的示图。
具体实施方式
下文将参考附图描述应用本技术的实施方式。
<第一实施方式>
<内容再现系统的配置示例>
本技术根据收听者和对象之间的距离来切换指示对象位置的位置信息的量化精度的等级,以减少诸如服务器等内容分发侧的处理负荷,同时减少信息的传送量。
注意,下面描述基于指示从收听者观看的音频对象的位置的信息在内容再现侧执行音频对象的音频数据的渲染的情况的示例,更具体地,通过使用mpeg-h下的渲染器实现自由视点音频再现的情况。然而,例如,本技术也适用于基于指示从收听者观看的对象的位置的信息来再现包含作为成像对象的对象的内容视频的情况。
注意,在下文中,音频对象将简称为对象。
例如,在通过使用mpeg-h下的渲染器来执行自由视点音频再现的情况下,可以通过使用图1所示的内容再现系统来实现音频再现。
图1所示的内容再现系统包括收听者位置获取设备11、极坐标位置信息编码器12、服务器13、客户端14和mpeg-h渲染器15。
根据该内容再现系统,服务器侧的用户u11(例如,内容创建者)为空间中的每个对象向极坐标位置信息编码器12输入指示空间内各个对象的位置的对象位置信息。注意,对象位置信息可以指示绝对坐标或极坐标。
另外,观看和收听再现内容的用户(即收听内容声音的收听者u12)位于客户端14侧。收听者位置获取设备11获取指示收听者u12在空间内的位置的收听者位置信息。
例如,收听者位置获取设备11包括测量收听者u12在空间内的位置的测量装置(例如,全球定位系统(gps)和陀螺仪传感器)、获取与在虚拟空间内的收听者u12相关联的虚拟位置信息的输入设备等,并且输出指示收听者u12的位置的收听者位置信息。
此处的收听者位置信息是绝对坐标信息,其指示收听者u12在空间内的绝对位置,并且由三维正交坐标系(即xyz坐标系(x坐标、y坐标和z坐标))的坐标来表示。由xyz坐标系的坐标表示并指示空间内绝对位置的信息在下文中也称为绝对坐标。
极坐标位置信息编码器12经由客户端14和服务器13接收从收听者位置获取设备11输出的收听者位置信息。
极坐标位置信息编码器12基于从收听者位置获取设备11接收的收听者位置信息和从用户u11输入的对象位置信息,生成指示从收听者u12观看的对象在空间内的位置的极坐标,作为极坐标位置信息。
此后,极坐标位置信息编码器12对为每个对象获得的极坐标位置信息进行编码,并经由服务器13将编码的极坐标位置信息传输到客户端14。
客户端14从极坐标位置信息编码器12接收极坐标位置信息,通过使用在客户端14上提供的极坐标位置信息解码器21解码极坐标位置信息,并且将如此获得的极坐标位置信息提供给mpeg-h渲染器15。
mpeg-h渲染器15从客户端14接收每个对象的极坐标位置信息的供应,并且还从服务器13接收每个对象的音频数据的供应。mpeg-h渲染器15是具有在mpeg-h下标准化的极坐标系统的渲染器。
mpeg-h渲染器15基于音频数据和与各个对象相关联的极坐标位置信息来执行渲染,生成再现音频数据,其中,对象的音频图像被定位在空间内的各个位置,并将生成的再现音频数据输出到再现系统,例如,扬声器。
例如,在空间内存在n个对象的情况下,由内容再现系统执行图2中呈现的处理序列。
根据图2中呈现的示例,客户端14首先请求服务器13发布关于空间中存在的对象的数量的通知,即对象数量,如箭头a11所示。
在这种情况下,如箭头a12所示,服务器13响应于来自客户端14的请求,向客户端14发出关于对象数量的通知。
此外,当客户端14从收听者位置获取设备11接收到收听者位置信息时,客户端14经由服务器13将获取的收听者位置信息传输到极坐标位置信息编码器12,如箭头a13所示。
当极坐标位置信息编码器12接收到收听者位置信息时,极坐标位置信息编码器12基于收听者位置信息和与第0个对象相关联的对象位置信息,计算从收听者u12观看的第0个对象的位置,并且对指示如此获得的计算结果的极坐标位置信息进行编码。换言之,极坐标位置信息被编码成可转移格式的编码数据。
此后,极坐标位置信息编码器12经由服务器13将为第0个对象获得的编码极坐标位置信息(即极坐标位置信息的编码数据)传输到客户端14,如箭头a14所示。
在客户端14侧,接收到的与第0个对象相关联的极坐标位置信息的编码数据由极坐标位置信息解码器21解码。
类似地,极坐标位置信息编码器12生成为第一对象获得的极坐标位置信息的编码数据,并经由服务器13将与第一对象相关联的极坐标位置信息的编码数据传输到客户端14,如箭头a15所示。另外,在客户端14侧,极坐标位置信息解码器21解码接收到的与第一对象相关联的极坐标位置信息的编码数据。
此后,在随后的处理中,对于直到第(n-1)个对象的对象,依次执行极坐标位置信息的编码数据的生成和传输以及极坐标位置信息的编码数据的解码。
通过上述处理,获得从第0个对象到第(n-1)个对象的n个对象中的每一个的极坐标位置信息。此后,基于极坐标位置信息和与各个对象相关联的对象数据,由mpeg-h渲染器15执行渲染。
通过基于通过渲染处理获得的再现音频数据来再现声音,可以将对象的音频图像定位在从收听者u12观看的正确位置。
为了再现自由视点内容,例如,需要由极坐标表示并指示从收听者u12观看的对象的位置的极坐标位置信息,作为对mpeg-h渲染器15的输入,以使用mpeg-h渲染器15执行渲染。
根据图1所示的内容再现系统,用于固定视点的mpeg-h渲染器15也可用于自由视点,而没有任何变化。此外,由极坐标位置信息编码器12实时生成和传输极坐标位置信息,产生了这样的有利效果,即不需要由服务器13保留极坐标位置信息。
然而,在自由视点,不仅对象而且收听者u12都在空间中移动。因此,每当任何对象或收听者移动时,都需要更新和传送极坐标位置信息。
特别地,在图1所示的内容再现系统中,在存在多个收听者u12的情况下,即在多个客户端14连接到服务器13的情况下,对所有收听者u12实时执行与所有对象相关联的极坐标位置信息的更新(编码)。在这种情况下,内容分发侧的极坐标位置信息编码器12的处理负荷增加,因此,在某些情况下,难以通过再现时间向客户端14提供与对象相关联的必要极坐标位置信息。
为了解决这个问题,可以从服务器13向客户端14提供指示由空间内的绝对坐标表示的对象的位置的对象位置信息,并且计算客户端14侧的极坐标位置信息。
然而,绝对坐标最初并不依赖于收听者u12的位置。在这种情况下,需要高度精确的表达,因此,考虑到传送量,不希望将对象位置信息传输到客户端14。换言之,在传送指示绝对坐标的对象位置信息的情况下,信息(对象位置信息)的传送量变得大于在传送指示极坐标的极坐标位置信息的情况下的传送量。
因此,根据本技术,指示低精度对象位置并且具有小信息量的信息临时传输到客户端,然后,根据需要额外地传输指示低精度信息和高精度信息之间的差异的信息,以获得指示对象位置的足够精确的信息。以这种方式,不仅可以减少信息的传送量,而且可以减少内容分发侧(例如,极坐标位置信息编码器和服务器)的处理负荷。
例如,应用上述本技术的内容再现系统如图3所示配置。注意,图3中与图1中对应部分相同的部分具有相同的附图标记。在适当的地方不再重复这些部分的描述。
图3所示的内容再现系统包括绝对坐标位置信息编码器51、服务器52、收听者位置获取设备53、客户端54和mpeg-h渲染器55。根据该内容再现系统,客户端54计算极坐标位置信息,该极坐标位置信息由极坐标表示并指示从收听者u12观看的对象的位置。
更具体地,在内容分发侧,用户u11向绝对坐标位置信息编码器51输入指示空间内的各个对象的位置等的归一化位置信息。
该归一化位置信息是归一化绝对坐标信息,该归一化绝对坐标信息由三维正交坐标系(即xyz坐标系)的坐标表示并且指示对象在空间内的绝对位置。
绝对坐标位置信息编码器51对从用户u11输入的归一化位置信息等进行编码,并将如此获得的最高精度位置编码数据文件传输到服务器52。此外,服务器52是包括记录单元61的信息处理设备。从绝对坐标位置信息编码器51接收的最高精度位置编码数据文件记录在记录单元61中。
此处,最高精度位置编码数据文件包含最高精度量化位置信息,通过对每个对象以最高精度量化归一化位置信息而获得该最高精度量化位置信息,即,通过以小量化步长宽度量化归一化位置信息而获得该最高精度量化位置信息。
用于从归一化位置信息获得最高精度量化位置信息的量化精度在下文中也称为最高精度,而由最高精度量化位置信息指示的位置也称为最高精度绝对位置。
如下文详细描述的,通过提取最高精度量化位置信息的一部分,可以获取通过以低于最高精度的量化精度量化归一化位置信息而获得的量化位置信息。
通过以低于最高精度的量化精度量化归一化位置信息而获得的量化位置信息在下文中也称为低精度量化位置信息。低精度量化位置信息中具有最低量化精度的低精度量化位置信息也特别称为最低精度量化位置信息。此外,由低精度量化位置信息指示的位置在下文中也称为低精度绝对位置,而由最低精度量化位置信息指示的位置也称为最低精度绝对位置。
此外,在不需要特别区分最高精度绝对位置和低精度绝对位置的情况下,对象的绝对位置在下文中也简称为对象的绝对位置。在不需要特别区分最高精度量化位置信息和低精度量化位置信息的情况下,与对象相关联的量化位置信息也简称为与对象相关联的量化位置信息。
低精度量化位置信息是指示具有比最高精度量化位置信息更低精度的对象位置的绝对坐标信息。与最高精度量化位置信息相比,低精度量化位置信息具有更小的信息量,即更小的比特数,因此实现了信息传送量的减少。
另外,在客户端54侧,指示收听者u12的位置的收听者位置信息由对应于图1所示的收听者位置获取设备11的收听者位置获取设备53获取,并提供给客户端54。例如,收听者位置获取设备53包括诸如gps和陀螺仪传感器等测量装置、获取与虚拟空间内的收听者u12相关联的虚拟位置信息的输入设备等。
客户端54是包括绝对坐标位置信息解码器71和坐标转换单元72的信息处理设备,并且从服务器52获取最低精度量化位置信息。注意,下面将描述客户端54从服务器52获取最低精度量化位置信息的示例。然而,只要量化精度低于最高精度,就可以获取具有除最低精度之外的任何量化精度等级的低精度量化位置信息。
绝对坐标位置信息解码器71解码从服务器52获取的最低精度量化位置信息,并基于收听者位置信息确定由最低精度量化位置信息指示的对象的位置是否具有足够的精度。
此时,对于被确定为没有足够精度的对象,客户端54从服务器52获取用于获得具有足够精度的量化位置信息的额外比特信息。额外比特信息是具有足够精度的量化位置信息和最低精度量化位置信息之间的差异信息。通过将额外比特信息添加到最低精度量化位置信息,可以获得具有足够精度的量化位置信息。注意,在某些情况下,具有足够精度的量化位置信息与最高精度量化位置信息一致。
当对于每个对象获得足够精度的量化位置信息时,坐标转换单元72将各条量化位置信息转换成极坐标,该极坐标指示从收听者u12观看到的各个对象在空间内的相对位置,并将极坐标指定为极坐标位置信息。
坐标转换单元72将与各个对象相关联的极坐标位置信息提供给mpeg-h渲染器55。mpeg-h渲染器55基于所提供的极坐标位置信息和与各个对象相关联的并且从服务器52获取的音频数据来执行渲染。
此后,mpeg-h渲染器55向诸如扬声器等再现系统输出通过渲染而获得的再现音频数据,作为对象的音频图像被定位在空间内的相应位置的数据,以允许再现系统再现声音。注意,类似于图1的mpeg-h渲染器15,mpeg-h渲染器55是具有由mpeg-h标准化的极坐标系统的渲染器。
根据如上所述配置的内容再现系统,指示对象位置以及向服务器52和客户端54传输并且从服务器52和客户端54接收的信息是指示绝对坐标的最低精度量化位置信息。因此,提供了这样的有利效果,即不需要考虑收听者u12在空间内的位置,并且仅与移动对象相关联的最低精度量化位置信息需要编码并传送到客户端54。
<服务器的配置示例>
接下来将描述图3中描绘的服务器52和客户端54的更详细的配置示例。首先将描述服务器52的配置示例。
例如,如图4所示配置服务器52。注意,图4中与图3中对应部分相同的部分具有相同的附图标记。在适当的地方不再重复这些部分的描述。
图4所示的服务器52包括通信单元101、控制单元102和记录单元61。
通信单元101将从控制单元102提供的各种类型的信息传输到客户端54,并且还接收从绝对坐标位置信息编码器51和客户端54传输的各种类型的信息,以将接收到的信息提供给控制单元102。
控制单元102控制服务器52的整体操作。控制单元102包括通信控制单元111和传输信息生成单元112。
通信控制单元111控制通信单元101,以控制通信单元101与绝对坐标位置信息编码器51和客户端54执行的通信。传输信息生成单元112根据需要,通过使用记录在记录单元61中的信息(例如,最高精度位置编码数据文件)来生成要传输到客户端54的各种类型的信息。
<客户端的配置示例>
此外,例如,客户端54被配置为如图5所示。注意,图5中与图3中对应部分相同的部分具有相同的附图标记。在适当的地方不再重复这些部分的描述。
图5中描绘的客户端54包括通信单元141、控制单元142和输出单元143。
通信单元141将从控制单元142提供的各种类型的信息传输到服务器52,并且还接收从服务器52传输的各种类型的信息,以将接收到的信息提供给控制单元142。
控制单元142控制客户端54的整体操作。控制单元142包括通信控制单元151、绝对坐标位置信息解码器71和坐标转换单元72。
通信控制单元151控制通信单元141来控制由通信单元141执行的与服务器52的通信。例如,通信控制单元151控制通信单元141用作用于从服务器52获取最低精度量化位置信息和额外比特信息的获取单元。
绝对坐标位置信息解码器71基于最低精度量化位置信息和额外比特信息来计算指示对象的绝对位置的信息,以用作对经编码的归一化位置信息进行解码的位置信息计算单元。
输出单元143向mpeg-h渲染器55输出与各个对象相关联并且通过坐标转换单元72执行的坐标转换获得的极坐标位置信息。
<归一化位置信息的编码>
随后将描述每个对象的归一化位置信息的编码(量化)。
例如,假设对应于内容目标的空间(即,存在对应于用户和对象的收听者u12的空间)是立方体空间,并且收听者u12在特定时间位于该空间内的中心位置,如图6所示。注意,图6中与图3中对应部分相同的部分具有相同的附图标记。在适当的地方不再重复这些部分的描述。
图6是表示在存在收听者u12和对象的三维空间中的四边形外部形状内部的区域r11的示图,作为在xyz坐标系中从正侧到负侧的z轴方向上俯视的视图。三维空间的中心位置对应于xyz坐标系的原点o。此外,收听者u12在此处处于位于原点o的位置的状态。
进一步假设对应于由区域r11表示的空间的立方体的一侧的长度的一半(即从立方体的原点o到末端的实际长度)是绝对距离absolutedistance。此处假设绝对距离absolutedistance的长度例如以米(m)等表示,并且指示绝对距离absolutedistance的信息在下文中也称为绝对距离信息absolutedistance。
根据人类听觉,已知相对于前方对象在特定左右范围内的水平方向上的角度被识别为与前方角度相同的角度。这个角度称为感知极限角θ。此处假设感知极限角θ是1.5°角。
因此,假设感知极限角θ是由线l11和线l12形成的角度,例如,在音频图像位于点pt11和点pt12之间的任何位置的情况下,位于原点o的收听者u12感知位于任何位置的音频图像的声音,好像这些声音来自相同的方向。因此,在这种情况下,与位于点pt11和点pt12之间的对象相关联的归一化位置信息中的点pt11和点pt12之间的距离被量化为量化步长宽度,此时获得的量化代表值被指定为指示位置ptq的值。以这种方式,量化位置信息的比特数可以减少,而不会给人以音频图像位置不一致的感觉。
另外,收听者u12在水平方向相对于声音到来方向的容差是作为角度信息的感知极限角θ。因此,在两种情况下,即使在彼此向左和向右0.75°的相同范围内,在收听者u12和对象之间的距离远的情况下,容差的绝对宽度也变得比在其间的距离近的情况下更大。
根据本技术,通过使用人类感知极限角θ,根据收听者u12和对象之间的距离改变量化位置信息的量化精度,即量化步长宽度,可以减少信息的传送量,而不会给出与原始音频图像方向的感知差异的感觉。
更具体地,从用户u11向绝对坐标位置信息编码器51输入对象数量nobj、绝对距离信息absolutedistance、最小距离信息、每个对象的归一化位置信息和感知极限角θ。
此处的对象数量nobj是空间中存在的对象数量。下面假设对应于内容目标的空间具有立方体形状,并且立方体的中心位置对应于xyz坐标系的原点o。
最小距离信息是指示作为收听者u12和每个对象之间的允许最小距离的最小距离mindist的信息。
例如,最小距离mindist以米(m)表示,类似于绝对距离absolutedistance。例如,考虑到收听者u12的头部尺寸,确定上述最小距离mindist,使得收听者u12和每个对象彼此不重叠。不用说,通过设置最小距离mindist=0,每个对象的音频图像可以被定位在收听者u12的位置。下面假设指示最小距离mindist的最小距离信息也称为最小距离信息mindist。
此外,与每个对象相关联的归一化位置信息是包括分别对应于x坐标、y坐标和z坐标的px(i)、py(i)和pz(i)并且指示对象在xyz坐标系中的绝对位置的信息。在每个坐标中,i(假设,0≤i<nobj)是用于识别对象的索引。
此外,例如,假设感知极限角θ是预定角度,即1.5°的角度,并且这样确定的感知极限角θ在客户端54侧也是已知的。
当用户u11输入相应的信息项时,绝对坐标位置信息编码器51根据需要对相应的输入信息项进行编码,以生成最高精度的位置编码数据文件,作为输出编码信息。例如,最高精度位置编码数据文件包含对象数量nobj、绝对距离信息absolutedistance、最高精度量化位置信息和指数部分索引exp_index_high。
例如,对象数量nobj和绝对距离信息absolutedistance在此处都是非压缩值。此外,最高精度量化位置信息是包括分别对应于指示xyz坐标系中最高精度绝对位置的x坐标、y坐标和z坐标的相应坐标的尾数部分的qpx_high(i)、qpy_high(i)和qpz_high(i)以及对应于指示相应坐标的正或负符号的符号比特信息的sign_x(i)、sign_y(i)和sign_z(i)的信息。
注意,符号比特信息中最高精度绝对位置的尾数部分和i(假设0≤i<nobj)中的每一个都是用于识别对象的索引。此外,每个符号比特信息都有一个非压缩值。值为0的符号比特信息表示坐标具有正值,而值为1的符号比特信息表示坐标具有负值。
指数部分索引exp_index_high是在最小距离mindist的情况下、即在最高量化精度的情况下的1/2幂指数值的索引,即1/2幂指数的指数部分的索引。例如,指数部分索引exp_index_high具有压缩值。
具体地,通过基于最小距离mindist计算以下等式(1),获得最小距离mindist处的指数部分索引exp_index_high。
[数学公式1]
exp_index_high=int(max({n|(1/2)n<mindist}))···(1)
注意,等式(1)中的int()表示输出参数整数部分的int函数。
此外,基于归一化位置信息的x坐标px(i)、y坐标py(i)和z坐标pz(i)、指数部分索引exp_index_high和感知极限角θ,可以通过计算以下等式(2)来获得第i个对象的最高精度量化位置信息的尾数部分qpx_high(i)、qpy_high(i)和qpz_high(i)。
[数学公式2]
qpx_high(i)=|px(i)+(1/2)step_high|/step_high
qpy_high(i)=|py(i)+(1/2)step_high|/step_high
qpz_high(i)=|pz(i)+(1/2)step_high|/step_high···(2)
在等式(2)中,step_high表示对应于指数部分索引exp_index_high的量化步长宽度,并且由以下等式(3)计算。在等式(3)中,sqrt()表示平方根。
[数学公式3]
step_high=2×tan(θ/2)×absolutedistance/sqrt(3)×(1/2)exp_index_high
···(3)
注意,指数部分索引exp_index_high的值以1的增量减小,以获得对应于每个量化精度的低精度量化位置信息的指数部分索引exp_index的值。量化精度随着指数部分索引exp_index值的降低而降低。因此,最低精度量化位置信息的指数部分索引exp_index的值变为0。
在量化精度的各个等级之间不需要特别区分的情况下,包括指数部分索引exp_index_high的具有预定量化精度的1/2幂指数部分的索引在下文中也简称为指数部分索引exp_index。
根据本技术,如上所述,具有最高精度的量化步长宽度是1/2幂指数的值,更具体地,是通过将1/2幂指数的值乘以由感知极限角θ确定的常数2tan(θ/2)/sqrt(3)而获得的值。此时,1/2幂指数的值对应于指数部分索引exp_index_high。以这种方式,仅通过提取最高精度量化位置信息的尾数部分的一部分,可以容易地获得低精度量化位置信息的尾数部分。
另外,绝对坐标位置信息编码器51以下列方式编码归一化位置信息的符号位。
具体地,当x坐标px(i)的值为0或更大时,x坐标的符号比特信息sign_x(i)的值被设置为0。当x坐标px(i)的值小于0时,x坐标的符号比特信息sign_x(i)的值被设置为1。
类似地,当y坐标py(i)的值为0或更大时,y坐标的符号比特信息sign_y(i)的值被设置为0。当y坐标py(i)的值小于时,y坐标的符号比特信息sign_y(i)的值被设置为1。此外,当z坐标pz(i)的值为0或更大时,z坐标的符号比特信息sign_z(i)的值被设置为0。当z坐标pz(i)的值小于0时,z坐标的符号比特信息sign_z(i)的值被设置为1。
另一方面,在客户端54侧以以下方式执行最高精度量化位置信息和低精度量化位置信息的解码。
具体地,在解码期间,基于预先已知的感知极限角θ、从服务器52接收的绝对距离信息absolutedistance和最终决定的指数部分索引exp_index_sel,计算下面的等式(4),以获得量化的步长step_dec。
[数学公式4]
step_dec=2×tan(θ/2)×absolutedistance/sqrt(3)×(1/2)exp_index_sel
···(4)
指数部分索引exp_index_sel对应于指数部分索引exp_index。
例如,如果要解码的量化位置信息是最高精度的量化位置信息,则指数部分索引exp_index_sel的值被设置为与指数部分索引exp_index_high的值相同的值。另外,如果要解码的量化位置信息是最低精度的量化位置信息,则指数部分索引exp_index_sel的值被设置为0。
此外,还执行符号比特信息sign_x(i)、sign_y(i)和sign_z(i)的解码。
具体地,如果符号比特信息sign_x(i)的值是0,则指示通过解码而获得的归一化位置信息的x坐标的符号的符号比特信息sign_x_val(i)的值被设置为1。如果符号比特信息sign_x(i)的值是1,则指示通过解码而获得的归一化位置信息的x坐标的符号的符号比特信息sign_x_val(i)的值被设置为-1。
类似地,如果符号比特信息sign_y(i)的值是0,则指示通过解码而获得的归一化位置信息的y坐标的符号的符号比特信息sign_y_val(i)的值被设置为1。如果符号比特信息sign_y(i)的值是1,则指示通过解码而获得的归一化位置信息的y坐标的符号的符号比特信息sign_y_val(i)的值被设置为-1。
如果符号比特信息sign_z(i)的值为0,则指示通过解码而获得的归一化位置信息的z坐标的符号的符号比特信息sign_z_val(i)的值被设置为1。如果符号比特信息sign_z(i)的值是1,则指示通过解码而获得的归一化位置信息的z坐标的符号的符号比特信息sign_z_val(i)的值被设置为-1。
当获得经过解码的量化步长宽度step_dec和符号比特信息sign_x_val(i)、sign_y_val(i)和sign_z_val(i)时,基于这些信息项、从服务器52接收的绝对距离信息absolutedistance和最终确定的量化位置信息的尾数部分,计算下面的等式(5),以获得最终解码的归一化位置信息。解码的归一化位置信息是通过解码经编码的归一化位置信息而获得的绝对坐标信息。
[数学公式5]
dpx(i)=sign_x_val(i)×qpx_sel(i)×step_dec/absolutedistance
dpy(i)=sign_y_val(i)×qpy_sel(i)×step_dec/absolutedistance
dpz(i)=sign_z_val(i)×qpz_sel(i)×step_dec/absolutedistance
···(5)
注意,等式(5)中的dpx(i)、dpy(i)和dpz(i)是通过解码与编码的第i个对象相关联的归一化位置信息的x坐标px(i)、y坐标py(i)和z坐标pz(i)而获得的x坐标、y坐标和z坐标。此外,包括x坐标dpx(i)、y坐标dpy(i)和z坐标dpz(i)的位置信息被指定为指示对象在xyz坐标系中的绝对位置并通过解码获得的解码的归一化位置信息。
此外,等式(5)中的qpx_sel(i)、qpy_sel(i)和qpz_sel(i)是与第i个对象相关联并最终决定的量化位置信息的x坐标、y坐标和z坐标的尾数部分。例如,在与对象相关联并最终决定的量化位置信息是最高精度量化位置信息的情况下,尾数部分qpx_sel(i)、qpy_sel(i)和qpz_sel(i)分别成为尾数部分qpx_high(i)、qpy_high(i)和qpz_high(i)。
<编码处理和文件存储处理的描述>
接下来将描述由内容再现系统执行的特定处理。
首先将参考图7的流程图描述由绝对坐标位置信息编码器51执行的编码处理和由服务器52执行的文件存储处理。
随着编码处理的开始,绝对坐标位置信息编码器51在步骤s11中获取均从用户u11输入的对象数量nobj、绝对距离信息absolutedistance、最小距离信息mindist、每个对象的归一化位置信息和感知极限角θ。
在步骤s12中,绝对坐标位置信息编码器51计算等式(1),以在收听者u12和对象之间的距离变为最小距离mindist时计算指数部分索引exp_index_high。
在步骤s13中,绝对坐标位置信息编码器51基于归一化位置信息、指数部分索引exp_index_high、绝对距离信息absolutedistance和感知极限角θ来计算每个对象的等式(2),以计算最高精度量化位置信息的尾数部分qpx_high(i)、qpy_high(i)和qpz_high(i)。
在步骤s14中,绝对坐标位置信息编码器51对每个对象的归一化位置信息的符号位进行编码,以获得符号比特信息sign_x(i)、sign_y(i)和sign_z(i)。
通过上述处理获得对应于最高精度量化位置信息的尾数部分和符号比特信息,以最高精度对与每个对象相关联的归一化位置信息进行编码(量化)。
在步骤s15中,绝对坐标位置信息编码器51生成包含每个对象的最高精度量化位置信息的最高精度位置编码数据文件。
以这种方式,例如,生成图8所示格式的最高精度位置编码数据文件。具体而言,图8是呈现最高精度位置编码数据文件的语法示例的示图。
在这个示例中,绝对距离信息absolutedistance设置在最高精度位置编码数据文件的头部,指数部分索引exp_index_high设置在绝对距离信息absolutedistance之后。此外,指示由字符“num_of_object”表示的对象数量nobj的信息设置在指数部分索引exp_index_high之后。
此外,在指示对象数量nobj的信息之后,为每个对象设置由对象数量nobj指示的最高精度量化位置信息的符号比特信息sign_x(i)、sign_y(i)和sign_z(i)的数量以及尾数部分qpx_high(i)、qpy_high(i)和qpz_high(i)。
注意,在图8的示例中,指示最高精度量化位置信息的尾数部分的比特数的上限()表示输出等于或大于参数的最小整数值的上限函数。
当以这种方式获得包含绝对距离信息absolutedistance、指数部分索引exp_index_high、对象数量nobj、与每个对象的最高精度量化位置信息相关联的符号比特信息以及每个对象的最高精度量化位置信息的尾数部分的最高精度位置编码数据文件时,该处理随后进行到图7的步骤s16。
在步骤s16中,绝对坐标位置信息编码器51通过无线或有线通信等将生成的最高精度位置编码数据文件传输到服务器52。此后,编码处理结束。
注意,如下所述,当该存储正确完成时,服务器52传输存储完成通知,指示最高精度位置编码数据文件已经正确存储在服务器52中。因此,绝对坐标位置信息编码器51接收所传输的存储完成通知,并以适当的方式显示该通知。
此外,响应于最高精度位置编码数据文件的传输,服务器52开始文件存储处理。
具体地,在步骤s31,服务器52的通信单元101在通信控制单元111的控制下接收从绝对坐标位置信息编码器51传输的最高精度位置编码数据文件,并将接收到的最高精度位置编码数据文件提供给控制单元102。
在步骤s32中,控制单元102将从通信单元101提供的最高精度位置编码数据文件提供给记录单元61,并使记录单元61存储(记录)最高精度位置编码数据文件。以这种方式,最高精度位置编码数据文件存储(记录)在记录单元61中。
随后,通信控制单元111控制通信单元101向绝对坐标位置信息编码器51传输指示已经正确存储最高精度位置编码数据文件的存储完成通知。此后,文件存储处理结束。
以上述方式,绝对坐标位置信息编码器51以最高精度对与每个对象相关联的归一化位置信息进行编码,并将包含如此获得的最高精度量化位置信息的最高精度位置编码数据文件传输到服务器52。另外,服务器52存储从绝对坐标位置信息编码器51接收的最高精度位置编码数据文件。
结果,服务器52能够响应于来自客户端54的请求,从最高精度量化位置信息生成具有任何量化精度等级的量化位置信息,并将生成的量化位置信息传输到客户端54。
以这种方式,通过在客户端54侧获得每个对象的极坐标位置信息,与最高精度的量化位置信息无任何变化地传送到客户端54的情况相比,可以实现更多地减少在诸如服务器52和绝对坐标位置信息编码器51等内容分发侧上的处理负荷以及更多地减少信息传送量。
<位置信息获取处理和位置信息传输处理的描述>
在最高精度位置编码数据文件存储在服务器52中之后,允许客户机54从服务器52接收与每个对象的内容相关联的量化位置信息的供应。下面将描述当从服务器52获取量化的位置信息时由客户端54执行的处理。具体而言,以下将参考图9的流程图描述由客户端54执行的位置信息获取处理和由服务器52执行的位置信息传输处理。
当客户端54开始位置信息获取处理时,在步骤s61中,通信单元141在通信控制单元151的控制下,经由无线或有线通信等向服务器52传输对象数量传输请求。
此处的对象数量传输请求是请求传输对象数量通知信息的信息,该对象数量通知信息指示构成内容的对象的数量,即空间内存在的对象的数量。
响应于对象数量传输请求的传输,服务器52开始位置信息传输处理。具体地,在步骤s81中,通信单元101在通信控制单元111的控制下接收从客户端54传输的对象数量传输请求,并将接收到的请求提供给控制单元102。
随后,传输信息生成单元112参考记录在记录单元61中的最高精度位置编码数据文件,生成指示对象数量nobj的对象数量通知信息。通信控制单元111将生成的对象数量通知信息提供给通信单元101。
在步骤s82中,通信单元101在通信控制单元111的控制下,向客户端54传输从通信控制单元111提供的对象数量通知信息。
另一方面,在步骤s62中,客户端54的通信单元141在通信控制单元151的控制下接收从服务器52传输的对象数量通知信息,并将接收到的信息提供给控制单元142。
以这种方式,客户端54能够识别内容的对象数量nobj,并根据对象数量nobj为下一阶段要执行的处理做准备等。
注意,对象数量通知信息可以是例如包含图10中呈现的格式(语法)的头部信息的帧等。
根据图10的示例,头部信息包含绝对距离信息absolutedistance和指示由字符“num_of_object”表示的对象数量nobj的信息。注意,图10中描绘的报头信息可以添加到要从服务器52传输到客户端54的所有信号中,在适当的时间(例如,发起时间)传输到客户端54,或者定期传输到客户端54。
当指定了对象数量nobj时,通信控制单元151生成用于请求向服务器52传输最低精度量化位置信息的传输请求,并将生成的请求提供给通信单元141。
虽然此处描述客户端54最初从服务器52获取的低精度量化位置信息是最低精度量化位置信息的示例,但是低精度量化位置信息可以是具有任何量化精度等级的低精度量化位置信息,只要量化精度低于最高精度。
在步骤s63中,在通信控制单元151的控制下,通信单元141向服务器52传输从通信控制单元151提供的传输请求,并请求传输最低精度量化位置信息。
随后,在步骤s83中,服务器52的通信单元101在通信控制单元111的控制下,接收从客户端54传输的最低精度量化位置信息传输请求,并将接收到的请求提供给控制单元102。
在步骤s84中,响应于从通信单元101提供的传输请求,传输信息生成单元112参考记录在记录单元61中的最高精度位置编码数据文件生成最低精度量化位置信息的尾数部分。
具体地,例如,传输信息生成单元112提取包含在每个对象的最高精度位置编码数据文件中的最高精度量化位置信息的尾数部分qpx_high(i)、qpy_high(i)和qpz_high(i)。
此外,传输信息生成单元112将尾数部分qpx_high(i)、qpy_high(i)和qpz_high(i)移位指数部分索引exp_index_high和具有最低量化精度的最低精度指数部分索引exp_index=0之间的差值,并将移位的尾数部分指定为qpx_low(i)、qpy_low(i)和qpz_low(i),该qpx_low(i)、qpy_low(i)和qpz_low(i)为最低绝对精度的x坐标、y坐标和z坐标的相应坐标的尾数部分。
换言之,可以通过从最高精度量化位置信息的尾数部分的msb(最高有效位)侧(最高位侧)提取对应于最低精度指数部分索引exp_index的比特数的信息来获得最低精度量化位置信息的尾数部分。
例如,如果指数部分索引exp_index_high的值是9,则通过对尾数部分qpx_high(i)的移位处理消除对应于尾数部分qpx_high(i)的低阶9位的信息而获得的信息被指定为最低精度绝对位置的x坐标的尾数部分qpx_low(i)。
另外,传输信息生成单元112将包含在最高精度位置编码数据文件中的最高精度量化位置信息的符号比特信息sign_x(i)、sign_y(i)和sign_z(i)指定为包括在最低精度量化位置信息中的符号比特信息,而没有变化。不需要改变,因为符号位是相同的,与量化精度无关。
在步骤s85中,传输信息生成单元112生成最低精度量化位置信息,该最低精度量化位置信息包含通过步骤s84中的处理获得的尾数部分qpx_low(i)、qpy_low(i)和qpz_low(i)以及符号比特信息sign_x(i)、sign_y(i)和sign_z(i)。
以这种方式,例如,获得了图11中呈现的最低精度量化位置信息。更详细地,图11呈现了包含每个对象的最低精度量化位置信息的比特流的语法示例。
根据该示例,对应由对象数量nobj指示的多个对象中的每一个对象,最低精度量化位置信息的符号比特信息sign_x(i)、sign_y(i)和sign_z(i)以及最低精度量化位置信息的相应坐标的尾数部分qpx_low(i)、qpy_low(i)和qpz_low(i)存储在比特流中。
当以这种方式获得最低精度量化位置信息时,通信控制单元111将每个对象的最低精度量化位置信息提供给通信单元101。
在步骤s86中,通信单元101在通信控制单元111的控制下,向客户端54传输从通信控制单元111为每个对象提供的最低精度量化位置信息。此后,位置信息传输处理结束。
图12在此呈现了包括在与特定对象相关联的归一化位置信息中的一个轴的坐标的编码的具体示例。
在图12中,感知极限角θ被设置为1.5°的角度,而由感知极限角θ定义的容差角是0.75°的角度。此外,绝对距离absolutedistance的长度为30m,而归一化位置信息的坐标设置为0.1。
图12的示例呈现了对应于坐标值0.1的量化精度的各个等级的尾数部分等的二进制数的值,即二进制值。
更具体地,“1/2的指数”表示指数部分索引exp_index。量化精度随着指数部分索引exp_index值的增加而增加。
特别地,此处,具有最高量化精度的指数部分索引exp_index_high的值是“9”,而具有对应于最低量化精度的最低量化精度的指数部分索引exp_index的值是“0”。
此外,“收听者和对象之间的距离”表示当从收听者u12观看时,以对应于指数部分索引exp_index的量化精度量化的步长彼此隔开的两个位置位于以感知极限角θ彼此隔开的位置时,收听者u12和对象之间的距离。
对应于指数部分索引exp_index的量化步长宽度由“量化步长宽度”表示。
当使用对应于指数部分索引exp_index的量化步长宽度量化归一化位置信息的坐标值“0.1”时,实数由“实数量化值”表示。
此外,量化的归一化位置信息的尾数部分的比特数由“量化的比特数”表示。量化的归一化位置信息的尾数部分的二进制值(二进制数的值)由“二进制”表示,尾数部分的值(整数值)由“整数量化值”表示。因此,由“整数量化值”指示的值是量化的归一化位置信息的尾数部分的值,并且该值的二进制值是由“二进制”指示的值。
特别地,在此处,对于具有值9的指数部分索引exp_index,由“实数量化值”指示的值的整数值被指定为量化的归一化位置信息的尾数部分的整数量化值。
另一方面,对于值为8到0的指数部分索引exp_index,通过提取值为9的指数部分索引exp_index的尾数部分的二进制值的一部分而获得这些索引的每个尾数部分。
例如,通过提取具有值9的指数部分索引exp_index的尾数部分的二进制值的高阶七位而获得的值变成具有值0的指数部分索引exp_index的尾数部分的二进制值。
注意,在此处,从尾数部分的二进制值部分省略在msb端存在的“0000”,以便于理解该图。
此外,“解码后的位置”表示通过基于量化的归一化位置信息的尾数部分解码而获得的归一化位置信息的坐标值,即由“二进制”表示的值。
根据该示例,量化(编码)的归一化位置信息的坐标值是“0.1”。在这种情况下,在理想的情况下,解码的归一化位置信息的坐标值变为“0.1”。然而,在此处,量化精度随着指数部分索引exp_index的降低而降低。因此,解码后坐标值的误差也随着量化精度的降低而增加。
在对归一化位置信息进行编码(量化)时,为指数部分索引exp_index确定量化比特数,并且获得量化比特数的尾数部分,即坐标值的量化值的二进制值。
根据相应指数部分索引exp_index的尾数部分之间的比较,可以理解,量化的比特数随着指数部分索引exp_index的值的增加而增加,并且在朝向lsb(最低有效位)的方向上,即朝向最低位的方向上,将值添加到尾数部分。
这意味着尾数部分的量化精度随着指数部分索引exp_index的增加而增加。此外,如果仅保留具有高量化精度的信息,即最高精度量化位置信息的尾数部分,则可以仅通过消除尾数部分的lsb侧的信息来获得低精度量化位置信息的尾数部分,而不需要新的量化计算。
此处对应于指数部分索引exp_index的量化步长宽度由以下等式(6)表示。
[数学公式6]
step=2×tan(θ/2)/sqrt(3)×(1/2)exp_index···(6)
另外,可以通过使用量化步长宽度计算ceil(log2(1/step+1))来获得对应于指数部分索引exp_index的尾数部分的量化比特数。注意,ceil()是上限函数。
因此,例如,在指数部分索引exp_index的值为“0”的情况下,量化的比特数变为7。
例如,此处假设指数部分索引exp_index_high的值是“9”。在这种情况下,具有最高精度exp_index_high=9的指数部分索引和具有最低精度=0的exp_index_的指数部分索引之间的差值变成9。
因此,最低精度量化位置信息的坐标的尾数部分变成7位值“0000110”,通过将最高精度量化位置信息的坐标的尾数部分“00001101010011011”的低阶位去除对应于指数部分索引之间的差值的9位而获得该值。
换言之,在具有最低精度的指数部分索引exp_index为0的情况下,量化比特数变为7。因此,通过提取最高精度量化位置信息的坐标的尾数部分的高位7位,获得最低精度量化位置信息的坐标的尾数部分。
回到参考图9的流程图的描述,当从服务器52传输最低精度量化位置信息时,客户端54执行步骤s64中的处理。
在步骤s64中,通信单元141在通信控制单元151的控制下接收从服务器52传输的最低精度量化位置信息,并将接收的信息提供给控制单元142。因此,通信控制单元151获取最低精度的量化位置信息。
响应于接收最低精度量化位置信息,绝对坐标位置信息解码器71逐个选择由对象数量nobj指示的各个对象的数量,作为处理目标对象,并计算这些对象的最低精度绝对位置。
更具体地,在步骤s65中,绝对坐标位置信息解码器71基于已经知道的感知极限角θ和包含在从服务器52接收的帧等中包括的头部信息中的绝对距离信息absolutedistance,通过执行与等式(4)的计算类似的计算来计算量化的步长。此处精度最低的指数部分索引exp_index的值是0。因此,通过用0代替等式(4)中的指数部分索引exp_index_sel的值来计算量化的步长。
在步骤s66中,绝对坐标位置信息解码器71针对处理目标对象解码在步骤s64中接收的最低精度量化位置信息中包括的符号比特信息sign_x(i)、sign_y(i)和sign_z(i)。以这种方式,获得各条解码的符号比特信息sign_x_val(i)、sign_y_val(i)和sign_z_val(i)。
在步骤s67中,绝对坐标位置信息解码器71基于在步骤s65中获得的量化步长宽度、在步骤s66中获得的符号比特信息sign_x_val(i)、sign_y_val(i)和sign_z_val(i)以及在步骤s64中接收的最低精度量化位置信息的尾数部分qpx_low(i)、qpy_low(i)和qpz_low(i)来计算处理目标对象的最低精度绝对位置。
换言之,绝对坐标位置信息解码器71执行与上述等式(5)的计算类似的计算,以获得包括指示解码的最低精度绝对位置的x坐标dtx(i)、y坐标dty(i)和z坐标dtz(i)的解码的最低精度归一化位置信息。
具体地,在等式(5)中,在步骤s65中获得的量化步长宽度代替量化步长宽度step_dec,尾数部分qpx_low(i)、qpy_low(i)和qpz_low(i)代替qpx_sel(i)、qpy_sel(i)和qpz_sel(i)。另外,使用从服务器52接收的绝对距离信息absolutedistance。以这种方式,获得了对应于x坐标dpx(i)、y坐标dpy(i)和z坐标dpz(i)的x坐标dtx(i)、y坐标dpy(i)和z坐标dpz(i)。
如此获得的包括x坐标dtx(i)、y坐标dty(i)和z坐标dtz(i)的解码的最低精度归一化位置信息是临时解码的归一化位置信息。上述从步骤s65到步骤s67的处理对应于用于解码最低精度量化位置信息的处理。
在步骤s68中,绝对坐标位置信息解码器71确定是否所有对象都已经被处理为处理目标对象。
在步骤s68中确定没有处理所有对象的情况下,处理返回到步骤s66,以重复上述处理。在这种情况下,选择未被处理为处理目标的对象,作为下一个处理目标对象,并且获得与该对象相关联的解码的最低精度归一化位置信息。
另一方面,在步骤s68中确定已经处理了所有对象的情况下,位置信息获取处理结束。
以上述方式,客户端54从服务器52接收最低精度量化位置信息,执行解码处理,并获得解码的最低精度归一化位置信息。此外,服务器52响应于来自客户端54的请求生成最低精度量化位置信息,并将生成的信息传输到客户端54。
以这种方式,在服务器52和客户端54之间传输和接收的信息的传送量可以比在传输和接收最高精度量化位置信息的情况下减少更多。
注意,此处描述基于最高精度量化位置信息生成要传送(传输)到客户端54的最低精度量化位置信息的示例,该最高精度量化位置信息是预先记录在服务器52中的唯一信息。然而,各个量化精度等级的量化位置信息可以预先保留在服务器52中,以读出具有所请求的量化精度的量化位置信息,并将读出的信息传输到客户端54。
<额外比特信息获取处理和额外比特信息传输处理的描述>
同时,当执行参考图9描述的位置信息获取处理时,针对每个对象获得解码的最低精度归一化位置信息。
最低精度量化位置信息(即解码的最低精度归一化位置信息)是否具有足够的精度,因为可以基于收听者u12和由归一化位置信息指示的位置之间的距离来指定指示对象在空间内的绝对位置的量化位置信息。
在此处,具有足够精度的量化位置信息是指表示从收听者u12观看时由归一化位置信息定义的位置的方向和从收听者u12观看时由量化位置信息定义的位置的方向形成的角度变为θ/2或更小的状态的信息。换言之,从收听者u12观看时由量化位置信息指示的位置位于围绕对应于由归一化位置信息指示的位置的中心的感知极限角θ的范围内的位置。
解码的最低精度归一化位置信息指示对象在空间内的不精确但近似的位置。因此,通过使用解码的最低精度归一化位置信息,可以获得收听者u12和空间内的对象之间的近似距离。
因此,客户端54可以基于由gps等测量的具有高精度的收听者位置信息和解码的最低精度归一化位置信息,指定最低精度量化位置信息对于每个对象是否具有足够的量化精度和具有足够的量化精度的量化位置信息。
在最低精度量化位置信息不具有足够的量化精度的情况下,客户端54从服务器52获取额外比特信息,以获得具有足够精度的解码的归一化位置信息。下面将描述在这种情况下由客户端54和服务器52执行的处理。具体地,下面将参考图13的流程图描述由客户端54执行的额外比特信息获取处理和由服务器52执行的额外比特信息传输处理。
当客户端54开始额外比特信息获取处理时,绝对坐标位置信息解码器71在步骤s121中为每个对象计算收听者u12和对象之间的距离objectdistance。
更具体地,基于从收听者位置获取设备53提供的收听者位置信息和解码的最低精度归一化位置信息,计算收听者u12和空间内的每个对象之间的欧几里德距离,作为距离objectdistance。
在步骤s122中,绝对坐标位置信息解码器71比较为指数部分索引exp_index确定的距离“distance”和距离objectdistance,同时将指数部分索引exp_index的值从0改变为更大的值。
更具体地,例如,绝对坐标位置信息解码器71基于指数部分索引exp_index和绝对距离信息absolutedistance计算下面的等式(7),以计算对应于指数部分索引exp_index的距离“distance”。
[数学公式7]
distance=2×qrt(3)×absolutedistance×(1/2)exp_index···(7)
此后,绝对坐标位置信息解码器71比较所获得的距离“distance”和距离objectdistance,并确定距离“distance”是否等于或小于距离objectdistance。
绝对坐标位置信息解码器71指定最小指数部分索引exp_index,其中,距离“distance”变为距离objectdistance或更短,同时以1的增量增加指数部分索引exp_index的值,直到距离“distance”变为等于或小于距离objectdistance。
注意,距离“distance”变为距离objectdistance或更短的最小指数部分索引exp_index在下文中也称为指数部分索引exp_index_cover。
指数部分索引exp_index_cover是指数部分索引exp_index,其在具有如上所述的足够精度的量化位置信息的指数部分索引exp_index中具有最小值。
当为每个对象指定指数部分索引exp_index_cover时,处理进行到步骤s123。
在步骤s123中,绝对坐标位置信息解码器71将指数部分索引exp_index_cover与每个对象的最低精度量化位置信息的指数部分索引exp_index进行比较,以检查量化精度不足的对象。
此处的指数部分索引exp_index_cover是具有最小必要量化精度的指数部分索引exp_index。因此,对应于由最低精度量化位置信息指示的指数部分索引exp_index并且小于指数部分索引exp_index_cover的对象被认为是量化精度不足的对象。
特别是在此处,最低精度量化位置信息的指数部分索引exp_index的值是0。因此,对应于指数部分索引exp_index_cover的值为1或更大的对象被认为是精度不够并且需要额外比特信息的对象。
通过该检查处理,指定量化精度不足并且需要额外比特信息的对象,并且从预先为指定对象确定的多个量化精度等级中确定(指定)必要量化精度。此处所指的必要量化精度是对应于指数部分索引exp_index_cover的量化精度(量化步长宽度)。
在步骤s124中,绝对坐标位置信息解码器71将针对最低精度量化位置信息获得的解码的最低精度归一化位置信息指定为最终解码的归一化位置信息,所述最低精度量化位置信息指示等于或大于指数部分索引exp_index_cover的指数部分索引exp_index。
换言之,对于对应于等于或大于指数部分索引exp_index_cover的指数部分索引exp_index的对象,已经获得了具有足够量化精度的解码的最低精度归一化位置信息。因此,解码的最低精度归一化位置信息的x坐标dtx(i)、y坐标dty(i)和z坐标dtz(i)被指定为解码的归一化位置信息的x坐标dpx(i)、y坐标dpy(i)和z坐标dpz(i),而没有任何变化。
在步骤s125中,通信单元141传输对象的额外比特信息的传输请求,该对象被指定为与小于指数部分索引exp_index_cover的指数部分索引exp_index相对应的对象,即,需要额外比特信息的对象。
例如,绝对坐标位置信息解码器71生成对额外比特信息的传输请求,该额外比特信息包含需要传输额外比特信息的对象的数量、对象索引resend_object_index(j)和指数部分索引resend_exe_index(j)。
在此处,对象索引resend_object_index(j)是用于识别需要传输额外比特信息的对象的索引i,即,对应于指数部分索引exp_index小于指数部分索引exp_index_cover的对象。
指数部分索引resend_exp_index(j)是对应于由索引resend_object_index(j)指示的对象最终所需的量化精度的指数部分索引exp_index。在这种情况下,指数部分索引exp_index_cover的值用作指数部分索引resend_exp_index(j)的值,而没有任何变化。
以这种方式,获得例如图14中呈现的格式(语法)的传输请求。
根据该示例,指示需要传输额外比特信息的对象的数量并由字符“num_of_resend_objects”表示的信息设置在传输请求的头部。
此外,由num_of_resend_objects指示的对象索引resend_object_index(j)和指数部分索引resend_exp_index(j)的数量设置在指示对象数量的信息之后。
回到图13的描述,通信控制单元151向通信单元141提供以请求传输额外比特信息的方式生成的传输请求,并使通信单元141向服务器52传输该传输请求。
响应于传输额外比特信息的传输请求,服务器52开始额外比特信息传输处理。
具体地,在步骤s161中,通信单元101在通信控制单元111的控制下接收从客户端54传输的对额外比特信息的传输请求,并将接收到的请求提供给控制单元102。
在步骤s162中,响应于从通信单元101提供的传输请求,即响应于来自对应于最低精度量化位置信息的传输目的地的客户端54的请求,传输信息生成单元112生成与请求传输额外比特信息的对象相关联的额外比特信息。
具体而言,例如,传输信息生成单元112提取包含在最高精度位置编码数据文件中的最高精度量化位置信息的尾数部分qpx_high(i)、qpy_high(i)和qpz_high(i),用于由索引resend_object_index(j)指示的对象。
此外,传输信息生成单元112将尾数部分qpx_high(i)、qpy_high(i)和qpz_high(i)移位指数部分索引exp_index_high和指数部分索引resend_exp_index(j)之间的差值。
以这种方式,消除对应于尾数部分qpx_high(i)、qpy_high(i)和qpz_high(i)中的每一个的低阶位侧上的指数部分索引exp_index_high与指数部分索引resend_exp_index(j)之间的差值的位,以获得与指数部分索引resend_exp_index(j)相关联的量化位置信息的尾数部分。
传输信息生成单元112从所获得的指示指数部分索引resend_exp_index(j)的量化位置信息的尾数部分中,消除与最高比特侧的最低精度量化位置信息的尾数部分的比特数相对应的比特,并将剩余部分指定为额外比特信息。
额外比特信息包括额外比特信息qpx_diff(j)、qpy_diff(j)和qpz_diff(j),其对应于指示指数部分索引resend_exp_index(j)的量化位置信息的x坐标、y坐标和z坐标的相应坐标的尾数部分和最低精度量化位置信息的对应尾数部分之间的差值信息。
例如,额外比特信息qpx_diff(j)是指示指数部分索引resend_exp_index(j)的量化位置信息的x坐标的尾数部分和最低精度量化位置信息的x坐标的尾数部分qpx_low(i)之间的差值。
例如,假设在图12中呈现的示例中,指数部分索引resend_exp_index(j)的值是7。
在这种情况下,最高精度量化位置信息的指数部分索引exp_index_high是9。因此,这个值9和指数部分索引resend_exp_index(j)=7之间的差值变成2。
此外,通过从最高精度量化位置信息的尾数部分“0000110100111011”中去除低阶2比特,获得了指示指数部分索引resend_exp_index(j)=7的低精度量化位置信息的尾数部分“00001101001110”。
另外,最低精度量化位置信息的尾数部分的比特数是7。因此,通过从尾数部分“00001101001110”中去除高阶7位,获得额外比特信息“1001110”。客户端54侧将这样获得的额外比特信息“1001110”添加到最低精度量化位置信息的尾数部分“0000110”的低阶比特侧。以这种方式,获得了指示最终需要的指数索引resend_exp_index(j)=7的低精度量化位置信息的尾数部分“00001101001110”。
当通过对由每个索引resend_object_index(j)指示的对象的上述处理获得额外比特信息时,传输信息生成单元112生成包含各条额外比特信息的差异数据。
以这种方式,例如,获得图15中呈现的格式(语法)的差异数据。根据该示例,差异数据包含由上述num_of_resend_objects指示的额外比特信息qpx_diff(j)、qpy_diff(j)和qpz_diff(j)的数量。
注意,图15中的每条额外比特信息的比特数是对应于resend_exp_index(j)的比特数。
回到图13的描述,通信控制单元111将包含额外比特信息的差异数据提供给通信单元101,以控制向客户端54的传输。
在步骤s163中,通信单元101在通信控制单元111的控制下,向客户端54传输包含额外比特信息并且从通信控制单元111提供的差异数据。此后,额外比特信息传输处理结束。
此外,响应于差异数据的传输,客户端54执行步骤s126的处理。
在步骤s126中,通信单元141在通信控制单元151的控制下接收从服务器52传输的差异数据,并将差异数据提供给控制单元142。因此,通信控制单元151获取包含额外比特信息的差异数据。
在步骤s127中,绝对坐标位置信息解码器71使用指数部分索引resend_exp_index(j)的值作为指数部分索引exp_index_sel,为由索引resend_object_index(j)指示的每个对象计算等式(4),以计算量化步长宽度step_dec。
在步骤s127中,为在步骤s123中被确定为具有不充分量化精度的每个对象,即由索引resend_object_index(j)指示的每个对象,计算量化步长宽度step_dec。
在步骤s128中,绝对坐标位置信息解码器71基于从通信单元141提供的差异数据,对于由索引resend_object_index(j)指示的每个对象,生成指示指数部分索引resend_exp_index(j)的量化位置信息的尾数部分。
具体地,绝对坐标位置信息解码器71将包含在差异数据中的额外比特信息qpx_diff(j)、qpy_diff(j)和qpz_diff(j)添加到最低精度量化位置信息的尾数部分qpx_low(i)、qpy_low(i)和qpz_low(i)的低阶比特侧。
以这种方式,获得指示指数部分索引resend_exp_index(j)的量化位置信息的各个坐标的尾数部分,并将其指定为最终决定的尾数部分qpx_sel(i)、qpy_sel(i)和qpz_sel(i)。
在步骤s129中,绝对坐标位置信息解码器71计算与由各个索引resend_object_index(j)指示的每个对象相关联的解码的归一化位置信息。
更具体地,基于在步骤s127中获得的量化步长宽度step_dec、绝对距离信息absolutedistance、在图9的步骤s66中获得的经受解码的符号比特信息以及在步骤s128中获得并最终决定的尾数部分来计算等式(5),以计算解码的归一化位置信息。
上述从步骤s127到步骤s129的处理是用于解码从最低精度量化位置信息和额外比特信息获得的量化位置信息的处理。此外,对于由对象数量nobj指示的所有对象,通过上述处理获得解码的归一化位置信息。
在步骤s130中,坐标转换单元72基于解码的归一化位置信息和从收听者位置获取设备53提供的收听者位置信息,为每个对象计算极坐标位置信息,该极坐标位置信息指示从收听者u12在空间内观看的对象的位置。
此后,坐标转换单元72将获得的极坐标位置信息提供给输出单元143。输出单元143将各条极坐标位置信息输出到mpeg-h渲染器55。当输出单元143完成向mpeg-h渲染器55输出所有对象的极坐标位置信息时,额外比特信息获取处理结束。
在额外比特信息获取处理结束之后,mpeg-h渲染器55执行渲染。具体地,mpeg-h渲染器55基于从服务器52等获取的每个对象的音频数据和从输出单元143提供的极坐标位置信息来执行渲染,生成对象的音频图像被定位在空间内的各个位置的再现音频数据,并将生成的再现音频数据输出到再现系统,例如,扬声器。
以上述方式,客户端54从服务器52获取(接收)额外比特信息,并且对于量化精度不足的对象,以足够的精度计算解码的归一化位置信息。此外,服务器52响应于来自客户端54的请求生成额外比特信息,并将生成的额外比特信息传输给客户端54。
以这种方式,在开始从服务器52获取最高精度的量化位置信息的情况下,客户端54能够通过小于该量的信息传送量以足够的精度获得解码的归一化位置信息。
此外,用于获得必要的量化精度的处理和用于计算极坐标位置信息的处理都由客户端54执行。因此,在诸如服务器52和绝对坐标位置信息编码器51等内容分发侧可以实现处理负荷的减少。特别地,随着连接到服务器52的客户端54的数量增加,这种处理负荷减少效果增加。
注意,每当空间内的对象和收听者u12的任何位置改变时,客户端54侧的极坐标位置信息在再现内容时改变。
因此,例如,当与收听者u12相关联的收听者位置信息改变时,客户端54更新极坐标位置信息。
然而,在收听者u12在远离空间内静止的对象的方向上移动的情况下,该对象不是特别需要更新解码的归一化位置信息。不需要这种更新,因为除了对象的静止状态之外,在对象和收听者u12之间的距离增加的状态下,必要的精度水平进一步降低。换言之,不需要更新,因为已经提供了具有足够精度的解码的归一化位置信息。
在这种情况下,例如,客户端54的通信控制单元151通过控制通信单元141请求传输最低精度量化位置信息来使得服务器52传输传输请求,所述最低精度量化位置信息仅包含已经移动的对象和位于距收听者u12比之前更短的距离处的对象的索引i。此后,在图9的步骤s64中,通信单元141从服务器52仅接收与对应于索引i的对象相关联的最低精度量化位置信息。客户端54执行后续处理,以更新极坐标位置信息。
此外,基于在前述处理中获得的解码的归一化位置信息和与收听者u12相关联的新的收听者位置信息,可以指定静止的并且位于距收听者u12比以前更短的距离处的对象所需的量化精度。
因此,在这种情况下,通过在客户端54侧执行图13中的额外比特信息获取处理,对于静止并且位于距收听者u12比之前更短的距离处的对象,可以获得具有足够精度的解码的归一化位置信息,而不需要获取新的最低精度量化位置信息。
如上所述,根据本技术,可以传送指示对象位置的信息,同时在自由视点3d音频中避免内容分发侧的单侧处理负荷。此外,根据收听者u12和对象之间的距离和人类感知极限角θ来指定适当的量化精度。因此,可以实现传送产生与原始音频图像方向的不超过感知极限的差异的量化位置信息并且减小传送量。
<计算机的配置示例>
同时,上述一系列处理可以通过硬件或软件来执行。在这系列处理由软件执行的情况下,构成软件的程序安装在计算机中。此处的计算机的示例包括包含在专用硬件中的计算机和能够在安装在计算机中的各种程序下执行各种功能的计算机,例如,通用个人计算机。
图16是描绘在程序下执行上述一系列处理的计算机的硬件的配置示例的框图。
在计算机中,cpu(中央处理器)501、rom(只读存储器)502和ram(随机存取存储器)503经由总线504相互连接。
输入/输出接口505进一步连接到总线504。输入单元506、输出单元507、记录单元508、通信单元509和驱动器510连接到输入/输出接口505。
输入单元506包括键盘、鼠标、麦克风、成像元件等。输出单元507包括显示器、扬声器等。记录单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动可移动记录介质511,例如,磁盘、光盘、磁光盘和半导体存储器。
根据如上配置的计算机,例如,cpu501经由输入/输出接口505和总线504将记录在记录单元508中的程序加载到ram503中,并执行加载的程序,以执行上述一系列处理。
允许将由计算机(cpu501)执行的程序记录在诸如封装介质等可移动记录介质511中,并以这种形式提供。或者,允许经由有线或无线传输介质提供程序,例如,局域网、互联网和数字卫星广播。
根据计算机,允许程序经由输入/输出接口505从附接到驱动器510的可移动记录介质511安装在记录单元508中。或者,允许通信单元509经由有线或无线传输介质接收程序,并将其安装在记录单元508中。相反,允许程序预先安装在rom502或记录单元508中。
注意,要由计算机执行的程序可以是以本说明书中描述的顺序在时间序列中执行处理的程序,或者可以是并行执行处理或者在必要的时间(例如,在呼叫时)执行处理的程序。
此外,本技术的实施方式不限于上述实施方式,并且可以在不脱离本技术的主题范围的情况下以各种方式进行修改。
例如,允许本技术具有云计算的配置,其中,由多个设备经由网络彼此协作地共享和处理一个功能。
此外,允许上述流程图中描述的各个步骤由一个设备执行或者由多个设备共享和执行。
此外,在一个步骤包含多个处理的情况下,允许一个步骤中包含的多个处理由一个设备执行或者由多个设备共享和执行。
此外,本技术还可以具有以下配置。
(1)一种信息处理设备,包括:
获取单元,获取具有第一精度并指示对象在用户所在空间内的位置的低精度位置信息,并且获取用于获得位置信息的额外信息,所述位置信息具有高于所述第一精度的第二精度,指示所述对象在所述空间内的位置并对应于所述用户的位置;以及
位置信息计算单元,基于所述低精度位置信息和所述额外信息来获得所述位置信息。
(2)根据(1)所述的信息处理设备,其中,
所述位置信息计算单元基于指示所述用户位置的用户位置信息和所述低精度位置信息来指定需要额外信息的对象,并且
所述获取单元获取与包括在一个或多个对象中并由所述位置信息计算单元指定的对象相关联的额外信息。
(3)根据(2)所述的信息处理设备,其中,
针对需要额外信息的各个对象,所述位置信息计算单元基于所述用户位置信息和低精度位置信息从多个精度等级确定所述位置信息的所述第二精度。
(4)根据(2)或(3)所述的信息处理设备,其中,
所述低精度位置信息和所述位置信息中的每一个都包括指示对象在空间内的位置的绝对坐标的信息,并且
所述用户位置信息包括指示所述用户在空间内的位置的绝对坐标的信息。
(5)根据(4)所述的信息处理设备,还包括:
转换单元,基于所述位置信息和所述用户位置信息,将所述位置信息转换为指示从所述用户观看到的对象的相对位置的极坐标信息。
(6)根据(1)至(5)中任一项所述的信息处理设备,其中,
所述额外信息包括指示所述位置信息和所述低精度位置信息之间的差异的信息。
(7)根据(1)至(6)中任一项所述的信息处理设备,其中,
所述对象包括音频对象。
(8)一种由信息处理设备执行的信息处理方法,包括:
获取具有第一精度并指示对象在用户所在空间内的位置的低精度位置信息;
获取用于获得位置信息的额外信息,所述位置信息具有高于所述第一精度的第二精度,指示所述对象在所述空间内的位置并对应于所述用户的位置;以及
基于所述低精度位置信息和所述额外信息来获得所述位置信息。
(9)一种程序,计算机在该程序下执行包括以下步骤的处理:
获取具有第一精度并指示对象在用户所在空间内的位置的低精度位置信息;
获取用于获得位置信息的额外信息,所述位置信息具有高于所述第一精度的第二精度,指示所述对象在所述空间内的位置并对应于所述用户的位置;以及
基于所述低精度位置信息和所述额外信息来获得所述位置信息。
(10)一种信息处理设备,包括:
通信单元,传输具有第一精度并指示对象在用户所在空间内的位置的低精度位置信息,并且响应于来自所述低精度位置信息的传输目的地的请求,传输用于获得位置信息的额外信息,所述位置信息具有高于所述第一精度的第二精度,指示所述对象在所述空间内的位置并对应于所述用户的位置。
(11)根据(10)所述的信息处理设备,其中,
所述低精度位置信息和所述位置信息中的每一个都包括指示对象在空间内的位置的绝对坐标的信息。
(12)根据(10)或(11)所述的信息处理设备,其中,
所述额外信息包括所述指示位置信息和所述低精度位置信息之间的差异的信息。
(13)根据(12)所述的信息处理设备,还包括:
记录单元,对通过以具有最高精度的量化步长宽度量化指示对象位置的信息而获得的最高精度位置信息进行记录;以及
传输信息生成单元,通过提取所述最高精度位置信息的一部分来生成所述低精度位置信息或所述额外信息。
(14)根据(13)所述的信息处理设备,其中,
所述量化步长宽度被设置为通过将1/2幂指数的值乘以常数而获得的值。
(15)根据(10)至(14)中任一项所述的信息处理设备,其中,
所述对象包括音频对象。
(16)一种由信息处理设备执行的信息处理方法,包括:
传输具有第一精度并指示对象在用户所在空间内的位置的低精度位置信息;以及
响应于来自所述低精度位置信息的传输目的地的请求,传输用于获得位置信息的额外信息,所述位置信息具有高于所述第一精度的第二精度,指示所述对象在所述空间内的位置并对应于所述用户的位置。
(17)一种程序,计算机在该程序下执行包括以下步骤的处理:
传输具有第一精度并指示对象在用户所在空间内的位置的低精度位置信息;以及
响应于来自所述低精度位置信息的传输目的地的请求,传输用于获得位置信息的额外信息,所述位置信息具有高于所述第一精度的第二精度,指示所述对象在所述空间内的位置并对应于所述用户的位置。
附图标记列表
52服务器,54客户端,61记录单元,71绝对坐标位置信息解码器,72坐标转换单元,101通信单元,102控制单元,141通信单元,142控制单元。
起点商标作为专业知识产权交易平台,可以帮助大家解决很多问题,如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通,为大家解决相关问题。
此文章来源于网络,如有侵权,请联系删除