商标分类 
商标转让 
您当前的位置： 用于电子竞技的虚拟现实观看的场地映射的制作方法
2021-01-11 13:01:13|
235|
起点商标网
1.技术领域
本公开涉及用于电子竞技的虚拟现实观看的场地映射。
背景技术：
2.背景技术
电子竞技(e-sports)通常是指竞技的一种形式，该竞技的主要方面是通过电子系统促成的，其中玩家和团队的输入以及电子竞技系统的输出通过人机界面而传递。(参见例如juhohamari，max
视频游戏由诸如个人计算机、游戏控制台、移动装置等计算装置执行。游戏平台的一个示例是sony
计算机游戏行业的发展趋势是开发增加用户与游戏系统之间的交互的游戏。实现更丰富的交互体验的一种方式是使用其移动被游戏系统跟踪的无线游戏控制器，以便跟踪玩家的移动并将这些移动用作游戏的输入。一般而言，手势输入是指使诸如计算系统、视频游戏控制台、智能器具等电子装置对由玩家作出并被电子装置捕获的某些手势作出反应。
实现更加有沉浸感的交互体验的另一种方式是使用头戴式显示器(hmd)。头戴式显示器由用户佩戴，并且可以被配置成呈现各种图形，诸如虚拟空间的视图。呈现在头戴式显示器上的图形可以覆盖用户的大部分或甚至全部视野。因此，头戴式显示器可以为用户提供视觉沉浸式虚拟现实体验，这是因为hmd以响应用户移动的方式渲染虚拟环境的三维实时视图。佩戴hmd的用户可以在所有方向上自由移动，并且因此可以经由hmd在所有方向上提供虚拟环境的视图。
在此背景下，产生了本公开的实现方式。
技术实现要素：
本公开的实现方式包括涉及用于电子竞技的虚拟现实观看的场地映射的装置、方法和系统。
在一些实现方式中，提供了一种方法，所述方法包括以下操作：通过网络从客户端装置接收虚拟现实观众通过头戴式显示器来观看直播赛事的请求；将所述虚拟现实观众分配至发生所述直播赛事的场地中的座位；从定位在所述场地中的多个相机接收多个视频馈送；访问与所述座位关联存储的视频处理参数；使用所述视频处理参数来选择所述视频馈送中的视频馈送并对选定的视频馈送进行拼接以生成复合视频，所述复合视频从基本上由所述场地中的所述座位的3d位置定义的角度提供所述场地的视图；通过所述网络将所述复合视频传输到所述客户端装置以渲染到所述头戴式显示器。
在一些实现方式中，所述视频处理参数识别所述视频馈送中的哪些视频馈送被选择用来拼接，所述视频处理参数是基于与所述视频处理参数相关联的所述座位的所述3d位置和提供所述视频馈送的所述相机的3d位置来定义。
在一些实现方式中，将所述虚拟现实观众分配至所述座位包括：识别所述场地中的座位的占用状态，其中给定座位的所述占用状态指示所述给定座位是否被所述场地中的真实观众占用，其中分配给所述虚拟现实观众的所述座位是未被真实观众占用的座位。
在一些实现方式中，所述给定座位的所述占用状态还指示所述给定座位是否被另一个虚拟现实观众占用，其中分配给所述虚拟现实观众的所述座位是未被另一个虚拟现实观众占用的座位。
在一些实现方式中，将所述虚拟现实观众分配至所述座位包括：访问所述虚拟现实观众的社交图；以及基于与分配给作为所述社交图的成员的另一个虚拟现实观众的座位的接近度来选择所述座位。
在一些实现方式中，所述方法还包括：访问与座位关联存储的音频处理参数；使用所述音频处理参数来生成音频数据，所述音频数据从基本上由所述场地中的所述座位的所述3d位置定义的角度模拟收听；通过所述网络将所述音频数据传输到所述客户端装置。
在一些实现方式中，所述音频处理参数识别由所述场地中的一个或多个传声器捕获的音频，以由所述音频生成所述音频数据，所述音频处理参数是基于与所述音频处理参数相关联的所述座位的所述3d位置和所述传声器的3d位置来定义。
在一些实现方式中，提供了一种非暂时性计算机可读介质，所述非暂时性计算机可读介质具有在其上体现的程序指令，所述程序指令在由至少一个计算机执行时，使所述至少一个计算机执行包括以下操作的方法：通过网络从客户端装置接收虚拟现实观众通过头戴式显示器来观看直播赛事的请求；将所述虚拟现实观众分配至发生所述直播赛事的场地中的座位；从定位在所述场地中的多个相机接收多个视频馈送；访问与所述座位关联存储的视频处理参数；使用所述视频处理参数来选择所述视频馈送中的视频馈送并对选定的视频馈送进行拼接以生成复合视频，所述复合视频从基本上由所述场地中的所述座位的3d位置定义的角度提供所述场地的视图；通过所述网络将所述复合视频传输到所述客户端装置以渲染到所述头戴式显示器。
在一些实现方式中，提供了一种系统，所述系统包括至少一个计算装置，所述至少一个计算装置具有至少一个处理器和至少一个存储器，所述至少一个计算装置被配置成执行以下操作：通过网络从客户端装置接收虚拟现实观众通过头戴式显示器来观看直播赛事的请求；将所述虚拟现实观众分配至发生所述直播赛事的场地中的座位；从定位在所述场地中的多个相机接收多个视频馈送；访问与所述座位关联存储的视频处理参数；使用所述视频处理参数来选择所述视频馈送中的视频馈送并对选定的视频馈送进行拼接以生成复合视频，所述复合视频从基本上由所述场地中的所述座位的3d位置定义的角度提供所述场地的视图；通过所述网络将所述复合视频传输到所述客户端装置以渲染到所述头戴式显示器。
结合附图从以下详细描述将明了本公开的其他方面和优点，附图以示例方式来说明本公开的原理。
附图说明
结合附图参考以下详细描述，可以更好地理解本公开，其中：
图1a示出了根据本公开的实现方式的电子竞技(e-sports)场地的视图。
图1b是根据本公开的实现方式的场地的概念性俯视图。
图1c概念性地示出了根据本公开的实现方式的发生现场电子竞技赛事的场地的座位的一部分。
图2概念性地示出了根据本公开的实现方式的用于映射电子竞技场地的三维空间以确定用于虚拟现实观看的座位特有参数的过程。
图3概念性地示出了根据本公开的实现方式的虚拟现实观众的视野。
图4概念性地示出了根据本公开的实现方式的用于提供电子竞技赛事的虚拟现实观看的系统。
图5示出了根据本公开的实现方式的用于确定场地中的座位是否被真实观众占用的技术。
图6示出了根据本公开的实现方式的虚拟现实观众在真实场地的背景下看到他/她自己的方法。
图7示出了根据本公开的实现方式的在场地中的具有用于感测真实观众和实现虚拟现实观众的交互性的额外功能的座位。
图8示出了根据本公开的实现方式的用于经由头戴式显示器(hmd)与虚拟环境交互的系统。
图9a-1和图9a-2示出了根据本公开的实现方式的头戴式显示器(hmd)。
图9b示出了根据一个实现方式的hmd用户与客户端系统介接并且所述客户端系统向第二屏幕显示器(其被称为第二屏幕)提供内容的一个示例。
图10结合正在执行的视频游戏概念性地示出了根据本公开的实现方式的hmd的功能。
图11示出了根据本公开的实现方式的头戴式显示器的部件。
图12是根据本公开的各种实现方式的游戏系统1200的框图。
具体实施方式
本公开的以下实现方式提供了涉及与用于电子竞技的虚拟现实观看的场地映射有关的装置、方法和系统。然而，对于本领域技术人员将显而易见的是，可以在没有当前描述的具体细节中的一些或全部的情况下实践本公开。在其他情况下，为了不会不必要地使本发明模糊，没有详细描述众所周知的处理操作。
在各种实现方式中，方法、系统、图像捕获对象、传感器和相关联的接口对象(例如，控制器、手套、外围装置等)被配置成处理数据，所述数据被配置成基本上实时地渲染在显示屏上。广义上说，参考作为头戴式显示器(hmd)的显示器来描述实现方式。但是，在其他实现方式中，显示器可以是第二屏幕、便携式装置的显示器、计算机显示器、显示面板、一个或多个远程连接的用户(例如，可能正在观看内容或以交互式体验共享的用户)的显示器等。
图1a示出了根据本公开的实现方式的电子竞技(e-sports)场地的视图。电子竞技通常是指由各种观众或用户观看的竞争性或专业性游戏，特别是多玩家视频游戏。随着近年来电子竞技的流行，人们对在物理场地现场观看电子竞技赛事的兴趣也日益浓厚，其中许多物理场地能够为数千人提供座位。合适的场地可以是能够举行电子竞技赛事以供观众进行现场观看的任何位置，包括但不限于例如竞技场、运动场、剧院、会展中心、体育馆、社区中心等。
但是，在不显眼的物理场地举行和上演诸如联赛之类的电子竞技赛事意味着并非所有希望现场观看的人都能够参加。因此，期望向远程观众提供现场体验，使得远程观众可以如同他/她现场出席在电子竞技赛事发生的场地一样地体验电子竞技赛事。
继续参考图1a，示出了正在举行电子竞技赛事的场地100的视图。典型的电子竞技赛事是联赛，其中玩家团队在多玩家视频游戏中相互竞争。在所示的实现方式中，第一团队由玩家102a、102b、102c和102d组成，而第二团队由玩家104a、104b、104c和104d组成。第一团队和第二团队与播音员/主持人110一起位于舞台106上。第一团队和第二团队在场地100处参与彼此对抗的多玩家视频游戏的竞争性玩游戏过程，并且观众113出席观看赛事。
大型显示器108a、108b和108c将玩游戏过程(gameplay)的视图提供给观众113。应当理解，显示器108a、108b和108c可以是本领域中已知的能够向观众呈现玩游戏过程的内容的任何类型的显示器，包括但不限于例如led显示器、lcd显示器、dlp等。在一些实现方式中，显示器108a、108b和108c是一个或多个投影仪(未示出)将玩游戏过程的视频/图像投影到的显示屏。应当理解，显示器108a、108b和108c可以被配置成呈现各种内容中的任何一种，包括但不限于例如玩游戏过程的内容、视频游戏的玩家视图、游戏地图、视频游戏的观众视图、评论员的视图、玩家/团队的统计数据和得分、广告等。
另外，评论员112a和112b提供有关玩游戏过程的评论，诸如随着玩游戏过程的进行实时地描述玩游戏过程，提供对玩游戏过程的分析，重点介绍某些活动等。
图1b是根据本公开的实现方式的场地100的概念性俯视图。如前所述，第一团队和第二团队的玩家位于舞台上，并且参与多玩家视频游戏的玩游戏过程。概念性地示出了多个座位114，当观众现场出席和观看电子竞技赛事时，这些座位可供观众占用。如所述，存在大型显示器108a、108b和108c，其提供玩游戏过程的视图和供观众113观看的其他内容。此外，还有许多扬声器118，其可以分布在整个场地内以提供音频供观众收听，所述音频包括与呈现在显示器108a、108b和108c上的任何内容相关联或有关的音频。
此外，根据本公开的实现方式，在整个场地100中分布有任意数量的相机116，所述相机116被配置成捕获电子竞技赛事的视频以进行处理、分布、流式传输和/或供亲临现场的观众和/或远程观众观看。应当理解，一些相机116可以具有固定的位置和/或取向，而一些相机116可以具有可变的位置和/或取向并且可能能够被移动到新的位置和/或被重新取向为新的方向。应当理解，相机116可以具有各种视野。另外，一些相机可以是能够捕获360度视野(例如，360度水平视野，并与180度垂直视野组合，可以提供完整的球形视野)的360度相机。这样的360度相机通常在单个装置封装中包括多个图像捕获装置。在一些实现方式中，多个相机被配置在基本上或大致相同的位置，以在其馈送被拼接在一起时实现从该位置的角度的360度视野。
根据本公开的实现方式，可以向虚拟现实观众120提供电子竞技赛事的“现场”观看体验。即，通过头戴式显示器(hmd)(或虚拟现实耳机)向虚拟现实观众120提供模拟现场出席电子竞技赛事并占用场地100处的特定座位122(或指定位置)的体验的视图。广义上说，可以确定虚拟现实观众的座位122的三维(3d)位置，并且可以将来自各种相机116中的某些相机的视频馈送拼接在一起，以从座位122(或分配给虚拟现实观众的指定位置)的角度提供场地100的虚拟现实视图。
此外，尽管未具体示出，但是每个相机可以包括至少一个传声器，所述传声器用于捕获来自场地100的音频。另外，可能在整个场地100内分布有额外的传声器。来自这些传声器中的至少一些传声器的音频也可以基于虚拟现实观众的座位122的3d位置进行处理，以便提供模拟从占用座位122的人的角度将听到的音频的音频。
图1c概念性地示出了根据本公开的实现方式的发生现场电子竞技赛事的场地100的座位的一部分124。如图所示，通过hmd150向虚拟现实观众120呈现模拟占用场地100中的座位122的视图。在一些实现方式中，通过网络144从流式传输服务142提供向虚拟现实观众120提供的电子竞技赛事的视图。也就是说，流式传输服务142包括一个或多个服务器计算机，所述一个或多个服务器计算机被配置成流式传输用于在hmd150上渲染的视频，其中渲染的视频向虚拟现实观众120提供电子竞技赛事的视图。尽管在所示实现方式中未具体示出，但是应当理解，流式传输服务142可以首先以数据形式通过网络144将视频传输到虚拟现实观众120本地的计算装置，其中所述计算装置可以处理数据以渲染到hmd150。
流式传输服务142可以向虚拟现实观众120提供界面，所述界面使虚拟现实观众120能够选择或订阅要被流式传输以在hmd150上渲染的一个或多个视图。如所述，这些视图可以是赛事/场地的用于向虚拟现实观众120提供沉浸式观看体验的360度视图，这些视图来自场地中的特定座位或位置的角度。
应当理解，所提供的视图实时响应于虚拟现实观众120的移动，例如，使得如果虚拟现实观众120向左转，则虚拟现实观众120(通过hmd150)看到座位122左侧的视图，并且如果虚拟现实观众120向右转，则虚拟现实观众120(通过hmd150)看到座位122右侧的视图，依此类推。在一些实现方式中，向虚拟现实观众120提供电子竞技场地100在所有方向上(包括360度水平视野)的潜在视图。在一些实现方式中，向虚拟现实观众120提供电子竞技场地100在所有方向的子集上(诸如在一些实现方式中为大约270度的水平视野，或者在一些实现方式中为180度的水平视野)的潜在视图。在一些实现方式中，所提供的视野可以排除在正上方或正下方的区域。在一些实现方式中，可以向被排除在电子竞技场地的视野之外的区域提供其他内容，例如广告、初始屏幕、徽标内容、与游戏相关的图像或视频等。
在一些实现方式中，虚拟现实观众120能够通过界面选择座位，使得他们可以从其选择的角度观看电子竞技赛事。在一些实现方式中，可供选择的座位是未被现场出席电子竞技赛事的观众实际占用的座位。在其他实现方式中，对于虚拟现实观看而言，未被占用的座位和被占用的座位都是可选择的。
在一些实现方式中，流式传输服务142可以自动将虚拟现实观众分配至特定座位。在一些实现方式中，这可能是最佳的可用座位(例如，根据可用座位的预定义顺序或排名)。
在一些实现方式中，可以基于观众的各种特性将虚拟现实观众分配至与其他观众接近的座位。在一些实现方式中，至少部分地基于虚拟现实观众在社交网络/社交图中的成员身份而将虚拟现实观众分配至座位。例如，继续参考图1c，另一个虚拟现实观众132可能是虚拟现实观众120在社交网络130上的朋友(例如，如由社交图中的成员身份定义)。流式传输服务142可以使用该信息来将虚拟现实观众132分配至与虚拟现实观众120接近的座位，诸如与已经分配给虚拟现实观众120的座位122相邻的座位134。在所示的实现方式中，因此虚拟地“就坐”，当虚拟现实观众120向右转时，虚拟现实观众120可以看到挨着其就坐的虚拟现实观众132的虚拟形象(avatar)。
在一些实现方式中，用于座位选择和/或分配的界面可以通知给定用户他们在社交网络130上的一个或多个朋友也在虚拟地出席电子竞技赛事，并提供自动分配至与其朋友中的一者或多者接近的座位的选项。这样，与虚拟现实观众出席同一赛事的朋友可以一起欣赏该赛事。
在各种实现方式中，可以基于各种因素中的任一个，诸如用户配置文件、年龄、地理位置、主要语言、给定视频游戏中的经验、兴趣、性别等，将虚拟现实观众分配至彼此接近的座位。
在一些实现方式中，当知道了关于这类真实观众的信息时，可以扩展这些概念以将现场的“真实”观众(其是实际出席的，而不是虚拟现实观众)包括在内。例如，可以确定的是，坐在座位136中的真实观众138是虚拟现实观众120的朋友，因此虚拟现实观众120可以被分配(或提出被分配)至与真实观众138的座位136相邻的座位122。
应当理解，为了在通过hmd观看内容的同时提供输入，虚拟现实观众可以使用一个或多个控制器装置。在所示的实现方式中，虚拟现实观众120、132和140分别操作控制器装置152、156和160，以提供输入来(例如)开始和停止用于虚拟现实观看的视频的流式传输、选择电子竞技场地100中用于观看的座位等。
应当理解，无论是虚拟的还是真实的观众，在一些实现方式中，如果他们在电子竞技场地100中彼此接近，则他们可以听到彼此的声音。例如，虚拟现实观众120和132可以在从他们相应的本地环境中捕获的音频(例如，经由hmd150和154、控制器152和156或观众120和132的本地环境中的其他地方的传声器)被提供给其他的视频流时听到彼此的声音。在一些实现方式中，虚拟现实观众120可以听到来自真实观众138的被本地传声器捕获的声音。
在一些实现方式中，虚拟现实观众可以占用被真实观众实际占用的座位。例如，在所示的实现方式中，虚拟现实观众可以占用被真实观众138实际占用的座位136。虚拟现实观众140被提供模拟处于座位136的位置的视图。当虚拟现实观众140向右转时，他们可以看到观众120的虚拟形象；同样地，当观众120向左转时，他们可以看到观众140的虚拟形象而不是真实观众138。
图2概念性地示出了根据本公开的实现方式的用于映射电子竞技场地的三维空间以确定用于虚拟现实观看的座位特有参数的过程。在所示的实现方式的左侧示出了场地100的三维(3d)空间200。根据本公开的实现方式，如在附图标记210处所示，可以生成场地空间200的3d空间映射，以促进确定用于虚拟现实观看的座位特有参数。
可以应用各种技术来生成场地100的空间200的3d空间映射。在一些实现方式中，处理来自一个或多个传感器装置202的数据以生成3d空间映射。在各种实现方式中，传感器装置202可以包括以下各者中的任一者：图像捕获装置(例如，相机)、深度感测相机、超声波传感器、ir相机等。场地空间200的3d空间映射使得能够确定场地100中的每个座位114的3d坐标。在一些实现方式中，场地中的每个座位具有唯一的分配识别符。如在附图标记212处所示，对于每个座位，可以将对应的3d坐标映射到座位的识别符。在一些实现方式中，为了促进3d空间映射的生成，可以采用各种定位(localization/positioning)技术，包括但不限于例如基于wi-fi的定位、磁性定位、视觉标记和/或视觉特征的视觉辨识等。可以将采用这类定位技术的传感器放置在座位位置处以确定座位在空间中的3d位置。
在一些实现方式中，3d空间映射还包括相机116在场地100的3d空间200中的3d位置和方向。使用该信息，然后在附图标记214处，生成每个座位的视频处理参数。对于给定的座位，所述视频处理参数基于3d空间中的观看方向定义哪些相机的视频馈送将被拼接以及如何拼接，以便生成从给定座位的角度(或更确切地说，从对应于给定座位的3d坐标的角度)生成场地空间的视图。对于方向可变(例如，由操作员控制)的相机，如果与给定座位相关，则视频处理参数可以根据相机的方向将此类相机标识为潜在的视频馈送源，并进一步定义来自这类相机的视频的拼接方式(基于虚拟现实观众的观看方向)，诸如与视频馈送的空间投影、对齐、混合、锚点等有关的参数。应当理解，在各种实现方式中，视频拼接过程可以被配置成生成3d或2d视频。生成3d视频可能需要为每只眼睛生成单独的视频。
如在参考标记216处所示，根据本公开的实现方式，为场地100中的每个座位生成音频处理参数。在一些实现方式中，使用3d空间映射对3d空间进行声学建模，以确定3d空间的声学特性。在一些实现方式中，将传声器放置在场地中的各个位置以确定声学特性。例如，可以通过场地的扬声器118播放声音，并且可以根据传声器的已知位置来分析从传声器记录的音频，以确定声学特性并实现3d空间的声学建模。这可以用于生成每个座位的音频处理参数。给定座位的音频处理参数可以定义如何处理来自各种来源的音频(诸如玩游戏过程的音频、评论员音频、来自场地100中的现场传声器的音频等)以将音频提供给分配至给定座位的虚拟现实观众。
如在参考标记218处所示，将给定座位的视频处理参数和音频处理参数与该座位的识别符(id)关联存储。在一些实现方式中，给定座位的视频处理参数和音频处理参数形成场地中给定座位的座位配置文件的至少一部分。
尽管已经参考场地中的座位描述了场地空间的前述映射，但是应当理解，这些概念可以应用于场地内的任何指定位置。在一些实现方式中，识别场地内的一个或多个指定位置(可以或可以不与场地中的特定座位重合)，并且根据上述内容，针对指定位置确定视频处理参数和音频处理参数，例如以便从指定位置的角度提供360度视图。在一些实现方式中，虚拟现实观众可以从这样的可用位置中进行选择以观看直播赛事。也就是说，虚拟现实观众可以选择一视图或一组视图来流式传输直播赛事以通过其hmd进行观看。
图3概念性地示出了根据本公开的实现方式的虚拟现实观众的视野。如图所示，虚拟现实观众120具有在所示的实现方式中概念性地表示的360度视野300。360度视野300可以是但不限于：例如在一些实现方式中的水平视野，或者在一些实现方式中的垂直视野，或者在各种实现方式中表示任何其他视野平面。
如上所述，提供给虚拟现实观众120的电子竞技场地100的视图可以由来自电子竞技场地100中的多个相机的视频馈送一起拼接而成。在所示的实现方式中，相机304a提供具有视野306a的视频馈送；相机304b提供具有视野306b的视频馈送；相机304c提供具有视野306c的视频馈送；并且相机304d提供具有视野306d的视频馈送。根据虚拟现实观众120看向的方向，从来自不同相机的视频馈送中的各种视频馈送进行选择以拼接形成视频来渲染到向虚拟现实观众120提供适当视图的hmd(150)。在所示的实现方式中，虚拟现实观众120被示出为看向某个方向以便具有视野302。在此基础上，被渲染以供虚拟现实观众120观看的视频可以由相机304a、304b和304d的视频馈送一起拼接而成。来自相机304c的视频馈送不用于提供当前视图，因为相机304c不覆盖虚拟现实观众的视野302所涵盖的区域的任何部分。
应当理解，各种相机在3d场地空间中具有不同位置，因此具有不同的视角。因此，来自这些相机的视频馈送用于或不用于向特定虚拟现实观众提供视图(以及拼接方式，如果使用的话)可以进一步取决于相机的方向性和/或视角位置。例如，在一些实现方式中，覆盖当前供虚拟现实观众观看的区域但方向与虚拟现实观众的观看方向基本上相反的视频馈送不用于为虚拟现实观众提供视频。
如已经所述的，一些相机可以具有固定的方向，而其他相机具有可能会改变的可变方向。因此，在一些实现方式中，获得相机的当前方向信息，并使用该信息来确定是否使用给定相机的视频馈送，和/或如果选择了给定相机的视频馈送，则如何使用。
在一些实现方式中，基于虚拟现实观众的视野来调整给定相机的方向。例如，可以调整相机的方向，使得其视野覆盖虚拟现实观众正在观看的区域的至少一部分。在一些实现方式中，基于多个虚拟现实观众的视野以使给定相机的视野最优的方式来调整给定相机的方向。在一些实现方式中，确定虚拟现实观众的视野的密度映射，该密度映射识别和/或量化各个空间区域正在被观看的相对量。基于该信息，可以确定和调整相机的方向，例如优先处理更高程度地正在被观看的空间区域。
应当理解，来自各种相机的可用视频馈送可能不提供给定虚拟现实观众正在观看的所有区域的覆盖范围(包括必要的方向和/或视角)。可以基于可用的视频馈送提供的覆盖区域限定了场地空间的可用于直播观看的区域。继续参考图3，可用相机的视野306a、306b、306c和306d一起定义了直播视图区域308，所述直播视图区域308是360度视野300的可以被提供场地空间的直播实时视图的区域，如由来自可用相机的视频馈送所提供的场地空间覆盖范围所确定。
在一些实现方式中，可以向未被提供直播视图的剩余区域呈现预先记录的视图，从而在所示的实现方式中限定预先记录的视图区域310。也就是说，区域310的视频或图像可以从较早的时间记录(例如，当一个或多个相机被定向以便覆盖区域310的至少一部分时)，并且可以拼接并渲染预先记录的视频/图像以提供区域310的视图。应当理解，在一些实现方式中，当虚拟现实观众120的视野涵盖直播视图区域308和预先记录的视图区域310两者的部分时，呈现给虚拟现实观众120的视图是根据直播视频和预先记录的视频/图像两者生成的复合图像。
在其他实现方式中，可以向虚拟现实观众的视野300的不可用于直播观看的区域呈现其他内容，例如广告/赞助商内容、游戏相关内容等。
继续参考图3，如在附图标记320处指示的，来自不同相机的视频馈送可以基于虚拟现实观众120当前的视野302被拼接在一起以形成视频，从而为虚拟现实观众120提供适当的视图。此外，如在附图标记322处所示，拼接的视频可以经历进一步处理，诸如压缩过程，以减少传输的数据量。在一些实现方式中，压缩过程可以包括注视点渲染，借此虚拟现实观众120被确定要看的图像帧的区域(例如，如根据hmd150检测到的注视方向信息所确定)(诸如)通过使用增加的分辨率、更新频率、比特率、颜色、动态范围、清晰度、对比度或任何其他影响图像质量的参数被渲染成比其他区域具有更高的图像质量。压缩过程的输出是图像帧324，图像帧324定义了用于虚拟现实观众120的视频。如所示的实现方案中所示，视频图像帧中的区域326被渲染成比区域328具有更高的图像质量。
然后，如在附图标记330处所示，压缩后的图像帧将通过虚拟现实观众的hmd150被传输/流式传输以供观看。
图4概念性地示出了根据本公开的实现方式的用于提供电子竞技赛事的虚拟现实观看的系统。尽管为了便于描述而未详细描述，但是应当理解，本文所述的各种系统、部件和模块可以由一个或多个计算机或服务器来定义，所述计算机或服务器具有用于执行程序指令的一个或多个处理器以及用于存储数据和所述程序指令的一个或多个存储器装置。应当理解，根据需要，这样的系统、部件和模块中的任何一者可以通过一个或多个网络与这样的系统、部件和模块中的任何另外一者进行通信，和/或传输/接收数据，以促进本公开的实现方式的功能性。在各种实现方式中，系统、部件和模块的各个部分对于彼此来说可以是本地的或分布在一个或多个网络上。
在所示的实现方式中，虚拟现实观众120通过hmd150与系统介接，并且使用一个或多个控制器装置152进行附加的交互和输入。在一些实现方式中，经由hmd向虚拟现实观众120显示的视频图像是从计算装置400接收的，所述计算装置400通过网络402(其可以包括互联网)与各种系统和装置通信，如本文所述。
为了发起访问来观看电子竞技赛事，虚拟现实观众120可以访问赛事管理器404，所述赛事管理器404处理观看电子竞技赛事的请求。赛事管理器404可以包括座位分配逻辑405，所述座位分配逻辑405被配置成将虚拟现实观众120分配至电子竞技赛事的场地中的特定座位。座位分配逻辑405可以利用各种类型的信息来确定将虚拟现实观众120分配至哪个座位，包括基于存储到用户数据库407中的观众的用户配置文件数据408。例如，这样的用户配置文件数据408可以包括：关于用户的人口统计信息，诸如年龄、地理位置、性别、国籍、主要语言、职业等；以及其他类型的信息，诸如兴趣、偏好、玩过/拥有的/购买过的游戏、游戏体验级别、互联网浏览历史等。
在一些实现方式中，座位分配逻辑405还可以使用从社交网络410获得的信息来例如将作为社交网络上的朋友的观众分配至彼此接近或相邻的座位。为了获得这种信息，社交网络410可以将关于用户的社交信息(包括社交图成员身份信息)作为社交数据414存储到社交数据库412。在一些实现方式中，座位分配逻辑405可以通过社交网络410的api来访问社交数据(例如，访问给定用户/观众的社交图)。
在一些实现方式中，座位分配逻辑405被配置成确定哪些座位可用，例如，未被真实和/或虚拟观众占用，并且至少部分地基于这类信息来分配虚拟现实观众。在一些实现方式中，座位分配逻辑405被配置成自动地将虚拟现实观众分配至最佳可用座位，如根据场地中座位的预定义排名所确定。
应当理解，座位分配逻辑405可以结合任何其他因素使用本文描述的任何因素来确定将给定的虚拟现实观众分配至哪个座位。在一些实现方式中，基于各种因素对可用座位进行评分，并且基于得分来确定座位分配(例如，将虚拟现实观众分配至得分最高的座位)。在一些实现方式中，座位分配逻辑405呈现推荐座位以供观众120接受，并且在观众120接受推荐座位时，观众120被分配至推荐座位。
在其他实现方式中，虚拟现实观众120可以访问由座位选择逻辑406提供的界面，所述界面被配置成使虚拟现实观众能够从可用座位中选择给定座位。
场地数据库416存储关于一个或多个场地的数据作为场地数据418。场地数据418可以包括描述场地的任何数据，诸如3d空间映射；相机、扬声器、传声器的位置等。场地数据418还可以包括表420，表420将座位配置文件关联到唯一座位识别符。在一些实现方式中，每个座位具有其自己的座位配置文件。在一些实现方式中，一组座位(例如彼此紧邻)可以共享相同的座位配置文件。示例性座位配置文件422包括诸如座位的3d位置424、视频处理参数426和音频处理参数428等信息。
视频处理器432包括拼接处理器434，所述拼接处理器434可以使用观众的所分配座位的视频处理参数426和/或3d位置424将来自相机116的视频馈送430拼接在一起，以便生成复合视频，所述复合视频根据虚拟现实观众的观看方向为虚拟现实观众120提供视图。在一些实现方式中，空间建模模块438生成或访问场地的3d环境的空间模型(例如，包括相机的位置和观众的座位的位置)，以便促进视频馈送430的拼接。视频馈送的拼接可能需要视频馈送的空间投影，以为观众提供视角正确的视频。在一些实现方式中，所得的复合视频是3d视频，而在其他实现方式中，所述复合视频是2d视频。
压缩处理器436被配置成采用本领域已知的视频压缩技术以及注视点渲染来压缩原始复合视频，以减少流式传输所需的数据量。然后，流式传输服务器448通过网络402将压缩后的视频数据流式传输到计算装置400，计算装置400处理视频和/或将视频渲染到hmd150，以供虚拟现实观众120观看。
在一些实现方式中，视频馈送从相机被传输到在相机/场地本地的一个或多个计算装置，所述计算装置也执行视频处理。在一些实现方式中，相机直接连接到这样的计算装置。在一些实现方式中，视频馈送通过本地网络(例如，包括局域网(lan)、wi-fi网络等)传输到这样的计算装置。在一些实现方式中，计算装置位于远处，并且视频馈送可以通过一个或多个网络(诸如互联网、lan、广域网(wan)等)传输。
音频处理器444被配置成处理来自音频源440的音频数据442以与压缩后的视频数据一起流式传输。该处理可以使用观众座位的音频处理参数428和/或3d位置424。在一些实现方式中，音频建模模块446基于场地的3d空间来应用音频模型以处理音频数据442。这样的音频模型可以模拟场地中的所分配座位的声学，使得以逼真的方式将音频呈现给虚拟现实观众。例如，但无限制之意，可以处理来自其他虚拟现实观众的声音以不仅模拟相对于虚拟现实观众120的座位位置的方向性，而且还模拟场地中的座位位置的适当声学(例如，延迟、混响等)。如所述，音频源可以包括玩游戏过程的音频、评论员、室内音乐、来自场地中的传声器的音频等。
图5示出了根据本公开的实现方式的用于确定场地中的座位是否被真实观众占用的技术。在所示的实现方式中，示出了场地100中的各种座位500、502和504。座位502被真实观众506占用。相机512可以被配置成捕获座位的图像。可以根据图像辨识过程514来分析所捕获的图像，所述图像辨识过程514可以搜索给定座位被占用的指示符的图像。例如，但无限制之意，图像辨识过程可以包括：用于识别占用给定座位的人员的存在的面部辨识或其他形式的人员辨识、用于检测在给定座位附近发生的运动的运动检测、对空座位配置的图像辨识等。
在一些实现方式中，座位可以包括标签(或具有固定在其上的标签)，所述标签可以通过图像辨识过程514被辨识。在所示的实现方式中，标签508附接到座位500，并且标签510附接到座位504。座位502被真实观众506占用，因此附接到座位502上的标签不再可见，并且将不会被辨识。以这种方式，空座位可以通过在相机512所捕获的图像中识别标签来识别。标签在各种实现方式中可以采取任何可辨识的形式，包括但不限于例如反光镜或反光材料、可辨识的图像/图案/图形、灯(例如led)、特定颜色等。
标签可以沿着以下各者附接到座位的任何部分，包括但不限于例如在一些实现方式中沿着座位靠背或座垫，更具体地说，沿着座位靠背或座垫的顶部；在座垫折叠的情况下，沿着座垫的前部，以便在座位未被占用时将座垫折叠起来时可以看见标签；沿着扶手等。此外，应当理解，给定的座位可以附接有任意数量的标签。
如在附图标记516处所示，基于根据上述内容的对空座位或被占用座位的检测，给定座位的占用状态可以被更新以反映其是被占用还是空置的。如前所述，在一些实现方式中，空座位可以用于场地100的虚拟现实观看。
图6示出了根据本公开的实现方式的虚拟现实观众在真实场地的背景下看到他/她自己的方法。在所示的实现方式中，电子竞技赛事在其中有很多座位的场地100中发生。例如，座位136被真实观众138占用。虚拟现实观众120能够“占用”座位122，并因此通过hmd150体验场地100的视图，就如同虚拟现实观众120实际出席在座位122中一样。
相机600可以由操作员602操作，并且定向为朝向座位122和136，从而捕获座位136中的真实观众138的视频。此视频或其部分可以被投影到显示器108c上，显示器108c可以是在场地100中可供许多观众同时观看的大型显示器中的一个。如图所示，渲染在显示器108c上的投影视频示出了真实观众138的图像606。
然而，在一些实现方式中，当虚拟现实观众120看向显示器108c时，他/她还将在显示器108c上示出的投影视频中看到他/她自己。也就是说，当投影在显示器108c上的视频包括虚拟现实观众“占用”(或被分配至)的座位122的位置时，则在通过hmd提供给虚拟现实观众120的包括显示器108c的视图中，将显示器108c的渲染图像改变为在适当位置中包括虚拟现实观众120(或与虚拟现实观众120相关联的虚拟形象604)的图像，以便占用座位122。以这种方式，虚拟现实观众120能够在场地100的座位122中看到他/她自己，因此进一步增加了虚拟现实观众120的体验的真实感和交互性。如在所示的实现方式中所示，由虚拟现实观众120观看的显示器108c上的渲染视频将包括虚拟现实观众120(或其相关联的虚拟形象604)的图像608。
应当理解，在一些实现方式中，实际上渲染在场地100中的显示器108c上的视频未被改变为包括虚拟现实观众的图像。但是，在其他实现方式中，实际上渲染在场地100中的显示器108c上的视频被改变为包括虚拟现实观众的图像。
继续参考图6，示出了一种用于执行上述视频改变以包括虚拟现实观众的方法。在操作610处，由场地中的相机捕获视频，所述视频包括已分配给虚拟现实观众的位置/座位，所述位置/座位定义通过hmd向虚拟现实观众提供场地视图时所依据的位置。
在操作612处，确定由相机捕获的座位和/或位置。这可能需要确定相机在场地内的3d位置和/或方向，以便确定在视频中正捕获哪些座位。例如，使用相机的已知位置和方向，可以确定在视频中捕获的场地内的3d空间，并且使用座位到场地中的3d位置的映射，可以识别在视频中捕获的特定座位。例如，但无限制之意，可以使用本领域已知的任何种类的定位技术来确定相机的位置/方向，所述定位技术包括基于wi-fi的定位、磁性定位、视觉标记和/或视觉特征的辨识等。
在操作614处，对于给定的所识别座位，确定虚拟现实观众是否被分配至所述座位，并且如果被分配，则识别虚拟现实观众。在操作616处，当提供给虚拟现实观众的视图包括场地中的其上将渲染所捕获的视频的显示器时，则修改所述显示器的视图以便在被虚拟现实观众占用的座位中示出虚拟现实观众或其代表性虚拟形象。例如，可以跟踪虚拟现实观众的观看方向，以确定视图包括显示器的时间。当视图包括显示器时，可以如上所讨论那样修改视图以包括虚拟现实观众。在一些实现方式中，虚拟现实观众(或其虚拟形象)的图像被形成为呈现给虚拟现实观众的显示器视图中的覆盖。在一些实现方式中，修改包括所述显示器的相机视频馈送以包括虚拟现实观众(或虚拟形象)的图像，并且如先前所讨论的，拼接修改后的视频馈送以为虚拟现实观众形成视图。
图7示出了根据本公开的实现方式的在场地中的具有用于感测真实观众和实现虚拟现实观众的交互性的额外功能的座位。在所示的实现方式中，示出了座位700和座位702，座位702在座位700的前方。还示出了传感器单元704和706，它们分别被配置用于座位700和702。在一些实现方式中，传感器单元是可从座位移除的单独的附接件。在一些实现方式中，如本文所述的传感器单元和/或它们的任何部件可以被并入作为座位的一部分。
为了便于描述，本文中描述了传感器单元706，并且应当理解，这同样适用于传感器单元704。传感器单元706包括一个或多个占用传感器708，所述占用传感器708被配置成检测座位702是否被真实观众占用。如图所示，占用传感器708可以沿着座位底部和/或座位靠背定位。在一些实现方式中，占用传感器708包括一个或多个压力传感器，所述压力传感器检测何时施加压力以感测人员是否坐在座位702中。另外，这样的压力传感器可以确定/量化施加了多少压力(力)，这可以使得能够区分一个人与另一个物体的重量。在一些实现方式中，占用传感器708包括一个或多个接近传感器，所述接近传感器可以检测另一物体何时接近(例如，在预定义距离内)并且可能检测物体与接近传感器的距离。
在一些实现方式中，传感器单元706还包括相机710，所述相机710被配置成从座位702的角度捕获视频/图像，所述视频和图像可以用于向分配至座位702的虚拟现实观众提供场地的视图。在一些实现方式中，相机710是能够捕获360度视野的球形全景相机。在各种实现方式中，相机710包括一个或多个图像捕获装置。在一些实现方式中，相机710是能够提供具有3d深度的立体图像的立体相机。
在一些实现方式中，传感器单元706还包括一个或多个传声器阵列716，每个传声器阵列包括多个传声器。可以处理来自传声器阵列的声音以基于分析不同传声器之间的声音接收时序差异来识别声源的位置。可以对由传声器阵列捕获的声音进行处理和/或将其提供给分配至座位702的虚拟现实观众，以使虚拟现实观众能够体验来自场地中的其被虚拟地定位在的位置的声音。
在一些实现方式中，传感器单元712包括使虚拟现实观众能够与相邻或附近座位中的观众交互的硬件。在所示的实现方式中，传感器单元712还包括显示器712和扬声器714。显示器712可以显示分配至座位702的虚拟现实观众(或虚拟形象)的图像，以允许附近座位中的真实观众看到虚拟现实观众(或他们的虚拟形象)。在一些实现方式中，虚拟现实观众可以通过扬声器714进行通信，使得来自虚拟现实观众的声音(例如，由虚拟现实观众的hmd的或在其本地环境中的传声器捕获)可以被传输到传感器单元706，并且通过扬声器714输出。同样，附近的真实观众可以讲话，并且这将被传声器阵列716捕获并传输到虚拟现实观众的hmd，使得虚拟现实观众可以听到附近的真实观众的声音。以这种方式，真实观众和虚拟现实观众可以彼此交互。应当理解，在一些实现方式中，虚拟现实观众可以通过相机710看到附近的真实观众。
在一些实现方式中，传感器单元706包括面向后的传感器718，所述面向后的传感器718可以被配置成检测在座位702后面的座位700的占用。在一些实现方式中，面向后的传感器可以是接近传感器，并且可以使用ir、超声波或其他感测技术。
在一些实现方式中，传感器单元706包括使得能够确定传感器单元的位置的定位技术。例如，但无限制之意，这可以包括wi-fi定位、磁性定位、gps等。
传感器单元706可以进一步通过一个或多个网络(诸如蜂窝、wi-fi或其他类型的网络，包括无线和/或有线网络)通信和传输/接收数据。
在一些实现方式中，传感器单元706包括标签，所述标签可通过图像辨识处理辨识，使得可以在通过场地中的相机所捕获的图像中识别传感器单元。
尽管已经参考电子竞技赛事和电子竞技场地总体上描述了本公开的实现方式，但是应当理解，在其他实现方式中，本公开的原理可以应用于任何其他类型的供观看的直播赛事和对应的场地，包括但不限于例如体育赛事(例如橄榄球、篮球、棒球、足球、曲棍球等)、音乐会、典礼、演讲等。
图8示出了根据本公开的实现方式的用于经由头戴式显示器(hmd)与虚拟环境交互的系统。hmd也可以被称为虚拟现实(vr)耳机。如本文所使用，术语“虚拟现实”(vr)通常是指用户与虚拟空间/环境的交互，所述交互涉及通过以对hdm的移动(由用户控制)实时响应的方式通过hmd(或vr耳机)观看虚拟空间，以向用户提供处于虚拟空间中的感觉。例如，当面向给定方向时，用户可以看到虚拟空间的三维(3d)视图，并且当用户转向一侧并由此同样转动hmd时，则将虚拟空间中该侧的视图渲染在hmd上。在所示的实现方式中，示出了佩戴头戴式显示器(hmd)150的用户120。hmd150以类似于眼镜、护目镜或头盔的方式佩戴，并且被配置成向用户120显示视频游戏或其他内容。hmd150凭借其使显示机构非常靠近用户眼睛而提供了非常沉浸的体验。因此，hmd150可以向用户的每只眼睛提供占据用户的大部分或甚至整个视野的显示区域，并且还可以提供具有三维深度和透视的观看。
在所示的实现方式中，hmd150无线地连接到计算机806。在其他实现方式中，hmd150通过有线连接连接到计算机806。计算机806可以是本领域中已知的任何通用或专用计算机，包括但不限于游戏控制台、个人计算机、膝上型计算机、平板计算机、移动装置、蜂窝电话、平板、瘦客户端、机顶盒、媒体流式传输装置等。在一些实现方式中，计算机106可以被配置成执行视频游戏，并且从视频游戏输出视频和音频以由hmd150渲染。在一些实现方式中，计算机806被配置成执行任何其他类型的交互式应用，所述交互式应用提供可以通过hmd观看的虚拟空间/环境。收发器810被配置成将来自视频游戏的视频和音频传输(通过有线连接或无线连接)到hmd150用于呈现在hmd150上。收发器810包括用于向hmd150传输数据的传输器，以及用于接收由hmd150传输的数据的接收器。
在一些实现方式中，hmd150还可以通过替代机制或信道，诸如经由与hmd150和计算机106两者连接的网络812，而与计算机通信。
用户120可以操作接口对象152以提供用于视频游戏的输入。此外，相机808可以被配置成捕获用户120所在的交互式环境的图像。可以分析这些捕获的图像以确定用户120、hmd150和接口对象152的位置和移动。在各种实现方式中，接口对象152包括可以被跟踪的光和/或惯性传感器，以使得能够确定接口对象的位置和取向以及跟踪移动。
在一些实现方式中，提供了发射磁场以实现对hmd150和接口对象152的磁跟踪的磁源816。hmd150和接口对象152中的磁传感器可以被配置成检测磁场(例如强度、取向)，并且该信息可以用于确定和跟踪hmd150和接口对象152的位置和/或取向。
在一些实现方式中，相对于hmd150跟踪接口对象152。例如，hmd150可以包括捕获包括接口对象152的图像的面向外的相机。所捕获的图像可以被分析以确定接口对象152相对于hmd150的位置/取向，并且使用hmd的已知位置/取向，确定接口对象152在本地环境中的位置/取向。
用户与在hmd150中显示的虚拟现实场景进行交互的方式可以变化，并且可以使用除接口对象152以外的其他接口装置。例如，可以使用各种单手控制器以及双手控制器。在一些实现方式中，可以通过跟踪控制器中所包括的灯或者跟踪与控制器相关联的形状、传感器和惯性数据来跟踪控制器本身。使用这些不同类型的控制器或甚至仅仅是所作出的且由一个或多个相机捕获的手势，能够与呈现在hmd150上的虚拟现实环境介接，控制所述虚拟现实环境，操纵所述虚拟现实环境，与所述虚拟现实环境交互并且参与到所述虚拟现实环境中。
此外，hmd150可以包括可以被跟踪以确定hmd150的位置和取向的一个或多个灯。相机808可以包括一个或多个传声器来捕获来自交互式环境的声音。可以处理由传声器阵列捕获的声音以识别声源的位置。可以选择性地利用或处理来自所识别位置的声音，以排除不是来自所识别位置的其他声音。此外，相机808可以被定义为包括多个图像捕获装置(例如一对立体相机)、ir相机、深度相机以及其组合。
在一些实现方式中，计算机806用作瘦客户机，所述瘦客户机通过网络812与云应用(例如游戏、流式传输、观看等)提供商814通信。在这样的实现方式中，一般地说，云应用提供商114维护并执行用户150正在玩的视频游戏。计算机806将来自hmd150、接口对象152和相机808的输入传输到云应用提供商，所述云应用提供商处理输入以影响正在执行的视频游戏的游戏状态。来自正在执行的视频游戏的输出(诸如视频数据、音频数据和触觉反馈数据)被传输到计算机806。计算机806可以在传输之前进一步处理数据，或者可以将数据直接传输到相关装置。例如，将视频和音频流提供给hmd150，而将触觉/振动反馈命令提供给接口对象152。
在一些实现方式中，hmd150、接口对象152和相机808本身可以是连接到网络812的联网装置以(例如)与云应用提供商814通信。在一些实现方式中，计算机106可以是本地网络装置，诸如路由器，其不以其他方式执行视频游戏处理，但促进网络流量的通过。hmd150、接口对象152和相机108与网络的连接可以是有线的或无线的。
此外，尽管可以参考头戴式显示器描述本公开中的实现方式，但是应当理解，在其他实现方式中，非头戴式显示器可以取而代之，包括但不限于：便携式装置屏幕(例如平板、智能电话、膝上型计算机等)或根据本实现方式的可以被配置成渲染视频和/或提供交互式场景或虚拟环境的显示的任何其他类型的显示器。
图9a-1和图9a-2示出了根据本公开的实现方式的头戴式显示器(hmd)。特定地说，图9a-1示出了
在一个实现方式中，灯可以被配置成向附近的其他人指示hmd的当前状态。例如，一些或全部灯可以被配置成具有特定的颜色布置、强度布置，被配置成闪烁，具有特定的开/关配置，或指示hmd150的当前状态的其他布置。例如，灯可以被配置成在视频游戏的活跃的玩游戏过程(通常在活动时间线期间或在游戏场景内发生的玩游戏过程)期间显示与视频游戏的其他非活跃的玩游戏过程方面不同的配置，诸如导航菜单界面或配置游戏设置(在此期间，游戏时间线或场景可能不活跃或暂停)。灯也可能被配置成指示玩游戏过程的相对强度水平。例如，当玩游戏过程的强度增加时，光强度或闪烁速率可能增加。以这种方式，在用户外部的人可以观看hmd150上的灯，并且理解用户正在积极地参与激烈的玩游戏过程，并且可能不希望在那时受到干扰。
hmd150可以另外包括一个或多个传声器。在所示的实现方式中，hmd150包括限定在hmd150的前表面上的传声器904a和904b以及限定在hmd150的侧表面上的传声器904c。通过使用传声器阵列，可以处理来自每个传声器的声音以确定声源的位置。该信息可以以各种方式使用，包括排除不想要的声源、将声源与视觉识别关联等。
hmd150还可以包括一个或多个图像捕获装置。在所示的实现方式中，hmd150被示出为包括图像捕获装置902a和902b。通过利用一对立体的图像捕获装置，可以从hmd150的角度捕获环境的三维(3d)图像和视频。这样的视频可以呈现给用户，以在佩戴hmd150时向用户提供“视频观看”能力。也就是说，尽管从严格意义上来说用户不能通过hmd150看见，但是由图像捕获装置902a和902b(例如，或者设置在hmd150主体外部的一个或多个面向外的(例如，面向前的)相机)捕获的视频仍然可以提供能够看见hmd150外部的环境(就如同通过hmd150观看一样)的功能等效物。这样的视频可以用虚拟元素进行增强以提供增强现实体验，或者可以以其他方式与虚拟元素组合或混合。尽管在所示的实现方式中，示出了两个相机在hmd150的前表面上，但是应当理解，可以在hmd150上安装任何数量的以任何方向取向的面向外的相机。例如，在另一个实现方式中，可以存在安装在hmd150的侧面上的相机，以提供环境的附加全景图像捕获。另外，在一些实现方式中，这类面向外的相机可以用于跟踪其他外围装置(例如控制器等)。也就是说，外围装置相对于hmd的位置/取向可以在来自hmd上的这类面向外的相机的所捕获图像中进行识别和跟踪，并且使用hmd在本地环境中的已知位置/取向，然后可以确定外围装置的真实位置/取向。
图9b示出了hmd150的用户120与客户端系统806介接并且客户端系统806向第二屏幕显示器(其被称为第二屏幕907)提供内容的一个示例。客户端系统806可以包括用于处理从hmd150到第二屏幕907的内容共享的集成电子设备。其他实现方式可以包括单独的装置、模块、连接器，它们将在客户端系统与hmd150和第二屏幕907中的每一者之间进行介接。在该一般示例中，用户120佩戴着hmd150，并且正在使用控制器(其也可以是接口对象104)玩视频游戏。用户120在玩的互动式游戏将产生视频游戏内容(vgc)，所述视频游戏内容被交互地显示给hmd150。
在一个实现方式中，将在hmd150中显示的内容共享到第二屏幕907。在一个示例中，观看第二屏幕907的人员可以观看用户120在hmd150中交互地玩的内容。在另一个实现方式中，另一用户(例如玩家2)可以与客户端系统806进行交互，以产生第二屏幕内容(ssc)。由也与控制器104(或任何类型的用户界面、手势、语音或输入)交互的玩家产生的第二屏幕内容可以作为ssc产生到客户端系统806，ssc可以与从hmd150接收到的vgc一起显示在第二屏幕907上。
因此，可能与hmd用户共位或可能远离hmd用户的其他用户的交互性可以是社交的、交互式的，并且对于hmd用户和可能正在第二屏幕907上观看hmd用户所玩的内容的用户两者而言，更加有沉浸感。如图所示，客户端系统806可以连接到互联网910。互联网还可以提供对客户端系统806的访问以从各种内容源920获得内容。内容源920可以包括可通过互联网访问的任何类型的内容。
这样的内容可以包括但不限于：视频内容、电影内容、流式传输内容、社交媒体内容、新闻内容、朋友内容、广告内容等。在一个实现方式中，客户端系统806可以用于同时处理用于hmd用户的内容，使得向hmd提供与玩游戏过程期间的交互性相关联的多媒体内容。然后，客户端系统806还可以将可能与视频游戏内容无关的其他内容提供给第二屏幕。在一个实现方式中，客户端系统806可以从内容源920中的一个或从本地用户或远程用户接收第二屏幕内容。
图10结合正在执行的视频游戏或其他应用概念性地示出了根据本公开的实现方式的hmd150的功能。正在执行的视频游戏/应用由接收输入以更新视频游戏/应用的游戏/应用状态的游戏/应用引擎1020定义。视频游戏的游戏状态可以至少部分地通过视频游戏的定义当前玩游戏过程的各个方面(诸如对象的存在和位置、虚拟环境的条件、赛事的触发、用户配置文件、观看视角等)的各种参数值来定义。
在所示的实现方式中，例如，游戏引擎接收控制器输入1014、音频输入1016和运动输入1018。可以根据与hmd150分离的游戏控制器的操作来定义控制器输入1014，所述游戏控制器诸如手持式游戏控制器(例如，sony
在所示的实现方式中，视频渲染模块1022被定义为渲染用于呈现在hmd150上的视频流。所述视频流可以由显示器/投影仪机构1010呈现，并且由用户的眼睛1006通过光学器件1008观看。音频渲染模块1004被配置成渲染供用户收听的音频流。在一个实现方式中，音频流通过与hmd150相关联的扬声器1004输出。应当理解，扬声器1004可以采用露天扬声器、耳机或能够呈现音频的任何其他类型的扬声器的形式。
在一个实现方式中，注视跟踪相机1012包括在hmd150中以使得能够跟踪用户的注视。注视跟踪相机捕获用户眼睛的图像，所述图像被分析以确定用户的注视方向。在一个实现方式中，可以利用关于用户的注视方向的信息来影响视频渲染。例如，如果用户的眼睛被确定为看向特定方向，则针对该方向的视频渲染可以被优先化或强调，诸如通过在用户正在观看的区域中提供更多细节或更快的更新。应当理解，用户的注视方向可以相对于头戴式显示器、相对于用户所在的真实环境和/或相对于正在头戴式显示器上渲染的虚拟环境来定义。
广义地说，对注视跟踪相机1012所捕获的图像的分析在单独考虑时，提供用户相对于hmd150的注视方向。然而，当与hmd150的跟踪位置和取向结合考虑时，可以确定用户的现实世界注视方向，因为hmd150的位置和取向与用户头部的位置和取向同义。也就是说，可以由跟踪用户眼睛的位置移动以及跟踪hmd150的位置和取向来确定用户的现实世界注视方向。当虚拟环境的视图渲染在hmd150上时，可以应用用户的真实世界注视方向来确定用户在虚拟环境中的虚拟世界注视方向。
此外，触觉反馈模块1026被配置成向包括在hmd150或由用户操作的另一装置(诸如接口对象152)中的触觉反馈硬件提供信号。触觉反馈可以采取各种类型的触感的形式，诸如振动反馈、温度反馈、压力反馈等。接口对象152可以包括用于渲染此类形式的触觉反馈的对应硬件。
参考图11，示出了根据本公开的实现方式的头戴式显示器150的部件的图。头戴式显示器150包括用于执行程序指令的处理器1100。提供存储器1102用于存储目的，并且存储器1102可以包括易失性存储器和非易失性存储器两种。包括显示器1104，所述显示器提供用户可以观看的可视界面。提供电池1106作为头戴式显示器150的电源。运动检测模块1108可以包括各种运动敏感硬件中的任一种，诸如磁力计1110、加速度计1112和陀螺仪1114。
加速度计是用于测量加速度和重力引起的反作用力的装置。单轴和多轴模型可以用于检测不同方向上的加速度的量值和方向。加速度计用于感测倾斜、振动和震动。在一个实现方式中，三个加速度计1112用于提供重力方向，所述重力方向给出了两个角度(世界空间俯仰和世界空间侧倾)的绝对参考。
磁力计测量头戴式显示器附近的磁场的强度和方向。在一个实现方式中，在头戴式显示器内使用三个磁力计1110，从而确保世界空间横摆角的绝对参考。在一个实现方式中，磁力计被设计成跨越地球磁场，其为±80微特斯拉。磁力计受金属影响，并提供对于实际横摆单调的横摆测量。磁场可能由于环境中的金属而扭曲，这导致横摆测量中的扭曲。如果需要，可以使用来自其他传感器(诸如陀螺仪或相机)的信息来校准该扭曲。在一个实现方式中，加速度计1112与磁力计1110一起使用以获得头戴式显示器150的倾斜度和方位角。
在一些实现方式中，头戴式显示器的磁力计被配置成在其他附近装置中的电磁体不活动时被读取。
陀螺仪是用于基于角动量的原理来测量或维持取向的装置。在一个实现方式中，三个陀螺仪1114基于惯性感测提供关于跨相应轴(x、y和z)的移动的信息。陀螺仪有助于检测快速旋转。然而，陀螺仪可以在不存在绝对参考的情况下随时间漂移。这需要周期性地将陀螺仪复位，这可以使用其他可用信息进行，所述信息诸如基于对象的视觉跟踪、加速度计、磁力计等的位置/取向确定。
相机1116被提供用于捕获真实环境的图像和图像流。头戴式显示器150中可以包括多于一个相机，包括面向后(当用户正在观看头戴式显示器150的显示器时远离用户指向)的相机，以及面向前(当用户正在观看头戴式显示器150的显示器时朝向用户指向)的相机。此外，深度相机1118可以包括在头戴式显示器150中，用于感测对象在真实环境中的深度信息。
头戴式显示器150包括用于提供音频输出的扬声器1120。此外，可以包括传声器1122，用于从真实环境捕获音频，所述音频包括来自周围环境的声音、用户发出的语音等。头戴式显示器150包括用于向用户提供触觉反馈的触觉反馈模块1124。在一个实现方式中，触觉反馈模块1124能够引起头戴式显示器150的移动和/或振动，以便向用户提供触觉反馈。
led1126被提供为头戴式显示器150的状态的视觉指示器。例如，led可以指示电池电量、电源接通等。提供读卡器1128以使头戴式显示器150能够从存储卡读取信息和向存储卡写入信息。包括usb接口1130作为用于实现外围装置的连接或与诸如其他便携式装置、计算机等其他装置的连接的接口的一个示例。在头戴式显示器150的各种实现方式中，可以包括各种类型的接口中的任一种接口以实现头戴式显示器150的更大连接性。
包括wi-fi模块1132，用于经由无线联网技术实现与互联网或局域网的连接。此外，头戴式显示器150包括用于实现与其他装置的无线连接的蓝牙模块1134。还可以包括通信链路1136以连接到其他装置。在一个实现方式中，通信链路1136利用红外传输来进行无线通信。在其他实现方式中，通信链路1136可以利用各种无线或有线传输协议中的任何一种来与其他装置进行通信。
包括输入按钮/传感器1138以为用户提供输入接口。可以包括各种输入接口中的任何一种，诸如按钮、触摸板、操纵杆、轨迹球等。超声波通信模块1140可以包括在头戴式显示器150中，以促进经由超声波技术与其他装置通信。
包括生物传感器1142以使得能够检测来自用户的生理数据。在一个实现方式中，生物传感器1142包括用于通过用户的皮肤检测用户的生物电信号的一个或多个干电极。
视频输入1144被配置成从主处理计算机(例如主游戏控制台)接收用于在hmd上渲染的视频信号。在一些实现方式中，视频输入是hdmi输入。
头戴式显示器150的前述部件已经被描述为仅是可以包括在头戴式显示器150中的示例性部件。在本公开的各种实现方式中，头戴式显示器150可以包括或可以不包括上述各种部件中的一些。头戴式显示器150的实现方式可以另外包括目前未描述但本领域中已知的其他部件，以促进如本文所述的本公开的各方面。
图12是根据本公开的各种实现方式的游戏系统1200的框图。游戏系统1200被配置成经由网络1215向一个或多个客户端1210提供视频流。游戏系统1200通常包括视频服务器系统1220和可选的游戏服务器1225。视频服务器系统1220被配置成以最小的服务质量将视频流提供给一个或多个客户端1210。例如，视频服务器系统1220可以接收改变视频游戏内的状态或视点的游戏命令，并且以最小的滞后时间向客户1210提供反映这种状态改变的更新后的视频流。视频服务器系统1220可以被配置成以各种替代视频格式提供视频流，包括尚未定义的格式。此外，视频流可以包括被配置成以各种帧速率呈现给用户的视频帧。典型的帧速率是每秒30帧、每秒60帧以及每秒120帧。但是在本公开的替代实现方式中包括更高或更低的帧速率。
客户端1210(本文中单独地称为1210a、1210b等)可以包括头戴式显示器、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、信息亭、无线装置、数字板、独立装置、手持式玩游戏装置和/或类似装置。通常，客户端1210被配置成接收经编码的视频流，对视频流进行解码，并将所得视频呈现给用户，例如游戏的玩家。接收经编码的视频流和/或对视频流进行解码的过程通常包括将单独的视频帧存储在客户端的接收缓冲器中。视频流可以在与客户端1210集成的显示器上或者在诸如监视器或电视机等单独装置上呈现给用户。客户端1210可选地被配置成支持多于一个游戏玩家。例如，游戏控制台可以被配置成同时支持两个、三个、四个或更多个玩家。这些玩家中的每一个可以接收单独的视频流，或者单个视频流可以包括针对每个玩家专门生成的帧的区域，例如，基于每个玩家的视角生成的帧的区域。客户端1210可选地是地理上分散的。包括在游戏系统1200中的客户端的数量可以从一个或两个到几千个、几万个或更多个而广泛地变化。如本文所使用，术语“游戏玩家”用于指玩游戏的人，并且术语“玩游戏装置”用于指用于玩游戏的装置。在一些实现方式中，玩游戏装置可以指协作以向用户传递游戏体验的多个计算装置。例如，游戏控制台和hmd可以与视频服务器系统1220协作以传递通过hmd观看的游戏。在一个实现方式中，游戏控制台从视频服务器系统1220接收视频流，并且游戏控制台将视频流或对视频流的更新转递到hmd以进行渲染。
客户端1210被配置成经由网络1215接收视频流。网络1215可以是任何类型的通信网络，包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、专用网络等。在典型的实现方式中，经由诸如tcp/ip或udp/ip等标准协议来传送视频流。替代地，经由专有标准来传送视频流。
客户端1210的典型示例是个人计算机，其包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入装置。解码逻辑可以包括硬件、固件和/或存储在计算机可读介质上的软件。用于解码(和编码)视频流的系统是本领域中所众所周知的，并且根据所使用的特定编码方案而变化。
客户端1210还可以包括(但不要求)被配置用于修改接收到的视频的系统。例如，客户端可以被配置成执行进一步渲染，以将一个视频图像覆盖在另一视频图像上，以裁剪视频图像等。例如，客户端1210可以被配置成接收各种类型的视频帧，诸如i帧、p帧和b帧，并且将这些帧处理成用于向用户显示的图像。在一些实现方式中，客户端1210的成员被配置成执行对视频流的进一步渲染、着色、转换为3d或类似操作。客户端1210的成员可选地被配置成接收多于一个音频或视频流。客户端1210的输入装置可以包括例如单手游戏控制器、双手游戏控制器、手势辨识系统、注视辨识系统、语音辨识系统、键盘、操纵杆、指向装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏、神经接口、相机、尚未开发的输入装置和/或类似装置。
由客户端1210接收的视频流(和可选地，音频流)由视频服务器系统1220生成并提供。如本文其他地方进一步描述，这个视频流包括视频帧(并且音频流包括音频帧)。视频帧被配置(例如，它们包括适当数据结构中的像素信息)成对显示给用户的图像作出有意义的贡献。如本文所使用，术语“视频帧”用于指主要包括被配置成对显示给用户的图像作出贡献(例如，实现所述图像)的信息的帧。本文关于“视频帧”的大部分教导也可以应用于“音频帧”。
客户端1210通常被配置成从用户接收输入。这些输入可以包括被配置成改变视频游戏的状态或者以其他方式影响玩游戏过程的游戏命令。可以使用输入装置接收游戏命令和/或可以通过在客户端1210上执行的计算指令来自动生成游戏命令。所接收的游戏命令经由网络1215从客户端1210传送到视频服务器系统1220和/或游戏服务器1225。例如，在一些实现方式中，游戏命令经由视频服务器系统1220传送到游戏服务器1225。在一些实现方式中，游戏命令的单独副本从客户端1210传送到游戏服务器1225和视频服务器系统1220。游戏命令的通信可选地取决于命令的身份。游戏命令可选地从客户端1210a通过用于向客户端1210a提供音频或视频流的不同路线或通信信道传送。
游戏服务器1225可选地由与视频服务器系统1220不同的实体操作。例如，游戏服务器1225可以由多玩家游戏的发行者操作。在本示例中，视频服务器系统1220可选地被游戏服务器1225视为客户端，并且可选地被配置成从游戏服务器1225的视角显现为执行现有技术游戏引擎的现有技术客户端。视频服务器系统1220与游戏服务器1225之间的通信可选地经由网络1215发生。因此，游戏服务器1225可以是向多个客户端发送游戏状态信息的现有技术多玩家游戏服务器，所述多个客户端中的一个是游戏服务器系统1220。视频服务器系统1220可以被配置成与游戏服务器1225的多个实例同时通信。例如，视频服务器系统1220可以被配置成向不同的用户提供多个不同的视频游戏。这些不同的视频游戏中的每一个可以由不同的游戏服务器1225支持和/或由不同的实体发行。在一些实现方式中，视频服务器系统1220的若干地理上分散的实例被配置成向多个不同的用户提供游戏视频。视频服务器系统1220的这些实例中的每一个可以与游戏服务器1225的相同实例通信。视频服务器系统1220与一个或多个游戏服务器1225之间的通信可选地经由专用通信信道发生。例如，视频服务器系统1220可以经由专用于这两个系统之间的通信的高带宽信道连接到游戏服务器1225。
视频服务器系统1220至少包括视频源1230、i/o装置1245、处理器1250和非暂时性存储装置1255。视频服务器系统1220可以包括一个计算装置或者分布在多个计算装置之间。这些计算装置可选地经由诸如局域网等通信系统连接。
视频源1230被配置成提供视频流，例如，流式视频或形成移动图片的一系列视频帧。在一些实现方式中，视频源1230包括视频游戏引擎和渲染逻辑。视频游戏引擎被配置成从玩家接收游戏命令并且基于所接收到的命令来维护视频游戏的状态的副本。这种游戏状态包括对象在游戏环境中的位置以及通常地视角。所述游戏状态还可以包括对象的属性、图像、颜色和/或纹理。所述游戏状态通常基于游戏规则以及诸如移动、转弯、攻击、设置焦点、交互、使用等游戏命令来维护。游戏引擎的部分可选地设置在游戏服务器1225中。游戏服务器1225可以基于使用地理上分散的客户端从多个玩家接收的游戏命令来维护游戏状态的副本。在这些情况下，游戏状态由游戏服务器1225提供给视频源1230，其中存储游戏状态的副本并执行渲染。游戏服务器1225可以经由网络1215直接从客户端1210接收游戏命令，和/或可以经由视频服务器系统1220接收游戏命令。
视频源1230通常包括渲染逻辑，例如硬件、固件和/或存储在诸如存储装置1255等计算机可读介质上的软件。这个渲染逻辑被配置成基于游戏状态来创建视频流的视频帧。渲染逻辑的全部或一部分可选地被设置在图形处理单元(gpu)内。渲染逻辑通常包括被配置成基于游戏状态和视角来确定对象之间的三维空间关系和/或应用适当纹理等的处理阶段。渲染逻辑产生原始视频，然后通常在与客户端1210通信之前对原始视频进行编码。例如，所述原始视频可以根据adobe
在替代实现方式中，视频源1230包括诸如相机等视频记录装置。这个相机可以用于生成可以包括在计算机游戏的视频流中的延迟或直播视频。所得到的视频流可选地包括渲染的图像和使用静态相机或摄像机记录的图像。视频源1230还可以包括被配置成存储要包括在视频流中的先前记录的视频的存储装置。视频源1230还可以包括被配置成检测对象(例如人员)的运动或位置的运动或定位感测装置，以及被配置成基于检测到的运动和/或位置来确定游戏状态或产生视频的逻辑。
视频源1230可选地被配置成提供被配置成放置在其他视频上的覆盖。例如，这些覆盖可以包括命令界面、登录指令、给游戏玩家的消息、其他游戏玩家的图像、其他游戏玩家的视频馈送(例如，网络摄像头视频)。在包括触摸屏界面或注视检测界面的客户端1210a的实现方式中，覆盖可以包括虚拟键盘、操纵杆、触摸板和/或类似物。在覆盖的一个示例中，玩家的语音覆盖在音频流上。视频源1230可选地还包括一个或多个音频源。
在其中视频服务器系统1220被配置成基于来自多于一个玩家的输入来维持游戏状态的实现方式中，每个玩家可以具有不同的视角，包括观看的位置和方向。视频源1230可选地被配置成基于每个玩家的视角为他们提供单独的视频流。此外，视频源1230可以被配置成向每个客户端1210提供不同的帧大小、帧数据大小和/或编码。视频源1230可选地被配置成提供3d视频。
i/o装置1245被配置成使视频服务器系统1220发送和/或接收诸如视频、命令、信息请求、游戏状态、注视信息、装置运动、装置位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频和/或类似物等信息。i/o装置1245通常包括诸如网卡或调制解调器等通信硬件。i/o装置1245被配置成与游戏服务器1225、网络1215和/或客户端1210进行通信。
处理器1250被配置成执行包括在本文所讨论的视频服务器系统1220的各种部件中的逻辑，例如，软件。例如，处理器1250可以用软件指令来编程，以便执行视频源1230、游戏服务器1225和/或客户端限定符1260的功能。视频服务器系统1220可选地包括处理器1250的多于一个实例。处理器1250还可以用软件指令进行编程，以便执行由视频服务器系统1220接收的命令，或协调本文所讨论的游戏系统1200的各种元件的操作。处理器1250可以包括一个或多个硬件装置。处理器1250是电子处理器。
存储装置1255包括非暂时性模拟和/或数字存储装置。例如，存储装置1255可以包括被配置成存储视频帧的模拟存储装置。存储装置1255可以包括计算机可读数字存储装置，例如硬盘驱动器、光盘驱动器或固态存储装置。存储装置1215被配置(例如，通过适当的数据结构或文件系统)成存储视频帧、人造帧、包括视频帧和人造帧两者的视频流、音频帧、音频流和/或类似物。存储装置1255可选地分布在多个装置中。在一些实现方式中，存储装置1255被配置成存储本文其他地方所讨论的视频源1230的软件部件。这些部件可以以随时准备供应的格式存储。
视频服务器系统1220可选地还包括客户端限定符1260。客户端限定符1260被配置成远程地确定客户端的能力，诸如客户端1210a或1210b。这些能力可以包括客户端1210a本身的能力以及客户端1210a和视频服务器系统1220之间的一个或多个通信信道的能力。例如，客户端限定符1260可以被配置成通过网络1215测试通信信道。
客户端限定符1260可以手动或自动确定(例如，发现)客户端1210a的能力。手动确定包括与客户端1210a的用户进行通信，并要求用户提供能力。例如，在一些实现方式中，客户端限定符1260被配置成在客户端1210a的浏览器内显示图像、文本和/或类似物。在一个实现方式中，客户端1210a是包括浏览器的hmd。在另一个实现方式中，客户端1210a是具有可以在hmd上显示的浏览器的游戏控制台。所显示的对象请求用户输入诸如客户端1210a的操作系统、处理器、视频解码器类型、网络连接类型、显示分辨率等信息。用户输入的信息被传送回客户端限定符1260。
自动确定可以例如通过在客户端1210a上执行代理和/或通过向客户端1210a发送测试视频来发生。代理可以包括嵌入在网页中或作为加载项安装的诸如java脚本等计算指令。代理可选地由客户端限定符1260提供。在各种实现方式中，代理可以找到客户端1210a的处理能力、客户端1210a的解码和显示能力、客户端1210a和视频服务器系统1220之间的通信信道的滞后时间可靠性和带宽、客户端1210a的显示类型、存在于客户端1210a上的防火墙、客户端1210a的硬件、在客户端1210a上执行的软件、在客户端1210a内的注册条目和/或类似者。
客户端限定符1260包括硬件、固件和/或存储在计算机可读介质上的软件。客户端限定符1260可选地设置在与视频服务器系统1220的一个或多个其他元件分开的计算装置上。例如，在一些实现方式中，客户端限定符1260被配置成确定客户端1210和视频服务器系统1220的多于一个实例之间的通信信道的特性。在这些实现方式中，客户端限定符发现的信息可以用于确定视频服务器系统1220的哪个实例最适合于将流式视频传递到客户端1210中的一个。
本公开的实现方式可以通过各种计算机系统配置进行实践，所述计算机系统配置包括手持式装置、微处理器系统、基于微处理器的或可编程的消费性电子器件、小型计算机、大型计算机等。本公开也可以在分布式计算环境中实践，其中由通过有线或无线网络链接的远程处理装置执行任务。
考虑到以上实现方式，应当理解，本公开可以采用涉及存储于计算机系统中的数据的各种计算机实现的操作。这些操作是需要对物理量进行物理操纵的操作。本文所述的形成本公开的一部分的任何操作是有用的机器操作。本公开还涉及用于执行这些操作的装置或设备。所述设备可以为所需目的而特别构造，或者所述设备可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。特定地，各种通用机器可以与根据本文的教导撰写的计算机程序一起使用，或者可以更方便地构造更专用的设备来执行所需操作。
本公开也可以体现为计算机可读介质上的计算机可读代码。所述计算机可读介质是可以存储数据的任何数据存储装置，所述数据随后可以由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附接存储装置(nas)、只读存储器、随机存取存储器、cd-rom、cd-r、cd-rw、磁带和其他光学及非光学数据存储装置。计算机可读介质可以包括分布在耦合网络的计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式被存储和执行。
虽然以特定的顺序描述了方法操作，但是应当理解，可以在操作之间执行其他内务操作，或者可以调整操作，使得它们在稍微不同的时间发生，或者可以将操作分布在系统中，只要以期望的方式执行覆盖操作的处理，所述系统便允许以与处理相关联的各种间隔发生处理操作。
尽管为了清楚理解的目的而相当详细地描述了前述公开内容，但很显然，可以在所附权利要求的范围内实践某些变化和修改。因此，本公开的实现方式将被认为是说明性的而不是限制性的，并且本公开不限于本文给出的细节，而是可以在本公开的范围和等效范围内进行修改。
起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】
与客服一对一沟通，为大家解决相关问题。
此文章来源于网络,如有侵权,请联系删除
热门咨询
