车载装置、车载装置的控制方法及存储介质与流程
本发明涉及车载装置、车载装置的控制方法及存储介质。
背景技术:
以往,公开了与智能体功能相关的技术,该智能体功能一边与车辆的乘员进行对话,一边提供关于与乘员的要求相应的驾驶支援的信息、车辆的控制、其他的应用程序等(例如参照日本特开2006-335231号)。
近年来,关于将多个智能体功能搭载于车辆的情况,实用化正在进展,结果存在这样的问题:一个智能体功能长时间地独占而无法利用其他的智能体功能,但关于该问题未充分地研究。因此,在以往的技术中,在无法利用其他的智能体功能的情况下,有时产生乘员用手操作等麻烦。
技术实现要素:
本发明的方案是考虑这样的情况而完成的,其目的之一在于,提供一种能够提高便利性的车载装置、车载装置的控制方法及存储介质。
为了解决上述课题而实现上述目的,本发明采用了以下的方案。
(1):本发明的一方案的车载装置具备:多个智能体功能部,所述智能体功能部根据车辆的乘员的讲话而提供包括使输出部输出利用声音进行的响应的服务,至少一部分智能体功能部根据所述乘员的讲话,提供通过无线通信从车外的服务器装置获取内容而使播放装置播放的服务;以及内容管理部,其在通过所述乘员的讲话而指示了内容的播放的情况下,判定指示的所述内容是否存储于搭载在所述车辆中的车内存储装置或者带入所述车辆的便携式存储介质,在判定为指示的所述内容存储于所述车内存储装置或所述便携式存储介质的情况下,使所述播放装置播放存在于所述车内存储装置或所述便携式存储介质的内容。
(2):在上述(1)的方案的基础上,也可以是,在通过所述内容管理部而判定为指示的所述内容未存储于所述车内存储装置或所述便携式存储介质的情况下,所述多个智能体功能部中的一个智能体功能部从所述服务器装置获取指示的所述内容,使所述播放装置播放获取到的所述内容。
(3):在上述(1)或(2)的方案的基础上,也可以是,所述多个智能体功能部中的、被赋予权限的智能体功能部使所述播放装置播放指示的所述内容,该权限用于控制搭载于所述车辆的车辆设备。
(4):在上述(1)~(3)的方案的基础上,也可以是,在通过所述内容管理部而判定为指示的所述内容存储于所述车内存储装置或所述便携式存储介质的情况下,所述多个智能体功能部中的起动中的智能体功能部停止功能。
(5):在上述(4)的方案的基础上,也可以是,所述多个智能体功能部中的被赋予权限的智能体功能部或者控制所述多个智能体功能部的起动的起动控制部使所述多个智能体功能部中的起动中的智能体功能部功能停止,该权限用于控制搭载于所述车辆的车辆设备。
(6):在上述(1)~(5)的方案的基础上,也可以是,所述车载装置还具备主导权设定部,该主导权设定部将主导权设定于所述多个智能体功能部中的任一个智能体功能部,该主导权是独占地提供经由智能体的服务的权限,主导权设定部在判定为指示的所述内容存在于所述车内存储装置或所述便携式存储介质的情况下,将主导权设定于被赋予用于控制搭载于所述车辆的车辆设备的权限的智能体功能部。
(7):本发明的一方案的车载装置的控制方法使计算机执行如下处理:假想出现多个智能体,该多个智能体根据车辆的乘员的讲话而提供包括使输出部输出利用声音进行的响应的服务,所述多个智能体中的至少一部分智能体是根据所述乘员的讲话,提供通过无线通信从车外的服务器装置获取内容而使播放装置播放的服务的智能体;在通过所述乘员的讲话而指示了内容的播放的情况下,判定指示的所述内容是否存储于搭载在所述车辆中的车内存储装置或者带入所述车辆的便携式存储介质;以及在判定为指示的所述内容存储于所述车内存储装置或所述便携式存储介质的情况下,使所述播放装置播放存在于所述车内存储装置或所述便携式存储介质的内容。
(8):本发明的一方案的计算机可读取的非暂时性存储介质存储有程序,该程序使计算机执行如下处理:假想出现多个智能体,该多个智能体根据车辆的乘员的讲话而提供包括使输出部输出利用声音进行的响应的服务,所述多个智能体中的至少一部分智能体是根据所述乘员的讲话,提供通过无线通信从车外的服务器装置获取内容而使播放装置播放的服务的智能体;在通过所述乘员的讲话而指示了内容的播放的情况下,判定指示的所述内容是否存储于搭载在所述车辆中的车内存储装置或者带入所述车辆的便携式存储介质;以及在判定为指示的所述内容存储于所述车内存储装置或所述便携式存储介质的情况下,使所述播放装置播放存在于所述车内存储装置或所述便携式存储介质的内容。
根据本发明的方案,能够提高便利性。
附图说明
图1是包括智能体装置的智能体系统的结构图。
图2是示出第一实施方式的智能体装置的结构和搭载于车辆的设备的图。
图3是示出显示、操作装置的配置例的图。
图4是示出扬声器单元的配置例的图。
图5是示出智能体服务器的结构和智能体装置的结构的一部分的图。
图6是用于说明智能体功能部执行内容播放控制的例子的参考图。
图7是用于说明智能体功能部执行内容播放控制的例子的参考图。
图8是用于说明智能体功能部执行内容播放控制的例子的参考图。
图9是示出由智能体装置进行的处理的一例的流程图。
具体实施方式
以下,参照附图对本发明的车载装置、车载装置的控制方法及存储介质的实施方式进行说明。车载装置包括智能体装置。车载装置也可以是智能体装置本身。智能体装置是实现智能体系统的一部分或全部的装置。以下,作为智能体装置的一例,针对搭载于车辆(以下为车辆m)且具备多种智能体功能的智能体装置进行说明。智能体功能例如是指,一边与车辆m的乘员进行对话一边进行基于乘员的讲话中所包含的要求(命令)的各种信息提供、或者中继网络服务的功能。多种智能体各自发挥的功能、处理顺序、控制、输出方式、内容也可以分别不同。在智能体功能中,也具有进行车辆内的设备(例如与驾驶控制、车身控制相关的设备)的控制等的功能。
智能体功能例如在识别乘员的声音的声音识别功能(使声音文本化的功能)的基础上,综合地利用自然语言处理功能(理解文本的构造、含义的功能)、对话管理功能、经由网络检索其他装置或者对本装置具有的规定的数据库进行检索的网络检索功能等而实现。这些功能的一部分或全部可以通过ai(artificialintelligence)技术来实现。用于进行这些功能的结构的一部分(尤其是声音识别功能、自然语言处理解释功能)也可以搭载于能够与车辆m的车载通信装置或带入车辆m的通用通信装置进行通信的智能体服务器(外部装置)。在以下的说明中,以结构的一部分搭载于智能体服务器且智能体装置与智能体服务器协同配合而实现智能体系统的情况作为前提。将智能体装置与智能体服务器协同配合而假想出现的服务提供主体(服务实体)称为智能体。
<整体结构>
图1是包括智能体装置100的智能体系统1的结构图。智能体系统1例如具备智能体装置100和多个智能体服务器200-1、200-2、200-3、…。符号的末尾的连字符以下数字是用于区分智能体的识别码。在不区分是哪个智能体服务器的情况下,有时仅称为智能体服务器200。在图1中示出三个智能体服务器200,但智能体服务器200的数量也可以为两个,也可以为四个以上。各个智能体服务器200由互不相同的智能体系统的提供者运营。因此,本发明中的智能体是通过互不相同的提供者而实现的智能体。作为提供者,例如举出机动车制造商、网络服务营业者、电子商务营业者、便携终端的销售者、制造者等,任意的主体(法人、团体、个人等)能够成为智能体系统的提供者。
智能体装置100经由网络nw而与智能体服务器200进行通信。网络nw例如包括因特网、蜂窝网、wi-fi网、wan(wideareanetwork)、lan(localareanetwork)、公众线路、电话线路、无线基站等中的一部分或全部。在网络nw连接有各种网络服务器300,智能体服务器200或智能体装置100能够经由网络nw从各种网络服务器300获取网页。
智能体装置100与车辆m的乘员进行对话,将来自乘员的声音发送到智能体服务器200,从智能体服务器200得到的回答以声音输出或图像显示的形式提示给乘员。
<第一实施方式>
[车辆]
图2是示出第一实施方式的智能体装置100的结构和搭载于车辆m的设备的图。在车辆m例如搭载有一个以上的麦克风10、显示、操作装置20、扬声器单元30、导航装置40、车辆设备50、车载通信装置60、乘员识别装置80、车内存储装置90、内容播放装置91以及智能体装置100。智能手机等通用通信装置70有时被带入车室内而用作通信装置。这些装置通过can(controllerareanetwork)通信线等多路通信线、串行通信线、无线通信网等而相互连接。图2所示的结构只不过是一例,也可以省略结构的一部分,还可以追加其他的结构。
麦克风10是对在车室内发出的声音进行收集的声音收集部。显示、操作装置20是显示图像且能够受理输入操作的装置(或者装置组)。显示、操作装置20例如包括构成为触摸面板的显示器装置。显示、操作装置20还可以包括hud(headupdisplay)、机械式的输入装置。扬声器单元30例如包括配设在车室内的互不相同的位置处的多个扬声器(声音输出部)。显示、操作装置20也可以在智能体装置100和导航装置40中共用。之后对此详细叙述。
导航装置40具备导航hmi(humanmachineinterface)、gps(globalpositioningsystem)等位置测定装置、存储有地图信息的存储装置、以及进行路径搜索等的控制装置(导航控制器)。麦克风10、显示、操作装置20及扬声器单元30中的一部分或全部也可以用作导航hmi。导航装置40搜索用于从由位置测定装置确定出的车辆m的位置移动到由乘员输入的目的地为止的路径(导航路径),使用导航hmi来输出引导信息,使得车辆m能够沿着路径行驶。
路径搜索功能也可以设定于能够经由网络nw进行访问的导航服务器。在该情况下,导航装置40从导航服务器获取路径而输出引导信息。智能体装置100也可以将导航控制器作为基础来构筑,在该情况下,导航控制器和智能体装置100在硬件上构成为一体。
车辆设备50例如包括发动机或行驶用马达等驱动力输出装置、发动机的起动马达、门锁装置、门开闭装置、窗、窗的开闭装置及窗的开闭控制装置、座椅、座椅位置的控制装置、车室内后视镜及其角度位置控制装置、车辆内外的照明装置及其控制装置、雨刷器或除雾器及各自的控制装置、方向指示灯及其控制装置、空调装置、行驶距离、轮胎的空气压力的信息、燃料的剩余量信息等的车辆信息装置等。
车载通信装置60例如是利用蜂窝网或wi-fi网而能够访问网络nw的无线通信装置。
乘员识别装置80例如包括就座传感器、车室内相机、图像识别装置等。
就座传感器包括设置于座位的下部的压力传感器、安装于安全带的张力传感器等。车室内相机是设置在车室内的ccd(chargecoupleddevice)相机或cmos(complementarymetaloxidesemiconductor)相机。图像识别装置对车室内相机的图像进行解析,识别每个座位的乘员的有无、面部朝向等。在本实施方式中,乘员识别装置80是就座位置识别部的一例。
车内存储装置90例如是hdd、闪存器等存储装置,设置在车辆m中。在车内存储装置90例如存储有内容。内容是通过内容播放装置能够播放的内容。内容可以是音乐,也可以是电影或动画等。
内容播放装置91具备内容hmi、驱动装置92、以及进行内容的播放的播放控制装置93。麦克风10、显示、操作装置20及扬声器单元30中的一部分或全部也可以用作内容hmi。驱动装置92是装配有便携式存储介质94且从便携式存储介质94获取包括内容的各种信息的装置。便携式存储介质94例如是cd(compactdisc)、dvd(digitalversatiledisc)、sd卡等。
播放控制装置93读出车内存储装置90所存储的内容,对显示、操作装置20、扬声器单元30进行控制,使读出的内容播放。
播放控制装置93也可以使由驱动装置92从便携式存储介质94读出的内容播放,还可以使从通用通信装置70的便携式存储介质71读出的内容播放。在从通用通信装置70的便携式存储介质71读出内容而播放的情况下,播放控制装置93也可以经由智能体功能部150-2、150-3从通用通信装置70获取内容。播放控制装置93在通过智能体功能部150经由车载通信装置60从智能体服务器200获取到内容的情况下,也可以使该获取到的内容播放。
播放控制装置93也可以通过有线或无线而与乘员带入车内的音乐播放器等进行通信,使从音乐播放器读出的内容播放。在该情况下,音乐播放器包含在带入车内的便携式存储介质中。
图3是示出显示、操作装置20的配置例的图。显示、操作装置20例如包括第一显示器22、第二显示器24以及操作开关assy26。显示、操作装置20还可以包括hud28。
在车辆m中,例如存在设置有转向盘sw的驾驶席ds、以及相对于驾驶席ds在车宽方向(图中y方向)上设置的助手席as。第一显示器22是从仪表板中的驾驶席ds与助手席as的中间边延伸到与助手席as的左端部对置的位置的横长形状的显示器装置。
第二显示器24处于驾驶席ds与助手席as的车宽方向上的中间,且设置在第一显示器的下方。例如,第一显示器22和第二显示器24均构成为触摸面板,作为显示部而具备lcd(liquidcrystaldisplay)、有机el(electroluminescence)、等离子体显示器等。操作开关assy26是集成了旋钮开关、按键式开关等的开关。显示、操作装置20将由乘员进行的操作的内容输出到智能体装置100。第一显示器22或第二显示器24所显示的内容也可以由智能体装置100决定。
图4是示出扬声器单元30的配置例的图。扬声器单元30例如包括扬声器30a~30h。扬声器30a设置于驾驶席ds侧的窗柱(所谓的a支柱)。扬声器30b设置于接近驾驶席ds的门的下部。扬声器30c设置于助手席as侧的窗柱。扬声器30d设置于接近助手席as的门的下部。扬声器30e设置于接近右侧后部座位bs1侧的门的下部。扬声器30f设置于接近左侧后部座位bs2侧的门的下部。扬声器30g设置在第二显示器24的附近。扬声器30h设置于车室的顶棚(顶部)。
在上述配置中,例如在专门使扬声器30a及30b输出声音的情况下,声像定位于驾驶席ds附近。在专门使扬声器30c及30d输出声音的情况下,声像定位于助手席as附近。在专门使扬声器30e输出声音的情况下,声像定位于右侧后部座位bs1附近。在专门使扬声器30f输出声音的情况下,声像定位于左侧后部座位bs2附近。在专门使扬声器30g输出声音的情况下,声像定位于车室的前方附近,在专门使扬声器30h输出声音的情况下,声像定位于车室的上方附近。不限于此,扬声器单元30通过使用混频器或放大器来调整各扬声器输出的声音的分配,能够使声像定位于车室内的任意的位置。
[智能体装置]
返回图2,智能体装置100具备管理部110、智能体功能部150-1、150-2、150-3、配对应用执行部152以及智能体存储部160。管理部110例如具备音响处理部112、按智能体区分的wu(wakeup)判定部114、主导权管理部115、显示控制部116、声音控制部118以及内容管理部120。在不区分是哪个智能体功能部的情况下,仪称为智能体功能部150。示出三个智能体功能部150只不过是与图1中的智能体服务器200的数量对应的一例,智能体功能部150的数量也可以是两个,还可以是四个以上。为了说明而简易示出图2所示的软件配置,实际上,例如,能够以在智能体功能部150与车载通信装置60之间也可以夹设管理部110的方式任意地改变。
智能体装置100的各构成要素例如通过cpu(centralprocessingunit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以通过lsi(largescaleintegration)、asic(applicationspecificintegratedcircuit)、fpga(field-programmablegatearray)、gpu(graphicsprocessingunit)等硬件(包括电路部:circuitry)来实现,还可以通过软件与硬件的协同配合来实现。程序也可以预先保存于hdd(harddiskdrive)或闪存器等存储装置(具备非暂时性的存储介质的存储装置),还可以保存在dvd或cd-rom等可装卸的存储介质(非暂时性的存储介质)中,通过将存储介质装配于驱动装置来进行安装。
管理部110通过执行os(operatingsystem)或中间件等程序而发挥功能。
管理部110的音响处理部112针对输入的声音进行声学处理,使得成为适合于识别按照每个智能体而预先设定的唤醒词的状态。
按智能体区分的wu判定部114与智能体功能部150-1、150-2、150-3分别对应地存在,用于识别按照每个智能体而预先决定的唤醒词。按智能体区分的wu判定部114根据进行了声学处理的声音(声音流)来识别声音的含义。首先,按智能体区分的wu判定部114基于声音流中的声音波形的振幅和零交叉来检测声音区间。按智能体区分的wu判定部114也可以根据基于混合高斯分布模型(gmm;gaussianmixturemodel)的帧单位的声音识别及非声音识别进行区间检测。
接着,按智能体区分的wu判定部114将检测到的声音区间内的声音文本化,形成文字信息。然后,按智能体区分的wu判定部114判定文本化了的文字信息是否符合唤醒词。在判定为是唤醒词的情况下,按智能体区分的wu判定部114将所对应的智能体功能部150的唤醒词被讲出的情况通知给主导权管理部115。
与按智能体区分的wu判定部114相当的功能也可以搭载于智能体服务器200。在该情况下,管理部110将通过音响处理部112进行了声学处理的声音流发送到智能体服务器200,在智能体服务器200判定为是唤醒词的情况下,按照来自智能体服务器200的指示,将所对应的智能体功能部150的唤醒词被讲出的情况通知给主导权管理部115。各智能体功能部150也可以始终起动,并且自行判定是否符合唤醒词。在该情况下,管理部110不必具备按智能体区分的wu判定部114。
主导权管理部115对设定为多个智能体功能部150中的哪一个的主导权进行管理。例如,主导权管理部115在唤醒词被讲出的情况下,从按智能体区分的wu判定部114等被通知这一旨意,对与唤醒词对应的智能体功能部150设定主导权。然后,主导权管理部115使被设定主导权的智能体功能部150起动。起动后的智能体功能部150提供经由智能体的服务,在提供结束的情况下,将主导权返还于主导权管理部115。在返还主导权后,起动中的智能体功能部150自动地自行停止。然后,主导权管理部115在被返还主导权的情况下,解除主导权的设定。由此,成为在哪个智能体功能部150也未设定主导权的状态。在哪个智能体功能部150也未设定主导权的状态下,主导权管理部115能够对下一个智能体功能部150设定主导权。即,在未从智能体功能部150返还主导权的情况下,主导权管理部115无法变更主导权的设定。
主导权的切换不限于基于智能体功能部150的主导权的返还。例如,智能体功能部150在经由智能体的服务的提供结束的情况下,将结束通知给主导权管理部115。然后,主导权管理部115在接受结束通知的情况下,也可以解除主导权的设定。
基于主导权管理部115的主导权的设定不限于利用唤醒词。例如也可以是,在主导权管理部115具备声音识别功能且识别出由乘员进行了规定的指示的情况下,根据乘员的指示、车内的状况,来决定设定主导权的智能体功能部150,对决定出的智能体功能部150设定主导权。例如也可以是,在由乘员讲出对车辆设备50的控制指示(例如温度调整等)的情况下,主导权管理部115对该讲话内容进行声音识别,对被赋予控制车辆设备50的权限的智能体功能部150设定主导权。即便在未说出唤醒词而仅说出指示的情况下,当该指示为规定的指示时,主导权管理部115也可以决定设定主导权的智能体功能部150,对决定出的智能体功能部150设定主导权。
规定的指示不限于上述内容,例如,包括播放内容的指示。之后对此详细叙述。
智能体功能部150停止时,可以转移到休眠模式,也可以转移到结束模式。休眠模式是指智能体功能部150起动的状态,且是能够根据由乘员讲出唤醒词而马上执行智能体功能的状态。结束模式是指智能体未起动的状态,且是能够根据乘员的起动指示(包括基于讲话的起动指示或经由操作部的起动操作等)而起动的状态。
需要说明的是,不限于上述内容,智能体功能部150也可以无论有无主导权的设定都始终起动。主导权管理部115也可以控制未设定主导权的智能体功能部150的停止。主导权管理部115无法控制被设定主导权的智能体功能部150的停止。
智能体功能部150与对应的智能体服务器200协同配合而使智能体假想出现,根据车辆的乘员的讲话,提供包括基于声音的响应在内的服务。
智能体功能部150可以包括被赋予用于控制车内设备的权限的智能体功能部。例如,智能体功能部150-1被赋予用于控制车内设备的权限。车内设备例如包括麦克风10、显示、操作装置20、扬声器单元30、车辆设备50、内容播放装置91等。即,智能体功能部150-1主要作为从乘员受理车内设备的控制的车内智能体发挥功能。例如,智能体功能部150-1播放从车内存储装置90读出的内容。智能体功能部150-1经由车载通信装置60而与智能体服务器200-1通信。
智能体功能部150可以包括被赋予用于控制车内设备中的与内容播放相关的设备的权限的智能体功能部。例如,智能体功能部150-2被赋予用于控制与内容播放相关的设备的权限。与内容播放相关的设备例如包括显示、操作装置20、扬声器单元30、内容播放装置91等。智能体功能部150-2经由车载通信装置60而与智能体服务器200-2通信。例如,智能体功能部150-2对车辆设备50所包含的与内容播放相关的设备进行控制,使从智能体服务器200-2接收到的内容播放。
智能体功能部150中可以存在如下的智能体功能部:经由配对应用执行部152而与通用通信装置70协作地与智能体服务器200通信。例如,智能体功能部150-3经由配对应用执行部152而与通用通信装置70协作地与智能体服务器200-3通信。例如,智能体功能部150-3被单独地或者与通用通信装置70协作地赋予用于控制通用通信装置70具备的与内容播放相关的设备的权限。
智能体功能部150-1也可以控制未设定主导权的其他智能体功能部150-2、150-3的停止。例如,在由内容管理部120判定为通过乘员的讲话而指示的内容存储于车内存储装置90(或便携式存储介质94、71)的情况下,也可以使其他智能体功能部150-2、150-3停止。
配对应用执行部152例如通过bluetooth(注册商标)而与通用通信装置70进行配对,使智能体功能部150-3与通用通信装置70连接。智能体功能部150-3也可以通过利用了usb(universalserialbus)等的有线通信而与通用通信装置70连接。
以下,有时将智能体功能部150-1与智能体服务器200-1协同配合而假想出现的智能体称为智能体1,将智能体功能部150-2与智能体服务器200-2协同配合而假想出现的智能体称为智能体2,将智能体功能部150-3与智能体服务器200-3协同配合而假想出现的智能体称为智能体3。各智能体1~3的唤醒词例如为智能体1~3。
显示控制部116根据来自智能体功能部150的指示,使第一显示器22或第二显示器24显示与智能体相关的图像。以下,设使用第一显示器22。显示控制部116通过一部分智能体功能部150的控制,例如生成在车室内与乘员进行交流的拟人化的智能体的图像(以下称为智能体图像),使生成的智能体图像显示于第一显示器22。智能体图像例如是对乘员讲话的方式的图像。智能体图像例如包括至少由观看者(乘员)识别表情、面部朝向这一程度的面部图像。例如,智能体图像可以表示在面部区域中模仿眼睛或鼻子的器官,基于面部区域中的器官的位置来识别表情、面部朝向。智能体图像呈立体感,也可以通过包括三维空间内的头部图像而由观察者识别智能体的面部朝向,或者通过包括主体(躯体、手脚)的图像而由观察者识别智能体的动作、行为、姿态等。智能体图像也可以是动画图像。与智能体相关的图像也可以包括智能体提供的服务所表示的图标图像、表示智能体提供的服务内容的文字信息等。
声音控制部118根据来自智能体功能部150的指示,使扬声器单元30所包含的扬声器中的一部分或全部输出声音。声音控制部118也可以使用多个扬声器单元30,进行使智能体声音的声像定位于与智能体图像的显示位置对应的位置的控制。与智能体图像的显示位置对应的位置例如是被预测为乘员感觉到智能体图像说出智能体声音的位置,具体而言是智能体图像的显示位置附近(例如2~3[cm]以内)的位置。声像定位例如是指,通过调节向乘员的左右耳朵传递的声音的大小,来决定乘员感觉到的声源的空间位置。
[智能体服务器]
图5是示出智能体服务器200的结构和智能体装置100的结构的一部分的图。以下,与智能体服务器200的结构一同说明智能体功能部150等的动作。这里,省略关于从智能体装置100到网络nw的物理通信的说明。
智能体服务器200具备通信部210。通信部210例如是nic(networkinterfacecard)等网络接口。此外,智能体服务器200例如具备声音识别部220、自然语言处理部222、对话管理部224、网络检索部226以及响应文生成部228。这些构成要素例如通过cpu等硬件处理器执行程序(软件)而实现。这些构成要素中的一部分或全部也可以由lsi、asic、fpga、gpu等硬件(包括电路部:circuitry)实现,还可以通过软件与硬件的协同配合来实现。
程序也可以预先保存于hdd或闪存器等存储装置(具备非暂时性的存储介质的存储装置),还可以保存在dvd或cd-rom等可装卸的存储介质(非暂时性的存储介质)中,通过将存储介质装配于驱动装置来进行安装。
智能体服务器200具备存储部250。存储部250通过上述的各种存储装置而实现。在存储部250中保存个人资料252、词典db(数据库)254、知识库db256、响应规则db258等数据、程序。
在智能体装置100中,智能体功能部150将声音流或者进行了压缩、编码等处理的声音流发送到智能体服务器200。
例如,智能体功能部150在识别出能够进行本地处理(不经由智能体服务器200的处理)的声音命令的情况下,可以进行以声音命令要求的处理。能够进行本地处理的声音命令是指,通过参照智能体装置100具备的智能体存储部160而能够回答的声音命令,或者在智能体功能部150-1的情况下对车辆设备50进行控制的声音命令(例如,将空调装置设为打开的命令等)。因此,智能体功能部150也可以具有智能体服务器200具备的功能的一部分。
当获取到声音流时,声音识别部220进行声音识别并输出文本化了的文字信息,自然语言处理部222参照词典db254,对文字信息进行含义解释。词典db254将抽象化的含义信息与文字信息建立了对应。词典db254也可以包括同义词或近义词的一览信息。
声音识别部220的处理与自然语言处理部222的处理并非被阶段性地明确划分,可以由声音识别部220接受自然语言处理部222的处理结果而对识别结果进行修正等相互影响而进行。
自然语言处理部222例如在识别出“今日的天气是”、“天气如何”等含义作为识别结果的情况下,生成置换为标准文字信息“今日的天气”的命令。由此,即便在请求的声音中存在文字波动的情况下,也能够容易进行符合要求的对话。自然语言处理部222例如也可以使用利用了概率的机械学习处理等人工智能处理来识别文字信息的含义,或者生成基于识别结果的命令。
对话管理部224基于自然语言处理部222的处理结果(命令),一边参照个人资料252、知识库db256、响应规则db258,一边决定针对车辆m的乘员的讲话的内容。个人资料252包括按照每个乘员而保存的乘员的个人信息、兴趣爱好、过去的对话的历史等。知识库db256是规定了事物的相关性的信息。响应规则db258是规定了针对命令而由智能体应进行的动作(回答、设备控制的内容等)的信息。
对话管理部224也可以使用根据声音流得到的特征信息,通过与个人资料252进行对照来确定乘员。在该情况下,在个人资料252中,例如个人信息与声音的特征信息建立了对应。声音的特征信息例如是与声音的高度、语调、节奏(声音的高低的模式)等讲话方式的特征、基于梅尔频率倒谱系数(melfrequencycepstrumcoefficients)等的特征量相关的信息。声音的特征信息例如是通过在乘员的初始登记时使乘员发出规定的词语或文章等的声音并识别发出的声音而得到的信息。
对话管理部224在命令是要求能够经由网络nw而检索的信息的命令的情况下,使网络检索部226进行检索。网络检索部226经由网络nw而访问各种网络服务器300,获取所希望的信息。“能够经由网络nw而检索的信息”例如是指,处于车辆m的周边的餐厅的普通用户的评价结果,或者是与当日的车辆m的位置相应的天气预报。
响应文生成部228生成响应文并发送到智能体装置100,使得有对话管理部224决定的讲话的内容传递到车辆m的乘员。响应文生成部228在确定出乘员是登记于个人资料的乘员的情况下,也可以呼叫乘员的名字,或者生成成为与乘员的说话方式相似的说话方式的响应文。
智能体功能部150在获取到响应文时,对声音控制部118进行指示,使得进行声音合成而输出声音。智能体功能部150对显示控制部116进行指示,使得与声音输出配合地显示智能体的图像。这样,实现了假想出现的智能体响应于车辆m的乘员的智能体功能。
[内容的播放控制]
例如,在智能体功能部150-3经由智能体而提供服务的期间,说出其他智能体功能部150-1的唤醒词。具体而言,当智能体功能部150-3与智能体服务器200-3协同配合地控制内容播放装置91而使音乐播放时,乘员说出“智能体1,降低车内温度”。在该情况下,由于主导权设定于智能体功能部150-3,因此,若不是播放中的音乐结束而使主导权返还到主导权管理部115之后,则智能体功能部150-1无法控制车辆设备50。
对此,主导权管理部115在通过乘员的讲话而指示了内容的播放的情况下,向被赋予用于控制车辆设备50的权限的智能体功能部150-1设定主导权。或者,主导权管理部115将主导权的设定设为保留。例如,在说出“播放○○”的情况下,主导权管理部115保留主导权的设定。
也可以是,主导权管理部115即便在由乘员指示了“智能体3,使○○播放”和包括唤醒词的内容的播放的情况下,也不将主导权设定于智能体功能部150-3,而是保留主导权的设定。通过这种方式,针对规定的指示,在设定主导权之前,能够选择将主导权设定于哪个智能体功能部150。
主导权管理部115判定是否通过乘员的讲话而指示了内容的播放。例如,在讲话内容与“播放○○”、“播放○○的○○”、“播放音乐”等一致的情况下,主导权管理部115判定为通过乘员的讲话而指示了内容的播放。主导权管理部115参照内容列表161,在乘员的讲话中包括事先登记于内容列表161的乐曲名的情况下,也可以判定为通过乘员的讲话而指示了内容的播放。不限于此,主导权管理部115也可以将该判定委托于智能体功能部150-1。智能体功能部150-1在被委托了该判定的情况下,例如与智能体服务器200-1协同配合地识别讲话内容。
主导权管理部115在乘员的讲话中不包括唤醒词的情况下,也可以向被赋予用于控制车辆设备50的权限的智能体功能部150-1设定主导权,也可以保留主导权的设定。
内容管理部120在通过乘员的讲话而指示了内容的播放的情况下,若指示了播放的内容存在于车内存储装置90,则使存在于车内存储装置90的内容在车内播放。例如,在通过乘员的讲话而指示了内容的播放的情况下,内容管理部120判定所指示的内容是否存在于车内存储装置90或便携式存储介质94(或71)。例如,内容管理部120从讲话内容获取曲名“音乐1”的文本词,对智能体存储部160的内容列表161进行检索,判定为保存有与“音乐1”一致的内容。不限于此,内容管理部120也可以对车内存储装置90进行检索,在通过检索而得到“音乐1”这样的标题的内容的情况下,判定为保存有与“音乐1”一致的内容。一致包括完全一致和一部分一致。
在所指示的内容存在于车内存储装置90或者便携式存储介质94(或71)的情况下,内容管理部120选择存在于车内存储装置90或便携式存储介质94(或71)的内容。在保留有主导权的情况下,也可以在内容管理部120选择了存在于车内存储装置90或便携式存储介质94(或71)的内容之后,主导权管理部115将主导权设定于智能体功能部150-1。
然后,内容管理部120将选择出的内容的播放委托于智能体功能部150-1。智能体功能部150-1从车内存储装置90或便携式存储介质94(或71)读出所指示的内容的内容,例如对扬声器单元30进行控制而播放内容。通过这种方式,在经由未被赋予用于控制车辆设备50的权限的智能体2、3而播放内容之前,由主导权管理部115选择设定主导权的智能体。
智能体存储部160例如是闪存器等存储装置。在智能体存储部160例如存储有内容列表161。内容列表161例如是表示存储于车内存储装置90的内容的标题的一览的信息。在向车内存储装置90追加了内容的情况下,内容管理部120也可以将追加的内容的标题追加于内容列表161。内容管理部120也可以从便携式存储介质94(或71)获取保存于便携式存储介质94(或71)的内容的标题,并追加于内容列表161。
[内容播放]
以下,对在智能体装置100中执行的内容播放控制进行说明。参照图6~8,针对智能体功能部150-1~150-3分别执行内容播放控制的例子进行说明。在这里的例子中,在车内存储装置90保存有“音乐1”和“音乐2”这两个内容,且未连接便携式存储介质94。“音乐1”和“音乐2”是曲名。
图6是用于说明智能体功能部150-1执行内容播放控制的例子的参考图。例如,乘员讲出“播放音乐1”。这样,在通过乘员的讲话而指示了内容的播放的情况下,主导权管理部115也可以将主导权暂时设定于智能体功能部150-1,也可以保留主导权的设定。
内容管理部120参照内容列表161,判定“音乐1”是否存在于车内存储装置90等。在该例中,由于“音乐1”存在于车内存储装置90,因此,内容管理部120选择车内存储装置90所存储的“音乐1”的内容,向智能体功能部150-1指示选择出的内容的播放。智能体功能部150-1从车内存储装置90读出“音乐1”的内容,对扬声器单元30等进行控制而播放“音乐1”。
图7是用于说明智能体功能部150-2执行内容播放控制的例子的参考图。例如,乘员说出“播放音乐x”。这样,在通过乘员的讲话而指示了内容的播放的情况下,主导权管理部115也可以将主导权暂时设定于智能体功能部150-1,也可以保留主导权的设定。
内容管理部120参照内容列表161,判定“音乐x”是否存在于车内存储装置90等。在该例中,“音乐x”不存在于车内存储装置90,因此,主导权管理部115将主导权设定于智能体功能部150-2。智能体功能部150-2与智能体服务器200-2协同配合,经由车载通信装置60而获取存储于智能体服务器200-2的“音乐x”的内容(可以下载,也可以流传输),对扬声器单元30等进行控制而播放“音乐x”。
图8是用于说明智能体功能部150-3执行内容播放控制的例子的参考图。例如,乘员讲出“播放音乐x”。这样,在通过乘员的讲话而指示了内容的播放的情况下,主导权管理部115也可以将主导权暂时设定于智能体功能部150-1,也可以保留主导权的设定。
内容管理部120参照内容列表161,判定“音乐x”是否存在于车内存储装置90等。在该例中,“音乐x”不存在于车内存储装置90,因此,主导权管理部115将主导权设定于智能体功能部150-3。智能体功能部150-3与通用通信装置70及智能体服务器200-3协同配合,经由车载通信装置60而获取存储于智能体服务器200-3的“音乐x”的内容(可以下载,也可以流传输),对通用通信装置70进行控制而播放“音乐x”。
这样,在所指示的内容存在于车辆存储装置90等的情况下选择该内容,作为车内智能体的智能体功能部150-1经由智能体1而使选择出的内容播放,由此,能够避免主导权长时间地被设定于智能体功能部150-2、150-3。因此,如上述的例子那样,即便在内容播放中乘员说出“智能体1,降低车内温度”的情况下,智能体功能部150-1也能够控制车辆设备50,降低车内的温度。
[处理流程]
以下,说明由智能体装置100进行的处理。图9是示出由智能体装置100进行的处理的一例的流程图。首先,主导权管理部115判定是否指示了内容的播放(步骤s101)。在指示了内容的播放的情况下,主导权管理部115保留主导权(步骤s103)。
接着,内容管理部120判定所指示的内容是否存在于车内存储装置90或便携式存储介质94、71(步骤s105)。在所指示的内容存在于车内存储装置90或便携式存储介质94、71的情况下,内容管理部120选择存在于车内存储装置90或便携式存储介质94、71的内容(步骤s107)。然后,主导权管理部115将主导权设定于智能体功能部150-1(车内智能体)(步骤s109)。
接着,主导权管理部115判定未设定主导权的智能体功能部150-2、150-3是否起动(步骤s111)。在智能体功能部150-2、150-3起动的情况下,主导权管理部115使起动的智能体功能部150-2、150-3停止(步骤s113)。步骤s113的处理也可以由智能体功能部150-1执行。步骤s113的处理也可以是,主导权管理部115向智能体功能部150-1以外的智能体功能部150-2、150-3通知停止,接受到通知的智能体功能部150-2、150-3自行停止。
然后,被设定主导权的智能体功能部150-1从车内存储装置90或便携式存储介质94、71读出由内容管理部120选择出的内容的内容,例如对扬声器单元30进行控制而播放内容(步骤s115)。
另一方面,在步骤s105中,在所指示的内容不存在于车内存储装置90或便携式存储介质94、71的情况下,主导权管理部115将主导权设定于能够使所指示的内容播放的智能体功能部150(步骤s117)。例如,主导权管理部115将主导权设定于智能体功能部150-2。
然后,智能体功能部150-2与智能体服务器200-2协同配合,经由车载通信装置60而获取存储于智能体服务器200-2(或者其他外部服务器)的内容,对扬声器单元30等进行控制而播放内容(步骤s119)。
根据上述说明的第一实施方式的智能体装置100,能够提高便利性。
以上,使用实施方式说明了本发明的具体实施方式,但本发明丝毫不被这样的实施方式限定,在不脱离本发明的主旨的范围内能够施加各种变形及替换。
例如,内容管理部120作为智能体装置100的管理部110具备的功能部而进行了说明,但不限于此。例如,内容管理部120也可以为智能体功能部150具备的结构,还可以搭载于与智能体装置100不同的车辆内的装置。
在上述的例子中,针对主导权设定部115控制智能体功能部150的起动的例子进行了说明,但不限于此。例如,作为车辆智能体的智能体功能部150-1电可以在主要的位置处控制主导权的设定、其他智能体功能部150-2、150-3的起动。
起点商标作为专业知识产权交易平台,可以帮助大家解决很多问题,如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通,为大家解决相关问题。
此文章来源于网络,如有侵权,请联系删除