任意信号插入方法以及任意信号插入系统与流程

本发明涉及一种任意信号插入方法和任意信号插入系统，其可以容易地将任意信号插入在音乐厅等现场演奏的声响(乐曲)中。

背景技术：

关于将根据预定频率构成的可传输的任意信号以事先预定的时机插入到由多个声音组成的声响中的任意信号插入方法，例如专利文献1中描述的方法，作为传统技术存在。在专利文献1中描述的方法是，在以诸如cd或dvd的记录介质上录音/录像的现有音乐内容为音源的声响(声学信号)中，预先嵌入用于控制周边设备的控制代码，通过在预定时机发出该控制代码来控制周边设备的方法。通过诸如视频/音乐播放器之类的播放设备来播放该等嵌入有控制代码的声响(声学信号)，并且使用提取设备来从播放的声响中提取该等控制代码，从而使得控制周边设备成为可能。在专利文献1中描述的方法中，采用了这样一种方法：将预定数量的样本读取为一帧，并将控制代码通过电子水印方法嵌入到该帧中包括的声响(声学信号)中。

现有技术文献

专利文献

专利文献1：日本特开2006-323161号公报。

技术实现要素：

本发明要解决的技术问题

根据上述专利文献1中描述的传统技术，尽管可以在预定的期望的时机将任意信号(控制代码)插入声响中，但是其中插入了任意信号(控制代码)的上述声响是能够预先录音/录像在cd或dvd等记录介质上的音乐内容。即，在专利文献1中描述的传统技术中，诸如并非总是以预定韵律演奏的声响，例如，就像演奏者在音乐会场地现场演奏的声响那样的、因为演奏者、时间、地点等的不同而在演奏现场可能会发生变化的韵律的声响中直接插入任意信号(控制代码)在技术上是困难的。

本发明的目的是提供在例如演奏者在音乐会场地现场的演奏等实时演奏的声响中，按照事先预定的插入时机可以容易地插入任意信号的一种任意信号插入方法和任意信号插入系统，而且，将所插入的任意信号用于远程操作和控制周边设备。

解决问题的方法

用于解决上述问题，本发明提出一种将由预定频率构成的可传输的任意信号在期望的插入时机插入到声响里面的任意信号插入方法，包括，上述插入时机预先与第一韵律一起跟预定的时间码相关联，上述声响由伴随第二韵律的多个声音构成，并且上述任意信号是在上述第一韵律和上述第二韵律同步之后，按照上述插入时机插入到上述声响中。

根据本发明，在演奏者现场演奏产生的声响等每次演奏时或在演奏的中间其韵律可能改变的声响中，可以根据预定的期望时机容易且正确地插入任意信号。

此外，在用于解决上述问题的本发明中，除了上述特征之外，还包括：上述第二韵律是演奏者的现场演奏所产生的声响的韵律，并且通过向该演奏者通知关于上述第一韵律的韵律信息，当该第一韵律和第二韵律彼此取得同步。

根据本发明，能够促使演奏者以第一韵律演奏声响，从而使上述两个韵律同步。其结果，可以容易且准确地在预定的期望插入时机将任意信号直接插入到现场演奏的声响中。

除了上述特征之外，用于解决上述问题的本发明的特征还在于：上述第二韵律是演奏者的现场演奏所产生的声响的韵律，并且该第二韵律与上述第一韵律的同步被确认后，在上述插入时机将上述任意信号插入到声响中。

本发明通过实验已经确认，演奏者现场演奏的声响的当前韵律至少在此后的一定时间(例如40秒)之内保持恒定。即，在演奏者的声响的韵律(第二韵律)与第一韵律同步之后，这两个韵律至少在该一定时间内同步。因此，在本发明中，在该一定时间(推定为同步的时间)内以期望的插入时机将任意信号插入上述演奏的声响中。因此，可以在预定的期望插入时机将任意信号容易且准确地直接插入到现场演奏的声响中。

除了上述特征之外，用于解决上述问题的本发明的特征还在于：上述同步的确认是通过关于上述现场演奏的声响的乐器数字接口midi数据中所含的上述第二韵律和关于预先记录的上述声响的乐谱信息的midi数据中所含的上述第一韵律进行匹配来执行的。

根据本发明，可以通过使用称为midi数据的电信号来容易且可靠地确认第一韵律和第二韵律的同步。

除了上述特征之外，用于解决上述问题的本发明的特征还在于：在上述声响中插入的任意信号中至少包括用于指示通过操作/控制周边设备来执行预定操作的插入信息。

根据本发明，可以通过插入在声响中的任意信号来命令周边设备执行预定操作。例如，可以根据韵律来改变移动终端的显示画面的颜色。

除了上述特征之外，用于解决上述问题的本发明的特征还在于：上述外围设备有多个，并且上述插入信息可对应上述多个外围设备中的每个外围设备所拥有的特定的信息来命令相对应的不同操作。上述不同的操作中也可以包括不操作。

根据本发明，例如，可以使得在演奏现场的大量观众所持的移动终端中的某些预定组的移动终端的操作不同于其他预定组的移动终端的操作，因此可以在演奏现场进行各种展现。

此外，用于解决上述问题的本发明是一种在期望的插入时机将由预定频率构成的可传输的任意信号插入到声响中去的任意信号插入系统，该系统拥有：将上述插入时机和预设的第一韵律一起与预定时间码进行关联并存储的计算装置，用于向上述计算装置指示演奏开始的开始指示单元，用于在演奏者演奏时输出具有第二韵律的声响的实时演奏单元，用于向上述实时演奏单元的演奏者发出演奏声响的韵律信息的韵律发送装置，以及接收插入到从上述实时演奏单元输出的声响中的上述任意信号并由该任意信号中所含的插入信息来操作/控制的周边设备，该任意信号插入系统的特征在于，上述计算装置将上述第一韵律输出到上述韵律发送装置，并且同时在与第一韵律相关的插入时机将上述任意信号输出到上述实时演奏单元。

根据本发明，可以在例如由演奏者的现场演奏产生的声响中，即在每次演奏时或在演奏途中韵律可能变化的声响中，容易且正确地在事先预定的期望时机插入任意信号。

此外，用于解决上述问题的本发明是一种在期望的插入时机将由预定频率构成的可传输的任意信号插入到声响中去的任意信号插入系统，该系统拥有：将上述插入时机和预设的第一韵律一起与预定时间码进行关联并存储的计算装置，用于在演奏者演奏时输出具有第二韵律的声响的实时演奏单元，以及接收插入到从上述实时演奏单元输出的声响中的上述任意信号并由该任意信号中所含的插入信息来操作/控制的周边设备，该任意信号插入系统的特征在于，上述实时演奏单元具有用于将通过演奏而产生的第二韵律的信息发送到上述计算装置的手段，并且该计算装置在确认从上述实时演奏单元输入的第二韵律与上述第一韵律已经同步之后，上述计算装置将上述第一韵律输出到上述韵律发送装置，并且同时在与第一韵律相关的插入时机将上述任意信号输出到上述实时演奏单元。

根据本发明，可以在例如由演奏者的现场演奏产生的声响中，即在每次演奏时或在演奏途中韵律可能变化的声响中，容易且正确地在事先预定的期望时机插入任意信号。

为了解决上述问题，除了上述特征之外，所述预定频率最好是可听频带(20至20khz)中的容易听见的频率(20至15khz)或较难听见的频率(15k至20khz)。

本发明的效果

本发明可以在例如由演奏者的现场演奏的乐曲的声响那样，因为演奏者、时间、地点等的不同而发生变化的韵律的声响中，也可以容易且正确地在事先预定的期望时机插入任意信号。

附图说明

图1为任意信号插入系统1的构成的框图。

图2为时间码和与该时间码相关联的插入时机的示图。

图3为任意信号插入方法的实施程序的流程图。

图4为由打击乐器等发出的拍手声的波形。

图5为将插入信号插入由打击乐器等产生的拍手声中而获得的波形。

图6为插入信息的插入过程的流程图。

图7为插入信息的插入过程的流程图。

图8为插入信息的插入过程的流程图。

图9为任意信号插入系统2的构成的框图。

图10为时间码和与该时间码相关联的插入时机的示图。

图11为任意信号插入方法的实施程序的流程图。

图12为用于使用midi信号执行乐谱跟踪的程序的流程图。

图13为用于规定插入时机的判断条件时用作参考的实验数据。

具体实施方式

[第一实施例]

根据图1至图8来说明本发明的第一实施例。

〔系统构成〕

首先，说明用于实现第一实施例的任意信号插入系统1的构成，如图1所示，在本实施例中，任意信号插入系统1具备乐曲开始指示单元10，计算装置20，装置兼容接口30，韵律发送装置40，实时演奏单元50和受控装置60，并且由这些装置构成。

乐曲开始指示单元10是在乐曲演奏开始的同时向计算装置20给出操作开始的指示的单元，并且由诸如连接到计算装置20的踏板、键盘或者液晶监视器等的触摸面板等构成的。上述操作开始的指示由演奏者、pa工程师等给出。

所述计算装置20是基于预定的计算处理来执行稍后将详细描述的实施程序的装置，具备并由存储装置22，计算单元24和输出接口26构成。

所述储存装置22是用于存储预编程的传递信息(以下称为“主数据md”)的装置，并且由例如硬盘或ssd构成。

主数据md至少包括时间码tc和乐曲的韵律信息(以下称为“主韵律信息mr”。该主韵律信息mr相当于权利要求中描述的“第一韵律”)、在期望的时机操作和控制周边设备的信息即插入信息(以下称为“插入信息m”)、以及关于插入时机的信息(以下称为“插入时机t”)；如图2所示，插入信息m由按预定频率构成的可传输的任意信号构成，并且至少主韵律信息(高、低)mr以及插入时机t与时间码tc相关联。主数据md可采用例如midi(musicalinstrumentsdigitalinterface，乐器数字接口)数据的形式，也可以采用其他数据形式。

时间码tc是计算装置20拥有的时钟(定时器)的时间，并且是用于在时间上管理如主韵律信息mr及插入时机t之类的各种信息的参数(指标)。在本示例中，时间码tc是以规定间隔刻划的时分秒，但是此外例如也可以将用作拍子基准的音符(八分音符，十六分音符等)用作一个单位。此外，图2表示了以0.1秒为间隔单位的时分秒计量方式的时间码tc，但是该时间间隔可以被任意设置。在该示例中，主韵律信息mr具有高音和低音。通常在韵律演奏乐器51中，例如鼓集中，音程大致分为两种类型，例如，一种是低音鼓等击打的低音，另一种是军鼓等发出的高音，这些高音和低音分别组成韵律。所述插入时机t由插入插入信息m的时间与时间码tc的关系来表示。插入信息m是指要插入到乐曲中的信息，并且在由所述插入时机t的双圈表示的时间(01时23分01.80秒)处插入到乐曲中。

任意信号可以是插入了插入信息m的具有以下声响信息传输功能的乐器53的乐器声音，也可以是插入信息m本身。

计算单元24是这样一个部件，它的功能是，使用来自乐曲开始指示单元10的指示命令作为触发，根据稍后详细描述的实施程序，将经过了预定基准时间st之后的主韵律信息mr向韵律发送装置40输出，又将插入信息m和插入时机t输出到实时演奏单元50(更具体地说，传输到稍后描述的具有声响信息传输功能的乐器53)，而且它是由cpu和高速缓冲存储器(主存储器)以及在该高速缓冲存储器(主存储器)中存储的执行上述计算处理的操作程序组成的。计算单元24还可以具备预先将例如声音编辑软件(daw)存储在高速缓冲存储器(主存储器)中，并且通过使用该声音编辑软件(daw)来根据需要编辑主数据md的功能。

输出接口26是以电方式连接外部设备和计算装置20的部件(连接端子)，其作用是将存储在存储装置22中的主数据md(更具体地说，包括在主数据md中的主韵律信息mr以及插入信息m和插入时机t)按规定的数据形成的形式输出到外部设备(更具体地说，韵律发送装置40和实时演奏单元50)。

装置兼容接口30是使得能够在计算装置20(更具体地说，计算装置20所具备的输出接口26)与韵律发送装置40之间发送/接收电信号的部件(连接端子)，通过该部件，计算装置20的主韵律信息mr(更具体地说，存储在计算装置20的存储装置22中的主韵律信息mr)从计算装置20输出到韵律发送装置40。

韵律发送装置40是接收经由装置兼容接口30的从计算装置20发送的主韵律信息mr(更具体地说，关于主韵律信息mr的韵律信号sr)，并将其转换成规定形式并发送(通知)给演奏者的装置，并且由例如以声音形式传输韵律的耳机或扬声器等的音响装置或者以光的形式传输韵律的照明设备组成。

实时演奏单元50是演奏者等现场演奏乐曲的部件，并且是由韵律演奏乐器51，其他乐器52和具有声响信息传输功能的乐器53组成的乐器群以及舞台声响系统54构成的。

韵律演奏乐器51由例如包括适合于生成韵律的鼓、贝斯等乐器组成，并且通过该等乐器的演奏者产生预定的韵律(以下称为“韵律r”，该韵律r相当于专利权利要求的“第二韵律”)的声响。韵律演奏乐器51的演奏者可以通过感知由韵律发送装置40传送的声音或照明所引领的韵律(主韵律信息mr的韵律)，并且根据主韵律信息mr的韵律来演奏韵律，从而使得现场演奏韵律(第二韵律)与主韵律信息mr的韵律(第一韵律)实现同步(此同步相当于专利权利要求的范围中描述的“同步”)。

其他乐器52是根据从韵律演奏乐器51发出的韵律来演奏乐曲的主要旋律的部件，包括例如吉他等乐器以及人声。

具有声响信息传输功能的乐器53是通过输出接口26接收从计算装置20输出的插入信息m和插入时机t，并且向舞台音响系统54输出该插入信息m和该插入时机t的部件，由诸如采样器、合成器等组成。该具有声响信息传输功能的乐器53包括图中未示出的存储手段，存储从计算装置20输入的插入信息m等。此外，如果从计算装置20输入的插入信息m是插入了插入信息m的乐器声音，则当接收到插入信息m的插入时机t时，原样输出该乐器声音。另一方面，如果从计算装置20输入的插入信息m仅是插入信息m(在这种情况下，插入信息可以是用于搜索插入有该插入信息m的乐器声音的搜索信号)，则将插入了插入信息m的乐器声音预先存储在图中未示出的存储手段中，并且在从计算装置20接收到插入信息m(也可以是上述搜索信号)时搜索并等待上述插入了插入信息m的乐器声音，并且当接收到插入时机t时，输出该乐器声音。

舞台音响系统54是用于接收从韵律演奏乐器51，其他乐器52和具有声响信息传输功能的乐器53发出的声音(声响)(更具体地说，关于这些声音(声响)的电信号)，并把这些多个声音组合成一个乐曲声音(声响)后将其发布给听众等的部件，由混音器、功放和乐器各自的放大器等组成。在上述乐曲声音中包含了插入信息m，并且如稍后将描述的，基于该插入信息m，对受控装置60进行远程操作和控制。

受控装置60是被从实时演奏单元50发出的声音，更具体地说，被从构成实时演奏单元50的舞台音响系统54发出的乐曲声音(声响)中包含的插入信息m所远程操作和控制的部件，所述受控装置相当于专利权利要求范围中所述多个周边设备。受控装置60由例如观众拥有的移动终端(智能电话等)组成。

〔实施程序〕

根据图1至图3所示来具体说明使用任意信号插入系统1实现第一实施例的具体实施程序。如图3所示，在本实施例中，所述具体程序包括如下步骤：s11、通过时间码进行计数；s12、输出主韵律信息mr；s13、输出插入信息m；s14、输出插入时机t，步骤s11-s14均在计算装置20的计算单元24中执行。

计数步骤s11把时间码tc按一定的间隔计时的时分秒(或基于拍子的音符(八分音符，十六分音符等)也可)为一单位的时间参数(指标)，用计时器进行计数。具体地说，使用上述计时器测量与上述一单位相当的时间，并且以与该一单位相当的时间间隔对时间码tc进行累计计数。

通过执行该计数步骤s11，在时间码tc的时间轴上管理与时间码tc相关联的主韵律信息mr和插入时机t。其结果，在随后的输出步骤s12，s13和s14中，这些信息可以在适当的时机被输出到外部设备(具体地说，韵律发送设备40以及实时演奏单元50)。

当时间码tc开始计数时，进入主韵律信息mr的输出步骤s12，在输出步骤s12中，在对应于相关联的时间码tc(在图2所示的实施例中为1时23分1.4秒和1时23分1.6秒等)的时间，主韵律信息mr通过输出接口26和设备兼容接口30输出到韵律发送设备40。

主韵律信息mr不仅由单一种类的韵律构成，而且还可以是各种形态，例如上述的由低音程的主韵律信息mr(低)和高音程的主韵律信息mr(高)等多个韵律信息组成的形态。

如上所述，作为主韵律信息mr的输出目的地的韵律发送装置40，可以是由诸如以声音传送韵律的耳机或扬声器之类的音响装置，或是以光传送韵律的照明器具构成。演奏者(更具体地说，韵律演奏乐器51的演奏者)通过由韵律发送装置40发送的声音(声响)或光来感知主韵律信息mr。

通过韵律发送装置40感知到主韵律信息mr的演奏者(更具体地说，韵律演奏乐器51的演奏者)被促使根据主韵律信息mr中包括的韵律演奏。其结果，现场演奏韵律(第二韵律)和主韵律信息mr韵律(第一韵律)实现同步。

接着，在输出步骤s13中，插入信息m(或插入了插入信息m的乐器声音，下同)通过输出接口26被输出到实时演奏单元50(具有声响信息传输功能的乐器53)，然后在输出步骤s14中，插入信息m的插入时机t通过输出接口26被输出到实时演奏单元50(具有声响信息传输功能的乐器53)。

在此，插入信息m在比在时间码tc上插入(发出)该插入信息m的时机早一点的时机被发送给具有声响信息传输功能的乐器53，而插入时机t则是在用于插入(发出)该插入信息m的时间码tc的确切时间被发送到具有声响信息传输功能的乐器53。这是基于以下理由，当输出接口26的数据传输速度和具有声响信息传输功能的乐器53的信号处理能力均为超高速时，可以将插入信息m在插入时机的准确时间从计算单元24输出，即在这种情况下，从计算单元24输出插入时机t就变得不必要。然而，通常所使用的输出接口26的传输速度不是很高，并且所使用的具有声响信息传输功能的乐器53的信号处理能力(例如，搜索与插入信息m相关联的乐器声音等)不是那么快，并且如果在插入时机的确切时间从计算单元24输出具有大量插入信息的插入信息m，则发出时机将被延迟。另一方面，由于插入时机t仅需要短信号，所以即使计算单元24正好在该插入时机t的确切时间输出，发出时机也不会被延迟，因此，在时间码tc(图2所示的实施例中为1时23分1.8秒)的时刻之前少许的时机，预先输出具有大量插入信息的插入信息m，使具有声响信息传输功能的乐器53做好发出准备，并且在实际发出时机(上述时刻：1时23分1.8秒)输出信息量较小的插入时机t的信号，在该输出时机使得具有声响信息传输功能的乐器53输出包括插入信息m的声响(包括声响信息数据的乐器声音)。

即，如上所述，接收到插入时机t的实时演奏单元50(具有声响信息传输功能的乐器53)以声响(包括声响信息数据的乐器声音)的形式发出插入信息m。如上所述，然后该声响(包括声响信息数据的乐器声音)通过由混音器等构成的舞台音响系统54被合成为一个乐曲声音(包括声响信息数据的乐器声音)后，例如在音乐会现场向观众发出。该乐曲声音包括插入信息m，该插入信息m远程操作和控制观众拥有的移动终端(智能电话等)的受控装置60。

图2所示的示例示出了，插入信息m被用于发出以期望的颜色点亮智能电话的显示屏的命令信息(控制信息)的示例。根据本示例，例如，在与插入时机t相关联的时间代码tc相对应的时刻(01时23分01.80秒)，进行了将音乐会现场的观众拥有的智能手机的显示屏从绿色切换至粉色的远程操作/控制。除了上述之外，基于插入信息m的命令信息还可以对应于多个智能手机(周边设备)中的每一个所拥有的特定信息发出命令，使得例如在女生拥有的智能手机屏幕上显示粉色和在男生拥有的智能手机屏幕上显示绿色等以执行不同的操作。另外还可以执行各种其他操作，例如，振动智能手机、在显示屏上显示期望的广告以及发出期望的声音等等。

[将任意信号(插入信息m)插入乐器声音中的方法(声响信息的生成方法)]

根据图4至图8详细说明在具有声响信息传输功能的乐器53(具体而言，采样器)中，将任意信号(更具体地说，插入信息m)插入到乐器声音中的方法的示例。插入信息m以预定频率的声音(声响)的形式插入到乐曲(构成乐曲的声响)中，并且该频率最好是在人类可听频带(20至20khz)中，这是因为为了有效地利用本发明，应当有效地利用处理“声音”的现有系统(例如收音机，电视机，音乐播放器等)，而且因为几乎所有这些现有系统都是以输出可听频带的声音为前提而设计的。

通常认为15khz是标准体格的成年人能够辨别为有意义的声音的上限。即，对于许多人而言，20至15khz的声音是易于听见的频率(以下称为“易听频率”)的声音，而15k至20khz的声音是难以听见的频率(以下称为“难听频率”)的声音。因此，在本发明中，将人的可听频带(20至20khz)划分为上述易于听觉区域和难以听觉区域，下面描述适合于每个区域的插入方法。

使用频率的声音(声响)在易于听觉区域中插入插入信息m，要求在插入插入信息m时通过不容易影响原始声响的氛围(品质)的方法来实现。作为这样的方法，例如，在日本特愿2014-74180号公报(日本特开2015-197497号公报)中记载的“使用声响的任意信号的传递方法”(以下称为“插入方法1”)就是一例。

在插入方法1中，将形成声音的波形分离为主要有助于声音识别的本质部分(本质声音)和附带地有助于声音识别的附带部分(伴随声音)，插入构成插入信息m的任意信号以替代伴随声音。在此，由于上述伴随声音在声音识别中被隐藏在本质声音之下，因此即使将其替换为任意信号，也不会对原始声音的氛围(品质)形成大的影响。

例如，在由打击乐器等发出的拍手声中，如图4所示，在类似于具有大约11ms周期的脉冲响应的2-3个波形a1之后，出现长波形a2。本发明人已经确认，上述波形a1具有大约几毫秒的连续时间，并且是可以作为声音听到而没有音程感的部分。这个波形a1相当于上述伴随声音(以下称为“伴随声音a1”)，而跟随波形a1的长波形a2相当于上述本质声音(以下称为“本质声音a2”)。在第一实施例中，插入任意信号(以下称为“任意信号b1”)以替代伴随声音a1。这里，所述任意信号b1是构成插入信息m的具有预定频率的声音。图5表示出了根据上述示例的实施例，其中基于打击乐器等发出的拍手声音，将伴随声音a1替换为任意信号b1。在本示例中，任意信号b1由多个任意信号b-1和b-2组成。此外，通用采样器的声音使用了拍手声或短音效，基本上是被用作充当韵律时机的补充声音，而不是演奏乐曲的主要旋律，所以该方法可以容易地插入任何信号，是比较适宜的。

图6表示了根据上述插入方法1生成作为包括在主数据md中的信息的插入信息m的过程。

在图6所示的过程中，首先从具有声响信息传输功能的乐器53记录采样声源，并且分析该采样声源(过程p10)。具体地，根据上述插入方法1，区分本质声音a2和伴随声音a1并且将两者分离。

然后，基于过程p10执行的分析结果，判断采样声源是不是适合于插入构成插入信息m的任意信号的声源(过程p11)。

在过程p11中，当判断采样的声源是适合于插入构成插入信息m的任意信号的声源时，生成形成插入信息m的主要部分的插入信号(过程p12)。该插入信号相当于插入方法1的描述中的任意信号b1(以下称为“插入信号b1”)，并且如上所述，由在人类可听频带(20至20khz)中的易听频率(20至15khz)的声音构成。如果过程p11判断所采样的声源不适合插入构成插入信息m的任意信号，则向操作者显示该情况。

在过程p12中生成插入信号b1后，根据上述插入方法1将插入信号b1与预先记录的采样声源合成(过程p13)。具体地，本质声音a2保持原样(为了方便起见，将合成之后的本质声音称为本质声音b2)，而伴随声音a1被插入信号b1(b1-1和b1-2)替代。其结果，生成了由插入信号b1(b1-1和b1-2)和本质声音b2组成的插入信息m。

如上所述，通过过程p10至p13生成的插入信息m被存储在计算装置20的存储装置22或具有声响信息传输功能的乐器53的存储手段中。

根据上述插入方法1，可以通过使用带域宽广的易听频率来插入更多信息，并且不影响原始声响的氛围(品质)。

作为使用易听区域中频率的声音(声响)来插入插入信息m的另一种方法，是将构成插入信息m的主要部分的插入信号b1作为构成乐曲的声音(声响)的一部分予以积极地利用的方法(以下称为“插入方法2”)。例如，将与插入信号b1相对应的和弦声作为音效等有意义的声音来利用。

图7中表示了插入方法2的实施过程。在该过程中，首先制作适当的本质声音b2，或者从各种采样声源中选择适当的声音并将其用作本质声音b2(过程p20)。

然后，生成形成插入信息m的主要部分的插入信号b1(b1-1和b1-2)(过程p21)。此时，如上所述，插入信号b1是乐曲中有意义的声音，例如由具有在20至15khz范围内的易听频率的声音组成的音效声音等。即，在该示例的场合，插入信息m构成乐曲的一部分。

之后，将在过程p20中生成的本质声音b2和在过程p21中生成的插入信号bl合成(过程p22)。其结果，生成由插入信号b1和本质声音b2组成的插入信息m。

与插入方法1相同，将通过上述过程p20至p22生成的插入信息m存储在计算装置20的存储装置22或具有声响信息传输功能的乐器53的存储手段中。

另一方面，在使用在难以听觉区域中的频率的声音(声响)来插入插入信息m的方法中，可以使用上述插入方法1或2，但是由于难以将其识别为本来有意义的声音(声响)，并不严格要求隐藏插入的声音或将其构成有意义的声音。因此，可以通过在期望的时机(插入时机t)向构成乐曲的声响附加声音的方法(以下称为“插入方法3”)来进行。

图8表示了插入方法3的实施过程。在该过程中，首先生成适当的本质声音，或者从各种采样声源中选择适当的声音并将其用作本质声音(过程p30)。应当注意，采样声源可能包括与插入信号相同的频率(插入信息m的载波频率)。因此，当将采样的声源用于本质声音时，最好通过使用滤波器来预先去除载波频率。此外，即使频率成分对可听声音没有影响，也必须注意不要使音高饱和。

然后，生成形成插入信息m的主要部分的插入信号(过程p31)。此时，如上所述，插入信号由在15k至20khz范围内的难听频率的声音组成。

将在上述过程p30中生成的本质声音和在过程p31中生成的插入信号进行合成(过程p32)。其结果，生成由插入信号和本质声音组成的插入信息m。

与插入方法1和2同样，将通过过程p30至p32生成的插入信息m存储到计算装置20的存储装置22或具有声响信息传输功能的乐器53的存储手段中。

根据插入方法3，与插入方法1和2不同，不需要严格要求隐藏插入声音或将其组成为有意义的声音，从而产生了组成的自由度，可以实现组成的单纯化和表演的多样化。

根据上述第一实施例，由于演奏者按照包括在预编程的传输信息中的主韵律信息mr的第一韵律进行演奏，因此主韵律信息mr和现场演奏的第二韵律实现了同步。其结果，可以在根据演奏者，时间和地点而改变其韵律的声响中，容易地以预定的期望时机插入控制受控装置60的可传输的任意信号。

[第二实施例]

第二实施例，根据图9至图13予以说明。除非另有说明，具有与第一实施例相同的符号或记号的措词表示与第一实施例相同的概念。

〔系统构成〕

如图9所示，在第二实施例中使用的任意信号插入系统2主要由诸如计算装置200，实时演奏单元500和受控装置600之类的装置构成。

计算装置200是基于预定的计算处理执行稍后详细描述的实施程序的部件，并且主要由输入接口210，存储装置220，计算单元240和输出接口260组成。

输入接口210是用于从实时演奏单元500(更具体地说，具有稍后描述的midi输出的主旋律演奏乐器510)接收例如经过midi数据格式化的现场演奏midi数据d的部件。

存储装置220存储时间码tc、预先记录的乐曲的乐谱信息(以下称为“乐谱信息gd”)、插入信息m(插入信息m本身或插入了插入信息m的具有声响信息传输功能的乐器530的乐器声音)和插入时机t等，由例如硬盘或ssd构成。乐谱信息gd是通过排练等得到的预先记录的后述具备midi输出的主旋律演奏乐器510的midi信号数据，至少包括韵律信息gr，如图10所示，该韵律信息gr和插入时机t与时间码tc相关联。这些各种类型的信息的形式可以是例如midi数据格式，但是也可以是其他数据格式。此外，时间码tc具有与第一实施例的时间码tc相同的概念。

计算单元240通过根据稍后详细描述的实施程序执行乐谱跟踪来提取适合于插入插入信息m的插入时机t，并且将提取出的插入时机t和插入信息m输出到外部设备(更具体地说，稍后描述的实时演奏单元500的具有声响信息传输功能的乐器530)的部件，并且包括cpu和高速缓冲存储器(主存储器)、以及用于执行存储在高速缓冲存储器(主存储器)中的上述乐谱跟踪的操作程序。

输出接口260是为了以预定数据形式将存储在存储装置220中的插入信息m和插入时机t输出到外部设备(更具体地说，具有声响信息传输功能的乐器530)，将该外部设备和计算装置200进行电连接的部件。

实时演奏单元500是用于生成由演奏者等实时演奏的乐器声音和包括插入了稍后描述的插入信息m的声响信息数据的乐器声音组成的乐曲声音，并将其发出到外部的部件，主要由包括具备midi输出的主旋律演奏乐器510，其他乐器520和具有声响信息传输功能的乐器530的乐器群以及舞台音响系统540组成。

具备midi输出的主旋律演奏乐器510是演奏乐曲的主旋律的部件，而且如上所述，是通过计算装置200的输入接口210将现场演奏midi数据d输出到计算单元240的部件。具备midi输出的主旋律演奏乐器510由诸如具有midi输出的吉他等的乐器组成。

其他乐器520包括上述与具备midi输出的主旋律演奏乐器510一起演奏乐曲的乐器或人声，以及演奏预定韵律的诸如贝司或鼓等的韵律演奏乐器。

具有声响信息传输功能的乐器530是通过输出接口260接收从计算装置200输出的插入信息m和插入时机t(更具体地说，关于插入信息m和插入时机t的各个电信号)并在上述插入时机输出包括插入了该插入信息m的上述声响信息数据的乐器声音的部件，由例如采样器或合成器等组成。该具有声响信息传输功能的乐器530也与上述具有声响信息传输功能的乐器53一样拥有相同的存储手段和功能。即从计算装置200输入的插入信息m等被存储在该存储手段中。此外，当从计算装置200输入的插入信息m是插入了插入信息m的乐器声音时，当接收到该插入信息m的插入时机t时，原样输出该乐器声音。另一方面，从计算装置200输入的插入信息m仅是该插入信息m(在这种情况下，插入信息可以是用于搜索插入有该插入信息m的乐器声音的搜索信号)的场合，将插入了插入信息m的乐器声音预先存储在上述未图示的存储手段中，并且从计算装置200接收到插入信息m(可以是上述搜索信号)时，搜索并等待上述插入了插入信息m的乐器声音，并且当接收到插入时机t时，输出乐器声音。

舞台音响系统540是接收包括由具备midi输出的主旋律演奏乐器510和其他乐器520产生的乐器声音，以及包括由具有声响信息传输功能的乐器530生成的上述声响信息数据的乐器声音(更具体地说，是与这些声音(声响)相关的电信号)，从这些多种乐器声音中构成一个乐曲声音(乐曲信息)并将其发布给听众等的部件，由混音器、功放和乐器各自的放大器等组成。上述乐曲声音中包括插入信息m，并且与第一实施例中一样，基于插入信息m对受控装置600进行远程操作和控制。而且，基于在第一实施例中描述的方法，插入信息m作为上述声响信息数据以易听频率区域或难听频率区域中的信号(声音)的形式结合在乐曲声音中。

与第一实施例的受控装置60一样，受控装置600是被基于结合在从舞台音响系统540发出的乐曲声音(乐曲信息)中的插入信息m所远程操作和控制的部件，由例如观众所持的移动终端(智能电话等)组成。

〔实施程序〕

具体说明使用任意信号插入系统2执行第二实施例的具体实施程序，如图11所示，该具体程序包括乐谱跟踪步骤s20，插入信息输出步骤s21和插入时机输出步骤s22。

乐谱跟踪步骤s20是乐谱跟踪，即，以时间码tc为时间轴、将预先记录的乐曲的乐谱信息与实时演奏的乐曲信息进行比较的步骤。

作为实时跟踪乐谱的方法，有使用midi信号的方法和使用通用乐器声音的方法，但是在下文中，使用更实用的midi信号的方法来说明。

图12是使用上述midi信号跟踪乐谱的方法的实施例的示意图。在本实施例中，乐谱信息gd和现场演奏数据d都是midi格式数据，并且对包含在这两个数据中的韵律信息进行匹配(步骤s20-1)。然后，使用每个音符(小节)作为一个单位，判断乐谱信息gd中包括的韵律信息是否有效地跟踪了现场演奏数据d中包括的韵律信息(步骤s20-2)。

步骤s20-1中的上述匹配，可以按例如如下方式进行。即，乐谱信息gd中包括的韵律信息gr(第一韵律)和现场演奏数据d中包括的韵律信息r2(第二韵律)以预定音符群(小节)为单位查看是否匹配。

此外，步骤s20-2中的上述判断，例如可使用dannenberg的dp(dynamicprogramming，动态编程)匹配方法。在该dp匹配方法中，以上述音符(小节)为单位计算乐谱跟踪算法的正确答案率g，如果正确答案率g高于预定阈值g，则将其判断为有效的音符群(小节)。阈值g可以根据插入信息m的重要性而改变，例如，如果可以在传输时机上犯一些小错误，则设置一个较小的值，而如果它是赞助商信息等重要的内容(传输错了还不如不传输的情况)，则增加它。

乐谱跟踪算法的正确答案率g的计算如下，在将乐谱信息gd和现场演奏数据d的预定音符群(小节)中包括的韵律信息gr和韵律信息r2在相同的时间轴(相同的时间码)进行关联之后，由计算单元200中包含的计时器(硬件时钟等)测量两者之间的时间差δt。当时间差δt等于或小于预定阈值t时，一个音符群(小节)判断为有效，而当时间差δt大于阈值t时，一个音符群或小节判断为无效。对在预定时间内包括的音符群(小节)的个数重复此操作，并将其定义为判断次数n。将在单个音符群(小节)中判断为有效的数字n除以判断次数n所获得的数字百分比是正确答案率g。即，正确答案率g通过公式进行计算。当正确答案率g高于预定阈值g时，在步骤s20-2中判断为有效，而当正确答案率g小于阈值g时，在步骤s20-2中判断为无效。

如果在乐谱跟踪步骤s20(更具体地说，步骤s20-2)中判断有效，则进入到插入信息输出步骤s21和插入时机输出步骤s22。而如果在乐谱跟踪步骤s20(更具体地说，步骤s20-2)中判断为无效，则返回到步骤s20-1。

在插入信息输出步骤s21中，根据时间码tc的进度，将相应的插入信息m(或插入了插入信息m的乐器声音，下同)输出到实时演奏单元500(具体地，具有声响信息传输功能的乐器530)。此外，在插入时机输出步骤s22中，根据时间码tc的进度，将相应的插入时机t输出到实时演奏单元500(具体地，具有声响信息传输功能的乐器530)。向具有声响信息传输功能的乐器530发送插入信息m和插入时机t的时机与第一实施例相同。接收到插入时机t的具有声响信息传输功能的乐器530通过舞台音响系统540向听众等发出包括声响信息数据的乐器声音。

这样，在第二实施例中，如图10所示，判断事先记录的乐曲的乐谱信息gd的韵律信息gr是否有效地跟踪(是否同步)同一首乐曲的现场演奏数据d的韵律信息r2，在有效地进行跟踪时(当同步时、在图10中有效时)，如果存在插入时机t，则在该插入时机t发布该插入信息m。另一方面，当没有有效地执行跟踪时(当不同步时，在图10中无效时)，则不发布插入信息m。

这里，在如上述第二实施例中那样通过跟踪乐谱来获得插入时机t的方法，与如在上述第一实施例中那样总是由来自韵律发送装置40的声音或光来同步以求得插入时机的方法不同，它甚至可以在判断出韵律已同步之后，预测韵律持续同步，并决定在判断为同步之后的插入时机(换句话说，从过去的有效性的判断结果来预测将来的插入时机t的有效性)。这样的插入时机预测的妥当性由下面描述的实验结果来保证。

即如图13所示，出于逻辑上评估演奏变快的现象(跑调)的目的，从对24名普通成年人(12对)进行的实验中，确认了人的保持韵律的能力很高。根据图13所示的结果表明，在停止参考韵律(节拍器)之后40秒内，可以相对准确地保持韵律，尤其是在刚刚停止之后可以几乎准确地保持韵律。

根据图13所示的实验结果，在判断韵律与现场演奏同步之后至少40秒内存在的插入时机t，即，在乐谱追踪步骤s20(更具体地说，步骤s20-2)中被判断为有效之后的40秒之内存在的插入时机t，可以被认为是乐谱信息gd与现场演奏midi数据d中包含的韵律同步状态下的时机。

以上尽管已经具体描述了本发明人做出的本发明的实施例，但是本发明并不限于上述实施例，而是可以在不脱离其要旨的范围内进行各种变形。

附图标记说明

1任意信号插入系统；2任意信号插入系统；10乐曲开始指示单元(开始指示单元)；20计算装置；22存储装置；24计算单元；26输出接口；30设备兼容接口；40韵律发送装置；50实时演奏单元；51韵律演奏乐器；52其他乐器；53具有声响信息传输功能的乐器；54舞台音响系统；60受控装置；200计算装置；210输入接口；220存储装置；240计算单元；260输出接口；500实时演奏单元；510具备midi输出的主旋律演奏乐；520其他乐器；530具有声响信息传输功能的乐器；540舞台音响系统；600受控装置；md主数据；mr主韵律信息(第一韵律)；d现场演奏数据；r韵律(第二韵律)；m插入信息。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除