| 【発明の名称】 |
受信端末および音声通信システム |
| 【発明者】 |
【氏名】佐々木 幸弥
|
| 【要約】 |
【課題】収音手段を備えた送信端末から通信網経由で送信されてくる音声データを受信しその音声データに応じた音声の放音制御を行う複数の受信端末の各々に、互いに異なる指向特性を指定させることを可能にする。
【構成】無指向性マイクロホンと、指向軸が互いに直交する2または3つの双指向性マイクロホンとを有し、各マイクロホンから出力されるオーディオ信号を通信網を介して送信する送信端末と、前記通信網を介して前記収音端末から送信されているオーディオ信号を受信する受信端末を複数備え、複数の前記受信端末の少なくとも1つは、前記収音端末の指向軸方向をユーザに指定させる指定手段と、前記通信網を介して受信したオーディオ信号を前記指定手段により指定された指向軸方向に対応する加算比率で加算してスピーカへ出力する出力手段と、を有することを特徴とする音声通信システムを提供する。 |
【特許請求の範囲】
【請求項1】 無指向性マイクロホンと、指向軸が互いに直交する2または3つの双指向性マイクロホンの各々により収音した音を表す音データにその音を収音したマイクロホンを示す識別子を付与して送信する送信端末から前記音データを受信する受信手段と、 前記マイクロホンの各々に対してそのマイクロホンの出力信号に対する増幅率をユーザに指定させるユーザインタフェイスと、 前記受信手段により受信された音データをその音データに対応するマイクロホンに対して前記ユーザインタフェイスにより指定された増幅率で増幅した後に加算し、その加算結果をオーディオ信号に変換してスピーカへ出力する出力手段と、 を有することを特徴とする受信端末。 【請求項2】 前記受信手段により受信された音データを記憶する記憶手段を備え、 前記出力手段は、 前記送信端末と通信を行っていない場合には、前記記憶手段から音データを読み出し、該音データを前記ユーザインタフェイスにより指定された増幅率で増幅した後に加算し、その加算結果に応じたオーディオ信号を前記スピーカへ出力する ことを特徴とする請求項1に記載の受信端末。 【請求項3】 無指向性マイクロホンと、指向軸が互いに直交する2または3つの双指向性マイクロホンの各々により収音した音を表す音データにその音を収音したマイクロホンを示す識別子を付与して送信する送信端末と、 前記送信端末から送信されている音データを受信する受信端末を複数備え、 複数の前記受信端末の少なくとも1つは、 前記マイクロホンの各々に対してそのマイクロホンの出力信号に対する増幅率を自端末のユーザに指定させるユーザインタフェイスと、 前記受信した音データをその音データに対応するマイクロホンに対して前記ユーザインタフェイスにより指定された増幅率で増幅した後に加算し、その加算結果をオーディオ信号に変換してスピーカへ出力する出力手段と、を有する ことを特徴とする音声通信システム。 【請求項4】 前記送信端末から送信されてくる音データを受信し該音声データに付与されている識別子毎に分類して記憶する一方、該記憶した音データの送信を要求する旨のリクエストを受信した場合に、該音データに対応する識別子を付与して該リクエストの送信元へ返信する記憶装置、 をさらに備え、 複数の前記受信端末のうち、前記ユーザインタフェイスを有する受信端末は、 自端末のユーザの指示に応じて前記リクエストを送信する一方、該リクエストに応じて前記記憶装置から返信されてくる音データを受信し、受信した音データを前記出力手段によってその音データに対応するマイクロホンに対して前記ユーザインタフェイスにより指定された増幅率で増幅した後に加算し、その加算結果をオーディオ信号に変換してスピーカへ出力する ことを特徴とする請求項3に記載の音声通信システム。 【請求項5】 前記送信端末は、撮像手段を有し、該撮像手段により撮像した画像を表す画像データを送信し、 前記ユーザインタフェイスを有する受信端末は、 前記送信端末から送信されてくる画像データを受信し、前記ユーザインタフェイスを介して指定された指向軸方向の画像を表す画像データ成分をその画像データから抽出し、その画像データ成分に応じた画像を表示する ことを特徴とする請求項3に記載の音声通信システム。
|
【発明の詳細な説明】【技術分野】 【0001】 本発明は、収音対象である音を高いS/N(Signal/Noise)比で収音するための技術に関し、特に、指向特性が異なるマイクロホンを組み合わせて用いることにより高いS/N比を実現する技術に関する。 【背景技術】 【0002】 収音対象である目的音を高いS/N比で収音することを可能にするために鋭い指向特性を実現する技術が従来より種々提案されており、その一例としては、所謂マイクロホンアレイや特許文献1〜3に開示された技術が挙げられる。 ここで、マイクロホンアレイとは、同じ指向特性(例えば、単一指向性)を有する多数のマイクロホンをアレイ状に配置し、各マイクロホンへの音波の到達時間差を利用して鋭い指向特性を実現するものである。一方、特許文献1〜3には、指向特性の異なるマイクロホン(例えば、無指向性マイクロホンと双指向性マイクロホン)を組み合わせ、各マイクロホンの出力信号の加算比率をDSP(Digital Signal Processor)などにより適宜調整することで鋭い指向特性を実現する技術が開示されている。 【特許文献1】特開昭59−94993号公報 【特許文献2】特許第3599653号 【特許文献3】特許第3279040号 【発明の開示】 【発明が解決しようとする課題】 【0003】 しかしながら、マイクロホンアレイは多数のマイクロホンをアレイ状に配置して構成されるため、マイクロホンアレイ全体の装置サイズが大きくなってしまい取り扱い難いといった問題点や装置の価格が高くなってしまうといった問題点がある。加えて、マイクロホンアレイでは、音波の到達時間差を利用するため、音源が指向軸方向から外れてしまうとCombフィルタ効果により収音音質が著しく劣化してしまうといった問題点がある。このため、複数の音源の各々に順次指向軸を向けて各音源の音を収音する場合(以下、「フォーカス先の切り換え」とも呼ぶ)や音源が移動している場合には、目的音を音質良く収音することは困難である。また、スピーカアレイでは、各マイクロホンから出力される音声信号に遅延制御が加えられるため、信号波形が不連続になってしまう(すなわち、収音された音声が不連続になってしまう)といった問題点もある。 【0004】 一方、特許文献1〜3に開示された技術は、音源の位置に応じて指向特性を適宜設定することは可能であるものの、音源の位置が逐次変化する場合(例えば、音源が移動している場合や、複数の音源のうちから順次フォーカス先を切り換える場合)に、その変化に追従させて指向特性を変化させることはできない。また、特許文献1〜3に開示された技術では、音源が複数あり、かつ、それら技術により収音された音を再生する端末が複数ある場合に、端末毎に異なる音源の音を再生させるといったこともできない。 【0005】 本発明は、上記課題に鑑みて為されたものであり、複数の音源の各々が発する音を収音し、複数の端末の各々にその音を再生させる際に、端末毎に異なる音源の音を再生させることを可能にする技術を提供することを目的としている。 【課題を解決するための手段】 【0006】 上記課題を解決するために、本発明は、無指向性マイクロホンと、指向軸が互いに直交する2または3つの双指向性マイクロホンの各々により収音した音を表す音データにその音を収音したマイクロホンを示す識別子を付与して送信する送信端末から前記音データを受信する受信手段と、前記マイクロホンの各々に対してそのマイクロホンの出力信号に対する増幅率をユーザに指定させるユーザインタフェイスと、前記受信手段により受信された音データをその音データに対応するマイクロホンに対して前記ユーザインタフェイスにより指定された増幅率で増幅した後に加算し、その加算結果をオーディオ信号に変換してスピーカへ出力する出力手段と、を有することを特徴とする受信端末、を提供する。 【0007】 より好ましい態様においては、上記受信端末は、前記受信手段により受信された音データを記憶する記憶手段を備え、前記出力手段は、前記送信端末と通信を行っていない場合には、前記記憶手段から音データを読み出し、該音データを前記ユーザインタフェイスにより指定された増幅率で増幅した後に加算し、その加算結果に応じたオーディオ信号を前記スピーカへ出力することを特徴としている。 【0008】 また、上記課題を解決するために、本発明は、無指向性マイクロホンと、指向軸が互いに直交する2または3つの双指向性マイクロホンの各々により収音した音を表す音データにその音を収音したマイクロホンを示す識別子を付与して送信する送信端末と、前記送信端末から送信されている音データを受信する受信端末を複数備え、複数の前記受信端末の少なくとも1つは、前記マイクロホンの各々に対してそのマイクロホンの出力信号に対する増幅率を自端末のユーザに指定させるユーザインタフェイスと、前記受信した音データをその音データに対応するマイクロホンに対して前記ユーザインタフェイスにより指定された増幅率で増幅した後に加算し、その加算結果をオーディオ信号に変換してスピーカへ出力する出力手段と、を有することを特徴とする音声通信システム、を提供する。 【0009】 より好ましい態様においては、上記音声通信システムは、前記送信端末から送信されてくる音データを受信し該音声データに付与されている識別子毎に分類して記憶する一方、該記憶した音データの送信を要求する旨のリクエストを受信した場合に、該音データに対応する識別子を付与して該リクエストの送信元へ返信する記憶装置、をさらに備え、複数の前記受信端末のうち、前記ユーザインタフェイスを有する受信端末は、自端末のユーザの指示に応じて前記リクエストを送信する一方、該リクエストに応じて前記記憶装置から返信されてくる音データを受信し、受信した音データを前記出力手段によってその音データに対応するマイクロホンに対して前記ユーザインタフェイスにより指定された増幅率で増幅した後に加算し、その加算結果をオーディオ信号に変換してスピーカへ出力することを特徴としている。 【0010】 また別の好ましい態様においては、上記音声通信システムは、前記送信端末は、撮像手段を有し、該撮像手段により撮像した画像を表す画像データを送信し、前記ユーザインタフェイスを有する受信端末は、前記送信端末から送信されてくる画像データを受信し、前記ユーザインタフェイスを介して指定された指向軸方向の画像を表す画像データ成分をその画像データから抽出し、その画像データ成分に応じた画像を表示することを特徴としている。 【発明の効果】 【0011】 本発明によれば、複数の音源の各々が発する音を収音し、複数の端末の各々にその音を再生させる際に、端末毎に異なる音源の音を再生させることが可能になる、といった効果を奏する。 【発明を実施するための最良の形態】 【0012】 以下、図面を参照しつつ本発明の実施形態について説明する。 (A:第1実施形態) (A−1:構成) 図1は、本発明の1実施形態に係る音声通信システム10の構成例を示す図である。 図1に示すように、音声通信システム10には、例えばインターネットなどの通信網300に接続されている送信端末100と、同じく通信網300に接続されている受信端末200Aおよび200Bとが含まれている。なお、受信端末200Aと受信端末200Bとは、ハードウェア構成が同一であるため、図1では、受信端末200Aについてのみ詳細なハードウェア構成を図示している。以下、受信端末200Aと200Bとを区別する必要がない場合には、「受信端末200」と表記する。 また、図1では、音声通信システム10に2台の受信端末が含まれている場合について例示されているが、音声通信システム10に含まれる受信端末の数は2に限定されるものではなく、3台以上であっても良いことは勿論である。また、本実施形態では、通信網300がインターネットである場合について説明するが、LAN(Local Area Network)やWAN(Wide Area Network)などであっても良いことは勿論である。要は、通信網300は、送信端末100と受信端末200との間で所定の通信プロトコル(例えば、IP(Internet Protocol)など)にしたがって行われるデータ通信を仲介する機能を備えたものであれば、その種類は問わない。 【0013】 送信端末100は、図1に示すように、マイクロホン110a、110xおよび110yと、A/D変換器120a、120xおよび120yと、通信インターフェイス(以下、「IF」)部130と、を有している。以下では、マイクロホン110a、110xおよび110yの各々を区別する必要がない場合には、単に「マイクロホン110」と表記し、A/D変換器120a、120xおよび120yの各々を区別する必要がない場合には、単に「A/D変換器120」と表記する。 【0014】 送信端末100が有する3つのマイクロホンのうち、マイクロホン110xと110yとは、双指向性マイクロホンであり、マイクロホン110aは、無指向性マイクロホンである。なお、本実施形態においては、これら3つのマイクロホンの指向性レベルは何れも同一である。 【0015】 上記3つのマイクロホンは、地上に対して略垂直に設置される送信端末100の筐体内に、その垂直軸線(図2(a):Z軸)に指向原点が位置するようにマイクロホン110y、マイクロホン110a、マイクロホン110xの順に載置されている(図2(a)参照)。 加えて、マイクロホン110xとマイクロホン110yとは、その指向軸が互いに直交するように配置されている。以下では、マイクロホン110xの指向軸方向をX軸方向と呼び、マイクロホン110yの指向軸方向をY軸方向と呼ぶ。 図2(b)は、上記3つのマイクロホンの指向特性を示す図である。図2(b)においては、マイクロホン110aの指向特性は一点鎖線で表されており、マイクロホン110xの指向特性は実線で表されており、マイクロホン110yは点線で表されている。 なお、本実施形態では、マイクロホン110y、110a、110xの順に上記3つのマイクロホンを載置する場合について説明するが、マイクロホン110x、110a、110yの順に載置するようにしても勿論良い。要は、上記3つのマイクロホンの指向原点がZ軸上に位置し、かつ、マイクロホン110xの指向軸とマイクロホン110yの指向軸とが直交するように配置されていれば良い。 【0016】 A/D変換器120は、対応するマイクロホン110(例えば、A/D変換器120aに対してはマイクロホン110aが対応するマイクロホンである。同様に、A/D変換器120xにはマイクロホン110xが対応し、A/D変換器120yにはマイクロホン110yが対応する)から出力される音声信号にアナログ/デジタル変換を施し、その音声信号に応じたデジタルデータ(以下、「音声データ」と呼ぶ)を通信IF部130へ出力する。なお、マイクロホン110から上記音声データが出力される場合には、A/D変換器 120が必須ではないことは言うまでもない。 【0017】 通信IF部130は、例えばNIC(Network Interface Card)であり、通信網300に接続されている。この通信IF部130は、上記所定の通信プロトコルにしたがった通信の開始を要求する旨の通信メッセージ(以下、通信開始メッセージ)を通信網300を介して受信した場合に、図示せぬ制御部による制御下でその送信元との間に通信コネクションを確立し、以降、その確立先から通信コネクションを切断する旨の通信メッセージ(以下、通信終了メッセージ)が送られてくるまで、A/D変換器120から音声データを受取る度に、その音声データを上記通信コネクションの確立先へ送信する。なお、上記通信開始メッセージや通信終了メッセージには、送信端末100にその送信元を一意に識別させるために、その送信元に割り当てられている通信アドレスが書き込まれている点は、IPなどの周知の通信プロトコルにしたがって送受信される通信メッセージと同一である。 【0018】 より詳細に説明すると、通信IF部130は、上記通信コネクションを確立している状態でA/D変換器120から音声データを引き渡されると、その音声データに上記通信プロトコルに準拠した所定のヘッダを付与してパケットを生成し、このパケットを上記確立先へ送信する。上記へッダには、送信元識別子、送信先識別子およびデータ識別子の3つの識別子が含まれており、送信元識別子には、送信端末100に割り当てられている通信アドレス(例えば、IPアドレス)がセットされ、送信先識別子には、上記確立先に割り当てられている通信アドレス(すなわち、通信開始メッセージの送信元の通信アドレス)がセットされる。これに対して、上記データ識別子は、上記のようにして生成されるパケットに含まれている音声データが上記3つのマイクロホンの何れにより収音された音を表す音声データであるのかを示す識別子である。本実施形態では、通信IF部130は、A/D変換器120aから引き渡された音声データには、データ識別子として“a”を書き込んだヘッダを付与してパケットを生成する。同様に、通信IF部130は、A/D変換器120xから引き渡された音声データには、データ識別子として“x”を書き込んだヘッダを付与し、A/D変換器120yから引き渡された音声データには、データ識別子として“y”を書き込んだヘッダを付与してパケットを生成する。以下、音声データが内包されているパケットのことを「音声データパケット」と呼ぶ。 【0019】 このようにして、送信端末100から送出された音声データパケットは、通信網300に含まれているネットワーク機器(例えば、ルータなど)により適宜ルーティングされ、その宛先である受信端末200へ到達する。つまり、図1に示す送信端末100は、その送信端末100の周囲の音を上記3つのマイクロホンにより収音し、それらマイクロホンの出力信号に応じた3つの音声データを受信端末200へ宛てて送信することによって上記収音結果を受信端末200へ伝達する収音装置として機能するものである。 以上が送信端末100の構成である。 【0020】 次いで、受信端末200の構成について説明する。 受信端末200は、図1に示すように、通信IF部210と、アンプ220a、220xおよび220yと、加算器230と、D/A変換器240と、記憶部250と、ユーザインタフェイス(以下、「UI」)部260と、制御部270とを有している。なお、以下では、アンプ220a、220xおよび220yの各々を区別する必要がない場合には、単に「アンプ220」と表記する。 【0021】 通信IF部210は、前述したNICであり、通信網300に接続されている。この通信IF部210は、制御部270の制御下で上記通信開始メッセージや通信終了メッセージを送信するとともに、通信網300を介して送信端末100から送信されてくる音声データパケットを受信し、その音声データパケットに内包されている音声データをアンプ220へ引き渡す。 より詳細に説明すると、通信IF部210は、受信した音声データパケットのヘッダに書き込まれているデータ識別子を参照してその音声データが上記3つのマイクロホン110の何れによって収音された音を表しているのかを判別し、その判別結果に応じて上記3つのアンプ220の何れかへ引き渡す。例えば、マイクロホン110aにより収音された音を表す音声データはアンプ220aへ引き渡され、マイクロホン110xにより収音された音を表す音声データはアンプ220xへ引き渡され、マイクロホン110yにより収音された音を表す音声データはアンプ220yへ引き渡される。 【0022】 アンプ220は、通信IF部210から引き渡された音声データの音量レベルを、後述するUI部260を介して設定された増幅率で増幅(なお、本実施形態では、上記増幅率の値が負の値である場合には、増幅および位相反転)して加算器230へ出力する。 加算器230は、アンプ220a、220xおよび220yの各々から出力された音声データを加算してD/A変換器240へ出力し、D/A変換器240は、加算器230から引き渡された音声データにデジタル/アナログ変換を施し、その変換結果である音声信号をスピーカ(図示省略)へ出力する。 【0023】 例えば、マイクロホン110a、110xおよび110yの各々から出力される音声信号が0:1/√2:1/√2の加算比率(ただし、√2は、2の平方根)で加算されるように上記各増幅率を設定すれば、その加算結果は、図2(c)に示すように、X軸方向(すなわち、マイクロホン110xの指向軸方向)から反時計回りに45°の方向に指向軸を有する双指向特性を設定された送信端末100によって収音された音を表すことになる。また、上記加算比率が1/2:1/2√2:1/2√2になるように上記各増幅率を設定すれば、上記加算結果は、図2(d)に示すように、同45°方向に指向軸を有する単一指向性を設定された送信端末100によって収音された音を表すことになる。 このように、本実施形態に係る受信端末200においては、アンプ220における増幅率を適宜設定することによって、その増幅率に応じた指向特性が設定された送信端末100によって収音された音と等価な音を出力することが可能になる。 【0024】 記憶部250は、例えば、ハードディスクであり、図3に示す指向特性管理テーブルが予め格納されている。この指向特性管理テーブルには、マイクロホン110xの指向軸方向を0°として反時計回りに45°刻みで315°までの8方向の各々について、その方向に指向軸を有する単一指向性(図2(d)参照)を設定する際に各アンプ220へ設定するべき増幅率が書き込まれている。詳細については後述するが、この指向特性管理テーブルは、収音対象である目的音の音源方向に応じた指向特性をユーザに指定させる際に利用される。また、記憶部250には、通信コネクションの接続先である送信端末100の通信アドレスが予め記憶されている。 【0025】 UI部260は、音声通信システム10をユーザに利用させるためのユーザインタフェイスを提供するためのものであり、図1においては詳細な図示は省略したが、液晶ディスプレイやCRTなどからなる表示部と、キーボードやマウスなどからなる操作部とを含んでいる。 より詳細に説明すると、上記表示部は、後述する制御部270による制御下で、図4に示す指向特性指定画面を表示する。この指向特性指定画面を視認したユーザは、操作部を適宜操作して図4のアイコンI01〜I08の何れかをクリックすることにより、所望の指向軸方向を指定することや、終了ボタンB1をクリックすることによって通信コネクションの切断を指示することができる。一方、上記操作部は、その操作内容に応じたデータ(以下、操作内容データ)を制御部270へ引き渡すことによって、その操作内容を制御部270へ伝達する。例えば、図4に示す指向特性指定画面内の何れかの箇所がクリックされると、操作部は、指向特性指定画面の左上隅を原点とした場合の上記クリック箇所の座標値を示す操作内容データを制御部270へ引き渡すことにより、操作内容を伝達する。 【0026】 制御部270は、図1においては詳細な図示は省略したが、CPU(Central Processing Unit)や、ROM(Read Only Memory)、RAM(Random Access Memory)などを含んでいる。上記ROMには、指向特性指定画面(図4参照)の表示や、ユーザにより指定された指向軸方向に応じた増幅率をアンプ220へ設定する処理を上記CPUに実行させる制御プログラムが格納されている。なお、本実施形態では、CPUは、受信端末200の電源(図示省略)が投入されたことを契機としてROMから制御プログラムをRAMへロードし、これを実行する。 以上が、受信端末200の構成である。 【0027】 (A−2:動作) 次いで、上記制御プログラムにしたがって受信端末200が実行する動作のうち、本発明の特徴を顕著に示す動作について図面を参照しつつ説明する。なお、以下に説明する動作例では、送信端末100は、図5に示すように、8人の参加者01〜08が着席している円卓上に設置され、電源が投入されているものとする。より詳細に説明すると、上記8人の参加者は、図5に示すように、マイクロホン110xの指向軸方向から45°刻みで反時計回りに、参加者01、参加者02…参加者08の順に1人ずつ着席し会議を行っている。以下、受信端末200Aのユーザ(以下、「ユーザA」)と受信端末200Bのユーザ(以下、「ユーザB」)が、上記会議における各参加者の発言を受信端末200を用いて受聴する場合の動作について説明する。 【0028】 ユーザAやユーザBが、各自の利用する受信端末200の電源(図示省略)を投入すると、制御部270のCPUは、上記制御プログラムをROMからRAMへロードし、図6に示す指向特性設定処理を実行する。図6に示すように、制御部270は、まず、アンプ220へ設定する増幅率の初期化を行う(ステップSA100)。 具体的には、制御部270は、0°に対応付けて指向特性管理テーブル(図3参照)に格納されている増幅率を読出しアンプ220の各々へ設定する。なお、本実施形態では、ステップSA100の初期化処理にて0°方向に対応する増幅率を各アンプ220へ設定する場合について説明したが、例えば90°方向や180°方向などの他の方向に対応する増幅率を設定するようにしても良いことは勿論である。 【0029】 次いで、制御部270は、送信装置100との間に通信コネクションを確立する(ステップSA110)。 より詳細に説明すると、制御部270は、通信開始メッセージを生成し、この通信開始メッセージを送信端末100へ宛てて送信する。このようにして受信端末200から送信された通信開始メッセージは、通信網300内の各種ネットワーク機器によって適宜ルーティングされ、送信端末100へ到達する。送信端末100は、上記通信開始メッセージを受信すると、受信端末200との間に通信コネクションを確立し、マイクロホン110a、110xおよび110yにより収音した音を表す音声データを書き込んだ音声データパケットの送信を開始する。 【0030】 このようにして送信端末100から送信された音声データパケットは、通信網300内で適宜ルーティングされ、受信端末200へ到達する。受信端末200は、上記のようにして送信されてくる音声データパケットを受信すると、各音声データパケットに内包されている音声データを読み出し、該当するアンプ220へ引き渡す。 本動作例では、先に説明したように、マイクロホン110x、110yおよび110aにより収音された音を1/2:0:1/2の加算比率で加算することを表す増幅率がステップSA100にて設定されており、この加算比率は、0°方向に指向軸を有する単一指向特性を送信端末100に設定することを表している。したがって、受信端末200Aに接続されたスピーカ(図示省略)や受信端末200Bに接続されたスピーカ(図示省略)からは、参加者01の発言内容が放音されることになる。 【0031】 さて、図6にて、ステップSA110に後続して実行されるステップSA120においては、制御部270は、前述した指向特性指定画面(図4参照)をUI部260の表示部に表示させる。 この指向特性指定画面を視認したユーザAやユーザBは、UI部260の操作部を適宜操作することによって、指向軸の方向として所望の方向を指定する操作(本実施形態では、アイコンI01〜I08の何れかをクリックする操作:以下、「方向指定操作」)や音声通信の終了を指示する操作(本実施形態では、終了ボタンB1をクリックする操作:以下、「終了指示操作」)、方向指定操作ではなく、かつ、終了指示操作でもない操作(以下、「その他操作」)の何れかを行うことができる。 以下、本動作例では、ユーザAは、受信端末200AのUI部260を適宜操作することによって、指向軸方向として45°方向を指定し(すなわち、アイコンI02をクリックし)、ユーザBは受信端末200BのUI部260を適宜操作することによって、指向軸方向として270°方向を指定した場合(すなわち、アイコンI07をクリックした場合)について説明する。 【0032】 ユーザがUI部260に対して何らかの操作を行うと、UI部260はその操作内容を表す操作内容データを制御部270へ引き渡す。そして、制御部270は、UI部260から引き渡された操作内容データを解析することによって、上記3種類の操作の何れが為されたのかを判別する(ステップSA130)。 具体的には、制御部270は、UI部260から引き渡された操作内容データの表す座標が、図4に示すアイコンI01〜I08の各々に対応する領域、または、終了ボタンB1に対応する領域内に属するか否かを判別することによって、何れの操作が為されたのかを判別する。 【0033】 制御部270は、ステップSA130にて“その他操作”が為されたと判別した場合には、ステップSA120以降の処理を繰り返し実行し、次の操作が為されることを待ち受ける。 また、ステップSA130にて“終了指示操作”が為されたと判別した場合には、制御部270は、通信終了メッセージを送信端末100へ宛てて送信し、送信端末100との間の通信コネクションを切断(ステップSA140)して、本指向特性設定処理を終了する。なお、受信端末200から送信される通信終了メッセージを受信した送信端末100は、その送信元へ宛てての音声データパケットの送信を終了する。 【0034】 ステップSA130にて“方向指定操作”が為されたと判別した場合には、制御部270は、指向特性指定画面にて指定された指向軸方向に対応する増幅率を指向特性管理テーブルから読出し、その増幅率を各アンプ220へ設定する(ステップSA150)。 前述したように、本動作例では、ユーザAは、指向軸方向として45°方向を指定するのであるから、受信端末200Aの制御部270は、マイクロホン110x、110yおよび110aによって収音された音を“1/2√2:1/2√2:1/2”の加算比率で換算することを示す増幅率を受信端末200Aのアンプ220x、220yおよび220aに設定する。一方、ユーザBは、指向軸方向として270°方向を指定するのであるから、受信端末200Bの制御270は、マイクロホン110x、110yおよび110aによって収音された音を“0:−1/2:1/2”の加算比率で換算することを示す増幅率を受信端末200Bのアンプ220x、220yおよび220aに設定する。 【0035】 図5に示すように、送信端末100から見て45°方向には、参加者02が着席しており、270°方向には参加者07が着席しているのであるから、以上に説明した動作が為される結果、受信端末200AのD/A変換器240に接続されているスピーカからは参加者02の発言が放音され、受信端末200BのD/A変換器240に接続されているスピーカからは参加者07の発言が放音されることになる。 【0036】 ここで注目すべき点は、ユーザAとユーザBとが互いに異なる方向を指向軸として設定し所望の音声を受聴している点、すなわち、一方の設定した指向軸方向が他方に対して何らの影響も及ぼしていない点である。このように、本実施形態に係る音声通信システム10によれば、各受信端末200のユーザに、他のユーザが受聴する音に何らの影響を与えることなく、所望の指向特性を指定させること(すなわち、複数の会議参加者の何れかにフォーカスしてその発言を受聴すること)が可能になるといった効果を奏する。 【0037】 (B:第2実施形態) 次いで、本発明の第2実施形態に係る音声通信システム20について図面を参照しつつ説明する。 (B−1:構成) 図7は、本発明の第2の実施形態に係る音声通信システム20の構成例を示すブロック図である。この音声通信システム20が、前述した音声通信システム10と異なっている点は、送信端末100に替えて送信端末700を設けた点と、受信端末200Aや200Bに替えて受信端末800Aおよび800Bを設けた点とである。なお、受信端末800Aと800Bとはハードウェア構成が同一であるため、図1と同様に図7では受信端末800Aについてのみ構成を詳細に図示している。また、以下では、受信端末800Aと800Bとを区別する必要がない場合には、「受信端末800」と表記する。 【0038】 送信端末700の構成が送信端末100の構成と異なっている点は、撮像手段710を有している点と、通信IF部130に替えて通信IF部730を設けた点とである。なお、図7では、送信端末700の構成要素のうち、送信端末100の構成要素と同一のものには同一の符号が付与されている。 【0039】 撮像手段710は、例えば全方位カメラであり、送信端末700を中心とした全ての方向(視野角360°)の画像を所定の時間間隔で撮像し、その撮像画像を表す画像データを通信IF部730へ引き渡す。 通信IF部730は、前述した通信IF部130と同様に、各マイクロホン110から引き渡される音声データを書き込んだ音声データパケットを生成して受信端末800へ送信する機能を有している他、撮像手段710から引き渡された画像データに所定のヘッダ(本実施形態では、データ識別子に“g”をセットしたヘッダ)を付与して生成されるパケット(以下、画像データパケット)を受信端末800へ送信する機能を備えている。 以上が送信端末700の構成である。 【0040】 一方、受信端末800の構成が受信端末200の構成と異なっている点は、通信IF部210に替えて通信IF部810を設けた点と、制御部270に替えて制御部870を設けた点である。なお、受信端末800についても、受信端末200と同一の構成要素には同一の符号が付与されている。 通信IF部810は、通信網300を介してパケットを受信すると、そのパケットが音声データパケットであるのか、それとも、画像データパケットであるのかをデータ識別子を参照して判別し、音声データパケットについては前述した通信IF部120と同様の処理を行う。これに対して、受信したパケットが画像データパケットであると判別した場合には、通信IF部810は、その画像データパケットに書き込まれている画像データを読み出し、制御部870へ引き渡す。 【0041】 制御部870は、前述した制御部270と同様にCPU、ROMおよびRAMを含んでいる(図7では何れも図示省略)。そして、上記ROMには制御プログラムが予め記憶されており、その制御プログラムを上記CPUがRAMへロードし実行することによって、本発明に係る受信端末に特徴的な機能が実現される点は第1実施形態と同一である。但し、制御部870のROMに記憶されている制御プログラムは、制御部270のROMに記憶されている制御プログラムとは異なっているため、受信端末800には、受信端末200とは異なる機能が付与される。 より詳細に説明すると、上記制御プログラムにしたがって作動している制御部870は、図8に示す指向特性指定画面をUI部260に表示させる。図8を参照すれば明らかなように、受信端末800のUI部260に表示される指向特性指定画面は、領域A01とA02の2つの領域で構成されている。領域A01には、図4に示す指向特性指定画面と同様に8個のアイコンI01〜I08が描画されている。ユーザは、これら8個のアイコンの何れかをクリックすることによって所望の指向軸方向を指定することができる。一方、領域A02には、送信端末700から受信した画像データのうち、ユーザにより指定された指向軸方向の画像成分を表す画像が表示される。より詳細に説明すると、上記制御プログラムにしたがって作動している制御部870は、ユーザにより指向軸方向が指定された状況下で、通信IF部810から画像データを受取ると、その画像データから上記指向軸方向の画像成分を表す画像データのみを抽出し、歪み補正などの所定の処理を施した後に、その画像成分に応じた画像を領域A02に表示させる。 以上が受信端末800の構成である。 【0042】 (B−2:動作) 図9は、制御部870のROMに記憶されている制御プログラムにしたがってその制御部870のCPUが実行する指向特性指定処理の流れを示すフローチャートである。図9に示す指向特性指定処理と図6に示す指向特性指定処理とが異なっている点は、ステップSA130の判定結果が“方向指定操作”である場合に、前述した方向設定処理(ステップSA150)の他に、指向軸方向の画像表示処理(ステップSB160)を実行した後に、ステップSA120以降の処理を繰り返す点である。 【0043】 上記ステップSB160においては、制御部870は、通信IF部810から引き渡された画像データから、ユーザにより指定された指向軸方向の画像成分のみを抽出し、その抽出結果に応じて画像を、図8に示す指向特性指定画面の領域A02に埋め込んで表示させるようUI部260を制御する。 以上に説明する動作が為される結果、受信端末800Aの表示部には、図10(A)に示すように、参加者02にフォーカスした画像が領域A02に埋め込まれた指向特性指定画面が表示され、受信端末800Bの表示部には、図10(B)に示すように、参加者07にフォーカスした画像が領域A02に埋め込まれた指向特性指定画面が表示されることになる。なお、受信端末800Aに接続されたスピーカからは参加者02の音声が放音され、受信端末800Bに接続されたスピーカからは参加者07の音声が放音される点は、前述した第1実施形態に係る音声通信システムと同一である。 【0044】 (C:変形) 以上、本発明の1実施形態について説明したが、係る実施形態に以下に述べるような変形を加えても良いことは勿論である。 (1)上述した第1および第2実施形態では、各音声通信システムに含まれている受信端末の全てが本発明に係る受信端末である場合について説明したが、少なくとも1台が本発明に係る受信端末であり、他の受信端末は予め設定された加算比率で各マイクロホンの出力信号を加算する従来の受信端末であっても勿論良い。 【0045】 (2)上述した第1および第2実施形態では、0°から315°まで45°刻みの8方向のうちから、指向軸の方向をユーザに指定させる場合について説明したが、例えば、30°刻みや15°刻みなど、より細やかに指向軸の方向を指定させるようにしても勿論良い。 例えば、指向軸の方向を30°刻みでユーザに指定させる場合には、0°から30°刻みで330°までの12方向の各々について、その方向に指向軸を有する単一指向性を送信端末に設定する際に、各アンプ220へ設定するべき増幅率を指向特性管理テーブルに格納しておくようにすれば良い。また、上述した第1および第2実施形態では、指向特性指定画面に表示されるアイコンをクリックさせることによって、ユーザに指向軸の方向を指定させる場合について説明したが、指向軸の方向を示す数値をキーボード入力させることによって、ユーザに指向軸の方向を指定させるようにしても勿論良い。 【0046】 (3)上述した第1および第2実施形態では、送信端末100が、その送信端末100が設置される面上で指向軸が直交するように配置された2つの双指向性マイクロホンと無指向性マイクロホンとを有している場合について説明した。しかしながら、互いに指向軸が直交するように配置された3つの双指向性マイクロホンと1つの無指向性マイクロホンとを用いて送信端末を構成するようにしても良い。このようにすると、受信端末側において、全天周方向に指向軸を設定することが可能になる。 【0047】 (4)上述した第2実施形態では、撮像手段710として、全方位カメラを用いる場合について説明した。しかしながら、受信端末800にてユーザが指定可能な各方向に撮像方向が固定された複数のカメラを用いるようにしても良い。例えば、0°から45°刻みで315°までの8方向のうちからユーザに指向軸方向を指定させる場合には、それら8つの方向に何れかに撮像方向が固定された8台のカメラを撮像手段710として送信端末700に設け、各カメラ毎に画像データパケットを生成させるようにすれば良い。 【0048】 (5)上述した実施形態では、受信端末の通信IF部は、音声データパケットを受信した場合には、その音声データパケットに内包されている音声データを、対応するアンプへ引き渡す場合について説明した。しかしながら、受信した音声データパケットに含まれている音声データとデータ識別子とを制御部へ引き渡して記憶部へ記憶させ、送信端末との間に通信コネクションが確立されていない場合には、記憶部から音声データを読み出して音声の再生を行わせるようにしても勿論良い。 また、送信端末から送信された音声データパケットを受信しそのデータ識別子毎に分類して音声データを記憶する記憶装置を通信網300に接続しておき、受信端末から音声データの送信要求を受信した場合に、この記憶装置に音声データパケットを再度生成させ、その音声データパケットを配信させるようにしても勿論良い。 【0049】 (6)上述した実施形態では、図3に示す指向特性管理テーブルを受信端末の記憶部250に記憶させておき、図6または図9に示す指向特性設定処理のステップSA150にて、ユーザにより指定された指向軸方向に対応する増幅率を上記指向特性管理テーブルから読み出して各アンプ220へ設定することによって、目的音の音源方向に指向軸を有する単一指向特性(図2(d)参照)を実現する場合について説明した。しかしながら、マイクロホン110xの指向軸方向を0°として反時計回りに45°刻みで315°までの8方向の各々に対応付けて、その方向に正位相の指向特性を有し、かつ、その方向と180°反対方向に負位相の指向特性を有する双指向特性(図2(c)参照)を再現する際に各アンプ220へ設定するべき増幅率が書き込まれた指向特性管理テーブル(図11参照)を、図3に示す指向特性管理テーブルに代えて記憶部250に記憶させておくようにしても良い。このようにすると、上記各双指向特性が設定された送信端末によって収音された音と等価な音を受信端末に接続されたスピーカから放音させることが可能になる。 【0050】 (7)上述した実施形態では、ユーザにより指定された方向に対応する増幅率を指向特性管理テーブルから読み出して各アンプ220に設定することによって、その方向に指向軸を有する単一指向性を再現する場合について説明した。しかしながら、各マイクロホン110の出力信号から音源方向を特定し、その音源方向に指向軸を有する単一指向性を自動設定するように変形することも可能である。 【0051】 図12は、指向特性の自動設定が可能な受信端末900の構成例を示すブロック図である。図12に示す受信端末900の構成が受信端末800の構成(図7参照)と異なっている点は、制御部870に替えて制御部970を設けた点と、アンプ920a、920xおよび920y(これら3つのアンプの各々を区別する必要がない場合は、「アンプ920」と表記する)と加算器930とを有している点である。なお、図12においては、受信端末800と同一の構成要素については同一の符号が付されている。 【0052】 図12に示す受信端末900においては、通信IF部810から出力される3つの音声データは各々2分流され、一方は該当するアンプ220へ供給され、他方は該当するアンプ920へ供給される。具体的には、マイクロホン110xにより収音された音を表す音声データは、アンプ220xとアンプ920xへ供給される。そして、各アンプ920は、通信IF部810から供給された音声データを、制御部970によって設定された増幅率で増幅し加算器930へ出力し、加算器930は、各アンプ920から引き渡された音声データを加算して制御部970へ引き渡すように構成されている。 そして、制御部970のROM(図示省略)には、本変形例に特徴的な指向特性設定処理を制御部970のCPUに実行させる制御プログラムが記憶されており、制御部970のCPUは、この制御プログラムを実行することによって、図13に示す指向特性設定処理を実行する。また、上記ROMには、音源方向の判別を実行するべきタイミング(例えば、受信端末900の電源投入時点とその時点を起算点として所定時間が経過する毎)を示すタイミングデータも書き込まれている。 【0053】 より詳細に説明すると、制御部970のCPUは、受信端末900の電源(図示省略)が投入されると上記制御プログラムをROMから読み出し、RAMをワークエリアとして利用しつつ、これを実行する。図13は、上記制御プログラムにしたがって作動している制御部970が実行する指向特性設定処理の流れを示すフローチャートである。 図13に示すように、制御部970は、前述した制御部270や制御部870と同様に、初期化処理(ステップSA100)および通信コネクション確立処理(ステップSA110)を実行し、その後、音源方向を判別する必要があるか否かをROMに予め記憶されているタイミングデータにしたがって判定する(ステップSC100)。 以降、制御部970は、ステップSC100の判定結果が“Yes”になるまでステップSC100の処理を繰り返し実行し、その判定結果が“Yes”になると、方向パラメータφの初期化を行う(ステップSC110)。具体的には、制御部970は、方向パラメータφに0°を示す値を設定する。 【0054】 次いで、制御部970は、その時点の方向パラメータφに応じた増幅率を指向特性管理テーブル(図3参照)から読み出してアンプ920へ設定する(ステップSC120)。その結果、加算器930から出力される音声データは、上記方向パラメータφで示される方向に指向軸を有する単一指向性が設定された送信端末により収音された場合と等価な音声データになる。このようにして加算器930から出力される音声データを受取った制御部970は、その音声データの表す音声信号の信号強度を計測し、その計測結果をその時点の方向パラメータφに対応付けてRAMへ書き込む(ステップSC130)。なお、本変形例(7)では、加算器930から出力される音声データをそのまま制御部970へ引き渡す場合について説明したが、所定の通過域を有するバンドパスフィルタを介して制御部970へ引き渡すようにしても良い。例えば、人間の音声帯域と等しい通過域を有するバンドパスフィルタを用いるようにすれば、人間の音声以外の雑音による影響を排除することが可能になる。 【0055】 次いで、制御部970は、方向パラメータφに所定の角度(本実施形態では45°)を示す値を加算し(ステップSC140)、全方位について信号強度の計測を完了したか否かを方向パラメータφの値に基づいて判定する(ステップSC150)。具体的には、制御部970は、方向パラメータφの値が360°を示す値である場合には、全方位について信号強度の計測を完了したと判定する。 そして、制御部970は、ステップSC150の判定結果が“Yes”である場合には、ステップSC160以降の処理を実行し、逆に、ステップSC150の判定結果が“No”である場合には、ステップSC120以降の処理を繰り返し実行する。その結果、本実施形態においては、0°から45°刻みで315°までの8方向の各々について上記信号強度がRAMに記憶されることになる。 【0056】 ステップSC150の判定結果が“Yes”である場合に後続して実行されるステップSC160においては、制御部970は、RAMに記憶されている方向パラメータφのうち、最大の信号強度に対応付けられているものを音源方向を表す方向パラメータとして特定する。そして、制御部970は、ステップSC160にて特定した方向パラメータφに対応する増幅率を指向特性管理テーブルから読み出して各アンプ220へ設定し(ステップSC170)、さらに、その方向の画像を表示部に表示させる(ステップSC180)。 以降、制御部970は、本指向特性設定処理の終了を指示されたか否かを判定し(ステップSC190)、その判定結果が“No”である場合には、ステップSC100以降の処理を繰り返し実行する一方、その判定結果が“Yes”である場合には、制御部270や制御部870と同様に通信コネクションの切断を行い(ステップSA140)、本指向特性設定処理を終了する。 以上に説明した動作が為される結果、受信端末900においては、上記タイミングデータにより示されるタイミング毎に、信号強度が最大になる方向(すなわち、目的音の音源方向)に指向軸を有する単一指向性が設定され、その単一指向性を設定して収音した場合と等価な音が受信端末900に接続されているスピーカから放音されるとともに、その指向軸方向の画像が受信端末900の表示部に表示されることになる。なお、ステップSC120〜ステップSC160までの音源方向の探索処理では、アンプ220とは別個のアンプ920の増幅率を変化させているため、この探索処理の実行過程においても、受信端末900に接続されているスピーカから放音される音の指向特性に何らの影響も生じない。 【0057】 また、本変形例(7)では、記憶部250に図3に示す指向特性管理テーブルを記憶させておく場合について説明したが、図3および図11に示す指向特性管理テーブルの両者を記憶部250に記憶させておき、上記ステップSC120においては図3に示す指向特性管理テーブルを参照して各アンプ920の増幅率を設定して音源方向の探索を行い、音源方向として1つの方向が特定された場合には、ステップSC170にて図3に示す指向特性管理テーブルを参照して各アンプ920の増幅率を設定し(すなわち、単一指向特性を設定する)、音源方向として対向する2つの方向(例えば、45°方向と225°方向)が特定された場合には、図11に示す指向特性管理テーブルを参照して各アンプ920の増幅率を設定する(すなわち、それら両方向に指向特性を有する双指向特性を設定する)ようにしても良い。このようにすると、1人の会議参加者が発言している場合には、その会議参加者の方向に指向軸を有する単一指向特性が設定され、その会議参加者と対峙している会議参加者との間で議論が始まった場合には、上記議論を行っている両参加者の方向に指向特性を有する双指向特性に自動的に切り換えられることになる。 【0058】 (8)上述した実施形態では、本発明に係る受信端末に特徴的な機能をソフトウェアモジュールにより実現する場合について説明したが、ハードウェアモジュールにより実現するとしても良いことは勿論である。また、上述した実施形態では、本発明に係る受信端末に特徴的な処理を制御部のCPUに実行させる制御プログラムをその制御部のROMに予め書き込んでおく場合について説明したが、CD−ROM(Compact Disk-Read Only Memory)やDVD(Digital Versatile Disk)などのコンピュータ装置読み取り可能な記録媒体に上記制御プログラムを記録して配布するとしても良く、インターネットなどの電気通信回線経由のダウンロードにより上記制御プログラムを配布するようにしても勿論良い。 【図面の簡単な説明】 【0059】 【図1】本発明の第1実施形態に係る音声通信システム10の構成例を示すブロック図である。 【図2】マイクロホン110a、110xおよび110yの各々の指向特性を説明するための図である。 【図3】記憶部250に記憶されている指向特性管理テーブルの一例を示す図である。 【図4】受信端末200のUI部260に表示される指向特性指定画面を示す図である。 【図5】同音声通信システムの使用例を示す図である。 【図6】制御部270のCPUが制御プログラムにしたがって行う指向特性設定処理の流れを示すフローチャートである。 【図7】本発明の第2実施形態に係る音声通信システム20の構成例を示すブロック図である。 【図8】受信端末800のUI部260に表示される指向特性指定画面を示す図である。 【図9】制御部870のCPUが制御プログラムにしたがって行う指向特性設定処理の流れを示すフローチャートである。 【図10】受信端末800のUI部260に表示される指向特性指定画面の一例を示す図である。 【図11】記憶部250に記憶されている指向特性管理テーブルの一例を示す図である。 【図12】変形例(7)に係る音声通信システム30の構成例を示すブロック図である。 【図13】制御部970のCPUが制御プログラムにしたがって行う指向特性設定処理の流れを示すフローチャートである。 【符号の説明】 【0060】 10、20…音声通信システム、100…送信端末、110,110a,110x,110y…マイクロホン、120,120a,120x,120y…A/D変換器、130,210,730,810…通信IF部、200,200A,200B,800,800A,800B、900…受信端末、220,220a,220x,220y、920、920a、920x、920y…アンプ、230、930…加算器、240…D/A変換器、250…記憶部、260…UI部、270,870、970…制御部。
|
| 【出願人】 |
【識別番号】000004075 【氏名又は名称】ヤマハ株式会社
|
| 【出願日】 |
平成18年9月8日(2006.9.8) |
| 【代理人】 |
【識別番号】100098084 【弁理士】 【氏名又は名称】川▲崎▼ 研二
|
| 【公開番号】 |
特開2008−67178(P2008−67178A) |
| 【公開日】 |
平成20年3月21日(2008.3.21) |
| 【出願番号】 |
特願2006−244320(P2006−244320) |
|