トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 プライバシー保護機能を備えた通訳システム
【発明者】 【氏名】大西 清
【要約】 【課題】ネットワークを利用した画像及び音声による手話通訳又は外国語通訳サービスを提供するシステムにおいて、通話者のプライバシー保護を十分に図ることのできる簡易な構成の通訳システムを提供する。

【構成】レンズフィルタや赤外線照射機能を使用して通話者の実像の一部を画像として取り込まないようにする手段と、取り込んだ画像を簡便な手段により加工処理する処理手段と、通信データは利用者及び通訳者の所在地から遠隔地の記憶装置に格納されるように手段とを組み合わせることにより通話者のプライバシー保護を図る。
【特許請求の範囲】
【請求項１】
映像及び音声により手話通訳又は外国語通訳サービスを提供する通訳システムにおいて、サービス提供を希望する利用者が使用する利用者端末装置と、サービスセンタ内に設置され通訳者が使用する通訳者端末装置とがネットワークを介して接続され、各端末装置が画像データ及び音声データを双方向に送受信することにより通訳サービスを提供する通訳システムであって、該システム内に利用者又は通訳者のプライバシーをするプライバシー保護手段を備えたことを特徴とする通訳システム。
【請求項２】
前記各端末装置は、画像入力部、音声入力部、画像データ及び音声データの送受信装置、画像及び文字情報の表示部、音声出力部から構成され、プライバシー保護手段として画像データを加工処理する画像処理手段又は音声データを加工処理する音声処理手段のうち少なくとも１つの処理手段を備えていることを特徴とする請求項１記載の通訳システム。
【請求項３】
プライバシー保護手段として、画像入力部が、通話者の実像の一部を画像として取り込まない機能を有していることを特徴とする請求項１〜２記載の通訳システム。
【請求項４】
請求項３の通話者の実像の一部を画像として取り込まない機能として、画像入力部が所定範囲に濃淡色や黒色等が施されたレンズフィルタを備えていることを特徴とする請求項３記載の通訳システム。
【請求項５】
請求項３の通話者の実像の一部を画像として取り込まない機能として、画像入力部が赤外線照射機能を備えていることを特徴とする請求項３記載の通訳システム。
【請求項６】
プライバシー保護手段として、画像入力部から取得した画像から、通話者の顔と各パーツを検出する顔領域検出手段と、検出された顔領域に基づく基準点を設定する設定手段とを有するとともに、画像取得後即座に基準点から一定範囲もしくは顔のパーツの少なくとも１つを削除する画像処理手段を設けたことを特徴とする請求項１〜５記載の通訳システム。
【請求項７】
プライバシー保護手段として、請求項６において削除された部分に、予め格納されている第三者の顔の同部分又は同パーツの画像又はＣＧ画像であって、削除された範囲よりサイズの小さい画像を貼り付ける画像処理手段を設けたことを特徴とする請求項６記載の通訳システム。
【請求項８】
プライバシー保護手段として、画像入力部から取得された画像に反転等の特殊効果を施す画像処理手段を設け、特殊効果による不鮮明な影像を送受信することを特徴とする請求項１〜７記載の通訳システム。
【請求項９】
プライバシー保護手段として、各端末装置の音声入力部に、取得した音声を加工処理する音声フィルタを設け、通話者の音声を加工処理して送受信することを特徴とする請求項１〜８記載の通訳システム。
【請求項１０】
プライバシー保護手段として、請求項１の通訳システムは、ネットワークを介して接続された利用者及び通訳者の情報を格納する記憶装置と通訳サービスを管理する管理サーバとを有し、該管理サーバにより、利用者端末装置及び通訳者端末装置がその設置されている地域に応じてそれぞれエリア分けされ、第１エリアに属する利用者端末装置からの送信は、地理的に遠隔地にある第２エリアに属する通訳者端末装置が受信するとともに、利用者及び通訳者の情報や通信データが第１及び第２エリア以外の第３エリアに属する記憶装置に格納されることを特徴とする請求項１〜９記載の通訳システム。
【請求項１１】
各端末装置は通話者の顔を検出する顔領域検出手段を有し、該顔領域検出手段によって検出された顔領域が予め設定された座標範囲から外れた場合に、画像入力部の設定が初期設定に切り替わり、再度画像取得が行われることを特徴とする請求項１〜８記載の通訳システム。
【請求項１２】
通訳者端末装置は、通訳内容を確認したかどうかの信号を送信する確認信号送信手段を備え、利用者端末装置は、前記確認信号に対して内容を理解したかどうかの返答をする返答信号送信手段を備えたことを特徴とする請求項１〜１１記載の通訳システム。
【請求項１３】
各端末装置は文字情報入力手段を備え、該文字情報入力手段から文字情報が入力された場合、受信側端末装置の表示部に該文字情報を表示することを特徴とする請求項１〜１２記載の通訳システム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、ネットワークを介して接続された端末装置を利用した手話通訳又は外国語通訳サービスにおいて、通話者のプライバシーを保護するための機能を備えた通訳システムに関する。
【背景技術】
【０００２】
従来、遠隔地間の通信では大容量のデータを高速で送信することが困難であったため、鮮明な画像の送受信ができず、ろうあ者本人やろうあ者と会話する者に対して、遠隔地から手話サービスを提供することはできなかった。また、遠隔地から外国語通訳サービスを提供するシステムはあったが、画質の悪いテレビ電話等による通訳サービスではなく、電話等による音声での通訳サービスが一般的であった。
【０００３】
しかし、ネットワークを介した通信技術の発達によって鮮明な画像の送受信が可能になり、テレビ電話等の画像と音声を双方向で送受信できる端末装置を使用したコミュニケーションが行われるようになったことで、最近では、テレビ電話等の端末装置を使用した遠隔地での手話通訳又は外国語通訳を提供するサービスも提案されるようになった。
【０００４】
ところが、テレビ電話等の端末装置を使用した通訳サービスの提供は、利用者や通訳者の映像がそのまま表示されたり、そのデータがそのまま保管されたりすることから、利用者及び通訳者のプライバシーが十分に保護されないという問題が生じている。
【０００５】
そこで、利用者や通訳者のプライバシーを保護するため、通話者の実画像に代えてキャラクタ画像やアニメーション画像等の代理画像を表示するテレビ電話装置や通訳システムが提案されている。
【特許文献１】特開２００３−３７８２６号公報
【特許文献２】特開２００３−１６４７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、通話者の実画像をアニメーション等の代理画像に変換する場合、通話者の実映像が伝送されないため匿名性は高いといえるが、通話者の表情や口の動き、手の動きを十分に表現することは困難である。特に、手話通訳において、口と手の動きは重要であり、これを忠実に代理画像で表現することは困難である。
【０００７】
また、カメラを通して取り込まれた実映像のデータがシステム内に長く保持されてしまうという問題もある。これは、感情を観察するために常に顔の表情をモニターする必要があり、データ収集と分析が通訳サービス提供時に同時に行われなければならないからである。
【０００８】
さらに、これらの装置及びシステムは大量のデータ処理が必要となり、装置及びシステム構成が複雑化するとともに、スムーズな通信が困難になるという問題がある。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、ネットワークを介して接続されるテレビ電話等を利用した映像及び音声による通訳システムにおいて、通話者のプライバシーを十分保護しつつも、スムーズで確実な通訳サービスを提供することのできる簡便な通訳システムを提供することである。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明は、映像及び音声により手話通訳又は外国語通訳サービスを提供する通訳システムにおいて、サービス提供を希望する利用者が使用する利用者端末装置と、サービスセンタ内に設置され通訳者が使用する通訳者端末装置とがネットワークを介して接続され、各端末装置が画像データ及び音声データを双方向に送受信することにより通訳サービスを提供する通訳システムであって、該システム内に利用者又は通訳者のプライバシーを保護するプライバシー保護手段を備えたことを特徴とする。
【００１１】
前記各端末装置は、画像入力部、音声入力部、画像データ及び音声データの送受信装置、画像及び文字情報の表示部、音声出力部から構成され、プライバシー保護手段として画像データを加工処理する画像処理手段又は音声データを加工処理する音声処理手段のうち少なくとも１つの処理手段を備えていることを特徴とする。
【００１２】
前記プライバシー保護手段として、画像入力部が通話者の実像の一部を画像として取り込まない機能を有していることを特徴とする。これにより、送信データ容量を少なくしてスムーズな通信を可能とすることができる。
【００１３】
前記通話者の実像の一部を画像として取り込まない機能として、画像入力部が所定範囲に濃淡色や黒色等が施されたフィルタレンズを備えていることを特徴とする。
【００１４】
前記通話者の実像の一部を画像として取り込まない機能として、画像入力部が赤外線照射機能を備えていることを特徴とする。
【００１５】
プライバシー保護手段として、画像入力部から取得した画像から、通話者の顔と各パーツを検出する顔領域検出手段と、検出された顔領域に基づく基準点を設定する設定手段とを有するとともに、画像取得後即座に基準点から一定範囲もしくは顔のパーツの少なくとも１つを削除する画像処理手段を設けたことを特徴とする。
【００１６】
プライバシー保護手段として、請求項６において削除された部分に、予め格納されている第三者の顔の同部分又は同パーツの画像又はＣＧ画像であって、削除された範囲よりサイズの小さい画像を貼り付ける画像処理手段を設けたことを特徴とする。
【００１７】
プライバシー保護手段として、画像入力部から取得された画像に反転等の特殊効果を施す画像処理手段を設け、特殊効果による不鮮明な影像を送受信することを特徴とする。
【００１８】
プライバシー保護手段として、各端末装置の音声入力部に、取得した音声を加工処理する音声フィルタを設け、通話者の音声を加工処理して送受信することを特徴とする。
【００１９】
プライバシー保護手段として、ネットワークを介して接続された利用者及び通訳者の情報を格納する記憶装置と通訳サービスを管理する管理サーバとを有し、該管理サーバにより、利用者端末装置及び通訳者端末装置がその設置されている地域に応じてそれぞれエリア分けされ、第１エリアに属する利用者端末装置からの送信は、地理的に遠隔地にある第２エリアに属する通訳者端末装置が受信するとともに、利用者及び通訳者の情報や通信データが第１及び第２エリア以外の第３エリアに属する記憶装置に格納されることを特徴とする。
【００２０】
各端末装置は通話者の顔を検出する顔領域検出手段を有し、該顔領域検出手段によって検出された顔領域が予め設定された座標範囲から外れた場合に、画像入力部の設定が初期設定に切り替わり、再度画像取得が行われることを特徴とする。
【００２１】
通訳者端末装置は、通訳内容を確認したかどうかの信号を送信する確認信号送信手段を備え、利用者端末装置は、前記確認信号に対して内容を理解したかどうかの返答をする返答信号送信手段を備えたことを特徴とする。
【００２２】
各端末装置は文字情報入力手段を備え、該文字情報入力手段から文字情報が入力された場合、受信側端末装置の表示部に該文字情報を表示することを特徴とする。
【発明の効果】
【００２３】
本発明の通訳システムによれば、通話者の実映像をそのまま表示せず、顔の画像の一部や音声を加工処理して送受信することで通話者のプライバシーを保護するとともに、通話者の口や手の動きはそのまま表示することで、映像を十分に活用した通訳サービスを提供することが可能である。
【００２４】
また、通話者の実映像は、その一部が不鮮明な状態又は削除された状態で取得されるか、取得後すぐに画像処理されるために、通話者の実映像がシステム内に保管されることはなく、通話者のプライバシーを十分に保護することが可能である。
【００２５】
また、利用者からの通信は距離的に遠い他エリアの通訳者端末装置が受信するとともに、その利用者及び通訳者の通信情報は、それ以外の第三のエリアに属する記憶装置に蓄積されるために、通話者のプライバシーの保護を十分に図ることが可能である。
【００２６】
本発明の通訳システムは、簡易な構成により構築されるため、端末装置及び通訳サービスを安価に提供することができるとともに、画像の加工処理は削除等の簡単なものであるため、通信データが大きくなることはないため、スムーズな双方向コミュニケーション、すなわちスムーズな通訳サービスを提供することが可能である。
【発明を実施するための最良の形態】
【００２７】
図1は、本発明の実施の形態に係る通訳システムの概略を示した図であり、本発明の通訳システムは、少なくとも１台の利用者端末装置２と、少なくとも１つのサービスセンタ３を備え、これらはネットワーク１を介して接続されている。
【００２８】
図２は、各端末装置の構成を示した図である。利用者端末装置２は、通訳サービスの提供を受ける者が使用する端末装置であり、商店や役所の窓口等の通訳が必要とされる場所やろうあ者や外国人の自宅等に設置される。該利用者端末装置２を使用して、ろうあ者又は外国人本人や窓口等でろうあ者又は外国人に対応する者が通訳サービスの提供を受けることができる。
【００２９】
利用者端末装置２は、画像入力部１１、音声入力部１２、表示部１３、音声出力部１４、画像処理部１５、音声処理部１６、送受信部１７、返答信号送信部１８、文字情報入力部１９を備えている。画像入力部１１は利用者の映像を取り込むカメラ等であり、音声入力部１２は利用者の音声を取り込むマイク等である。音声処理部１６は取得した通話者の音声を加工処理するものである。表示部１３は通訳者端末装置４から送信された画像と文字情報等を表示するものである。返答信号送信部１８は通訳者端末装置４から送信された通訳内容を理解したかどうかの確認信号に対して、理解したか否かを返答する返答信号を送信するものである。文字情報入力部１９は、例えばキーボードやスキャナー等であり、キーボードで打たれた文字又はスキャナーで読み込まれた書類の画像を取り込むものである。
【００３０】
サービスセンタ３は、サーバ５と、記憶装置６と、複数の通訳者端末装置とを備えている。サービスセンタ３には通訳者が常駐しており、通訳者は通訳者端末装置4を使用して通訳サービスを提供する。サーバ５は、利用者端末装置２からの通信を任意の通訳者端末装置４に接続させるものであり、記憶装置６は、利用者及び通訳者の地域や性別等の各種情報や画像データ及び音声データを含む通信情報を記憶するものである。
【００３１】
通訳者端末装置４は、画像入力部２１、音声入力部２２、画像出力部２３、音声出力部２４、画像処理部２５、音声処理部２６、送受信装置２７、確認信号送信部２８、文字情報入力部２９を備えている。確認信号送信部２９は通訳した内容を利用者が理解したかどうかの確認を求める信号を送信するものである。その他は利用者端末装置２と同様の構成である。
【００３２】
尚、利用者端末装置２には、通訳サービスの提供を受ける旨のサービス要求送信手段を設け、希望する通訳サービスが手話通訳であるか又は外国語通訳であるか、外国語通訳であればいずれの言語であるかを指定してサービス要求を行い、管理サーバ５が、該サービス要求信号に基づいて、通訳可能な通訳者のいる通訳者端末装置４と利用者端末装置２を通信接続して通訳サービスを開始する構成としてもよい。
【００３３】
次に、各端末装置の画像処理部１５及び２５における取得画像の画像処理について説明するが、各端末装置は同様の処理を行うことから、ここでは利用者端末装置２に基づいて説明する。
【００３４】
図４は取得された画像の処理を示すフローチャートである。まず、通話者の画像は画像入力部１１から読み込まれる（ステップ１０１）。取り込まれた画像からは、顔領域検出手段により顔の領域と顔の各パーツが検出される（ステップ１０２）。次に検出できたか否かを判断し（ステップ１０３）、検出できなかった場合にはステップ１０１に戻り、再度画像取り込みが行われる。検出できた場合は、例えば目の中間点等を基準点として記録する（ステップ１０４）。次に、該基準点に基づいて画像処理がなされる（ステップ１０５）。基準点が予め設定された画面上の座標範囲内にある場合には画像データの送信がなされるが、座標範囲内を外れた場合には、画像の送信が中断されてステップ１０１に戻り、再度画像取得がなされる（ステップ１０６）。通話中は、以上の処理が繰り返しなされる。
【００３５】
図５は実画像をそのまま取得した場合の表示画面３０を示した図であり、図６は上記ステップ１０５の画像処理後の表示画面３０を示した図である。この画像処理は、検出された顔領域と、顔の各パーツ、設定された中心座標に基づいて、顔の一部、例えば目の部分を削除して、削除された白色の削除部分３２に、予め格納されている第三者の同部分の画像３３を貼り付けるものである。貼り付けられる画像３３は削除部分３２よりもサイズが小さい画像とすることで、実画像と画像３３との間には白色の境界が設けられるため、これを見る者は画像３３と顔全体を合成し難く、通話者が誰であるかを判別し難くすることができる。
【００３６】
図８は画像入力部１１に装着するレンズフィルタ３１と、この場合に取り込まれる画像を示した図である。レンズフィルタ３１は、所定範囲、例えば図に示すように上部分が黒色や濃淡色が施されたものであり、画像処理部に代えて、あるいは画像処理部に加えて画像入力部１１にレンズフィルタ３１を装着することで、通話者の顔の所定部分、例えば目から上の部分を画像として取り込まないようにすることができる。
【００３７】
図９はレンズフィルタ３１に代えて、画像入力部１１に赤外線照射機能を設けた場合の取得画像を示す図であり、通話者の所定部分に遠赤外線を照射することにより、照射された部分３４は白色となるため、実画像として取り込まれない。
【００３８】
図７は、画像入力部１１及び２１が、レンズフィルタや赤外線照射機能を備えた場合の画像取得について示すフローチャートである。利用者端末装置２と通訳者端末装置４は同様の処理を行うことから、利用者端末装置２に基づいて説明する。まず、通話者の画像は画像入力部１１から読み込まれる（ステップ２０１）。このとき、レンズフィルタ３１又は赤外線の照射により、画像の一部は実画像として取得されない。次に、映像として表示させたく部分が、表示されていない（削除されている）状態で、このときの目の中間点等を基準点として記録する（ステップ２０２）。該基準点が予め設定された画面上の座標範囲内にある場合には画像データの送信がなされるが、座標範囲内を外れた場合には、画像の送信が中断されてステップ２０１に戻り、再度画像取得がなされる（ステップ２０３）。
【００３９】
このように、通話者の顔の一部等の実画像の一部を含まない状態で画像を取り込むことにより、通話者の顔がそのまま端末装置内に保持される心配もなく、また、実画像をそのまま取得した後に画像処理して送信する場合に比べて、画像データ容量が少なくてすむのでスムーズな通信が可能となる。
【００４０】
また、レンズフィルタや赤外線照射機能を使用して実像の一部を含まない状態で画像を取り込んだ後、取得画像にエフェクト処理等を行えば、通話者の匿名性をさらに高めることが可能である。
【００４１】
各端末装置はそれぞれ音声処理部１６及び２６を有し、音声入力部１２及び２２から入力された通話者の音声を加工処理して送信する構成としてもよく、また、通話者の音声をそのまま送信して相手の端末装置において音声を加工処理して音声出力部１３又は２３から加工処理された音声を出力する構成としてもよい。
【００４２】
図３は、利用者端末装置２とサービスセンタ３の通信関係と、その通信情報が格納される記録装置との関係を示す図である。利用者端末装置２及び通訳者端末装置４は設置される地域に応じて、エリア１、エリア２・・・のようにそれぞれエリア分けされ、第１エリアに属する利用者端末装置からの送信は、地理的に遠隔地にある第２エリアに属する通訳者端末装置が受信するとともに、利用者及び通訳者の情報や通信データが第１及び第２エリア以外の第３エリアに属する記憶装置に格納される。例えば、エリア１に属する利用者端末装置２から送信があった場合、管理サーバ５による通信管理により、その送信はエリア１とは地理的遠隔地であるエリア３に属するサービスセンタ３内の通訳者端末装置４が受信する。そして、その通信データは、エリア１とエリア２以外のエリア６に属するサービスセンタ３内の記憶装置６に格納される。
【００４３】
このように、利用者に対して地理的遠隔地にいる通訳者が通訳を行うことで、利用者と通訳者が同じ地域にならないようにし、さらに、その通信データが別のエリアに格納保持されることで、十分なプライバシーの保護を図ることが可能となる。
【００４４】
管理サーバ５による通信管理としては、利用者端末装置２から送信される電話番号情報に基づいて、地理的遠隔地のエリアに属する通訳者端末装置４に接続することが考えられるが、他の情報に基づいて通信管理することも可能である。
【００４５】
本発明の通訳システムは、上記した種々のプライバシー保護手段を組み合わせることにより、利用者が段階的なプライバシー保護レベルを選択することが可能である。
【図面の簡単な説明】
【００４６】
【図１】本発明の一実施形態の構成を示すブック図である。
【図２】本発明に係る各端末装置の構成を示した図である。
【図３】本発明に係る利用者端末装置とサービスセンタの通信関係及び通信情報が格納される記録装置との関係を示す図である。
【図４】取得画像の処理を示すフローチャートである。
【図５】実画像をそのまま取得した場合の表示画面を示した図である。
【図６】画像処理後の表示画面を示した図である。
【図７】実画像の一部を含まない状態で画像を取り込むこと場合の画像取得について示すフローチャートである
【図８】本発明に係るレンズフィルタとその表示画面を示した図である。
【図９】本発明に係る赤外線照射機能を設けた場合の取得画像を示す図である。
【符号の説明】
【００４７】
１ ネットワーク
２ 利用者端末装置
３ サービスセンタ
４ 通訳者端末装置
５ 管理サーバ
６ 記憶装置
１１、２１ 画像入力部
１２、２２ 音声入力部
１３、２３ 表示部
１４、２４ 音声出力部
１５、２５ 画像処理部
１６、２６ 音声処理部
１７、２７ 送受信部
１８ 返答信号送信部
１９、２９ 文字情報入力部
２８ 確認信号送信部
【出願人】 【識別番号】３０６０１８２０６
【氏名又は名称】大西 清
【出願日】 平成１８年８月３１日（２００６．８．３１）
【代理人】 【識別番号】１０００９７３６４
【弁理士】
【氏名又は名称】柿崎 喜世樹
【公開番号】 特開２００８−６０８６４（Ｐ２００８−６０８６４Ａ）
【公開日】 平成２０年３月１３日（２００８．３．１３）
【出願番号】 特願２００６−２３４７００（Ｐ２００６−２３４７００）