トップ :: A 生活必需品 :: A61 医学または獣医学;衛生学




【発明の名称】 視覚的に聴覚を補助するシステムおよび方法並びに視覚的に聴覚を補助するための制御プログラムを記録した記録媒体
【発明者】 【氏名】中村 章

【氏名】藤井 真人

【氏名】都木 徹

【氏名】曽根原 源

【氏名】井口 和久

【氏名】野尻 裕司
【要約】 【課題】唇の動きや手話を表現した映像を音声情報に併せて自動的に高品質に合成し、マルチモーダル的に提示すること。

【解決手段】予め唇の動きや手話の動きを撮影した映像を、単音節、あるいは単語、あるいは文章にごとに動画素片データベース部４に収録しておき、テキスト文作成部３から供給されるテキストに対応して動画素片検出部５により動画素片データベース部４から該当の動画素片を検出し、検出したこれら動画素片を基に動きベクトル検出系６、７、８により個々の動画素片の接合部分における映像の動きベクトルを検出し、フィールド内挿部９により個々の動画素片の接合部分において内挿するフィールド枚数と内挿位置を、映像の動きべクトルを基に可変にすることで、動画素片を映像の流れに自然性を保ったまま、スムーズにつなぎ合わせ合成する。合成した動画と音声出力との同期も行う。
【特許請求の範囲】
【請求項１】 予め唇の動きや手話の動きなどの視覚情報を撮影した映像を、単音節、あるいは単語、あるいは文章ごとにそれぞれ動画素片としてデータベース化して収録した動画素片記憶手段と、音声入力または文字入力に応じてテキスト文を作成するテキスト文作成手段と、該テキスト文作成手段から入力する前記テキスト文に対応して前記動画素片記憶手段に収録された前記動画素片の中から必要な動画素片を選択する動画素片検索手段と、該動画素片検索手段で選択された各動画素片の接合部分の映像の動きべクトルを検出する動きベクトル検出手段と、該動きベクトル検出手段で検出された前記動きベクトルを基に、前記動画素片検索手段で選択された各動画素片をフィールド内挿処理により映像の流れに自然性を保ったまま、つなぎ合わせて一連の動画を合成するフィールド内挿手段とを具備することを特徴とする視覚的に聴覚を補助するシステム。
【請求項２】 前記テキスト文作成手段は、音声信号を認識して文字コードを生成する音声認識手段を有することを特徴とする請求項１に記載の視覚的に聴覚を補助するシステム。
【請求項３】 前記動画素片記憶手段に予め蓄えられた単音節、単語、もしくは文章等を発声した唇の動き、または手話映像を表した動画素片に対応した音声をそれぞれ音声素片としてデータベース化して予め蓄えた音声素片記憶手段と、前記動画素片記憶手段の中から前記動画素片検索手段により選択された各動画素片に対応した音声素片を前記音声素片記憶手段に蓄えられている音声素片の中から選択する音声素片検索手段と、該音声素片検索手段で選択された前記音声素片をつなぎ合せた一連の合成音声を、前記フィールド内挿手段から出力する前記動画素片をつなぎ合せた一連の動画に同期させて出力させる音声映像同期手段とを有することを特徴とする請求項１または２に記載の視覚的に聴覚を補助するシステム。
【請求項４】 前記音声素片検索手段で選択された複数の音声素片を接続して合成音声を生成する際に、各該音声素片を接続する際の不連続による音質劣化を防ぎ原音声の持っている自然性や個人性に影響を与えずにイントネーションやアクセント等を付加して音声の合成を行う音声合成手段を前記音声素片検索手段の後段に有することを特徴とする請求項３に記載の視覚的に聴覚を補助するシステム。
【請求項５】 前記フィールド内挿手段は、前記動きベクトル検出手段で検出された各動画素片の接合部分の映像の動きべクトルを基に、各動画素片に内挿するフィールドの枚数と内挿位置を可変にすることで、動画素片のつなぎ合わせ部分をスムーズにすることを可能とすることを特徴とする請求項１ないし４のいずれかに記載の視覚的に聴覚を補助するシステム。
【請求項６】 前記フィールド内挿手段は、個々の動画素片の接合部分の映像の流れに自然性を保たせるため、隣り合う動画素片の接合部分に内挿する幾枚かのフィールドの枚数に対応して、該動画素片の隣と隣接しない中間部分においてフィールド数を減じる内挿を行い、全体のフィールド数を一定に保つことを可能とすることを特徴とする請求項５に記載の視覚的に聴覚を補助するシステム。
【請求項７】 前記フィールド内挿手段は、唇の動きを表した一連の動画を合成する際、映像の内挿位置を原画と比べて映像と音声のズレを人の検知限の範囲内に設定することにより、一連の動画と音声のタイミングのズレをリップシンクの検知限以下に抑えることを可能とすることを特徴とする請求項５または６に記載の視覚的に聴覚を補助するシステム。
【請求項８】 予め唇の動きや手話の動きなどの視覚情報を撮影した映像を、単音節、あるいは単語、あるいは文章ごとにそれぞれ動画素片として記憶手段に収録しておき、入力される音声情報やテキストに対応させて、前記記憶手段から読み出した複数の前記動画素片を映像の流れに自然性を保ったまま、つなぎ合わせて一連の視覚情報の動画を合成することを特徴とする視覚的に聴覚を補助する方法。
【請求項９】 音声情報に併せて、自動的に唇の動きを表した映像や手話を表現した映像などの視覚情報をマルチモーダル的に提示することを特徴とする請求項８に記載の視覚的に聴覚を補助する方法。
【請求項１０】 前記記憶手段に予めデータべース化してある前記動画素片の中から、必要な動画素片を選択し、選択した各動画素片の接合部分の映像の動きべクトルを基に、該動画素片を自然性を保ったまま、つなぎ合わせて一連の動画を合成することを特徴とする請求項８または９に記載の視覚的に聴覚を補助する方法。
【請求項１１】 前記記憶手段から選択した前記動画素片を基に一連の動画を生成する際に、個々の動画素片の接合部分において内挿するフィールド数について、各動画素片の接合部分の映像の動きべクトルを基に、内挿する枚数と内挿位置を可変にすることで、つなぎ合わせ部分をスムーズにすることを可能とすることを特徴とする請求項１０に記載の視覚的に聴覚を補助する方法。
【請求項１２】 前記記憶手段から選択した前記動画素片を基に一連の動画を生成する際に、個々の動画素片の接合部分の映像の流れに自然性を保たせるため、隣り合う動画素片の接合部分に内挿する幾枚かのフィールドの枚数に対応して、該動画素片の隣と隣接しない中間部分において、フィールド数を減じる内挿を行い、全体のフィールド数を一定に保つことを可能とすることを特徴とする請求項１１に記載の視覚的に聴覚を補助する方法。
【請求項１３】 唇の動きを表した一連の動画を合成する際、映像の内挿位置を原画と比べて映像と音声のズレを人の検知限の範囲内に設定することにより、一連の動画と音声のタイミングのズレをリップシンクの検知限以下に抑えることを可能とすることを特徴とする請求項１１または１２に記載の視覚的に聴覚を補助する方法。
【請求項１４】 コンピュータによって視覚的に聴覚を補助するための制御プログラムを記録した記録媒体であって、該制御プラグラムはコンピュータに、予め唇の動きや手話の動きなどの視覚情報を撮影した映像を、単音節、あるいは単語、あるいは文章ごとにそれぞれ動画素片としてデータベース化して動画素片記憶手段に予め収録させ、音声入力または文字入力に応じてテキスト文を作成させ、該テキスト文に対応して前記動画素片記憶手段に収録された前記動画素片の中から必要な動画素片を選択させ、該選択された各動画素片の接合部分の映像の動きべクトルを検出させ、該検出された動きベクトルを基に、前記選択された各動画素片をフィールド内挿処理により映像の流れに自然性を保ったまま、つなぎ合わせて一連の動画を合成させることを特徴とする視覚的に聴覚を補助するための制御プログラムを記録した記録媒体。
【請求項１５】 前記制御プログラムはコンピュータに、入力する音声信号を認識させて文字コードを生成させることを特徴とする請求項１４に記載の視覚的に聴覚を補助するための制御プログラムを記録した記録媒体。
【請求項１６】 前記制御プログラムはコンピュータに、前記動画素片記憶手段に予め蓄えた単音節、単語、もしくは文章等を発声した唇の動き、または手話映像を表した動画素片に対応した音声をそれぞれ音声素片としてデータベース化して音声素片記憶手段に予め蓄えさせ、前記動画素片記憶手段の中から選択した各動画素片に対応した音声素片を前記音声素片記憶手段に蓄えられている音声素片の中から選択させ、該選択された前記音声素片をつなぎ合せた一連の合成音声を、前記動画素片をつなぎ合せた一連の動画に同期させて出力させることを特徴とする請求項１４または１５に記載の視覚的に聴覚を補助するための制御プログラムを記録した記録媒体。
【請求項１７】 前記制御プログラムはコンピュータに、複数の音声素片を接続して合成音声を生成する際に、各該音声素片を接続する際の不連続による音質劣化を防ぎ原音声の持っている自然性や個人性に影響を与えずにイントネーションやアクセント等を付加して音声の合成を行わせることを特徴とする請求項１６に記載の視覚的に聴覚を補助するための制御プログラムを記録した記録媒体。
【請求項１８】 前記制御プログラムはコンピュータに、各動画素片の接合部分の映像の動きべクトルを基に、各動画素片に内挿するフィールドの枚数と内挿位置を可変にさせることを特徴とする請求項１４ないし１７のいずれかに記載の視覚的に聴覚を補助するための制御プログラムを記録した記録媒体。
【請求項１９】 前記制御プログラムはコンピュータに、隣り合う動画素片の接合部分に内挿する幾枚かのフィールドの枚数に対応して、該動画素片の隣と隣接しない中間部分においてフィールド数を減じる内挿を行わせて、全体のフィールド数を一定に保たせることを特徴とする請求項１８に記載の視覚的に聴覚を補助するための制御プログラムを記録した記録媒体。
【請求項２０】 前記制御プログラムはコンピュータに、唇の動きを表した一連の動画を合成する際に、映像の内挿位置を原画と比べて映像と音声のズレを人の検知限の範囲内に設定させて、一連の動画と音声のタイミングのズレをリップシンクの検知限以下に抑えさせることを特徴とする請求項１８または請求項１９に記載の視覚的に聴覚を補助するための制御プログラムを記録した記録媒体。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、視覚的に聴覚を補助するシステムおよび方法並びに視覚的に聴覚を補助するための制御プログラムを記録した記録媒体に関し、特に映像と音を有するメディア（例えば、テレビジョン、ＶＴＲ（ビデオ・テープ・レコーダ）、ＤＶＤ（ディジタル・ビデオ・ディスク）のような映音記録メディア、コンピュータ上での動画音響再生等）や医療機器等、及びテレビ電話等の通信機器等において、加齢ないしは、何らかの聴覚的な障害により、ヒアリングロス（難聴）が生じた者に対し、音声情報に併せて、唇の動き（リップリーディングを行うため）や手話などの視覚情報をマルチモーダル的に提示することにより、その音声情報をより理解しやすくする技術に関する。
【０００２】本発明により、唇の動きや手話などの動画を高品質に生成するため、単音節、あるいは単語、あるいは文章を発声したもしくは表現した、唇の動きや手話などの幾つかの動画素片（ここで、単音節、単語、あるいは文章を発声した唇の動きや、それらを表現した手話の動き等のそれぞれを動画素片と呼ぶこととする）を基に自然性を保ったまま、唇の動きや手話などの動画像を合成することが可能となる。また、本発明を用いれば、例えば放送番組プログラムの編集等においても、幾つかの動画素片から、自然性を保ったまま高品質に、一連の動画を合成する等の利用分野への適用も可能となる。
【０００３】
【従来の技術】現在、この種の視覚的に聴覚を補助する方法としては、発生する音声の内容に応じて自動的に高品質に唇の動き映像や手話映像を合成して表示することが困難であったため、直接、アナウンサーや手話通訳者などの健聴者がその伝達すべき内容を喋り、唇を動かしたり、手話を実際に行うなどの人海戦術に頼っている。
【０００４】一方、唇の動き等を数式によりモデル化し、１枚づつ映像を合成して、アニメーションにする研究も進められている（文献１：Takaaki Kuratate（倉立 尚明）et al．”Facial Animation from ３Ｄ Kinematics ”（三次元運動学からの顔のアニメーション）、日本音響学会講演論文集、１−Ｐ−１０、ｐｐ３２３〜３２４、平成９年９月、など）。手話に関しても、基本的には唇の動きを表現したアニメーションの場合と同様で、各関節における動きをモデル化し、１枚ずつ映像を合成して、アニメーションにする研究も進められている（文献２：池田健 他・NEWS・「手話音声対話支援システムの初期バージョンを開発」、電子情報通信学会誌、ｐｐ．１００１、Ｖｏｌ．８０、Ｎｏ．９ １９９７、など）。
【０００５】
【発明が解決しようとする課題】加齢ないしは何らかの聴覚的な障害により、聞こえ（聴覚）の低下した者にとって、唇の動きを表した映像（リップリーデイングを行うため）や手話を表現した映像などの聴覚特性の劣化を補う視覚情報を、音声情報に併せてマルチモーダル的に提示されれば、その音声情報の理解がより向上する。
【０００６】しかしながら、従来技術では、これらの視覚的に聴覚を補助する動画を高品質に合成することが困難であり、そのため上述のように直接、人がその内容を喋り、唇を動かしたり、手話を実際的に行うなど、人海戦術に頼っている。
【０００７】また上述のように、一部、唇の動きや手話等を数式によりモデル化し、１枚づつ映像を合成して、アニメーションにする研究も進められている（上記の文献１、文献２など）が、この様な従来手法では、モデル化により１枚づつ映像を合成し、アニメーション化するために、１枚の映像を合成するのに多くの時間を要し、また、現段階において、唇の動きや手話等のモデル化が完全ではなく、唇の動きや手話等の動きに自然性が欠ける等の解決すべき課題がある。また、唇の動きを表現したアニメーション等においては、音声と唇の動きのリップシンク（唇の映像と音声の再生時刻を一致させる）を取ることが難しく、アニメーション化するにあたり、このリップシンクの部分に多くの時間を費やしているという解決すべき課題がある。
【０００８】本発明の目的は、従来技術の上述のような課題を解決し、自動的に唇の動きや手話などの動画を自然の滑らかさで高品質に、かつ効率よく生成することのできる視覚的に聴覚を補助するシステムおよび方法並びに視覚的に聴覚を補助するための制御プログラムを記録した記録媒体を提供することにある。
【０００９】
【課題を解決するための手段】上記目的を達成するため、本発明は、具体的には、予め唇の動きや手話の動きを実際に撮影した映像を、単音節、あるいは単語、あるいは文章ごとに動画素片として収録し、データべースとして記憶手段に蓄積しておく。これらの動画素片を映像の流れに自然性を保ったまま、つなぎ合わせて合成することで、高品質に視覚情報を提示可能とする。また、個々の動画素片の接合部分において内挿するフイールド数について、映像の動きべクトルの値に応じて、内挿する枚数と内挿位置を可変にすることで、動画素片のつなぎ合わせ部分をよりスムーズにすることを可能とする。この場合、映像の内挿位置を原画と比べて映像と音声のズレの検知限（文献３：赤井田 卓郎 他「リップシンク〜映像と音声のタイミング〜」、ＮＨＫ技研だより、１１〜１８頁、１９９７年５月参照）の範囲内に設定でき、合成映像と音声のタイミングをリップシンクの検知限以下に抑え、一連の動画を合成することが可能となる。
【００１０】本発明では、唇の動きや手話の動きを前述した従来のアニメーションにより行った場合に比べて、一連の動画の作成に要する時間が少なく、また、唇の動きや手話等のモデル化の不完全性から起こる唇の動きや手話等の動き等に不自然性がない。また、唇の動きを表現した一連の動画を合成する場合においては、音声と唇の動きのリップシンクを取ることが容易に出来る。
【００１１】さらに詳しくは、請求項１のシステムの発明は、予め唇の動きや手話の動きなどの視覚情報を撮影した映像を、単音節、あるいは単語、あるいは文章ごとにそれぞれ動画素片としてデータベース化して収録した動画素片記憶手段と、音声入力または文字入力に応じてテキスト文を作成するテキスト文作成手段と、該テキスト文作成手段から入力する前記テキスト文に対応して前記動画素片記憶手段に収録された前記動画素片の中から必要な動画素片を選択する動画素片検索手段と、該動画素片検索手段で選択された各動画素片の接合部分の映像の動きべクトルを検出する動きベクトル検出手段と、該動きベクトル検出手段で検出された前記動きベクトルを基に、前記動画素片検索手段で選択された各動画素片をフィールド内挿処理により映像の流れに自然性を保ったまま、つなぎ合わせて一連の動画を合成するフィールド内挿手段とを具備することを特徴とする。
【００１２】ここで、前記テキスト文作成手段は、音声信号を認識して文字コードを生成する音声認識手段を有することができる。
【００１３】また、前記動画素片記憶手段に予め蓄えられた単音節、単語、もしくは文章等を発声した唇の動き、または手話映像を表した動画素片に対応した音声をそれぞれ音声素片としてデータベース化して予め蓄えた音声素片記憶手段と、前記動画素片記憶手段の中から前記動画素片検索手段により選択された各動画素片に対応した音声素片を前記音声素片記憶手段に蓄えられている音声素片の中から選択する音声素片検索手段と、該音声素片検索手段で選択された前記音声素片をつなぎ合せた一連の合成音声を、前記フィールド内挿手段から出力する前記動画素片をつなぎ合せた一連の動画に同期させて出力させる音声映像同期手段とを有することができる。
【００１４】更に、前記音声素片検索手段で選択された複数の音声素片を接続して合成音声を生成する際に、各該音声素片を接続する際の不連続による音質劣化を防ぎ原音声の持っている自然性や個人性に影響を与えずにイントネーションやアクセント等を付加して音声の合成を行う音声合成手段を前記音声素片検索手段の後段に有することができる。
【００１５】更に、前記フィールド内挿手段は、前記動きベクトル検出手段で検出された各動画素片の接合部分の映像の動きべクトルを基に、各動画素片に内挿するフィールドの枚数と内挿位置を可変にすることで、動画素片のつなぎ合わせ部分をスムーズにすることを可能とすることができる。
【００１６】更に、前記フィールド内挿手段は、個々の動画素片の接合部分の映像の流れに自然性を保たせるため、隣り合う動画素片の接合部分に内挿する幾枚かのフィールドの枚数に対応して、該動画素片の隣と隣接しない中間部分においてフィールド数を減じる内挿を行い、全体のフィールド数を一定に保つことを可能とすることができる。
【００１７】更に、前記フィールド内挿手段は、唇の動きを表した一連の動画を合成する際、映像の内挿位置を原画と比べて映像と音声のズレを人の検知限の範囲内に設定することにより、一連の動画と音声のタイミングのズレをリップシンクの検知限以下に抑えることを可能とすることができる。
【００１８】請求項８の方法の発明は、予め唇の動きや手話の動きなどの視覚情報を撮影した映像を、単音節、あるいは単語、あるいは文章ごとにそれぞれ動画素片として記憶手段に収録しておき、入力される音声情報やテキストに対応させて、前記記憶手段から読み出した複数の前記動画素片を映像の流れに自然性を保ったまま、つなぎ合わせて一連の視覚情報の動画を合成することを特徴とする。
【００１９】ここで、音声情報に併せて、自動的に唇の動きを表した映像や手話を表現した映像などの視覚情報をマルチモーダル的に提示するとすることができる。
【００２０】また、前記記憶手段に予めデータべース化してある前記動画素片の中から、必要な動画素片を選択し、選択した各動画素片の接合部分の映像の動きべクトルを基に、該動画素片を自然性を保ったまま、つなぎ合わせて一連の動画を合成するとすることができる。
【００２１】更に、前記記憶手段から選択した前記動画素片を基に一連の動画を生成する際に、個々の動画素片の接合部分において内挿するフィールド数について、各動画素片の接合部分の映像の動きべクトルを基に、内挿する枚数と内挿位置を可変にすることで、つなぎ合わせ部分をスムーズにすることを可能とすることができる。
【００２２】更に、前記記憶手段から選択した前記動画素片を基に一連の動画を生成する際に、個々の動画素片の接合部分の映像の流れに自然性を保たせるため、隣り合う動画素片の接合部分に内挿する幾枚かのフィールドの枚数に対応して、該動画素片の隣と隣接しない中間部分において、フィールド数を減じる内挿を行い、全体のフィールド数を一定に保つことを可能とすることができる。
【００２３】更に、唇の動きを表した一連の動画を合成する際、映像の内挿位置を原画と比べて映像と音声のズレを人の検知限の範囲内に設定することにより、一連の動画と音声のタイミングのズレをリップシンクの検知限以下に抑えることを可能とすることができる。
【００２４】請求項１４の記録媒体の発明は、コンピュータによって視覚的に聴覚を補助するための制御プログラムを記録した記録媒体であって、該制御プラグラムはコンピュータに、予め唇の動きや手話の動きなどの視覚情報を撮影した映像を、単音節、あるいは単語、あるいは文章ごとにそれぞれ動画素片としてデータベース化して動画素片記憶手段に予め収録させ、音声入力または文字入力に応じてテキスト文を作成させ、該テキスト文に対応して前記動画素片記憶手段に収録された前記動画素片の中から必要な動画素片を選択させ、該選択された各動画素片の接合部分の映像の動きべクトルを検出させ、該検出された動きベクトルを基に、前記選択された各動画素片をフィールド内挿処理により映像の流れに自然性を保ったまま、つなぎ合わせて一連の動画を合成させることを特徴とする。
【００２５】
【発明の実施の形態】以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２６】なお、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明の目的は、以下に説明する実施の形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し、実行することによっても、達成される。この場合、記録媒体から読み出されたプログラムコード自体が以下に説明する実施の形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。そのプログラムコードを記録し、また、データベース部やテーブル等の変数データを記録する記録媒体としては、例えばフロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いことができる。
【００２７】図１は本発明の一実施形態の視覚的聴覚補助システムの構成を機能ブロックで示した図である。以下、図１のブロックの処理の流れに沿って本発明の実施形態を説明する。動画素片、及び合成映像はハイビジョン、ＮＴＳＣ、ＰＡＬ等の各種テレビジョン方式に適応可能であるが、図１の例示では、代表例としてハイビジョン（高品位テレビジョン、高精細度テレビジョン）についての場合を示す。
【００２８】（Ｓ１）まず、準備工程として、単音節、もしくは単語、もしくは文章等を発声した唇の動き等を撮影した動画素片をデータべースとして動画素片データベース部４に予め蓄えておく。更に詳しくは、この動画素片データベース部４は単音節、もしくは単語、もしくは文章毎の文字コード（テキスト文）とその文字コードに対応する動画素片をセットにして予め記憶する。ここで、単音節、単語、あるいは文章を発声した唇の動きや、それらを表現した手話の動き等のそれぞれを動画素片と呼ぶこととする。手話等の映像を合成するには、単音節、もしくは単語、もしくは文章等を表現した手話映像を動画素片として動画素片データベース部４に蓄えておく。
【００２９】（Ｓ２）上記Ｓ１の工程で動画素片データベース部４に予め蓄えた、単音節、単語、もしくは文章等を発声した唇の動きを表した動画素片に対応した音声、または、単音節、単語、もしくは文章等を表現した手話映像の動画素片に対応した音声を音声素片データベース部１２に予め蓄えておく。これらの動画素片に対応したそれぞれの音声を音声素片と呼ぶこととする。
【００３０】（Ｓ３）そして、使用時には、マイクロホンや受信機等の音声入力手段（図示しない）から入力するアナログ入力音（音声）をＡ／Ｄ（アナログ・ディジタル）変換部１によりＡ／Ｄ変換（１６ビット、４８ｋＨｚサンプル）する。
【００３１】（Ｓ４）ディジタル信号に変換された入力音声を音声認識部２において単音節、あるいは単語、あるいは文章毎に認識する。認識されたそれぞれの音声を音声素片と呼ぶことにする。
【００３２】（Ｓ５）入力した音声素片からテキスト文をテキスト文作成部３において作成し、文字コード化を行う。ここで、予めテキスト文として、入力可能な場合（例えば、一部のテレビ番組等）には、キーボードや文字認識装置（ＯＣＲ）等の文字入力手段（図示しない）から文字コードとしてテキスト文作成部３を通じて装置内に入力する。
【００３３】（Ｓ６）テキスト文作成部３から転送されるテキスト文（文字コード）に従って、そのテキスト文に対応する動画素片を動画素片データベース部４に蓄えられている動画素片の中から動画素片検索部５により検索し、検索した適切な動画素片を前処理部６へ転送する。動画素片検索部５は、この検索の順番として、まずテキスト文に適合した文章等を発声した（または手話を表現した）動画素片が、動画素片データベース部４内にあるか否かを検索する。無い場合には、単語を発声した（または手話を表現した）動画素片があるかどうか検索する。その動画素片が動画素片データベース部４内に無い場合には、動画素片検索部５は、単音節を発声した（または手話を表現した）動画素片を動画素片データベース部４内から検索する。
【００３４】（Ｓ７）上記Ｓ６の工程で得られた動画素片に対応した音声素片を音声素片データベース部１２から音声素片検索部１３により選択し、例えば特開平２−４７７００号公報等に開示されている公知の音声合成方法により、その選択された音声素片を接続して合成音声を作り、生成した合成音声を音声出力バッファ１４へ転送する。
【００３５】上記特開平２−４７７００号公報に記載された音声合成方法は、出力音声情報に基づき単位音声情報および韻律情報を定め、予め記憶された単位音声データの中から上記定められた単位音声情報に基づき、当該単位音声に対応する単位音声データ（上記音声素片に相当）を選択し、当該選択された単位音声データからピッチ周期、スペクトル包絡、ホルマント軌跡および単位音声波形の各々を算出または抽出し、当該算出または抽出された単位音声波形を接続するため、および上記韻律情報を付加するために、上記算出または抽出されたピッチ周期を変更し、当該変更されたピッチ周期においてピッチ変更によるスペクトル包絡を算出し、該ピッチ変更によるスペクトル包絡と上記算出または抽出されたスペクトル包絡とに基づき第１のスペクトル変化分を算出し、上記算出または抽出された単位音声波形を接続するために上記算出または抽出されたホルマント軌跡を変更し、当該変更されたホルマント軌跡に基づいてホルマント変更によるスペクトル包絡を算出し、該ホルマント変更によるスペクトル包絡と前記算出または抽出されたスペクトル包絡に基づき第２のスペクトル変化分を算出し、上記第１および第２のスペクトル変化分に基づき上記ピッチ周期の変更にかかる単位音声波形のスペクトル包絡を変更し、当該スペクトル包絡を変更した上記単位音声波形を接続した後、接続された音声を出力することを特徴としている。以上の手順により、この音声合成方法によれば、予め記憶された単位音声を接続する際の不連続による音質劣化を防ぎ原音声の持っている自然性や個人性に影響を与えずにイントネーションやアクセント等を付加して音声の合成ができる。
【００３６】（Ｓ８）次に、動画素片検索部５から転送された動画素片に対する動きべクトル検出・割付のための前処理を前処理部６で行う。具体的には、前処理部６において、動画素片の映像信号を例えばインターレースの１１２５／６０／２：１からノンインターレースの６５２／６０／１：１に変換する。前処理部６で前処理を施された映像信号は動き検出部７とベクトル検出割り付け部８とに送られる。
【００３７】（Ｓ９）動き検出部７では、例えば、勾配法に基づく初期偏位べクトル（例えば、候補べクトル８種、ブロックサイズ：８画素、８ライン）を用いた反復勾配法（例えば、最大反復回数：２回、ブロックサイズ：８画素、８ライン）により、映像の動きべクトルを求める。
【００３８】（Ｓ１０）ベクトル検出割り付け部８では、入力画像と時間的タイミングの異なるフィールドを新たに内挿するため、入力映像信号から動き検出部７で検出した上記動きべクトルを、新たに内挿するフィールド上に割り当てる。
【００３９】（Ｓ１１）動画素片検出部５から送られてくる動画素片の入力映像に対して、図２、図３の示す後述の動画素片の合成手法に従って、任意の時間位置のフィールドをフィールド内挿部９において内挿する。すなわち、フィールド内挿部９は、ベクトル検出割り付け部８から割り当てられた各動画素片の接合部分の映像の動きべクトルの値に応じて、個々の動画素片の接合部分において内挿するフィールドの枚数とその内挿位置を可変にすることで、動画素片のつなぎ合わせ部分をよりスムーズにする。
【００４０】（Ｓ１２）具体的には、動き検出部７において、動きべクトルがある一定値以下（動画の種類にも依存するが、例えば、フィールド間で、ある画素の移動量が５０画素）の場合には、図２に示すように、動画素片の隣接した２枚（ある動画素片の最後の映像 ＋ 次の動画素片の最初の映像）のフィールドにより映像素片の合成を行う。
【００４１】一方、動き検出部７において、動きべクトルがある値以上の場合には、映像の流れが不自然にならないように、隣接した４枚もしくはそれ以上の複数枚のフィールドから映像素片の合成（図３参照）を行う。動画の種類にも依存するが、例えば、フィールド間で、ある画素の移動量が５０〜７０画素の場合には隣接した４枚のフィールドを用い、７０画素以上の場合には隣接した６枚もしくはそれ以上の枚数のフィールドを用いる。
【００４２】例えば、ある動画素片の最後の映像が唇が閉じていて、その次に来る動画素片の最初の映像が唇が開いている場合、隣接した２枚（ある動画素片の最後の映像＋次の動画素片の最初の映像）のフィールドのみで中間の映像を内挿しようとすると、映像の流れが不自然になることがある。そこで、映像の動きべクトルが、ある一定値以上の時、隣接した４枚もしくはそれ以上の複数枚のフィールドから、中間の内挿位置の映像を作り出し、映像の流れをスムーズにする。
【００４３】更に、個々の動画素片の接合部分の映像の流れに自然性を保たせるため、隣り合う動画素片の接合部分に内挿する幾枚かのフィールドの枚数に対応して、当該動画素片の隣と隣接しない中間部分において、フィールド数を減じる内挿を行い、全体のフィールド数を一定に保つ。
【００４４】（Ｓ１３）フィールド内挿部９で上記のようにフィールド内挿処理を施された映像信号はＤ／Ａ変換部１０へ送られてアナログ信号化され、合成した唇の動き映像、もしくは手話映像としてモニター（図示しない）へ出力される。一方、音声出力バッファ１４から読み出された音声信号もＤ／Ａ変換部１１へ送られてアナログ信号化され、音声出力としてスピーカ（図示しない）へ出力される。この時、映像のＤ／Ａ変換部１０と音のＤ／Ａ変換部１１とを同期し、音声情報に併せ、合成映像を出力する。
【００４５】以上の処理により、本発明によれば、ごく自然でスムーズな合成映像と、良好なリップシンクをとる（映像と音声の再生時刻を一致させる）ことができる。
【００４６】図２は、図１の視覚的聴覚補助システムで実行される本発明に係る動画素片の合成手法の一具体例を示す。図２の事例では、隣接した２枚（ある動画素片の最後の映像 ＋ 次の動画素片の最初の映像）のフィールドのみで中間の映像を内挿する場合を示す。本例では、７フィールドからなる動画素片（動画素片ａ）の次に９フィールドからなる動画素片（動画素片ｂ）、次に８フィールドからなる動画素片（動画素片ｃ）、・・・の順番で動画素片を合成し、一連の動画をつくり出す場合である。
【００４７】（ｔ１）動画素片ａの第１フィールドをそのまま用いる。
【００４８】（ｔ２）動画素片ａの第２、３、４、５、６フィールドの５枚の映像を基に４枚に映像を合成する（２′、３′、４、５′フィールド）。
【００４９】（ｔ３）動画素片ａの第７フィールドと動画素片ｂの第１フィールドから、３枚の映像を合成する（６′、７′、１′フィールド）。
【００５０】（ｔ４）動画素片ｂの第２、３、４、５、６、７、８フィールドの７枚の映像を基に６枚に映像を合成する（２′、３′、４′、５′、６′、７′フィールド）。
【００５１】（ｔ５）動画素片ｂの第９フィールドと動画素片ｃの第１フィールドから、３枚の映像を合成する（８′、９′、１′フィールド）。
【００５２】（ｔ６）以下、同様にして一連の動画を合成していく。
【００５３】図３は、図１の視覚的聴覚補助システムで実行される本発明に係る動画素片の合成手法の他の具体例を示す。図３に示す動画素片の合成方法は、映像の動きべクトルが、ある一定値以上で、映像の流れが不自然にならないように、隣接した４枚もしくはそれ以上の複数枚のフィールドから、中間の内挿位置の映像を作り出す場合を示す。動画素片ａから動画素片ｂにかけては隣接する４枚の映像から合成する場合、動画素片ｂから動画素片ｃにかけては隣接する６枚の映像から一連の動画をつくり出す場合を示す。
【００５４】（Ｔ１）動画素片ａの第１フィールドをそのまま用いる。
【００５５】（Ｔ２）動画素片ａの第２、３、４、５フィールドの４枚の映像を基に３枚の映像を合成する（２′、３′、４′フィールド）。
【００５６】（Ｔ３）動画素片ａの第６、７フィールドと動画素片ｂの第１、２フィールドの４枚の映像から、５枚の映像を合成する（５′、６′、７′、１′、２′フィールド）。
【００５７】（Ｔ４）動画素片ｂの第３、４、５、６フィールドの４枚の映像を基に３枚の映像を合成する（３′、４′、５′フィールド）。
【００５８】（Ｔ５）動画素片ｂの第７、８、９フィールドと動画素片ｃの第１、２、３フィールドの６枚の映像を基に、７枚の映像を合成する（６′、７′、８′、９′、１′、２′、３′フィールド）。
【００５９】（Ｔ６）以下、同様にして一連の動画を合成していく。
【００６０】上述したように、動画素片の合成部分において内挿するフィールド数について、映像の動きべクトルの値に応じて、内挿する枚数と内挿位置を可変にすることにより、つなぎ合わせ部分をより滑らかにすることが可能となる。また、本手法により、合成する映像の内挿位置が原画と比べて±１フィールド以下となる。本実施形態においては、音声は原画と同じタイミングで合成されるので、映像と音声のズレの検知限（映像に対して音声の進みが１．４フレーム、映像に対して音声の遅れが３．７フレーム：上記の文献３を参照）の範囲内に設定でき、合成映像と音声のタイミングをリップシンクの検知限以下に抑え、一連の動画を合成することが可能となる。
【００６１】図４には、本発明に係る、フィールドの内挿位置の決め方を示す。以下、この例にそって説明する。
【００６２】原画のフィールド数：Ｍ、合成するフィールド数：Ｎとすると、図４の（ａ）にＭ≦Ｎの場合、図４の（ｂ）にＭ＞Ｎの場合を示している。この両者の内挿位置の決定方法は同一であり、以下に示す手順で内挿位置を決定する。
【００６３】（ａ）原画のフィールドを、Ｏ1 、Ｏ2 、…、Ｏi 、Ｏi+1 、…、Ｏm とする。
【００６４】（ｂ）合成するフィールドを、Ｃ1 、Ｃ2 、…、Ｃj 、Ｃj+1 、…、Ｃn とする。
【００６５】（ｃ）各フレームＣj に対して、次式（１）
【００６６】
【数１】

【００６７】を満足するｉをｉopt とし、フレームＣj は入力フレームＯ(iopt)-1とＯioptの間に位置するものと考える。
【００６８】この時、Ｏ(iopt)-1からの内挿位置（Ｐj ）を次式（２）より演算して与える。
【００６９】
【数２】

【００７０】（ｄ）以上の内挿処理を、図２、図３に示した映像素片の合成手法に従って、映像を合成していく。
【００７１】
【発明の効果】以上説明したように、本発明によれば、映像を伴ったメディア（例えば、テレビジョン、ＶＴＲ、ＤＶＤのような映像音声記録メディア、コンピュータ上での動画再生等）や医療機器等、及びテレビ電話等の通信機器等において、加齢ないしは、何らかの聴覚的な障害により、ヒアリングロス（難聴）が生じた者に対し、音声情報に併せて、唇の動き（リップリーディングを行うため）や手話などの視覚情報をマルチモーダル的に映像で提示することにより、その音声情報の内容をより正確に理解しやすくすることが可能となる。
【００７２】特に、本発明によれば、動画素片を映像の流れに自然性を保ったまま、つなぎ合わせて合成することで、高品質に視覚情報を提示可能とし、また、個々の動画素片の接合部分において内挿するフイールド数について、映像の動きべクトルの値に応じて、内挿する枚数と内挿位置を可変にすることで、動画素片のつなぎ合わせ部分をよりスムーズにすることを可能とする。この場合、映像の内挿位置を原画と比べて映像と音声のズレの検知限（文献３）の範囲内に設定でき、合成映像と音声のタイミングをリップシンクの検知限以下に抑え、一連の動画を合成することが可能となる。また、本発明によれば、唇の動きや手話の動きを前述した従来のアニメーションにより行った場合に比べて、一連の動画の作成に要する時間が少なく、また、唇の動きや手話等のモデル化の不完全性から起こる唇の動きや手話等の動き等に不自然性がない。また、唇の動きを表現した一連の動画を合成する場合においては、音声と唇の動きのリップシンクを取ることが容易に出来る。
【００７３】更にまた、本発明を用いれば、例えば放送番組プログラムの編集等においても、幾つかの動画素片から、自然性を保ったまま高品質に、一連の動画を合成する等の利用分野への適用も可能となる。
【出願人】 【識別番号】０００００４３５２
【氏名又は名称】日本放送協会
【出願日】 平成１０年（１９９８）２月１３日
【代理人】 【弁理士】
【氏名又は名称】谷 義一 （外３名）
【公開番号】 特開平１１−２２６０５０
【公開日】 平成１１年（１９９９）８月２４日
【出願番号】 特願平１０−３１４２１