画像ファイルによる音声合成電子メール端末

トップ :: G 物理学 :: G06 計算;計数

【発明の名称】	画像ファイルによる音声合成電子メール端末
【発明者】	【氏名】林希代子
【要約】	【課題】送信者自身あるいは他の人の人物画像ファイルを用い、種々の着ぐるみアニメーションを重ねて表示することで、よりリアルな親和感を伝える。【解決手段】人物像を撮影した画像データを記憶する人物画像データ部９１１と、着ぐるみアニメーションを記憶している着ぐるみアニメデータ部９１２と、アニメーションデータの動作指定コード情報を格納している動作指定テーブル９４と、人物画像データ部９１１に記憶されている画像データと着ぐるみアニメデータ部９１２に記憶されている着ぐるみアニメーションとを合成して表示するＣＰＵ４とを備え、ＣＰＵ４は、受信した電子メールのメール本文に含まれているアニメーションの動作指定コード情報に基づき、人物画像データ部９１１に記憶されている画像データと着ぐるみアニメデータ部９１２に記憶されている動作指定コード情報に対応する着ぐるみアニメーションとを合成して表示する。

【特許請求の範囲】
【請求項１】受信した電子メールのテキストデータを音声合成により読み上げる音声合成電子メール端末において、人物像を撮影した画像データを記憶する人物画像データ記憶部と、着ぐるみ用のアニメーションを記憶している着ぐるみアニメーションデータ記憶部と、アニメーションデータの動作指定コード情報を格納している動作指定コード格納部と、前記人物画像データ記憶部に記憶されている画像データと前記着ぐるみアニメーションデータ記憶部に記憶されている着ぐるみ用のアニメーションとを合成して表示する表示制御部とを備え、前記表示制御部は、受信した電子メールのメール本文に含まれているアニメーションの動作指定コード情報に基づき、前記人物画像データ記憶部に記憶されている画像データと前記着ぐるみアニメーションデータ記憶部に記憶されている前記動作指定コード情報に対応する着ぐるみアニメーションとを合成して表示し、動作させることを特徴とする画像ファイルによる音声合成電子メール端末。
【請求項２】前記動作指定コード格納部には、動作を指定する文字列と、その文字列に対応する着ぐるみアニメーションファイルとを対応させた動作指定テーブルが格納されていることを特徴とする請求項１に記載の画像ファイルによる音声合成電子メール端末。
【請求項３】前記人物画像データ記憶部に記憶されている画像データが電子メールにて送受信可能に設けられていることを特徴とする請求項１または２に記載の画像ファイルによる音声合成電子メール端末。
【請求項４】受信した電子メールのメール本文の文字列を解析する文字列解析部を備え、前記表示制御部は、前記文字列解析部によりメール本文の文字列が前記動作指定コード格納部に格納されている動作指定コード情報と一致する場合には、その一致する動作指定コード情報に対応する着ぐるみアニメーションデータと前記人物画像データ記憶部に記憶されている画像データとを合成して表示し、動作させることを特徴とする請求項１、２または３に記載の画像ファイルによる音声合成電子メール端末。
【請求項５】人物像を撮影するカメラを搭載していることを特徴とする請求項１、２、３または４に記載の画像ファイルによる音声合成電子メール端末。

【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、テキストデータの音声合成再生機能、およびアニメーション表示機能を有し、電子メールやその他の通信などにより外部からテキストデータの送受信を行う画像ファイルによる音声合成電子メール端末に関する。
【０００２】
【従来の技術】従来より、文章の読み上げを実行するに際して、読み上げる文章の内容に応じた表情をもつ顔のアニメーションを自動的に生成する装置が提案されている（特開平１１－２４２７５１号公報参照）。
【０００３】この装置は、電子メール本文を読み上げる機能として、メール本文内の感情を表す記号や語調を検出し、そのメールにあった読み上げキャラクタの表情、口の動きのアニメーション表示をすることにより、表現豊かな読み上げを行うようになっている。
【０００４】
【発明が解決しようとする課題】しかしながら、上記の装置は、予め登録された固定の読み上げキャラクターのアニメーション表示によるものであるため、読み上げキャラクター自体のオリジナリティがないといった問題があった。また、読み上げキャラクターに表情の変化を持たせるために、種々の表情や動作の読み上げキャラクターを用意した場合には、読み上げキャラクターのデータ量が莫大な量になり、これを格納するメモリも大容量のものが必要になるといった問題があった。
【０００５】本発明はかかる問題点を解決すべく創案されたもので、その目的は、送信者自身あるいは他の人の人物画像ファイルを用いることにより、よりリアルな親和感を伝えることができるとともに、１つの人物画像に種々の着ぐるみアニメーションを重ねて表示することで、データ容量の削減を図った画像ファイルによる音声合成電子メール端末を提供することにある。
【０００６】
【課題を解決するための手段】上記課題を解決するため、本発明の画像ファイルによる音声合成電子メール端末は、受信した電子メールのテキストデータを音声合成により読み上げる音声合成電子メール端末において、人物像を撮影した画像データを記憶する人物画像データ記憶部と、着ぐるみ用のアニメーションを記憶している着ぐるみアニメーションデータ記憶部と、アニメーションデータの動作指定コード情報を格納している動作指定コード格納部と、前記人物画像データ記憶部に記憶されている画像データと前記着ぐるみアニメーションデータ記憶部に記憶されている着ぐるみ用のアニメーションとを合成して表示する表示制御部とを備え、前記表示制御部は、受信した電子メールのメール本文に含まれているアニメーションの動作指定コード情報に基づき、前記人物画像データ記憶部に記憶されている画像データと前記着ぐるみアニメーションデータ記憶部に記憶されている前記動作指定コード情報に対応する着ぐるみアニメーションとを合成して表示し、動作させることを特徴とする。
【０００７】このような特徴を有する本発明によれば、送信者自身あるいは他の人の人物画像データを人物画像データ記憶部に記憶させておき、その人物画像に着ぐるみを着せたものを読み上げキャラクターとして表示することにより、よりリアルな親和感を受信者に伝えることができる。また、メール作成時には、送信者が読み上げキャラクターの細かな動作指定を行うことにより、目で見る文章では伝えにくかった感情、楽しさ、変化などを受信者に正確に伝えることができる。
【０００８】また、本発明の画像ファイルによる音声合成電子メール端末によれば、動作指定コード格納部には、動作を指定する文字列と、その文字列に対応する着ぐるみアニメーションファイルとを対応させた動作指定テーブルが格納されている。これにより、表示制御部は、受信した電子メールのメール本文内に含まれている動作指定コード情報に基づき、対応する着ぐるみアニメーションファイルを動作指定テーブルから読み出し、この読み出した着ぐるみアニメーションと人物画像とを合成して表示する。
【０００９】また、本発明の画像ファイルによる音声合成電子メール端末によれば、人物画像データ記憶部に記憶されている画像データが電子メールにて送受信可能に設けられている。これにより、送信者自身あるいは他の人の人物画像ファイルをメールで送受信し、送受信された人物画像データの人物に着ぐるみを着せて、読み上げキャラクターを作成できるので、豊富な人物画像データから、変化に富んだリアルな読み上げキャラクターを作成することができる。
【００１０】また、本発明の画像ファイルによる音声合成電子メール端末によれば、受信した電子メールのメール本文の文字列を解析する文字列解析部をさらに備え、表示制御部は、前記文字列解析部によりメール本文の文字列が動作指定コード格納部に格納されているアニメーションデータの動作指定コード情報と一致する場合には、その一致する動作指定コード情報に対応する着ぐるみアニメーションデータと人物画像データ記憶部に記憶されている画像データとを合成して表示し、動作させることを特徴とする。これにより、メール本文内に、読み上げキャラクターの動作を指定する動作指定コード情報を挿入する必要がなく、通常のメール本文を読み上げ時に、文字列解析部が自動的に動作指定コード情報に該当する文字列を解析して動作するため、メールの送信者に手間をかけさせることなく、変化に富んだ読み上げキャラクターの動作を楽しむことができる。
【００１１】また、本発明の画像ファイルによる音声合成電子メール端末によれば、人物像を撮影する例えばデジタルカメラを搭載している。このように、デジタルカメラを搭載し、人物を撮影することで、簡単かつ手軽に人物画像データを取得することができ、より豊富かつリアルな読み上げキャラクターの作成が可能となる。
【００１２】
【発明の実施の形態】以下、本発明の実施の形態について、図面を参照して説明する。
【００１３】図２は、本発明の画像ファイルによる音声合成電子メール端末の外観図である。
【００１４】この音声合成電子メール端末の端末本体１には、メッセージや画像等の表示を行う表示部２と、各種操作を行うためのキー群６とが設けられている。また、端末本体１には、操作者等の人物を撮影するためのカメラ１３が設けられている。このカメラ１３は、端末本体１に固定されていても、また着脱式であってもよい。
【００１５】キー群６は、電源をオン／オフする電源キー６１、メールアプリケーションキー６２、メニューキー６３、音声再生スタート／ストップキー６４、ＯＫキー６５、キャンセルキー６６の他、文字入力等を行うための各種キー６７から構成されている。すなわち、本実施形態では、文字入力は各種キー６７を有するキーボードにより行われるが、表示部２をタッチすることで入力可能なタッチパネルにより行われるように構成してもよい。
【００１６】メールアプリケーションキー６２は、メールアプリケーションを起動するためのキーであり、メニューキー６３は、各画面でメニュー（機能リスト）を表示または非表示にするためのキーである。また、ＯＫキー６５とキャンセルキー６６とは、データの入力時の登録、キャンセルやアラート表示などで、実行、確認またはキャンセルを行うためのキーある。
【００１７】図１は、本発明の画像ファイルによる音声合成電子メール端末のシステム構成を示すブロック図である。
【００１８】この音声合成電子メール端末は、大別すると、全体の入出力等の動作演算処理を実行するＣＰＵ４、表示部２の表示制御を行う表示制御部（ＬＣＤドライバ）３、キー群６および図示しないタッチパネルとＣＰＵ４とを接続する入出力ポート５、電話回線や無線回線と接続するための通信ユニット７、ＲＯＭ８、ＲＡＭ９、時計部１０、電源としての電池１１、スピーカ１２、カメラ１３によって構成されている。
【００１９】ＣＰＵ４は、演算部４１、制御部４２、音声合成制御部４３、データ比較部４４、アニメーション表示制御部４５によって構成されている。
【００２０】また、ＲＯＭ８は、本端末装置全体の動作制御プログラムと本発明を実現するためのプログラムとを記憶しているプログラム部８１、文字を表示するときに用いる文字フォントを記憶しているＣＧデータ部８２を備えている。
【００２１】また、ＲＡＭ９は、人物画像データ部９１１および着ぐるみアニメデータ部９１２からなる画像データ部９１、本電子メール端末に登録された音声合成に関するコード情報を記憶している音声コード部９２、受信または発信するメールデータを記憶するメールデータ部９３、動作指定テーブル９４を備えている。
【００２２】アニメデータ部９１２には、［わらう］、［おどる］、［ピース］、［おこる］、［なく］・・・などの各種表情や動作をアニメ化した着ぐるみアニメデータ（アニメーションファイル）が格納されている。また、動作指定テーブル９４には、図８に示すように、［わらう］、［おどる］、［ピース］、［おこる］、［なく］・・・などの動作指定文字列と、その文字列に対応する着ぐるみアニメファイル（［ｗａｒａｕ．ｇｉｆ］、［Ｏｄｏｒｕ．ｇｉｆ］、［Ｐｅａｃｅ．ｇｉｆ］、［Ｏｋｏｒｕ．ｇｉｆ］、［Ｎａｋｕ．ｇｉｆ］・・・）とが対応付けられて格納されている。
【００２３】音声合成制御部４３は、図２に示す音声再生スタート／ストップキー６４が押下されると、再生される音声をスピーカ１２から外部に送出する制御を行う。
【００２４】表示部２は、例えば、ドットマトリクス構成の液晶表示装置（ＬＣＤ）であり、ＣＰＵ４からの制御信号に基づき、表示制御部３の表示バッファ３１に表示内容を書き込むことによって、演算結果やメッセージ等の表示を行う。
【００２５】ＣＰＵ４のデータ比較部４４は、ＲＡＭ９内の動作指定テーブル９４に登録されている動作指定文字列とメールデータ部９３に格納されている受信メールのメール本文内の文字列との比較を行って、一致する文字列を検出する。また、アニメーション表示制御部４５は、アニメーションデータの表示制御を行う。また、キー群６からのキー入力は、入出力ポート５を介してＣＰＵ４にて処理され、どのキーが入力されたか判断される。
【００２６】ＲＡＭ９は、電池１１によってバックアップされ、電源オフ時にも内容が消えないようになっている。また、電池１１は、端末装置の電源でもある。
【００２７】また、カメラ１３で撮影された人物画像データは、ＣＰＵ４を経由してＲＡＭ９の人物画像データ部９１１に保存される。つまり、カメラ（デジタルカメラ）１３を搭載することにより、ＲＡＭ９内の人物画像データ部９１１に格納する人物画像データを撮影することが可能となり、ユーザがオリジナリルの読み上げキャラクターを作成することができる。また、通信ユニット７は、外部と電話回線や無線回線を使用してデータを送受信するものであり、外部から受信した電子メールは、通信ユニット７、ＣＰＵ４を経由して、ＲＡＭ９のメールデータ部９３に保存される。
【００２８】次に、上記構成の画像ファイルによる音声合成電子メール端末において、着ぐるみアニメーションを重ねた読み上げキャラクターの作成方法について、図３を参照して説明する。
【００２９】ＲＡＭ９内の人物画像データ部９１１に格納されている人物画像データ３１の上に、ＲＡＭ９内の着ぐるみアニメデータ部９１２に格納されている任意の（例えば、［わらう］表情の）着ぐるみアニメーション３２を重ねて表示し、読み上げキャラクター３３として、読み上げ実行時に表示部２に表示する。この場合、人物画像データを動作別（または表情別）にいくつも用意すると、人物画像データ部９１１のデータ容量が莫大になるが、人物画像データを１つ用意し、その上に重ねて表示する着ぐるみアニメーションを複数個用意して適宜変更しながら使用することにより、少ないデータ容量で、より豊かな読み上げキャラクターの感情表現（動作）を行うことが可能となる。
【００３０】ここで、ＲＡＭ９内の人物画像データ部９１１に格納された人物画像データは、予め用意されているものであってもよく、また、メール送受信時に、カメラ１３により撮影されたもの、または、手書き機能によりオリジナルに作成されたものであってもよい。
【００３１】次に、読み上げキャラクターの動作指定のためのコード情報を組み込んでメール本文を作成する処理について、図４に示すフローチャートを参照して説明する。
【００３２】まず、キー群６のメールアプリケーションキー６２を押下して、メールアプリケーションを起動させ（ステップＳ１１）、図５に示すようなメール作成画面を表示部２に表示させる（ステップＳ１２）。そして、キー待ち状態（ステップＳ１３）において、入力された文字列および動作指定コード情報文字列（ただし、絵記号やアイコンなどでもよい）を、図５に示す本文入力エディタ２１に表示する（ステップＳ１４）。図６は、動作指定コード情報をテキスト文字列で本文中に挿入した画面表示例を示している。この例では、動作指定コード情報を［］でくくったテキスト文字列として表示している。
【００３３】このように、動作指定コード情報をテキスト文字として挿入することにより、インターネットなどで外部へ送信し、アニメーション表示機能を持たない他の端末装置などで受信された場合であっても、受信した他の端末装置に問題を起こす心配がない。つまり、テキスト文字として挿入された動作指定コード情報は、そのままの文字列として画面に表示されるだけである。これにより、送信者が設定した動作指定コード情報をテキスト文として画面上に見ることができるため、実際にアニメーション表示することはできなくても、受信者は、動作の状態を想像することができる。
【００３４】次に、上記のようにして、読み上げキャラクターの動作指定コード情報が組み込まれたメール本文を本端末で受信し、その受信メールから動作指定コード情報を識別し、この識別した動作指定コード情報に基づいて読み上げキャラクターの動作を表示する処理について、図７に示すフローチャートを参照して説明する。
【００３５】まず、キー群６の図示しない選択キーが操作されると、ＣＰＵ４はその操作信号に基づき、音声合成再生を行うメール本文をメールデータ部９３から選択する（ステップＳ２１）。その後、音声再生スタート／ストップキー６４のスタートキーが押下されると（ステップＳ２２）、図３で説明したように、ＣＰＵ４のアニメーション表示制御部４５は、ＲＡＭ９内の人物画像データ部９１１に格納されている人物画像データ３１の上に、ＲＡＭ９内の着ぐるみアニメデータ部９１２に格納されている任意の（初期設定されている）着ぐるみアニメーション３２を重ね、読み上げキャラクター３３として表示部２に表示する（ステップＳ２３）。
【００３６】次に、ＣＰＵ４は、メール本文内のテキスト文字列を解析し（ステップＳ１４）、読み上げキャラクターの動作指定コード情報かどうかを判断する（ステップＳ２５）。その結果、動作指定コード情報ではないと判断した場合（ステップＳ２５でＮｏと判断された場合）には、文字列をそのまま音声再生させる（ステップＳ２６）。一方、動作指定コード情報であると判断した場合（ステップＳ２５でＹｅｓと判断された場合）には、動作指定コード情報に対応する着ぐるみアニメーションを人物画像データの上に重ねて表示し（ステップＳ２７）、読み上げキャラクターを動作させる。
【００３７】ここで、ステップＳ２７での処理の詳細を、図８を参照して説明する。
【００３８】メール本文を解析した結果、読み上げキャラクターの動作指定コード情報が［わらう］であった場合、図８に示す動作指定テーブル９４により、動作指定コード情報［わらう］には、着ぐるみアニメーションファイル（ｗａｒａｕ．ｇｉｆ）が対応しているので、着ぐるみアニメデータ部９１２に格納されているｗａｒａｕ．ｇｉｆファイルを読み出し、これを先の人物画像データに重ねて表示部２に表示する。これにより、読み上げキャラクターが、指定された笑う動作を行うことになる。
【００３９】次に、読み上げキャラクターの動作指定コード情報が組み込まれていない通常のメール本文を受信し、その受信メールから読み上げキャラクターの動作を変更する文字列を自動的に解析し、その解析結果に基づいて読み上げキャラクターの動作を変更する処理について、同じく図７に示すフローチャートを参照して説明する。
【００４０】まず、キー群６の図示しない選択キーが操作されると、ＣＰＵ４はその操作信号に基づき、音声合成再生を行うメール本文をメールデータ部９３から選択する（ステップＳ２１）。その後、音声再生スタート／ストップキー６４のスタートキーが押下されると（ステップＳ２２）、図３で説明したように、ＣＰＵ４のアニメーション表示制御部４５は、ＲＡＭ９内の人物画像データ部９１１に格納されている人物画像データ３１の上に、ＲＡＭ９内の着ぐるみアニメデータ部９１２に格納されている任意の着ぐるみアニメーション３２を重ね、読み上げキャラクター３３として表示部２に表示する（ステップＳ２３）。
【００４１】次に、ＣＰＵ４は、メール本文内のテキスト文字列を解析し（ステップＳ１４）、読み上げキャラクターの動作を変更する情報かどうかを判断する（ステップＳ２５）。ここでの判断は、ＲＡＭ９内の動作指定テーブル９４に登録されている動作指定文字列と、メール本文内の文字列との比較をデータ比較部４４で行って、一致する文字列を検出する処理動作となる。その結果、動作を変更する情報ではないと判断した場合（ステップＳ２５でＮｏと判断された場合）には、文字列をそのまま音声再生させる（ステップＳ２６）。一方、動作を変更する情報であると判断した場合（ステップＳ２５でＹｅｓと判断された場合）には、動作を変更する情報（動作指定コード情報に該当）に対応する着ぐるみアニメーションを人物画像データの上に重ねて表示し（ステップＳ２７）、読み上げキャラクターを動作させる。
【００４２】ここで、ステップＳ２７での処理の詳細を、図９を参照して説明する。
【００４３】メール本文を解析した結果、読み上げキャラクターの動作を変更する情報が［なく］であった場合、図９に示す動作指定テーブル９４により、動作を変更する情報［なく］には、着ぐるみアニメーションファイル（Ｎａｋｕ．ｇｉｆ）が対応しているので、着ぐるみアニメデータ部９１２に格納されているＮａｋｕ．ｇｉｆファイルを読み出し、これを先の人物画像データに重ねて表示部２に表示する。これにより、読み上げキャラクターが、指定されたなく動作を行うことになる。
【００４４】図１０は、このような読み上げキャラクターの動作例をイメージ的に示したものである。すなわち、上記の動作指定コード情報が［なく］であった場合、または、自動的に文字列を解析した結果が動作を変更する情報である［なく］であった場合、着ぐるみアニメーションファイル（Ｎａｋｕ．ｇｉｆ）を表示することにより、読み上げキャラクターが、変更前の表情５１から、泣く表情５２に変更（泣く動作が実行）されている。
【００４５】なお、動作指定コード情報が組み込まれたメール本文、または動作指定コードが組み込まれていない通常のメール本文を受信した場合において、これらのメールに、送信側端末のカメラ１３で撮影された人物画像データのファイルが添付されている場合には、ＣＰＵ４は、この添付されている人物画像データファイルをＲＡＭ９の人物画像データ部９１１に格納する。このとき、格納する人物画像データファイルと、ＲＡＭ９のメールデータ部９３に格納されるメール本文とに関連付けを行っておく。そして、このメール本文の読み上げ実行時には、読み上げキャラクターの人物画像として、人物画像データ部９１１に格納された先の人物画像データを使用し、この人物画像データに着ぐるみキャラクターを重ね合わせて、表示部２に表示する。これにより、添付されてきた人物画像データが、送信者自身の画像である場合には、読み上げ実行時の読み上げキャラクターが送信者自身のキャラクターとなるので、よりリアルな感情表現（動作）を行うことができる。
【００４６】
【発明の効果】本発明の画像ファイルによる音声合成電子メール端末によれば、送信者自身あるいは他の人の人物画像データを人物画像データ記憶部に記憶させておき、その人物画像に着ぐるみを着せたものを読み上げキャラクターとして表示することにより、よりリアルな親和感を相手に伝えることができる。また、メール作成時には、送信者が読み上げキャラクターの細かな動作指定を行うことにより、目で見る文章では伝えにくかった感情、楽しさ、変化などを受信者に正確に伝えることができる。
【００４７】また、本発明の画像ファイルによる音声合成電子メール端末によれば、人物画像データ記憶部に記憶されている画像データが電子メールにて送受信可能に設けられている。これにより、送信者自身あるいは他の人の人物画像ファイルをメールで送受信し、送受信された人物画像データの人物に着ぐるみを着せて、読み上げキャラクターを作成できるので、豊富な人物画像データから、変化に富んだリアルな読み上げキャラクターを作成することができる。
【００４８】また、本発明の画像ファイルによる音声合成電子メール端末によれば、受信した電子メールのメール本文の文字列を解析する文字列解析部を備え、アニメーション表示制御部は、文字列解析部によりメール本文の文字列が動作指定コード格納部に格納されているアニメーションデータの動作指定コード情報と一致する場合には、その一致する動作指定コード情報に対応する着ぐるみアニメーションデータと人物画像データ記憶部に記憶されている画像データとを合成して表示する構成としている。これにより、メール本文内に、読み上げキャラクターの動作を指定する動作指定コード情報を挿入する必要がなく、通常のメール本文を読み上げ時に、文字列解析部が自動的に動作指定コード情報に該当する文字列を解析して動作するため、メールの送信者に手間をかけさせることなく、変化に富んだ読み上げキャラクターの動作を楽しむことができる。
【００４９】また、本発明の画像ファイルによる音声合成電子メール端末によれば、人物像を撮影するカメラを搭載しているので、簡単かつ手軽に人物画像データを取得することができ、より豊富かつリアルな読み上げキャラクターの作成が可能となる。

【出願人】	【識別番号】０００００５０４９【氏名又は名称】シャープ株式会社
【出願日】	平成１２年１０月３０日（２０００．１０．３０）
【代理人】	【識別番号】１０００７５５０２【弁理士】【氏名又は名称】倉内義朗
【公開番号】	特開２００２－１３２４０３（Ｐ２００２－１３２４０３Ａ）
【公開日】	平成１４年５月１０日（２００２．５．１０）
【出願番号】	特願２０００－３３０７７７（Ｐ２０００－３３０７７７）