トップ :: G 物理学 :: G06 計算;計数




【発明の名称】 関連情報検索システム及び方法、並びにコンピュータ読取可能な記録媒体
【発明者】 【氏名】鍛冶 幸宏
【要約】 【課題】ユーザの現在の状態を反映した関連情報を提示可能な関連情報検索システム及び方法、並びにコンピュータ読取可能な記録媒体を提供する。

【解決手段】ユーザ端末７０，７２に第１の画像情報を閲覧可能に提示するとともに、該第１の画像情報を閲覧したユーザから送信された音声情報に応じた関連情報を検索して該ユーザに提示するシステムであって、制御手段２ａは、解析手段（音声認識部）４が解析した音声情報に基づいてユーザの状態を判定し、判定結果に基づいて関連情報データベース８からユーザの状態に関連付けて記憶された関連情報を検索し、ユーザに提示する。
【特許請求の範囲】
【請求項１】 ユーザの有するユーザ端末に第１の画像情報を閲覧可能に提示するとともに、該第１の画像情報を閲覧したユーザから送信された音声情報又は文字情報に応じた関連情報を検索するシステムであって、制御手段と、前記音声情報又は文字情報を解析する解析手段と、前記関連情報を、前記ユーザの状態に関連付けて記憶する関連情報データベースとを備え、前記制御手段は、解析された音声情報又は文字情報に基づいて前記ユーザの状態を判定し、判定結果に基づいて前記関連情報データベースから該当する関連情報を検索することを特徴とする関連情報検索システム。
【請求項２】 前記制御手段は、検索した関連情報を前記ユーザに提示することを特徴とする請求項１に記載の関連情報検索システム。
【請求項３】 前記制御手段は、解析された音声情報における、音声を発する速度、又は音声のトーンのいずれかに基づいて前記ユーザの状態を判定することを特徴とする請求項１又は２にに記載の関連情報検索システム。
【請求項４】 前記関連情報は、さらに所定の単語に関連付けて記憶され、前記解析手段は前記音声情報から単語を抽出し、前記制御手段は、抽出された単語に基づいて前記関連情報データベースから該当する関連情報を検索することを特徴とする請求項１ないし３のいずれかに記載の関連情報検索システム。
【請求項５】 前記関連情報検索システムは、所定のオペレータが有するオペレータ端末に接続され、前記ユーザと前記オペレータとの間で音声情報又は文字情報の交換が可能であることを特徴とする請求項１ないし４のいずれかに記載の関連情報検索システム。
【請求項６】 前記ユーザ端末は、ネットワークを介して前記音声情報又は文字情報を送信可能であり、前記関連情報検索システムは該ネットワークを介して前記ユーザ端末に接続され、かつ画像情報と音声情報、又は画像情報と文字情報を分離する情報分離手段を備えたことを特徴とする請求項１ないし５のいずれかに記載の関連情報検索システム。
【請求項７】 前記ユーザから送信された文字情報は電子メールであることを特徴とする請求項１ないし６のいずれかに記載の関連情報検索システム。
【請求項８】 ユーザの有するユーザ端末に第１の画像情報を閲覧可能に提示するとともに、該第１の画像情報を閲覧したユーザから送信された音声情報又は文字情報に応じた関連情報を検索する方法であって、前記関連情報を、前記ユーザの状態に関連付けて記憶する工程と、前記音声情報又は文字情報を解析する工程と、解析された音声情報又は文字情報に基づいて前記ユーザの状態を判定する工程と、判定結果に基づいて該当する関連情報を検索する工程とを有することを特徴とする関連情報検索方法。
【請求項９】 さらに、検索した関連情報を前記ユーザに提示する工程を有することを特徴とする請求項８に記載の関連情報検索方法。
【請求項１０】 ユーザの有するユーザ端末に第１の画像情報を閲覧可能に提示するとともに、該第１の画像情報を閲覧したユーザから送信された音声情報又は文字情報に応じた関連情報を検索する方法を記録したコンピュータ読取可能な記録媒体であって、前記関連情報を、前記ユーザの状態に関連付けて記憶する過程と、前記音声情報又は文字情報を解析する過程と、解析された音声情報又は文字情報に基づいて前記ユーザの状態を判定する過程と、判定結果に基づいて該当する関連情報を検索する過程とをコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、ユーザに画像情報とは別の関連情報を提示するシステム及び方法、並びにコンピュータ読取可能な記録媒体に関する。
【０００２】
【従来の技術】近年、インターネットの普及に伴い、ユーザが各種のＷｅｂサイトにアクセスし、所定のコンテンツ（Ｗｅｂページ等の画像情報）を閲覧することが可能になっている。又、上記Ｗｅｂページにバナー広告等の関連情報を付加してユーザ端末に提示し、広告を行うことも可能である。
【０００３】
【発明が解決しようとする課題】しかしながら、上記したバナー広告の場合、Ｗｅｂページとの関連付け（リンク）は予め決められているので、ユーザの趣味、嗜好に合わせた広告を提示することは困難である。そのため、広告効果も充分とはいえないのが現状である。又、最近では、ユーザの年齢、性別等をＷｅｂページ上で登録し、それに応じた広告を配信することも行われているが、かかる場合でも、過去に登録されたユーザ情報に基づいているにとどまり、ユーザの現在の心理状態等に応じた広告をリアルタイムで提示するには至っていない。
【０００４】本発明は、上記した問題点に鑑みてなされたもので、所定の画像情報を閲覧したユーザから送信された音声情報又は文字情報に応じ、ユーザの現在の状態を反映した関連情報を提示可能な関連情報検索システム及び方法、並びにコンピュータ読取可能な記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】上記した目的を達成するために、本発明の関連情報検索システムは、ユーザの有するユーザ端末に第１の画像情報を閲覧可能に提示するとともに、該第１の画像情報を閲覧したユーザから送信された音声情報又は文字情報に応じた関連情報を検索し、制御手段と、前記音声情報又は文字情報を解析する解析手段と、前記関連情報を、前記ユーザの状態に関連付けて記憶する関連情報データベースとを備え、前記制御手段は、解析された音声情報又は文字情報に基づいて前記ユーザの状態を判定し、判定結果に基づいて前記関連情報データベースから該当する関連情報を検索することを特徴とする。
【０００６】本発明の関連情報検索システムにおいて、前記制御手段は、検索した関連情報を前記ユーザに提示することを特徴とする。
【０００７】前記制御手段は、解析された音声情報における、音声を発する速度、又は音声のトーンのいずれかに基づいて前記ユーザの状態を判定することが好ましい。前記関連情報は、さらに所定の単語に関連付けて記憶され、前記解析手段は前記音声情報から単語を抽出し、前記制御手段は、抽出された単語に基づいて前記関連情報データベースから該当する関連情報を検索することが好ましい。
【０００８】又、本発明の関連情報検索システムにおいて、前記関連情報検索システムは、所定のオペレータが有するオペレータ端末に接続され、前記ユーザと前記オペレータとの間で音声情報又は文字情報の交換が可能であることを特徴とする。
【０００９】さらに、本発明の関連情報検索システムにおいて、前記ユーザ端末は、ネットワークを介して前記音声情報又は文字情報を送信可能であり、前記関連情報検索システムは該ネットワークを介して前記ユーザ端末に接続され、かつ画像情報と音声情報、又は画像情報と文字情報を分離する情報分離手段を備えたことを特徴とする。又、本発明の関連情報検索システムにおいて、前記ユーザから送信された文字情報は電子メールであることを特徴とする。
【００１０】本発明の関連情報検索方法は、ユーザの有するユーザ端末に第１の画像情報を閲覧可能に提示するとともに、該第１の画像情報を閲覧したユーザから送信された音声情報又は文字情報に応じた関連情報を検索し、前記関連情報を、前記ユーザの状態に関連付けて記憶する工程と、前記音声情報又は文字情報を解析する工程と、解析された音声情報又は文字情報に基づいて前記ユーザの状態を判定する工程と、判定結果に基づいて該当する関連情報を検索する工程とを有することを特徴とする。
【００１１】本発明の関連情報検索方法においては、さらに、検索した関連情報を前記ユーザに提示する工程を有することを特徴とする。
【００１２】本発明のコンピュータ読取可能な記録媒体は、ユーザの有するユーザ端末に第１の画像情報を閲覧可能に提示するとともに、該第１の画像情報を閲覧したユーザから送信された音声情報又は文字情報に応じた関連情報を検索する方法を記録し、前記関連情報を、前記ユーザの状態に関連付けて記憶する過程と、前記音声情報又は文字情報を解析する過程と、解析された音声情報又は文字情報に基づいて前記ユーザの状態を判定する過程と、判定結果に基づいて該当する関連情報を検索する過程とをコンピュータに実行させるためのプログラムを記録したことを特徴とする。
【００１３】
【発明の実施の形態】以下、本発明の実施の形態について、図１を参照して説明する。図１は、本発明の関連情報検索システム（以下、適宜「本システム）」という）５０の一実施の形態を示す構成ブロック図であり、システム全体を制御する制御手段２ａを有する音声・ＩＰ変換サーバ２、音声認識部（解析手段、ＩＶＲ（Interactive Voice Response））４、第１の画像情報データベース６、関連情報データベース８を備えている。音声・ＩＰ変換サーバ２は又、ネットワーク１００との情報の送受信を行う入出力制御手段２ｂ、画像情報と音声情報をまとめたり分離する情報（合成）分離部２ｃを有している。制御手段２ａ、情報分離部２ｃは、音声・ＩＰ変換サーバ２の中央演算処理装置として実現可能である。又、本システムは全体としてＷｅｂサイトを構成している。
【００１４】ここで、第１の画像情報データベース６は、ユーザ端末７０、７２あるいはオペレータ端末２０で閲覧可能な、例えばＷｅｂページ等からなる第１の画像情報を記憶する。第１の画像情報は、それを閲覧したユーザが音声応答を行えるよう、所定の画像（写真、絵など）からなっている。関連情報データベース８は、コンテンツ（広告、娯楽情報）等からなる関連情報を、後述するユーザの状態に関連付けて記憶する。なお、関連情報としては、コンテンツを記述したＷｅｂページの他、音声情報や電子メール等であってもよい。なお、「関連情報を提示する」とは、Ｗｅｂページ、電子メール、音声情報等からなる関連情報をユーザ端末に送信することをいう。又、関連情報として所定のコンテンツの識別情報のみを含め、コンテンツ自体は本システムと別のデータベースに設け（例えば広告データベース）、この識別情報に基づいてコンテンツを取得するようにしてもよく、本発明ではこのような場合も関連情報と称することとする。
【００１５】この実施形態では、本システム５０は、ユーザとのやりとりを行うオペレータシステム５０ａをさらに含むが、オペレータシステム５０ａは本システムに必須のものではない。そして、オペレータシステム５０ａは、後述する情報分離部２ｃで分離された画像情報や第１の画像情報データベース６から送信された画像情報を閲覧するオペレータ端末２０、情報分離部２ｃで分離された音声情報を交換機（ＰＢＸ）３０を介して受信する電話機２２、オペレータが複数いる場合に各端末と各電話機の対応付けを行うリンク部２４を備える。リンク部２４は、端末２０の有する制御部で動作するプログラムである。オペレータ端末２０としては、例えばパーソナルコンピュータが用いられる。
【００１６】本システム５０はネットワーク１００を介してユーザの有するユーザ端末７０、７２に接続される。ここで、ユーザ端末７０は、パーソナルコンピュータなどからなり、音声情報をやりとりするためのヘッドセット７０ａを含んで構成されている。そして、ユーザ端末７０は後述するインターネット電話の機能を有している。一方、ユーザ端末７２はインターネットに接続可能な携帯電話機であり、移動体通信網１１０を介してネットワーク１００に接続される。なお、上記各端末２０、７０、７２にはＷｅｂページを閲覧可能なブラウザが搭載される。又、ネットワーク１００としては、インターネットの代わりに、専用回線、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等を用いてもよい。
【００１７】図２は、インターネット電話としてのユーザ端末７０と本システム５０（及びオペレータＡ）との間でネットワーク（インターネット）１００を介して情報のやりとりを行う態様を示す。この図において、ユーザ端末７０は、入力装置としてのキーボード、画像を表示する画面、サウンドボード等からなる合成・分離部７０ｃを備え、合成・分離部７０ｃはアナログ／デジタル変換部７０ｄを含んでいる。そして、ユーザＡが発した音声情報はヘッドセット７０ａでアナログ信号として受信された後、アナログ／デジタル変換部７０ｄによりデジタル信号に変換され、さらに圧縮化される。一方、ユーザＡが端末７０のキーボードから入力した画像情報（たとえば表示された画面に対する選択情報等）はデジタル信号であり、合成・分離部７０ｃは、画像情報と音声情報をそれぞれパケット化し、所定の通信プロトコル（例えばＴＣＰ/ＩＰ）を用いたパケット通信により本システム５０に送信する。
【００１８】本システム５０では、受信したデジタル信号を情報（合成）分離部２ｃにて画像情報と音声情報に分離する。画像情報はデジタル信号のまま制御手段２ａに送信され、制御手段２ａは対応する画像を第１の画像情報データベース６から取得しオペレータ端末２０へ閲覧可能に送信する。情報（合成）分離部２ｃは又、音声情報のパケットをつなぎ合わせて伸長化してアナログ／デジタル変換部２ｄへ渡し、アナログ／デジタル変換部２ｄはこれをアナログ化し、アナログ信号として交換機３０を介して電話機２２へ送信するとともに、音声認識部４へ送信する。
【００１９】一方、オペレータＡが発した音声情報は、アナログ／デジタル変換部２ｄによりデジタル化、圧縮化され、オペレータＡが端末２０の入力部（キーボード等）から入力した画像情報（たとえば画像の選択情報等）を制御手段２ａが処理した情報とともに、情報（合成）分離部２ｃでパケット通信によりユーザ端末７０に送信される。
【００２０】次に、図３を参照して関連情報検索システム５０での処理フローを説明する。この図において、まず、ユーザは、ユーザ端末から本システム（Ｗｅｂサイト）のへＵＲＬ（Uniform Resource Locator）を指定してアクセスする(ステップＳ２００)。このとき、適宜認証情報を入力してログインするようにしてもよい。本システムの制御手段２ａは、トップページをユーザ端末に送信する(ステップＳ３００)。ユーザ端末に表示されたトップページには所定の「電話ボタン」が設けられていて、これを選択することにより、ユーザは本システムに対して電話をかける(ステップＳ２１０)。より具体的には、「電話ボタン」の選択情報を受信した制御手段２ａは、交換機３０を介して接続可能な電話機を探索する。そして、接続可能な電話機が存在する場合、制御手段２ａはその電話機とユーザ端末とを接続する（ステップＳ３１０）。
【００２１】オペレータは、当該電話機を用いてユーザと電話応答をし、画面選択の指示をユーザに対して行う（ステップＳ４００）。画面選択の指示は、例えば「トップページのメニューをクリックして次画面を見て下さい」というものである。ユーザはその指示に従って画面選択を行い（ステップＳ２２０）、その選択情報を受信した制御手段２ａは、対応する選択画面を第１の画像情報データベースから検索し、ユーザ端末とオペレータ端末にそれぞれ送信する（ステップＳ３２０）。
【００２２】次に、オペレータは電話機を用い、ユーザに対して選択画面の閲覧に対する音声応答を電話で行うよう指示する（ステップＳ４１０）。この指示は、例えば「今見ている画面について興味ありますか？」というものである。ユーザは音声応答を行い、ユーザ端末を介してその音声情報を送信する（ステップＳ２３０）。なお、ステップＳ２３０で、ユーザは、第１の画像情報（選択画面）を閲覧した上で音声情報を発するので、先入観や熟考する時間を与えずに、画面を見た印象に基づくユーザの真の心理状態等を反映した音声情報を取得することができ、後述するユーザの状態の判定の信頼性を高めることができる。音声情報はオペレータの電話機に送信されるとともに、本システムの音声認識部４へ送信され、ここで音声解析される（ステップＳ３３０）。
【００２３】制御手段２ａは、解析結果を取得し、それに基づいてユーザの状態を判定する（ステップＳ３４０）。さらに、判定結果に基づいて関連情報データベース８から該当する関連情報を検索し（ステップＳ３５０）、ユーザ端末とオペレータ端末にそれぞれ送信する（ステップＳ３６０）。ユーザ端末とオペレータ端末には、関連情報が閲覧可能に表示される。
【００２４】音声認識部４の構成ブロック図は図４に示すようになっている。この図において、音声認識部４は、音声情報から単語を抽出する単語抽出部４ａ、会話の時間当り抽出された単語数から音声スピードを算出する音声スピード算出部４ｂ、音声情報から音圧を測定する音圧測定部４ｃ、音声情報から音の高さを測定する音の高さ測定部４ｄ、各部４ａ〜４ｄでの処理の開始・終了のタイミングを指定する開始・終了指定部４ｅを備える。このうち、音圧と音の高さは、「音声のトーン」を示す指標であり、いずれを用いてもよく、又両方を用いて音声のトーンとしてもよい。
【００２５】なお、後述するユーザの状態の判定に際しては、音声スピード、音声のトーンのいずれかのデータがあればよく、又両方のデータを参照して判定を行ってもよい。さらに、本発明では、音声情報から単語を抽出することは必須ではないが、単語を抽出した場合、上記したユーザの状態に加え、抽出単語に基づいて関連情報を検索することができ、関連情報の検索精度が高まる。
【００２６】単語抽出部４ａは、単語毎に対応する音の波形パターンを記憶する音声パターンデータベース４ｆに基づいて、音声情報から音声認識を行って単語を抽出する。開始・終了指定部４ｅは、オペレータ端末を介してオペレータからの指示を受信し、ユーザ応答の開始、終了を指定する。又、オペレータの指示の代わりに、自然言語処理部４ｇを設け、所定の文法・語法データに基づいて抽出単語群からユーザ応答の意味を推定し、開始、終了を指定するようにしてもよい。音声スピード算出部４ｂ、音圧測定部４ｃ、音の高さ測定部４ｄは、後述する所定時間毎にそれぞれの項目の算出・測定を行う。
【００２７】次に、図５を参照して音声認識部４のステップＳ３３０での処理フローを説明する。まず、開始・終了指定部４ｅが音声情報を取得する旨の指示を出し（ステップＳ５００）、それに従って、音声認識部４はユーザの音声情報を取得する（ステップＳ５１０）。単語抽出部４ａは単語抽出を行い（ステップＳ５２０）、音声スピード算出部４ｂは、単語抽出部４ａから抽出された単語データを取得して音声スピードを算出する（ステップＳ５３０）。音圧測定部４ｃ又は音の高さ測定部４ｄは、音圧（音の高さ）を測定する（ステップＳ５４０）。以下、単語抽出をたえず行う一方、音声スピードの算出及び音圧測定（音の高さ測定）を一定時間（後述する区間時間）毎に行う（ステップＳ５５０）。そして、開始・終了指定部４ｅの終了指示により、単語抽出、音声スピード算出、音圧（音の高さ）測定を終了し（ステップＳ５６０）、制御手段２ａへ各データを渡す（ステップＳ５７０）。
【００２８】図６は、図５のフローにより音声解析を行う具体的態様を示す。まず、ユーザの音声情報（波形）は図６（ａ）に示すようになっている。この波形から，例えば「クルマを買い換えたいです」なる音声認識を行い、ここから（接続詞等を除く）所定の単語「クルマ」、「買い換え」を抽出する（図６（ｂ））。音声スピード及び音圧（音の高さ）を算出・測定するタイミングは図６（ｃ）に示すようになっていて、まず、会話開始から所定時間を初期期間とし、音声スピードや音圧のこの期間での値を算出・測定し、ベース（基準）値とする。そして、その後は会話終了まで一定時間（区間時間）毎にその時点の各項目を算出・測定する。例えば、音声スピードは、初期期間で「○○ワード（単語）／分」であり、その後、区間時間とともに、△△、××（ワード（単語）／分）に変化している（図６（ｄ））。同様に、音圧は「○●→△▲→×××」（Ｐａ）へ、音の高さは「○→△→×」（Ｈｚ）へ変化している（図６（ｅ）（ｆ））。
【００２９】次に、図７を参照してステップＳ３４０での制御手段２ａの処理フローを説明する。まず、制御手段２ａは、音声認識部４から抽出単語、音声スピード、及び音圧のデータを取得する（ステップＳ６００、６１０）。なお、以下の説明では、音圧に基づいて「音声のトーン」を求める場合について説明するが、音圧の代わりに音の高さに基づいてもよく、又、両者に基づいて音声のトーンを求めてもよい。
【００３０】次に、制御手段２ａは、音声スピードと音圧について、後述する区間時間当りの変化をそれぞれ算出し（ステップＳ６２０）、その結果に基づいてユーザ（話者）の状態を判定する（ステップＳ６３０）。そして、制御手段２ａは、Ｓ６１０で取得した抽出単語、及びＳ６３０の判定結果に対応する情報を関連情報データベース（ＤＢ）８から検索する（ステップＳ６４０）。制御手段２ａは、検索された情報をユーザ端末に送信する（ステップＳ６５０）。
【００３１】図８は、ステップＳ６２０での時間変化の算出方法の例を示す。この図において、初期期間及びその後の区間時間毎の音声スピードが得られている。そして、初期期間及び第１の区間時間での音声スピードの変化が＋ｘ１、第１及び第２の区間時間での音声スピードの変化が＋ｘ２、第２及び第３の区間時間での音声スピードの変化が−ｘ３であり、図７に示した音声スピードの時間変化ｘは、各音声スピードの変化の平均、つまり、 ｘ＝（＋ｘ１＋ｘ２−ｘ３）／３ （１）
で求められる。音圧の時間変化についても同様である。なお、算出方法は上記に限られず、例えば音声スピードの変化の各値のうち絶対値が最大のものを選んでもよい。なお、時間変化の単位の例としては、音声スピードの場合「ワード／分／区間時間」、音圧の場合「ｄＢ／分／区間時間」、音の高さの場合「Ｈｚ／区間時間」がある。ｄＢはデシベルであり、初期期間に対する所定の区間時間の音圧の割合を対数表記したものである。
【００３２】図９は、ステップＳ６３０での判断基準の例を示す。この基準は、制御手段２ａが実行する所定のコンピュータプログラムに格納されている。この図において、上記した音声スピードの時間変化が正（＋）であれば、抽出単語「クルマ」や「買い換え」に関して話者が「興味あり（興奮、注目）」の状態であると、負（−）であれば「興味なし（冷静、無視）」と判断する。なお、音声に関して複数の項目（例えば音声スピードと音圧）を測定した場合、時間変化の正負の算定方法については限定はなく、例えばそれぞれの項目の時間変化を加算したものが正か負かでユーザの判定を行ってもよく、又、各項目の時間変化のうち絶対値の大きい方を採用して正か負かを区別してもよい。
【００３３】図１０は、ステップＳ６４０での関連情報データベース（ＤＢ）からの関連情報の検索方法例を示す。この図において、制御手段２ａは、抽出単語「クルマ」をキーとして、これに対応する単語情報１（クルマ）を有する関連情報データ８ａを検索する。又、関連情報データ８ａのうち、抽出単語「買い換え」に対応する単語情報２（新車）、及び話者の状態「興味あり」を属性とする情報を検索する。この実施形態では、最終的に検索された情報は「広告Ａ」、「広告Ｂ」であり、制御手段２ａはこれらの情報をユーザ端末に送信し、ユーザ端末は広告として閲覧可能に表示する。
【００３４】次に、本システムにアクセスしたユーザ端末７０、７２上での表示画面の例を図１１及び図１２に示す。図１１（１）において、本システムにアクセスしたユーザ端末にはトップページ１０００が表示され（図３のステップＳ３００に対応）、ここで「電話」ボタン１０００ａを選択することにより、ユーザはオペレータに対して電話をかけることができる（図３のステップＳ２１０に対応）。ユーザは、オペレータからの指示により、例えばトップページ１０００にてメニュー１０００ｂから所定のメニュー（例えば「クルマについてのアドバイス」）を選択し、選択結果に応じてユーザ端末にはページ１１００が表示される（図３のステップＳ３２０に対応）。ここでは、クルマについての会話をオペレータとの間で行い、所定のクルマの画面がページ１１００に表示されているとする。そして、ユーザがページ１１００を閲覧した状態でオペレータが「このクルマについてどう思いますか？」と言い、ページ１１００に対する音声応答を指示する（図３のステップＳ４１０に対応）。ユーザの応答として「（今の）クルマを買い換えたいです。このクルマかっこいいです」なる音声情報が送信されると、本システムでは上記した処理により広告Ａをユーザ端末に送信し、ユーザ端末上では先ほどのクルマ画面１２００ａが上半分に、広告Ａの広告画面１２００ｂが下半分に分割表示された画面１２００が表示される。
【００３５】図１２は、上記トップページにてメニュー（「心理テストとカウンセリング」）を選択した場合のユーザ端末上での表示画面例である。選択に応じてユーザ端末にはページ２１００が表示される（図３のステップＳ３２０に対応）。ここでは、森の中の小屋の絵が表示されている。そして、オペレータが「森の中に一軒の小屋があります。あなたは小屋の中に入りました。中はどんな様子ですか？」と言い、ページ２１００に対する音声応答を指示する（図３のステップＳ４１０に対応）。ユーザの応答として例えば「中に人がいます」なる音声情報が送信されると、本システムでは上記した処理によりユーザの状態を判断し、対応する広告Ｃをユーザ端末に送信する。ユーザ端末上では、ユーザの応答に基づいたユーザの心理状態「○×」画面２２００ａが上半分に、広告Ｃの広告画面２２００ｂが下半分に分割表示された画面２２００が表示される。
【００３６】なお、図１２に示す実施形態では、ユーザ応答において単語の抽出はせず、音声スピードのみに基づいてユーザの状態を判断し、それに対応する関連情報（広告Ｃ）を検索している。つまり、この心理テストに対し、例えば音声スピードの変化が＋であれば、ユーザの発した単語に関わらず所定の関連情報を検索するような対応付けがされている。但し、ユーザの発した単語に応じてさらに検索を行ってもよく、例えばユーザ応答において単語「人（がいます）」が発せられた場合には所定の関連情報を、例えば単語「狼（がいます）」の場合は別の関連情報をそれぞれ検索してもよい。
【００３７】本発明は、上記した実施形態に限定されるものではない。例えば、関連情報を検索する際、上記実施形態では判定したユーザの状態に加え、抽出単語に基づいて検索を行ったが、抽出単語に加え、又は抽出単語に代えて、ユーザが音声情報を発した際の閲覧画面（第１の画像情報）に基づいて検索を行ってもよい。このようにすると、関連情報の検索精度が高まる。この場合、例えば、図３のＳ２２０でユーザ端末から送信された画面選択情報を記録しておけばよい。
【００３８】又、上記実施形態では、ユーザ端末がインターネット電話の機能を有する場合について説明したが、これに限定されるものではない。図１３は、ユーザ端末と電話機が別である場合の本システム５０’の構成ブロック図を示す。
【００３９】この図において、本システム５０’は、上記図１に示すシステム５０と略同一の構成を有しており、これらを図１の各構成の符号に「’」を添付して区別する。各構成の機能は図１の場合と同様であるので説明を省略する。但し、本システム５０’はネットワーク１００及び公衆電話網１３０に接続されている。そして、画像情報はネットワーク１００を介して、音声情報は公衆電話網１３０を介して別個にやりとりされるので、サーバ２’は情報分離部を有していない点が図１の場合と異なる。又、関連情報データベース８’に記憶された関連情報には広告内容自体は含まれておらず、本システムの外部に設けられた広告データベース９０、９２、９４へのリンク情報のみが含まれている。
【００４０】一方、ユーザは、画像情報のみをやりとりするユーザ端末７４と、音声情報をやりとりする電話機７６を有する。そして、ユーザ端末７４はネットワーク１００を介してサーバ２’に接続され、電話機７６は公衆電話網１３０を介して音声認識部４’及び交換器３０’に接続されている。そして、制御手段２ａ’は、ユーザの状態等に応じて関連情報データベース８’からリンク情報に基づき，リンク先である広告データベース９０、９２、９４から広告の内容を取得し、ユーザ端末７４あるいは電話機７６に画像情報や音声情報として送信する。
【００４１】又、上記図１に示す実施形態では、交換機（ＰＢＸ）を必要としたが、ＩＰホンと呼ばれる電話システムでは交換機は不要であり、図１４にこの場合の本システム５０’’の構成ブロック図を示す。この図において、本システム５０’’は所定のルータ９０’’、ハブ９２’’を有し、ルータ９０’’はネットワーク１００に接続され、ハブ９２’’には複数のオペレータ端末２０’’が接続されている。オペレータ端末２０’’はパーソナルコンピュータ等からなり、その制御部分には、上記図１に示すサーバ２と同様の構成（制御手段２ａ’’、入出力制御手段２ｂ’’、情報（合成）分離部２ｃ’’）を備える。音声情報は分岐部９４’’でハンドセット９６’’とＩＶＲ４’’とに分岐され、ＩＶＲ４’’は図１の場合と同様の動作を行い、その処理結果を制御手段２ａ’’にかえすようになっている。
【００４２】又、上記した各実施形態ではユーザの音声情報を解析したが、ユーザの文字情報を解析してもよい。この場合のシステムも図１と同様の構成とすればよいが、図１における情報分離部２ｃに相当する部分は、ネットワークから送受信されたパケットのうち、ヘッダ情報に基づいて画像情報と文字情報を分離する。そして、音声認識部の代わりに、所定の文字認識部が文字情報から対応する文字コードを解析し、そのコードを制御手段に返す。又、関連情報データベースには文字コードに対応して情報が格納されており、制御手段はそれに応じて所定の関連情報を検索するようになっている。ユーザからの文字情報の送信は、ユーザ端末から電子メールを送信したり、オペレータ端末との間でチャット通信を行えばよい。
【００４３】図１５は、電子メールの例を示す。図１５（１）に示すメール３０００では、ユーザが入力した文字に「怒っている」なる文字列３０００ａがあり、このうち「怒」の文字コードに関連する情報が関連情報データベースに格納されている。従って、この文字コードが取得されると、関連情報が検索されるようになっている。図１５（２）に示すメール３１００では、ユーザが入力した文字に、怒っていることを示す顔文字「＼ ／」３０００ａがあり、これらの文字コードに関連する情報が関連情報データベースに格納されている。従って、この文字コード（「＼」「／」）が取得されると、関連情報が検索されるようになっている。
【００４４】本発明の関連情報検索システムは、コンピューターと、通信装置等の各種周辺機器と、そのコンピューターによって実行されるソフトウェアプログラムとによって実現することができ、上記システム内で実行されるソフトウェアプログラムは、コンピューター読み取り可能な記憶媒体あるいは通信回線を介して配布することが可能である。
【００４５】
【発明の効果】以上説明したように、本発明によれば、第１の画像情報を閲覧したユーザから送信された音声情報や文字情報に応じて、ユーザの状態を判定し、判定結果をリアルタイムに反映した関連情報を検索し、ユーザに提示できるので、ユーザに有用なあるいはユーザに受け入れ易い関連情報を提供することができる。例えば、ユーザに与える広告効果が大きくなる。
【００４６】そして、ユーザは、第１の画像情報を閲覧した上で音声情報や文字情報を発するので、先入観や熟考する時間を与えずに、画面を見た印象に基づくユーザの真の心理状態等を反映した音声情報や文字情報を取得することができ、ユーザの状態の判定の信頼性を高めることができる。
【００４７】さらに、上記したユーザの状態に加え、ユーザの音声情報から抽出した単語に基づいて関連情報を検索した場合、関連情報の検索精度が高まる。
【出願人】 【識別番号】５００３４３２９０
【氏名又は名称】株式会社アップカミング
【出願日】 平成１２年１０月４日（２０００．１０．４）
【代理人】 【識別番号】１０００８６３７９
【弁理士】
【氏名又は名称】高柴 忠夫 （外５名）
【公開番号】 特開２００２−１０８９２９（Ｐ２００２−１０８９２９Ａ）
【公開日】 平成１４年４月１２日（２００２．４．１２）
【出願番号】 特願２０００−３０５２８５（Ｐ２０００−３０５２８５）