情報収集方法及び装置並びに情報収集プログラムを記録した記録媒体

トップ :: G 物理学 :: G06 計算;計数

【発明の名称】	情報収集方法及び装置並びに情報収集プログラムを記録した記録媒体
【発明者】	【氏名】横路誠司【氏名】三浦信幸【氏名】高橋克己【氏名】島健一【氏名】鷲坂光一
【要約】	【課題】本発明の課題は、ＷＷＷページの内容を解析し、収集が必要なリソースを予測及び学習することにより、内容予測型リソース収集を行うことにある。【解決手段】本発明は、ネットワーク上に分散しているリソースを内容毎に分類し、必要なリソースのみを、選択的かつ自動的に収集する情報収集において、既に収集したリソースの集合を既収集群とし、未収集の集合を未収集群としたときに、既収集群の内容を形態素解析することにより、未収集群の内容を予測し必要なリソースのみを自動的に収集することを特徴とする。

【特許請求の範囲】
【請求項１】ネットワーク上に分散しているリソースを内容毎に分類し、必要なリソースのみを、選択的かつ自動的に収集することを特徴とする情報収集方法。
【請求項２】請求項１記載の情報収集方法において、既に収集したリソースの集合を既収集群とし、未収集の集合を未収集群としたときに、既収集群の内容を形態素解析することにより、未収集群の内容を予測し必要なリソースのみを自動的に収集することを特徴とする情報収集方法。
【請求項３】請求項２記載の情報収集方法において、既収集群の内容からパターンマッチによる情報抽出を行うことで、未収集群の内容を予測し必要なリソースのみを自動的に収集することを特徴とする情報収集方法。
【請求項４】既に収集したＷＷＷページ中に含まれるアンカーラベルの位置情報を抽出し、ＷＷＷのリソースを選択的に収集することを特徴とする情報収集方法。
【請求項５】ネットワーク上に分散しているリソースを内容毎に分類する分類手段と、この分類手段による分類から必要なリソースのみを、選択的かつ自動的に収集する収集手段とを具備することを特徴とする情報収集装置。
【請求項６】請求項１記載の情報収集装置において、既に収集したリソースの集合である既収集群の内容を形態素解析する解析手段と、この解析手段の解析から未収集の集合である未収集群の内容を予測し必要なリソースのみを自動的に収集する収集手段とを具備することを特徴とする情報収集装置。
【請求項７】請求項２記載の情報収集装置において、既収集群の内容からパターンマッチによる情報抽出を行う抽出手段と、この抽出手段で抽出した情報から未収集群の内容を予測し必要なリソースのみを自動的に収集する収集手段とを具備することを特徴とする情報収集装置。
【請求項８】既に収集したＷＷＷページ中に含まれるアンカーラベルの位置情報を抽出する抽出手段と、この抽出手段で抽出した位置情報からＷＷＷのリソースを選択的に収集する収集手段とを具備することを特徴とする情報収集装置。
【請求項９】ネットワーク上に分散しているリソースを内容毎に分類する分類手順、この分類手順による分類から必要なリソースのみを、選択的かつ自動的に収集する収集手順を実行させるための情報収集プログラムを記録した記録媒体。
【請求項１０】請求項１記載の情報収集プログラムを記録した記録媒体において、既に収集したリソースの集合である既収集群の内容を形態素解析する解析手順、この解析手順の解析から未収集の集合である未収集群の内容を予測し必要なリソースのみを自動的に収集する収集手順を実行させるための情報収集プログラムを記録した記録媒体。
【請求項１１】請求項２記載の情報収集プログラムを記録した記録媒体において、既収集群の内容からパターンマッチによる情報抽出を行う抽出手順、この抽出手順で抽出した情報から未収集群の内容を予測し必要なリソースのみを自動的に収集する収集手順を実行させるための情報収集プログラムを記録した記録媒体。
【請求項１２】既に収集したＷＷＷページ中に含まれるアンカーラベルの位置情報を抽出する抽出手順、この抽出手順で抽出した位置情報からＷＷＷのリソースを選択的に収集する収集手順を実行させるための情報収集プログラムを記録した記録媒体。

【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、通信においてデータを選択的かつ自動的に収集する内容予測型情報収集方法及び装置並びに情報収集プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】インターネット上に膨大にあるリソースの発見および自動収集を行う技術として、ＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ）ロボット技術が有効に働く。ＷＷＷロボット技術は主として、情報検索システムのリソース収集において使用され、既に実用化され、その有用性が認められている。また、ＷＷＷロボットの評価ポイントは、収集の速度、リソースを提供するサーバに対する負荷の低さ、収集のマナー（リソース提供者が収集を希望するもののみを収集する。）である。収集速度が速く、情報提供サーバに対する負荷が低く、マナーの良いＷＷＷロボットが良いＷＷＷロボットである。
【０００３】上記にも示したように、ＷＷＷロボットは主に情報検索システムで使用される。現在、動作している情報検索システムの多くが、検索対象として、インターネット上に提供される全ての分野のリソースを用いている。
【０００４】図４は従来のＷＷＷロボットを示す構成説明図である。すなわち、インターネット１と通信を行うネットワーク通信部２に収集候補選択部３からリソース収集要求があると、前記ネットワーク通信部２からデータ保存部４にデータが供給されデータの保存が行われる。前記データ保存部４からハイパーリンク抽出部５にデータが供給されハイパーリンクの抽出が行われる。このハイパーリンク抽出部５で抽出されたハイパーリンクはハイパーリンク評価部６に供給されハイパーリンクの評価が行われ、前記ハイパーリンク評価部６からのハイパーリンクの評価データは収集候補選択部３に供給される。前記ネットワーク通信部２からハイパーリンクＤＢ（Ｄａｔａｂａｓｅ）管理部７に変更要求がなされ、前記ハイパーリンク抽出部５からハイパーリンクＤＢ管理部７に追加要求がなされ、前記収集候補選択部３からハイパーリンクＤＢ管理部７に変更要求がなされる。
【０００５】しかし従来のロボットは、図４に示すように、ハイパーリンクについては評価を行い必要なリソースとそうでないものの取捨選択を行うが、内容については評価を行っていない。
【０００６】従って、検索対象を限定した情報検索システムのリソース収集に、従来のロボットを使用すると、不要なリソースも収集してしまうという欠点がある。更に、不要なリソースの収集は、収集速度の低下を招くだけではなく、ネットワーク、リソースを提供する計算機及び収集を行う計算機の負荷を助長する。
【０００７】
【発明が解決しようとする課題】従来のＷＷＷロボットには上記のような欠点があった。本発明では、上記の欠点を解決するために、以下の３点を解決する。
１．従来のＷＷＷロボットに加え、ＷＷＷページの内容の解析を行い、実際の収集を行うこと無く、収集が必要と思われるリソースの予測が可能となる情報収集方法及び装置並びに情報収集プログラムを記録した記録媒体を与えること。
【０００８】２．従来のＷＷＷロボットと比較して、必要なリソースを学習し、再収集の際には優先的に必要なリソースを収集することが可能な情報収集方法及び装置並びに情報収集プログラムを記録した記録媒体を与えること。
【０００９】３．従来のＷＷＷロボットと比較して、必要なリソースの収集に要する時間が短い情報収集方法及び装置並びに情報収集プログラムを記録した記録媒体を与えること。
【００１０】
【課題を解決するための手段】上記課題を達成するために本発明の情報収集は、ネットワーク上に分散しているリソースを内容毎に分類し、必要なリソースのみを、選択的かつ自動的に収集することを特徴とする。
【００１１】また本発明は、上記情報収集において、既に収集したリソースの集合を既収集群とし、未収集の集合を未収集群としたときに、既収集群の内容を形態素解析することにより、未収集群の内容を予測し必要なリソースのみを自動的に収集することを特徴とする。
【００１２】また本発明は、上記情報収集において、既収集群の内容からパターンマッチによる情報抽出を行うことで、未収集群の内容を予測し必要なリソースのみを自動的に収集することを特徴とする。
【００１３】また本発明は、既に収集したＷＷＷページ中に含まれるアンカーラベルの位置情報を抽出し、ＷＷＷのリソースを選択的に収集することを特徴とする。本発明では、ＷＷＷページの内容を解析し、収集が必要なリソースを予測および学習することにより、内容予測型リソース収集を行うことが出来る。その結果、特定の分野に関するＷＷＷリソースのみを収集することが出来る。また、必要なリソース収集速度は従来のＷＷＷロボットと比較して高速にすることが出来る。
【００１４】
【発明の実施の形態】以下図面を参照して本発明の実施の形態例を詳細に説明する。図１は本発明の一実施形態例を示す構成説明図、図２は図１の内容解析部の一例を示す構成説明図、図３は図１の内容予測および学習部の一例を示す構成説明図である。図において、図４と同一部分は同一符号を付してその説明を省略する。
【００１５】すなわち、図１に示すように、データ保存部４に保存されたデータのＷＷＷ文書はハイパーリンク抽出部５およびハイパーリンク評価部６を介して内容解析部１１に供給される。
【００１６】前記内容解析部１１は図２に示すように、ＷＷＷ文書２１が形態素解析処理部２２、パターンマッチ情報抽出処理部２３およびＨＴＭＬ（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇｕａｇｅ）解析処理部２４にそれぞれ供給される。内容解析部１１の各処理部の機能の概要は以下の通りである。
【００１７】段階１［形態素解析処理部２２］
ＷＷＷ文書２１を形態素解析し、名詞、固有名詞および未定義語を抽出し、文書毎にこれらの単語のリストを生成して内容予測および学習部１２に供給する。
【００１８】段階２［パターンマッチ情報抽出処理部２３］
ＷＷＷ文書２１から特定の分野に特徴的なパターン（例：電話番号なら０ｘ－ｘｘｘｘ－ｘｘｘｘ等）を抽出し、文書毎に一覧を生成して内容予測および学習部１２に供給する。
【００１９】段階３［ＨＴＭＬ解析処理部（ＨＴＭＬパーサ）２４］
ＷＷＷ文書２１から、ＨＴＭＬタグを抽出し（アンカーの抽出）、ハイパーリンクを示すもののみの一覧を生成して内容予測および学習部１２に供給する。
【００２０】図３に示すように、前記内容予測および学習部１２の各処理部の機能の概要は以下の通りである。
段階１［抽出単語重み付け処理部３１］
内容解析部１１の形態素解析処理部２２により抽出された単語と特定分野辞書３５を比較することにより、単語に特定分野への関連の度合（重み）を与える。それらの重みを総合して、重みによる優先順位再計算部３４へ出力する。
【００２１】段階２［ハイパーリンク重み付け処理部３２］
ＨＴＭＬ解析処理部（ＨＴＭＬパーサ）２４より抽出されたハイパーリンク（アンカー）中の文字列と特定分野辞書３５を比較することにより、ハイパーリンク中のＵＲＬ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅＬｏｃａｔｏｒ）に対する重み付けを行う。この未収集のＷＷＷ文書に対する重み（予測用重み）を重みによる優先順位再計算部３４へ出力する。
【００２２】段階３［パターン評価および重み付け処理部３３］
パターンマッチ情報抽出処理部２３より抽出されたパターンをその種類毎に評価し、パターンに応じた重みをＷＷＷ文書に与える。この収集されたＷＷＷ文書に対する重み（学習用重み）は、重みによる優先順位再計算部３４へ出力される。
【００２３】段階４［重みによる優先順位再計算部３４］
各重み付け処理部３１、３２、３３から出力された重みをもとに、収集済および未収集のＷＷＷページに対して、収集の優先順位を計算する。優先順位は収集が行われるたびに動的に変更され、その結果は収集優先順位ＤＢ３６へ追加、変更されて保存される。ＷＷＷロボットはこの優先順位が大きいものを早く収集する。
【００２４】前記内容予測および学習部１２からハイパーリンクＤＢ管理部７に変更要求がなされる。本発明には次のような発明が含まれる。
【００２５】１、ネットワーク上に分散しているリソースを内容毎に分類し、必要なリソースのみを、選択的かつ自動的に収集することを特徴とする情報収集方法。
２、上記１の情報収集方法において、既に収集したリソースの集合を既収集群とし、未収集の集合を未収集群としたときに、既収集群の内容を形態素解析することにより、未収集群の内容を予測し必要なリソースのみを自動的に収集することを特徴とする情報収集方法。
【００２６】３、上記２の情報収集方法において、既収集群の内容からパターンマッチによる情報抽出を行うことで、未収集群の内容を予測し必要なリソースのみを自動的に収集することを特徴とする情報収集方法。
【００２７】４、既に収集したＷＷＷページ中に含まれるアンカーラベルの位置情報を抽出し、ＷＷＷのリソースを選択的に収集することを特徴とする情報収集方法。
５、ネットワーク上に分散しているリソースを内容毎に分類する分類手段と、この分類手段による分類から必要なリソースのみを、選択的かつ自動的に収集する収集手段とを具備することを特徴とする情報収集装置。
【００２８】６、上記１の情報収集装置において、既に収集したリソースの集合である既収集群の内容を形態素解析する解析手段と、この解析手段の解析から未収集の集合である未収集群の内容を予測し必要なリソースのみを自動的に収集する収集手段とを具備することを特徴とする情報収集装置。
【００２９】７、上記２の情報収集装置において、既収集群の内容からパターンマッチによる情報抽出を行う抽出手段と、この抽出手段で抽出した情報から未収集群の内容を予測し必要なリソースのみを自動的に収集する収集手段とを具備することを特徴とする情報収集装置。
【００３０】８、既に収集したＷＷＷページ中に含まれるアンカーラベルの位置情報を抽出する抽出手段と、この抽出手段で抽出した位置情報からＷＷＷのリソースを選択的に収集する収集手段とを具備することを特徴とする情報収集装置。
【００３１】９、ネットワーク上に分散しているリソースを内容毎に分類する分類手順、この分類手順による分類から必要なリソースのみを、選択的かつ自動的に収集する収集手順を実行させるための情報収集プログラムを記録した記録媒体。
【００３２】１０、上記１の情報収集プログラムを記録した記録媒体において、既に収集したリソースの集合である既収集群の内容を形態素解析する解析手順、この解析手順の解析から未収集の集合である未収集群の内容を予測し必要なリソースのみを自動的に収集する収集手順を実行させるための情報収集プログラムを記録した記録媒体。
【００３３】１１、上記２の情報収集プログラムを記録した記録媒体において、既収集群の内容からパターンマッチによる情報抽出を行う抽出手順、この抽出手順で抽出した情報から未収集群の内容を予測し必要なリソースのみを自動的に収集する収集手順を実行させるための情報収集プログラムを記録した記録媒体。
【００３４】１２、既に収集したＷＷＷページ中に含まれるアンカーラベルの位置情報を抽出する抽出手順、この抽出手順で抽出した位置情報からＷＷＷのリソースを選択的に収集する収集手順を実行させるための情報収集プログラムを記録した記録媒体。
【００３５】
【発明の効果】以上述べたように本発明によれば次のような効果がある。
１．本発明のＷＷＷロボットは、特殊な場合として従来のＷＷＷロボットを包含する。すなわち、内容解析部および内容予測、学習部の機能に無効とすると、従来のＷＷＷロボットになる。
【００３６】２．本発明のＷＷＷロボットは、従来のＷＷＷロボットと比較してネットワークおよびＷＷＷロボットを動作させる計算機への負荷は同等である。その根拠は、ネットワークおよび情報提供サーバに対する負荷分散には従来のＷＷＷロボットのものを使用するからであり、また、内容解析および内容予測、学習は、ＷＷＷロボットの情報提供サーバとの通信待ち時間に行われるために、ＷＷＷロボットの動作への影響は少ないからである。
【００３７】３．本発明のＷＷＷロボットは、従来のＷＷＷロボットと比較して、特定分野に属するリソースの収集速度が高速である。その根拠は、従来のＷＷＷロボットが内容を考慮せずにリソース収集を行うのに対し、本発明のＷＷＷロボットは、収集前にリソースの内容を予測および学習し、有用なものを優先的に収集するためである。

【出願人】	【識別番号】０００００４２２６【氏名又は名称】日本電信電話株式会社
【出願日】	平成１０年（１９９８）５月１８日
【代理人】	【弁理士】【氏名又は名称】鈴江武彦（外２名）
【公開番号】	特開平１１－３２７９９５
【公開日】	平成１１年（１９９９）１１月３０日
【出願番号】	特願平１０－１３５１９５