トップ :: G 物理学 :: G06 計算;計数




【発明の名称】 ニュース話題タイトル抽出装置及びニュース原稿インデックス付与装置
【発明者】 【氏名】山田 一郎

【氏名】柴田 正啓
【要約】 【課題】必要な語句が抽出されないという問題を生じさせずに、ニュース原稿のタイトルを分かりやすい自然言語文で提示できるニュース話題タイトル抽出装置を提供する。

【解決手段】ニュース話題抽出装置２がファイル装置１から取り出したニュース原稿から抽出した一定期間内のニュース話題に関連するニューステキストを解析し、ニュース原稿特有の表現がタイトルとして利用可能かどうかを判断する信頼性を評価することにより、話題を的確に表現する自然言語文を抽出する機能を備えることを特徴とする。
【特許請求の範囲】
【請求項１】 ニュース原稿から抽出された一定期間内のニュース話題に関連するニューステキストを解析し、ニュース原稿特有の表現がタイトルとして利用可能かどうかを判断する信頼性を評価することにより、話題を的確に表現する自然言語文を抽出する手段、を備えたことを特徴とするニュース話題タイトル抽出装置。
【請求項２】 請求項１に記載のニュース話題タイトル抽出装置が抽出した自然言語文を利用して、ニュース原稿にインデックスを付与する手段、を備えたことを特徴とするニュース原稿インデックス付与装置。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、ニュースのアナウンス原稿から的確なタイトルを抽出するニュース話題タイトル抽出装置及びその抽出したタイトルを利用してニュース原稿にインデックスを付与するニュース原稿インデックス付与装置に関する。
【０００２】［発明の概要］本発明は、ニュースのアナウンス原稿から的確なタイトルを抽出するニュース話題タイトル抽出装置及びその抽出したタイトルを利用してニュース原稿にインデックスを付与するニュース原稿インデックス付与装置に関する。ニュース話題タイトル抽出装置は、ニュース話題抽出装置（特願平１１−６５６５８号：未公開）から抽出されるニュース話題、またはこのニュース話題抽出装置によって抽出された１ヶ月毎のニュース話題の類似性を評価して、長期に渡り出現する話題を一つの話題として認識するニュース話題トラッキング装置からのニュース話題に対して自然言語解析を行うことにより、ニュースのアナウンス原稿のタイトルを分かりやすい自然言語文で提示する。ニュース原稿インデックス付与装置は、抽出されたタイトルを利用して、ニュース原稿に効果的にインデックスを自動付加することができる。
【０００３】
【従来の技術】図９は、従来のニュース原稿に付与されたタイトルの一例を示す。図９に示すように、例えば［ニュース原稿］“バット殴打事件で牛窓警察署の捜査本部では午後七時過ぎから少年の逮捕について記者会見をしています。”に対し、［タイトル］“母親を殴ったことを認める”が付与されている。このように、ニュース原稿自体にもタイトル部が存在するものが多い。
【０００４】ここに、ニュースは作成時間に制限があるため、手作業により的確なタイトルを付けることは難しい。自動タイトル生成の従来手法では、ニュース話題を構成するニュース原稿の中で、代表する文中に出現する連続する単語（名詞句）を抽出することにより行われている。
【０００５】また、ニュース原稿へのインデックス付与では、１つの自然言語文から重要部分を抽出することが行われている。
【０００６】
【発明が解決しようとする課題】しかし、従来のニュース話題タイトル提示手法では、抽出対象が連続する単語に限定されているので、動詞や助詞の存在により必要な情報が分断されてしまう可能性がある。
【０００７】また、従来のインデックス付与手法では、１文のみの情報から重要部分を抽出しているので、対象文に的確な表現が無ければ、インデックスに相応しい語句は抽出できない。
【０００８】本発明は、このような事情に鑑みてなされたもので、必要な語句が抽出されないという問題を生じさせずに、ニュース原稿のタイトルを分かりやすい自然言語文で提示できるニュース話題タイトル抽出装置を提供することを目的としている。
【０００９】また、本発明は、上記ニュース話題タイトル抽出装置が抽出したタイトルを利用して全てのニュース原稿にインデックスが付与できるニュース原稿インデックス付与装置を提供することを目的としている。
【００１０】
【課題を解決するための手段】上記目的を達成するために、本発明のニュース話題タイトル抽出装置は、ニュース原稿から抽出された一定期間内のニュース話題に関連するニューステキストを解析し、ニュース原稿特有の表現がタイトルとして利用可能かどうかを判断する信頼性を評価することにより、話題を的確に表現する自然言語文を抽出する手段を備えたことを特徴としている。
【００１１】この構成によれば、ニュース原稿特有の特定表現を抽出して、その特定表現を利用してタイトルを抽出するので、必要な語句が抽出されないという問題は生じない。また、特定表現をタイトルとして利用可能かを判断する信頼性を評価して、信頼性がしきい値よりも高ければ、特定表現をタイトルとして利用できるので、話題を的確に表現する自然言語文が提示できる。
【００１２】また、本発明のニュース原稿インデックス付与装置は、上記本発明のニュース話題タイトル抽出装置が抽出した自然言語文を利用して、ニュース原稿にインデックスを付与する手段を備えたことを特徴としている。
【００１３】この構成によれば、処理対象を１文ではなく、ニュース原稿から抽出された一定期間内のニュース話題集合を対象にして行うので、対象としたニュース文に的確な表現が無い場合でも、同じ話題に属するニュース文からインデックスの候補を抽出できる。
【００１４】
【発明の実施の形態】図１は、本発明に係るニュース話題タイトル抽出装置及びニュース原稿インデックス付加装置の実施形態であるシステムの全体構成図である。
【００１５】図１において、ニュース番組で実際に利用される１日分のニュース原稿には、約２００記事が含まれている。ファイル装置１には、そのような時系列に変化するニュース原稿の例えば十年分が電子化されて格納されている。
【００１６】ニュース話題抽出装置２は、本出願人の先の出願に係るもので（特願平１１−６５６５８号：未公開）、図２に示すように、形態素解析部２１と、構文解析部２２と、単語重要度演算部２３と、類似度比較部２４と、ニュース記事分類部２５と、代表記事抽出部２６と、重要名詞抽出部２７と、記憶・ラベル付与処理部８と、トピック抽出処理部２９とを備えており、ファイル装置１に格納されるニュース原稿にクラスタリング処理を施して、１ヶ月間に出現した類似したニュース話題のかたまりを抽出する。抽出した毎月のニュース話題は、ニュース話題タイトル抽出装置３に出力される。
【００１７】ニュース話題タイトル抽出装置３は、ニュース話題抽出装置２により抽出されたニュース話題のタイトルを抽出する。
【００１８】ニュース原稿インデックス付加装置４は、ニュース話題タイトル抽出装置３で抽出されたタイトルを、ファイル装置１に格納されるニュース原稿にインデックスとして付加する。
【００１９】《ニュース話題抽出装置２の動作説明》初めに、ニュース話題抽出装置２の動作を図３に示す記事分類処理の動作フローチャート、図４に示すラベル付与・トピック抽出処理の動作フローチャートを参照して説明する。
【００２０】ファイル装置１から読み出された１つのニュース記事は、形態素解析部２１及び構文解析部２２において周知の形態素解析処理及び構文解析処理を受け、その記事から抽出された単語が単語重要度演算部２３に入力される。単語重要度演算部２３、類似度比較部２４及びニュース記事分類部２５では、図３に示す手順により、ニュース記事の分類処理が行われる。
【００２１】単語重要度演算部２３では、１つのニュース記事に含まれる単語が入力されると（ステップＳＴ１）、χ２ 値を利用して記事に含まれる単語の例えば月単位の重要度を演算する（ステップＳＴ２）。具体的には、単語Ｗがある月に出現した頻度をｎ、期待値をｅとすると、それらを式（１）に代入して単語の重要度Weight(W)を演算する。
【００２２】
【数１】
Weight(w)＝（ｎ−ｅ）２／ｅ ・・・ｎ≧ｅ ＝０ ・・・ｎ＜ｅ ・・・（１）
【００２３】次に、類似度比較部２４とニュース記事分類部２５では、似た項目に分類された記事の集まりであるクラスタを生成するクラスタリングを単語の重要度、出現頻度を利用して行う。まず、以下のように定義した記事ベクトルとクラスタベクトルとを利用して記事とクラスタとの類似度を計算する（ステップＳＴ３）。
【００２４】記事を特徴づける記事ベクトルは、記事に含まれる単語（例えば記事の第１文に含まれる単語）をベクトルの要素に、その単語の重要度を各ベクトル要素の値として定義する。また、クラスタを特徴づけるクラスタベクトルは、そのクラスタに属する記事に含まれる単語をベクトルの要素に、（各単語の重要度）と（クラスタ内での出現率）の積を各ベクトル要素の値として定義する。なお、出現率は、出現した記事の頻度をクラスタに含まれる全記事数で割った値である。そして、類似度は、式（２）によって求められる。
【００２５】
【数２】
類似度＝（共通する要素ベクトルの和×２）
／（記事、クラスタの要素ベクトルの値の和） ・・・（２）
【００２６】このようにして、記事とクラスタとの類似度を評価し（ステップＳＴ４）、クラスタとの類似度が、ある閾値（例えば０．５）以上であれば、最も似ていると評価されたクラスタに統合する（ステップＳＴ５）。また、クラスタとの類似度が、閾値以下であれば、全てのクラスタについて同様の評価を行う（ステップＳＴ４→ステップＳＴ６→ステップＳＴ３→ステップＳＴ４）。その結果、全てのクラスタとの類似度が閾値以下であれば、その記事で新たなクラスタを構築する（ステップＳＴ７）。以上の処理を繰り返すことにより（ステップＳＴ８）、類似度の高いクラスタが得られる。つまり、ニュース原稿に含まれる記事が高精度に分類される。
【００２７】このようにして得られた各クラスタは、代表記事抽出部２６、記憶・ラベル付与処理部２８に送られるとともに、ニュース話題としてニュース話題タイトル抽出装置３に出力される。なお、比較の順番によっても結果は異なるが、以上説明した処理では、比較は日付け順に行っている。
【００２８】次に、代表記事抽出部２６、重要名詞抽出部２７、記憶・ラベル付与処理部２８及びトピック抽出処理部２９でのラベル付与・トピック抽出処理を図４のフローチャートを参照して説明する。
【００２９】代表記事抽出部２６は、１つのクラスタが入力されると（ステップＳＴ１０）、そのクラスタに含まれる記事中の単語の寄与度を計算し（ステップＳＴ１１）、求めた寄与度に基づき代表記事を抽出する（ステップＳＴ１２）。
【００３０】クラスタにおける単語の寄与度は、（単語の重要度）と（クラスタ内での単語の出現率）との積として定義してある。なお、クラスタ内での単語の出現率は、（クラスタ内で単語が出現した記事数）を（クラスタ全体記事数）で割った値である。そして、代表記事は、そのクラスタに含まれる単語（例えば第１文に含まれる単語）の寄与度の合計が最も大きい記事である。
【００３１】次に、重要名詞抽出部２７は、得られた代表記事に含まれる全ての名詞句を対象に、そこに含まれる単語の寄与度の合計を計算し、寄与度が最も大きい名詞句を重要名詞句として抽出し、記憶・ラベル付与処理部２８に出力する（ステップＳＴ１３）。記憶・ラベル付与処理部２８は、ニュース記事分類部６から入力したクラスタに重要名詞抽出部２７から入力した名詞句をラベルとして付与し、記憶する（ステップＳＴ１４）。
【００３２】全てのクラスタについて同様な処理が行われ、記憶・ラベル付与処理部２８には、ラベルが付与されたクラスタが逐一記憶される（ステップＳＴ１５）。そして、トピック抽出処理部２９は、記憶・ラベル付与処理部２８にデータベース化された、ラベル付きクラスタのそれぞれについて、代表記事に含まれる単語の寄与度の合計が大きいクラスタを順番に検索し、それに付けられているラベルを、順番にトピックの候補として抽出、提示する。
【００３３】《ニュース話題タイトル抽出装置３とニュース原稿インデックス付加装置４の動作説明》図５のフローチャートを参照してニュース話題タイトル抽出装置３の動作を説明する。
【００３４】図５において、ニュース話題抽出装置２にて抽出されたニュースの話題集合に属するニュース原稿をファイル装置１から取り出し、その取り出したニュース原稿の特定パターンを抽出する（ステップＳＴ２１）。ここでは、以下の特定パターンを利用する。
【００３５】《特定パターン（正規表現）》
１．∧．＊、（．＊事件）［でにはが］．＊２．∧（．＊事件）［でにはが］．＊３．∧．＊、（．＊事故）［でにはが］．＊４．∧（．＊事故）［でにはが］．＊５．∧．＊、（．＊問題）［でにはが］．＊６．∧（．＊問題）［でにはが］．＊７．∧．＊、（．＊）について．＊８．∧（．＊）について．＊９．∧．＊、（．＊）に関連．＊１０．∧（．＊）に関連．＊１１．∧．＊、（．＊）に関して．＊１２．∧（．＊）に関して．＊【００３６】次いで、特定パターンの丸括弧内の記述を１つの話題から全て抽出し、それを特徴ベクトルで表現する（ステップＳＴ２２）。特徴ベクトルは、“要素”が特定パターン部に含まれる単語”であり、“要素の値”が次の式（３）で示されるとした。
【００３７】
【数３】
要素の値＝（特定パターン記述での単語Wiの出現数）
×log2(特定パターン記述数／単語Wiが出現した特定パターン記述数）
・・・（３）
【００３８】次に、この１つの話題に出現した全ての特定パターン記述の特徴ベクトルの平均を取り（ステップＳＴ２３、ＳＴ２４）、平均ベクトルに最も類似した特徴ベクトルを持つ特定パターン記述を抽出する（ステップＳＴ２５）。
【００３９】類似度は、例えば次の式（４）で示されるとした。
【００４０】
【数４】
類似度＝（共通する要素の値の和）
÷｛（２つの話題ベクトルの要素の値の和）−（共通する要素の値の和）｝ ・・・（４）
【００４１】さらに、この抽出された特定パターン記述の信頼性を評価する（ステップＳＴ２６）。信頼性は、１つの話題を構成する原稿数と、話題中で特定パターンが抽出できた原稿数の比率で評価することにより行われる。
【００４２】特定パターンが一定割合以上（例えば３０％以上）出現していた場合、信頼性が高いと判断し、平均ベクトルに最も類似した特徴ベクトルを持つ特定パターン記述を、そのニュース話題のタイトルとする（ステップＳＴ２７）。これは、重心に近い名詞句である。
【００４３】一方、特定パターンが一定割合以下の場合は、ニュース話題抽出装置２では、ニュース文中に出現する連続する単語（名詞句）を抽出しているので、そこで得られたラベルをタイトルとする（ステップＳＴ２８）。
【００４４】このように、ニュース話題タイトル抽出処理では、ニュース原稿特有の特定表現を抽出し、その特定表現を利用してタイトルを抽出するので、必要な語句が抽出されないという問題は生じない。
【００４５】また、特定表現をタイトルとして利用可能かどうかを判断する信頼性を評価して、信頼性がしきい値よりも高ければ、特定表現をタイトルとして利用する一方、信頼性がしきい値よりも高くなければ、ニュース話題抽出装置２で得られたラベルをタイトルとするので、例えば図６に示すように話題を的確に表現する自然言語文が提示できる。
【００４６】図６は、タイトル抽出の対象とした話題原稿（一部）とその特定パターン記述（話題タイトル）の一例を示す。図６では、図９で示したニュース原稿が属する話題から抽出した話題タイトルが示されている。
【００４７】図６において、例えば［ニュース原稿］“バット殴打事件で牛窓警察署の捜査本部では午後七時過ぎから少年の逮捕について記者会見をしています。”に対し、［タイトル］“岡山県の十七歳の高校三年生によるバット殴打事件”が提示されている。図９では、“母親を殴ったことを認める”という［タイトル］が提示されていたのと比較して分かるように、本実施の形態では、話題を的確に表現したタイトルが提示できている。
【００４８】次に、ニュース原稿インデックス付加装置４では、ニュース話題タイトル抽出装置３により抽出された話題タイトルを、ファイル装置１に格納されるニュース原稿にインデックスとして付与する。
【００４９】このように、ニュース原稿インデックス付与処理では、処理対象は１文ではなく、ニュース話題抽出装置２により関連付けられたニュースの話題集合を対象にして行うので、全ての原稿は、必ず１つの話題に含まれる。したがって、対象としたニュース文に的確な表現が無い場合でも、同じ話題に属するニュース文からインデックスの候補を抽出でき、全てのニュース原稿にインデックスが付与できる。
【００５０】図７は本発明の他の実施形態を示すブロック図である。この実施の形態では、ニュース話題抽出装置２により関連付けられたニュースの話題集合から、長期にわたり出現する話題を１つの話題として認識するニュース話題トラッキング装置５を図１におけるニュース話題抽出装置２とニュース話題タイトル抽出装置３との間に設けて、図１と同様に適切なタイトル抽出とインデックス付与を行えるようにしたものである。
【００５１】この場合、ニューストラッキング装置５は、図８のフローチャートに示すように、ニュース話題抽出装置２にてクラスタリング処理により抽出された各月のニュース話題の中で、隣接する全ての月の話題間の類似性を評価し、類似度が一定以上（例えば、０．２以上）のとき、同一の話題と特定し関連づける（ステップＳＴ３２）。
【００５２】ここで、前の月の話題との類似度比較処理（ステップＳＴ３２〜ＳＴ３４）で用いる類似度は、例えば次の式（５）で示されるとした。この定義式（５）は、ニュース話題抽出装置２にて抽出された話題はベクトル表現されているので、その話題ベクトルを利用したものである。
【００５３】
【数５】
類似度＝（共通する要素の値の和）
÷｛（２つの話題ベクトルの要素の値の和）−（共通する要素の値の和）｝ ・・・（５）
【００５４】この前の月の話題との類似度比較処理（ステップＳＴ３２〜ＳＴ３４）を繰り返し行って、全ての話題から関連する前後の月の話題へのリンクが張られる。
【００５５】そして、前の月の全ての話題についての類似度比較処理が終了すると（ステップＳＴ３３：Ｙｅｓ）、そこで関連づけられた全ての話題を話題集合とする（ステップＳＴ３５）。
【００５６】このように、トラッキング処理では、クラスタリング処理によってまとめられた類似した原稿のまとまりを対象とするので、１つのニュース原稿よりも情報量を多くすることができ、正確なトラッキングを行うことができる。
【００５７】従って、本実施形態では、ニュース話題タイトル抽出装置３は、ニュース話題トラッキング装置５から出力されるニュース話題を取り込んで話題タイトルを生成するようにしたので、ニュースに含まれる話題を、より一層的確に自然言語で表現するタイトルを抽出することが可能となる。また、抽出されたタイトルを利用して、ニュース原稿に効果的にインデックスを自動付加することが可能となる。
【００５８】
【発明の効果】以上説明したように、本発明によれば、ニュースに含まれる話題を的確に自然言語で表現するタイトルを抽出することが可能となる。また、抽出されたタイトルを利用して、ニュース原稿に効果的にインデックスを自動付加することが可能となる。
【出願人】 【識別番号】０００００４３５２
【氏名又は名称】日本放送協会
【出願日】 平成１２年１０月２日（２０００．１０．２）
【代理人】 【識別番号】１０００８３８０６
【弁理士】
【氏名又は名称】三好 秀和 （外８名）
【公開番号】 特開２００２−１０８９１６（Ｐ２００２−１０８９１６Ａ）
【公開日】 平成１４年４月１２日（２００２．４．１２）
【出願番号】 特願２０００−３０２５３８（Ｐ２０００−３０２５３８）