| 【発明の名称】 |
構文解析装置および構文解析方法 |
| 【発明者】 |
【氏名】円城寺 淳
|
| 【要約】 |
【課題】確率文脈自由文法に代表されるような確率的モデルを用いる手法においてルールの適用確率を処理対象や利用者に合わせてチューニングすることが可能な構文解析装置および構文解析方法を提供すること。
【解決手段】文入力を行う入力部１と、入力文を形態素に分割する形態素解析部３と、翻訳に必要な語彙情報を格納した単語辞書４と、単語辞書を検索する辞書検索部５と、構文解析等に必要な知識を格納したルール辞書１０と、複数品詞が候補となった単語についてどの品詞による解釈で解析を進めるかを決定する多品詞解消部６と、解析対象文の構文を解析する構文解析部７と、入力文及び構文解析部により行なわれた構文解析の結果を格納する記憶部２と、ルールに付与された適用確率の学習を行なう学習部８と、構文解析部により行われた構文解析結果を表示する表示部９と、各データの流れを制御する制御部１１とを有する。 |
【特許請求の範囲】
【請求項１】文の入力を行う入力部と、前記入力部により入力された文を形態素に分割する形態素解析部と、品詞や意味素など構文解析に必要な語彙情報を格納した単語辞書と、前記単語辞書を検索する辞書検索部と、構文解析等に必要な知識を格納したルール辞書と、複数の品詞が候補となった単語について、どの品詞による解釈によって解析を進めるかを決定する多品詞解消部と、解析対象文の構文を解析する構文解析部と、前記入力部により入力された文及び前記構文解析部により行なわれた構文解析の結果を格納する記憶部と、ルールに付与された適用確率の学習を行なう学習部と、前記構文解析部により行われた構文解析結果を表示する表示部と、各データの流れを制御する制御部とを有する構文解析装置。
【請求項２】前記学習部は、ルールが適用された際に、前記適用されたルールの使用回数を増加させることによりルールの適用確率を更新する請求項１に記載の構文解析装置。
【請求項３】前記学習部は、構文解析の結果、複数の構文木が生成され、ユーザ解と装置解が異なる時に、適用されるべきではなかったが適用されてしまったルールの使用回数を減少させ、適用されるべきであったが適用されなかったルールの使用回数を増加させることにより、ルールの適用確率を更新する請求項１または２に記載の構文解析装置。
【請求項４】文の入力を行う入力ステップと、前記入力ステップで入力された文を形態素に分割する形態素解析ステップと、品詞や意味素など構文解析に必要な語彙情報を格納した単語辞書を検索する検索ステップと、複数の品詞が候補となった単語について、どの品詞による解釈によって解析を進めるかを決定する多品詞解消ステップと、解析対象文の構文を解析する構文解析ステップと、構文解析等に必要な知識を格納したルール辞書からのルールが適用された際に、前記適用されたルールの使用回数を増加させることによりルールの適用確率を更新させる学習ステップと、前記入力ステップで入力された文及び前記構文解析ステップにより行われた構文解析の結果を格納する格納ステップとを有する構文解析方法。
【請求項５】前記学習ステップにおいて、構文解析の結果、複数の構文木が生成され、ユーザとの対話により得られたユーザ解と装置解が異なる時に、適用されるべきではなかったが適用されてしまったルールの使用回数を減少させ、適用されるべきであったが適用されなかったルールの使用回数を増加させることにより、ルールの適用確率を学習させる請求項４に記載の構文解析方法。
|
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、自然言語で書かれた文を文法ルール及び種々の優先ルールによって解析し、その構造を明らかにする構文解析装置および構文解析方法に関する。
【０００２】
【従来の技術】近年、パソコンの普及やインターネットに代表される情報通信ネットワークの発達に伴い、情報の国際化が急速に進展してきており、他国語の情報を目にする機会が非常に多くなってきている。このような情報の活用を行うために機械翻訳装置や情報検索装置の利用機会が増大している。これらの装置を利用可能にするためには、入力された文を文法ルール及び種々の優先ルールによって解析する装置すなわち構文解析装置が必要となる。
【０００３】構文解析装置における構文解析には、係り受けのあいまい性解消、省略された要素の補完、単語の多義性の解消など、解決されるべき問題が多く存在するが、これらの問題に完全に対処できる構文解析装置は存在しない。これらの問題のうち、構文のあいまい性を解消する方法として、確率文脈自由文法に代表される確率的モデルを用いる手法が考案されている。この確率的モデルで、構文のあいまい性を解消する方法は、次の通りである。
【０００４】文法中の各生成ルールＡ→αに対して、Ａが与えられた場合にその生成ルールが適用される条件付き適用確率P(A→α｜A)を付与する。このような条件付き適用確率を計算する最も簡単な方法は構文解析済みのコーパスを利用する方法である。生成ルールの適用確率は、次のように計算される。
【０００５】P(A→α｜A)=（コーパス中のA→αの使用回数）／（コーパス中のAの出現回数）
構文解析を行なって構文のあいまい性により複数の解析木が得られたとき、生成ルールの適用確率を利用して、それぞれの構文木の生起確率を求め、生起確率が最大の構文木を構文解析の結果として保存する。
【０００６】
【発明が解決しようとする課題】しかしながら、自然言語は開いた体系であり、上記従来の構文解析装置では、大規模な構文解析済みのコーパスから生成ルールの適用確率を得たとしても、人間が使用する全ての文に対応するのは不可能であるという問題点があった。
【０００７】この構文解析装置および構文解析方法では、構文解析時に発生する構文あいまい性を解消するために、確率文脈自由文法に代表されるような確率的モデルを用いる手法において、ルールの適用確率を処理対象や利用者に合わせてチューニングすることが要求されている。
【０００８】本発明は、確率文脈自由文法に代表されるような確率的モデルを用いる手法においてルールの適用確率を処理対象や利用者に合わせてチューニングすることが可能な構文解析装置、および、確率文脈自由文法に代表されるような確率的モデルを用いる手法においてルールの適用確率を処理対象や利用者に合わせてチューニングする構文解析方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】この課題を解決するために本発明の構文解析装置は、文の入力を行う入力部と、入力部により入力された文を形態素に分割する形態素解析部と、品詞や意味素など構文解析に必要な語彙情報を格納した単語辞書と、単語辞書を検索する辞書検索部と、構文解析等に必要な知識を格納したルール辞書と、複数の品詞が候補となった単語について、どの品詞による解釈によって解析を進めるかを決定する多品詞解消部と、解析対象文の構文を解析する構文解析部と、入力部により入力された文及び構文解析部により行なわれた構文解析の結果を格納する記憶部と、ルールに付与された適用確率の学習を行なう学習部と、構文解析部により行われた構文解析結果を表示する表示部と、各データの流れを制御する制御部とを有する構成を備えている。
【００１０】これにより、確率文脈自由文法に代表されるような確率的モデルを用いる手法においてルールの適用確率を処理対象や利用者に合わせてチューニングすることが可能な構文解析装置が得られる。
【００１１】この課題を解決するための本発明の構文解析方法は、文の入力を行う入力ステップと、入力ステップで入力された文を形態素に分割する形態素解析ステップと、品詞や意味素など構文解析に必要な語彙情報を格納した単語辞書を検索する検索ステップと、複数の品詞が候補となった単語について、どの品詞による解釈によって解析を進めるかを決定する多品詞解消ステップと、解析対象文の構文を解析する構文解析ステップと、構文解析等に必要な知識を格納したルール辞書からのルールが適用された際に、適用されたルールの使用回数を増加させることによりルールの適用確率を更新させる学習ステップと、入力ステップで入力された文及び構文解析ステップにより行われた構文解析の結果を格納する格納ステップとを有する構成を備えている。
【００１２】これにより、確率文脈自由文法に代表されるような確率的モデルを用いる手法においてルールの適用確率を処理対象や利用者に合わせてチューニングする構文解析方法が得られる。
【００１３】
【発明の実施の形態】本発明の請求項１に記載の発明は、文の入力を行う入力部と、入力部により入力された文を形態素に分割する形態素解析部と、品詞や意味素など構文解析に必要な語彙情報を格納した単語辞書と、単語辞書を検索する辞書検索部と、構文解析等に必要な知識を格納したルール辞書と、複数の品詞が候補となった単語について、どの品詞による解釈によって解析を進めるかを決定する多品詞解消部と、解析対象文の構文を解析する構文解析部と、入力部により入力された文及び構文解析部により行なわれた構文解析の結果を格納する記憶部と、ルールに付与された適用確率の学習を行なう学習部と、構文解析部により行われた構文解析結果を表示する表示部と、各データの流れを制御する制御部とを有することとしたものであり、ルールに付与された適用確率の学習を行なうことにより、構文解析時に発生する構文あいまい性を解消するために付与されたルールの適用確率が処理対象や利用者に合わせてチューニングされるという作用を有する。
【００１４】請求項２に記載の発明は、請求項１に記載の発明において、学習部は、ルールが適用された際に、適用されたルールの使用回数を増加させることによりルールの適用確率を更新することとしたものであり、処理対象や利用者に合わせたルールの適用確率が設定されるという作用を有する。
【００１５】請求項３に記載の発明は、請求項１または２に記載の発明において、学習部は、構文解析の結果、複数の構文木が生成され、ユーザ解と装置解が異なる時に、適用されるべきではなかったが適用されてしまったルールの使用回数を減少させ、適用されるべきであったが適用されなかったルールの使用回数を増加させることにより、ルールの適用確率を更新することとしたものであり、ルールの適用確率の信頼性が向上するという作用を有する。
【００１６】請求項４に記載の発明は、文の入力を行う入力ステップと、入力ステップで入力された文を形態素に分割する形態素解析ステップと、品詞や意味素など構文解析に必要な語彙情報を格納した単語辞書を検索する検索ステップと、複数の品詞が候補となった単語について、どの品詞による解釈によって解析を進めるかを決定する多品詞解消ステップと、解析対象文の構文を解析する構文解析ステップと、構文解析等に必要な知識を格納したルール辞書からのルールが適用された際に、適用されたルールの使用回数を増加させることによりルールの適用確率を更新させる学習ステップと、入力ステップで入力された文及び構文解析ステップにより行われた構文解析の結果を格納する格納ステップとを有することとしたものであり、処理対象や利用者に合わせたルールの適用確率が設定されるという作用を有する。
【００１７】請求項５に記載の発明は、請求項４に記載の発明の学習ステップにおいて、構文解析の結果、複数の構文木が生成され、ユーザとの対話により得られたユーザ解と装置解が異なる時に、適用されるべきではなかったが適用されてしまったルールの使用回数を減少させ、適用されるべきであったが適用されなかったルールの使用回数を増加させることにより、ルールの適用確率を学習させることとしたものであり、確率モデルを用いたルールの適用確率の信頼性が向上するという作用を有する。
【００１８】以下、本発明の実施の形態について、図１から図６を用いて説明する。
（実施の形態１）図１は本発明の実施の形態１による構文解析装置を示すブロック図である。１は文の入力を行う入力部、２は入力された文や構文解析の結果を格納する記憶部、３は入力された文を形態素に分割する形態素解析部、４は品詞や意味素など翻訳に必要な語彙情報を格納した単語辞書、５は単語辞書４を検索する辞書検索部、６は複数の品詞が候補となった単語について、どの品詞による解釈によって解析を進めるかを決定する多品詞解消部、７は解析対象文の構文を解析する構文解析部、８は生成確率の学習を行なう学習部、９は構文解析結果を表示する表示部、１０は多品詞解消や構文解析に必要な知識を格納したルール辞書、１１は各データの流れを制御する制御部である。
【００１９】図２は、図１の構文解析装置を具体化して示す装置ブロック図である。２１はキーボード、２２は中央処理装置（ＣＰＵ）、２３は陰極線ディスプレイ（ＣＲＴ）、２４はリードオンリーメモリ（ＲＯＭ）、２５はランダムアクセスメモリ（ＲＡＭ）である。図１に示した入力部１はキーボード２１に対応し、表示部９はＣＲＴ２３に、記憶部２及びルール辞書１０はＲＡＭ２５に、単語辞書４はＲＯＭ２４に対応する。また、形態素解析部３、辞書検索部５、多品詞解消部６、構文解析部７、学習部８及び制御部１１は、ＣＰＵ２２が、ＲＯＭ２４及びＲＡＭ２５とデータのやりとりを行いながら、ＲＯＭ２４に記憶されているプログラムを実行することにより実現される。
【００２０】以上のように構成された構文解析装置について、以下その動作を説明する。図３は図１の構文解析装置の主処理を示すフローチャートであり、図４は図１の構文解析装置の構文解析、学習処理を示すフローチャート、図５、図６は本実施の形態において得られた構文木の例を示す構文木図である。（表１）に、本実施の形態における構文解析で用いられる文法ルールの例を示す。
【００２１】
【表１】
【００２２】なお、以降の説明では、入力文の言語として英語を、文法として確率文脈自由文法を考えるが、入力文の言語は英語に限定されるものではなく、文法も文脈自由文法に限定されるものではない。
【００２３】入力文の例として、“Ｉ ｓａｗ ａ ｇｉｒｌ ｗｉｔｈ ａ ｔｅｌｅｓ−ｃｏｐｅ．”を考える。この文は、図５及び図６のような二つの構造を持ちうる。図５は、「望遠鏡（ａ ｔｅｌｅｓｃｏｐｅ）」で「少女（ａ ｇｉｒｌ）」を「見た（ｓａｗ）」という構造を表わし、図６は、「望遠鏡を持った少女（ａ ｇｉｒｌ ｗｉｔｈ ａ ｔｅｌｅｓｃｏｐｅ）」を「見た（ｓａｗ）」という構造を表わしている。図５、図６において、Ｓは文を示し、ＮＰは名詞句、ＶＰは動詞句、ＰＰは前置詞句、ＲＲＯＮは固有名詞、Ｖは動詞を示す。
【００２４】図３において、まず、入力部１から構文解析対象の文が入力される（Ｓ１）。次に、形態素解析部３は、辞書検索部５により単語辞書４に登録された語の検索を行ないながら、対象文の形態素解析を行なう（Ｓ２）。次に、多品詞解消部６が、ステップ２での形態素解析の結果、複数の品詞の可能性があるものに対し、どの品詞による解釈に基づき解析を行なうかをルール辞書１０に記されたルールを用いて決定する（Ｓ３）。
【００２５】次に、構文解析部７および学習部８により、構文解析処理およびルールの適用回数を更新する学習処理が行なわれる（Ｓ４）。次に、制御部１１は、ステップ４で得られた構文解析の結果を記憶部２に記憶し（Ｓ５）、ステップ５で記憶された構文解析の結果を表示部９に表示して処理を終了する（Ｓ６）。
【００２６】次に、図３のステップ４の構文解析、学習処理について、図４を用いて詳細に説明する。図４において、ステップ１１〜１５は構文解析処理、ステップ１６〜２１は学習処理である。
【００２７】まず、構文解析部７がルール辞書部１０に記されたルールを用いて構文解析を行なう。例文“Ｉ ｓａｗ ａ ｇｉｒｌ ｗｉｔｈ ａ ｔｅｌｅｓｃｏｐｅ．”の場合、図５及び図６に示す２種類の解析結果（構文木）が得られる（Ｓ１１）。次に、制御部１１はステップ１１で得られた解析結果を記憶部２に記憶する。次に、構文解析部７は、構文解析の結果にあいまい性があるか否かを判定し（Ｓ１３）、構文解析結果にあいまい性がある場合、すなわち、複数の解析木が得られた場合はステップ１４に進み、あいまい性がない場合、すなわち、ただ一つの解析木が得られた場合はこの構文解析、学習処理を終了する。例では、図５及び図６に示す２種類の解析木が得られるので、あいまい性があると判断され、ステップ１４に進む。
【００２８】ステップ１４では、制御部１１は、それぞれの構文木の生起確率を計算し、最適解の候補を決定する。解析済みのコーパスからルールの適用回数を調べることにより、適用確率が既に得られているとする。適切な生成ルールを選択するために、従来の確率モデルを用いた文法と同様に、構文木の生起確率を比べ、確率の最も大きな構文木を構文解析装置の解（以下、「装置解」という）とする。図５の構文木が得られる確率Ｐ５、図６の構文木が得られる確率Ｐ６はそれぞれ次式で求められる。
【００２９】P5=P(S→NP VP｜S)×P(NP→N｜NP)×P(VP→V NP｜VP)×…×P(N→telescope｜N) P6=P(S→NP VP｜S)×P(NP→N｜NP)×P(VP→VP PP｜VP)×…×P(N→telescope｜N)なお、（表１）の規則（ルール）１、２及び３の適用確率は、（表１）中の記号を用いて、次式で求められる。
【００３０】p1=n1/Np2=n2/Np3=n3/NここでN=n1+n2+n3である。この結果、P5よりもP6の方が大きな値が得られたとする。この場合、制御部１１で得られた装置解は、図６の構文木となる。
【００３１】次に、制御部１１は、予め行われたユーザの設定により、学習を行なうか否かを判定する（Ｓ１５）。学習を行なう場合はステップ１６に進み、学習を行なわない場合はこの処理を終了する。ステップ１６では、制御部１１は、ステップ１１で得られた構文木の候補を表示部９に表示する。次に、ステップ１６で表示された候補を見てユーザは正しい構文木を選択する（Ｓ１７）。ステップ１７での選択結果（以下、「ユーザ解」という）は制御部１１に通知される。次に、制御部１１は、ステップ１４で得られた装置解とステップ１７で得られたユーザ解が一致しているか否かを判定する。装置解とユーザ解が一致した場合は、ステップ２１に進み、一致しなかった場合は、ステップ１９に進む。
【００３２】ステップ１９では、学習部８は、ペナルティとして、適用されるべきではなかった生成ルールの適用確率が低くなるようにルールの使用回数を調整し、ステップ２０に進む。ステップ２０では、適用されるべきであった生成ルールの適用確率が大きくなるようにルールの使用回数を調整してステップ２１に進む。例として、ユーザが図５の構文木を選択した場合を考える。文をトップダウンに解析することを考えると、図５と図６の構文木の違いは、図５と図６の最上段のＶＰの生成ルールの違いに端を発する。そこで、適用されたルールのうち、ＶＰを左辺とするルールにペナルティを与えることを考える。（表１）のルール２が適用されるべきルールで、ルール３が適用されるべきではないルールである。そこで、次式のようにして、ルール３の適用確率が小さくなるようにルール３の使用回数にペナルティを与え、ルール２の適用確率が大きくなるようにルールの使用回数を調節する。
【００３３】n2=n2+1n3=n3-1ステップ２１では、報酬として、ユーザ解で使用された全てのルールの使用回数を増加させて、この構文解析、学習処理を終了する。図５の構文木が、ユーザ解である場合、図５中の全てのルールの使用回数を増加させる。例えば、この木を作るのに（表１）のルール２が適用されているが、このルールの使用回数を次式のように増加させる。
【００３４】n2=n2+1このようにして、図５で使われた全てのルールの使用回数を増加させる。この結果、次式を計算することにより、各ルールの適用確率が更新される。
【００３５】p1=n1/Np2=n2/Np3=n3/N【００３６】
【発明の効果】以上のように本発明の請求項１に記載の構文解析装置によれば、文の入力を行う入力部と、入力部により入力された文を形態素に分割する形態素解析部と、品詞や意味素など翻訳に必要な語彙情報を格納した単語辞書と、単語辞書を検索する辞書検索部と、構文解析等に必要な知識を格納したルール辞書と、複数の品詞が候補となった単語について、どの品詞による解釈によって解析を進めるかを決定する多品詞解消部と、解析対象文の構文を解析する構文解析部と、入力部により入力された文及び構文解析部により行なわれた構文解析の結果を格納する記憶部と、ルールに付与された適用確率の学習を行なう学習部と、構文解析部により行われた構文解析結果を表示する表示部と、各データの流れを制御する制御部とを有することにより、構文解析時に発生する構文あいまい性を解消するために付与されたルールの適用確率を処理対象や利用者に合わせてチューニングすることができるので、処理対象や利用者に合った構文解析結果を取得できるという有利な効果が得られる。
【００３７】請求項２に記載の発明によれば、請求項１に記載の発明において、学習部は、ルールが適用された際に、適用されたルールの使用回数を増加させることによりルールの適用確率を更新することにより、処理対象や利用者に合わせたルールの適用確率を設定することができるという有利な効果が得られる。
【００３８】請求項３に記載の発明によれば、請求項１または２に記載の発明において、学習部は、構文解析の結果、複数の構文木が生成され、ユーザ解と装置解が異なる時に、適用されるべきではなかったが適用されてしまったルールの使用回数を減少させ、適用されるべきであったが適用されなかったルールの使用回数を増加させることにより、ルールの適用確率を更新することにより、ルールの適用確率の信頼性を向させ、構文解析の精度を向上させることができるという有利な効果が得られる。
【００３９】請求項４に記載の構文解析方法によれば、文の入力を行う入力ステップと、入力ステップで入力された文を形態素に分割する形態素解析ステップと、品詞や意味素など翻訳に必要な語彙情報を格納した単語辞書を検索する検索ステップと、複数の品詞が候補となった単語について、どの品詞による解釈によって解析を進めるかを決定する多品詞解消ステップと、解析対象文の構文を解析する構文解析ステップと、構文解析等に必要な知識を格納したルール辞書からのルールが適用された際に、適用されたルールの使用回数を増加させることによりルールの適用確率を更新させる学習ステップと、入力ステップで入力された文及び構文解析ステップにより行われた構文解析の結果を格納する格納ステップとを有することにより、処理対象や利用者に合わせたルールの適用確率を設定することができるという有利な効果が得られる。
【００４０】請求項５に記載の発明によれば、請求項４に記載の発明の学習ステップにおいて、構文解析の結果、複数の構文木が生成され、ユーザとの対話により得られたユーザ解と装置解が異なる時に、適用されるべきではなかったが適用されてしまったルールの使用回数を減少させ、適用されるべきであったが適用されなかったルールの使用回数を増加させることにより、ルールの適用確率を学習させることにより、確率モデルを用いたルールの適用確率の信頼性を向上させ、構文解析の精度を向上させることができるという有利な効果が得られる。
|
| 【出願人】 |
【識別番号】０００００５８２１
【氏名又は名称】松下電器産業株式会社
|
| 【出願日】 |
平成９年（１９９７）９月２日 |
| 【代理人】 |
【弁理士】
【氏名又は名称】滝本 智之 （外１名）
|
| 【公開番号】 |
特開平１１−８５７４８ |
| 【公開日】 |
平成１１年（１９９９）３月３０日 |
| 【出願番号】 |
特願平９−２３６７７８ |
|