動的計画法と文法

　えーと。DPマッチングで単語単位でマッチングしても、そりゃかまわないわけですが。

　ですが「わたし-の-なまえ-は-みやざわ-です」を考えてみます。んで、仮に日本語には3万単語あるとします。すると「わたし」の部分が「わたし」であるとマッチングするのに3万単語と比べないといけないわけです。この例文は、6単語からなってますので少なく見積っても3万^6の計算が必要になります。実際には「わた-しの……」とかもやることになるのでもっと計算するわけですが。

　まぁDPマッチングに限らず、「それじゃぁたまらんなぁ」となるわけです。

　そこで「文法を使おうぜ」となります。

　n-gramの場合、次には何が来やすいかとかがそのままあるので便利といえば便利です。

　文脈自由文法を使うのは無理だなぁと思われるかもしれませんが、そうでもないです。「文脈自由文法」の稿で書いといた文法とか見てください。その文法を書くと、最初に何が来るのか、それに何が続くのかとかを文法を展開して求めておいてやることが可能です。

　n-gramでもNPとかを使う方法があるわけですが、その場合も、それを展開して求めておいてやることが可能です。

　そういう方法を使うと、たとえば3万^6とかの計算はやらなくても構わない可能性が出てきます。もちろん、そういうのに強く依存すると、n-gramにせよ文脈自由文法にせよ、そこに書かれていないものはパターンマッチングできなくなったりするという可能性はあります。まぁ、そこは割り切りとバランスの問題となります。

　あるいは、「単語の並びがわかるっぽいのに、それの並びについての情報は求めない」ってのは、ある意味もったいないわけです。せっかく時間をかけてるのに。まぁ、単語単位でのn-gramだと、文法的な情報は持ってないので、ついでにそっちも求めるってのはできないわけで、もう一段かませてやる必要がありますけど。

　文脈自由文法にせよ、NPとかを導入したn-gramであっても、ちょい考えてみましょう。

　「わたし-の-なまえ-は-みやざわ-です」を使います。

　「わたし」が来たら、その後のとくっついてPPになるっぽいとかわかるわけです。すると「わたし」の後には「の」とか「は」とか「が」とかが来るっぽいとかわかるわけです。んで「の」とか「は」とか「が」とかが来たら、「やっぱりPPになるねー」とわかるわけです。そんで、その後にはこれこれが来るっぽいとか、やっぱり来たねーとかでPPとかNPとかVPとかがやっぱり出来たってのがわかるわけです。まぁ理想的にはですが。

　まぁこれで万事解決というわけにもいかないですけど。英語の文法だとしてこれを考えてみます。

　　　S -> NP VP

　なんで英語って言ったかというと、英語でなくても構わないのですが、ここでのNPは "I" だけとかで、それ以降は全部VPにまとまったりするわけです。VPの構成要素の句は普通にやって得られるわけですけど、S -> NP VPでのVPが得られるのは、最後までちゃんと計算できた場合ということになります。

　音声でなく、文字列を対象にボトムアップあたりででも計算する場合でも、きっちり一単語とか一つの句ごとに確定できていくってのは難しかったり無理だったりします。だいたい形態素解析だって確定してくの難しかったり無理だったりしますし。

　でも、こういう方法に意味がないかというと、そういうわけでもありません。

　というのも計算機に何かを計算させるときに何が問題になるかというと、かかる時間ともっともらしさだったりするからです。平均としてかかる時間が短かくなったり、平均としてもっともらしい結果が得られるのが大事だったりします。で、どういう並びでもありうるとするよりも、文法とかの制限を使うとそれらをましにできる可能性があるわけです。

　もちろん、それらを導入したことによってむしろコケる可能性もあります。ですが、コケる可能性を知った上で、それに対処できるなら、「使える情報は何でも使う」方が平均としてはよかったりするわけです。

　このあたりをうまくやるには、それぞれの分野についてきちんと勉強して、その知識を生かすしかありません。頑張って勉強してください。