第9回：最尤推定法

  • 統計学における推定は、何をしているのか理解すること
  • どのような推定が望ましい推定なのかの基準を知ること
  • 尤度函数の最大化が最尤推定につながることを説明できるようにすること
  • 最尤推定の手順を把握すること

調べたい対象の全てのデータを得ることは、多くの場合不可能です。このため、一部のデータ、すなわち標本から、全体（母集団）を探ることが必要になってきます。一部から全体を予測する手法として、（統計学的）推定というものがあります。

推定と一言で言っても、実は様々な推定手法があります。そして、うまく推定できる手法と、そうでない手法があるのです。推定の良さを決める基準として、一致性や不偏性といったものがあります。一致性とは、標本数が多くなればなるほど1つの値に収束していく性質のことを示しています。つまり、データをたくさん集めれば集めるほど、良い推定につながるということです。不偏性とは、文字通り偏っていないことを示します。推定値の期待値が真の値になるということです。

よく使われる推定手法として、最尤推定法 (maximum likelihood estimation) と呼ばれるものがあります。これは、しばしば“MLE”という略称で呼ばれます。「尤」という字は、「もっともらしい」という意味です。つまり、「最尤」推定法とは「一番もっともらしい」ところをもって推定する手法なのです。

さて、最尤推定法とは、どのような手法なのでしょうか。端的に言えば、現在持っているデータから発生する確率が最も高くなるようなところを、推定値とするということです。

今、データ D があるとします。そして、このデータ D が、ある確率分布に従っているとします。さらに、この確率分布は、良く分からないものの、何らかのパラメータ θを持っているとします。つまり、データ D と確率分布の名前は既知であり、確率分布のパラメータ θ が未知というわけです。この未知のパラメータパラメータ θ を推定するのが目的になります。

この設定で、データ D が発生する確率は、P(D | θ) と書けます。ここでは、θ をパラメータとし、データ D を引数とした函数として捉えています。やや大ざっぱな言い方をすれば、θ が与えられたとき、D が出てくる確率を示しているのです。この確率 P(D | θ) は大きければ大きいほど良くなります。なぜならば、今得られているデータは、決してめったに起きないことではなく、ありふれたことであるはずだからです。ありふれたことであるならば、確率は大きくなってしかるべきです。

さて、ここで、先ほどの函数のパラメータと引数をひっくり返してみます。つまり、P(θ | D) となるわけです。また大ざっぱな言い方になりますが、これは、D が与えられたとき、θ が出てくる確率のことになります。今、D が既知で、θ が未知なので、D を先に与えてくれた方が都合が良いのです。なお、この P(θ | D) のことを尤度函数と呼ぶことにします。

先ほど、P(D | θ) は大きければ大きいほど良いと述べました。これと同じ道理で、尤度函数 P(θ | D) も大きければ大きいほど良いのです。尤度函数は要するに、パラメータがある値になることのもっともらしさを表してます。あまりもっともらしくないパラメータよりも、もっともらしいパラメータの方が明らかに良さそうです。ですから、尤度函数が表すもっともらしさは、大きい方が良いわけです。そして、明らかに一番良いのは、尤度函数が最大値をとることになります。

というわけで、尤度函数の最大値を求めれば、一番良いパラメータが推定できることになります。つまり、最尤推定法とは、尤度の最も大きいところを推定することなのです。函数の最大化は、第2回で扱った最適化問題の手法を用いれば簡単です。また、最大値を求める際のテクニックとして、函数全体を対数化することがあります。詳しくは述べませんが、対数にすると計算が容易になります。なお、尤度函数を対数にしたものを対数尤度函数と呼びます。最尤推定に当たっては、尤度函数ではなく、対数尤度函数を最大化することがしばしばあります。基本的に、尤度函数の最大化と対数尤度函数の最大化は同じ問題なので、どちらを解いても問題ありません。ただし、対数尤度函数の最大化の方が計算が楽なので、こちらの方がしばしば行われるわけです。

  • 「独立に同一の確率分布に従う」(independently identically distributed; i.i.d.)の意味を確認してください。
  • 推定における「一致性」や「不偏性」の詳しい定義を調べてみてください。
  • 尤度函数の最大化が、なぜパラメータの推定につながるのか説明してください。
  • Poisson分布のパラメータ λ の最尤推定を行い、λ が分布の期待値となっていることを確認してください。
  • 最尤推定法以外にどのような推定手法があるのか調べてみてください。