【１】不偏推定量と最尤推定量の比較

　望ましい推定量の基準として要求される条件には不偏性，一致性，有効性，十分性などがあげられます．とりわけ不偏性は推定の妥当性の基準として重要なのですが，不偏推定量のうちで，分散最小の推定量を最小分散不偏推定量（minimum variance unbiased estimator）といい，望ましい推定量の１つの基準とされます．

　最小分散不偏推定量は

１）クラーメル=ラオの不等式の下限を達成する不偏推定量

２）完備十分統計量の関数である不偏推定量

として求められます．

　ところが，仮定する分布や統計モデルが複雑になると，最小分散不偏推定量が観測値を用いて明示的に表せなかったり，あるいは存在しないことがあります．そのような場合においても，コンピュータによる数値計算が容易になった今日，ほとんどオールマイティな推定量の構成法として，最尤推定法（最尤法）があります．最尤法は確率論の基礎的な方法であり，近代統計解析の核心といってよいほど重要な方法になっています．

　不偏推定値を求める場合，不偏推定値が常に存在するとは限りませんし，また、存在したとしても簡単に求まるとは限りません．一方，最尤推定量は標本数ｎが大きくなると漸近的に正規分布に従い，その漸近分散はクラーメル・ラオの不等式の下限に一致することが証明されています．すなわち，最尤推定値は，ある緩やかな正規条件のもとで漸近的に最小不偏分散推定量になるという最適性を示します．（最尤推定量は一般に普遍性をもっていませんが，それを適当に修正して不偏分散推定量にできるという利点があります．）

　また，標本分散ｓ^2の平方根ｓは最尤標準偏差ですが，不偏分散ｕ^22の平方根ｕは不偏標準偏差にはなりません．このように，θの関数g(θ)の値を推定するとき，θの不偏推定量θnをg(θ)に代入して得られるg(θn)は一般にg(θ)の不偏推定量にならないという欠点があります．これに対してθの最尤推定量θnを代入して得られるg(θn)は一般にはg(θ)の最尤推定量になります．これは不変性と呼ばれる最尤推定量のもつ１つの便利な性質です．（不偏推定量は不変性をもっていないことは，母分散と母標準偏差の例からも明らかであろう．）

　さらに，不偏推定量は無限回繰り返しを行なったらという実際にはできないことを想定したうえで得られる虚構の値で，一方，最尤推定量には無限回の発想は入っておらず，常に１回のｎ個のデータから求める推定量になっているため，それ自身かなり好ましい性質をもっています．

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

【２】スチューデントのｔ分布（不偏推定値？，最尤推定値？）

　測定では一般に母分散σ^2を知ることはできません．そのかわり，何回かの測定のばらつきからｎで割った標本分散ｓ^2とｎ−１で割った標本不偏分散ｕ^2が求められます．

s^2=Σ(x-x)^2/n

u^2=Σ(x-x)^2/(n-1)

　スチューデントやウェルチのｔ検定では母分散σ^2の代わりにその推定値を使うことになりますが，この推定量としては標本分散ｓ^2と標本不偏分散ｕ^2が考えられます．ｎが大きいとき標本分散ｓ^2と標本不偏分散ｕ^2の差は小さくなりますから，あまり問題にはなりませんが，ｎが小さいときにはその違いは案外大きくなります．

　前節で標本分散ｓ^2は母分散σ^2の最尤推定量，標本不偏分散ｕ^2は不偏推定量になっていることを喚起しておきましたが，それでは母分散σ^2の推定量としてどちらが好ましいのでしょうか？

　標本分散ｓ^2はσ^2の最尤推定量であるだけでなく，その平方根もまたσの最尤推定量です．一方，標本不偏分散ｕ^2の平方根ｕはσの不偏推定量にはなっていません．標本分散の平方根を用いると最尤推定量の一つの枠の中で議論できるという強みをもっているため，その意味で，ｕ^2でなくｓ^2を使うべきだと主張する人もいます．

　結論からいうと，母分散σ^2の代わりにはその不偏分散ｕ^2が使われます．

１．「ｎで割る標本分散」は本来の分散σ^2より小さい方に偏った答えを与える傾向があり，とくに，実験データのようにデータが少数の場合，このような偏りを補正するために「ｎ−１で割る不偏分散」を使うべき

２．母標準偏差の不偏推定量

√ｎ／２Γ｛（ｎ−１）／２｝／Γ（ｎ／２）ｓ

　＝√（ｎ−１）／２Γ｛（ｎ−１）／２｝／Γ（ｎ／２）ｕ

の定数ｔ分布の確率密度関数の定数であるから，

というのがもっともらしい理由としてあげられますが，これらは二義的な理由にすぎません．

　ｔ分布とのつながりを考えるとき，不偏分散（の平方根）でないといけないというのが第一義的な理由です．この節ではこのことを証明したいと思います．

（証明）

　ｎ個の観測値の標本平均と母平均の差（距離）を不偏標本分散の平方根で割った統計量ｔ＝（ｘ−μ）／ｕ／√ｎの分布が自由度ｎ−１のｔ分布に従うことは，ゴセットが最初に発見し，フィッシャーが厳密に証明したことは歴史的事実として有名です．フィッシャーは統計量ｔの分布をｎ次元ユークリッド空間を使って導きましたが，オリジナルの導出法は多重積分が必要となりわずらわしいので，再び「母集団分布が正規分布であるとき，標本不偏分散と母分散の比はχ2分布にしたがう」という統計的性質を使って求めてみることにします．

　σの分布は

g(σ)dσ=1/2^((n-1)/2)Γ((n-1)/2)((n-1)u2/σ2)^((n-3)/2)exp(-(n-1)u2/2σ2)2(n-1)u2/σ3dσ

で与えられます．

標本平均ｘの分布はＮ（μ，σ^2／ｎ）すなわち

f(x)dx=√(n/2π)/σ-exp(-n(x-μ)^2/2σ^2)

であり，σの分布も前式で与えられますから，分布の混合によって

h(x)=∫(0-∞)f(x,σ)g(σ)dσ

=√(n/2π(n-1))Γ(n/2)/Γ((n-1)/2)u^(n-1){n/(n-1)(x-μ)2+u2}

　ここで，(x-μ)/u/√n=tと変数変換すると

h(μ)dμ=1/√π(n-1)Γ(n/2)/Γ((n-1)/2){1+t2/(n-1)}^(-n/2)dt

より

h(t)=1/√π(n-1)Γ(n/2)/Γ((n-1)/2){1+t2/(n-1)}^(-n/2)

　このようにして母集団の分散によらない分布が構成されます．この分布は自由度ｎ−１のｔ分布にほかなりません．これより，「ｘがＮ（０，１），ｙが自由度ｎのχ^2分布に従うとき，ｔ＝ｘ／√（ｙ／ｎ）は自由度ｎのｔ分布に従う．」という統計的性質が得られます．また，これによりｔ分布は正規分布よりも裾の重い混合正規分布の１つと考えることができます．

【補】ｔ’分布（ワイドｔ分布）

　ｎ−１で割る理由は，母分散に関して不偏推定になっている

　　E[u^2]=σ^2

という理由もあるが，これはどこまで根拠があるかとはなはだ疑問である．後述の最尤推定法を用いるとｎで割るほうが合理的であるという結果が得られるからである．しかし，最尤法ではｔ’を考える必要がある．

　前式において，x=ns2/σ2で変数変換すると，sの分布は

g(s)ds=1/2^((n-1)/2)Γ((n-1)/2)(ns2/σ2)^((n-3)/2)exp(-ns2/2σ2)2ns/σ2ds

で与えられます．したがって，統計量ｔ’＝（ｘ−μ）／ｓ／√ｎの分布は

h'(t')=1/√πnΓ(n/2)/Γ((n-1)/2){1+t2/n}^(-n/2)

となり，ｔ分布とは異なっています．とりあえず，自由度ｎ−１のｔ’分布と名付けることにします。この分布はｎ→∞のとき正規分布に収束しますが、ｎ＝２のときh'(t')=1/{sqr(2)π}{1+t2/2}^(-1)となり、コーシー分布の横幅を拡げたような分布になります。任意の自由度に対しても、ｔ’分布はｔ分布を横軸方向に伸ばした形になっていて、

∫(k-∞)h(t)dt=integral(k'-∞)h'(t')dt'=αとおくと、

ｋ’＝ｋ��(n/(n-1))すなわち，自由度ｎ−１のｔ’分布の上側α％点は，自由度ｎ−１のｔ分布の上側α％点×√(n/(n-1))で求められることになり、両者は簡単に換算できることになります．また，上側α％点が自由度（ｍ，ｎ−１）のＦ分布の上側α％点×n/(n-1)で求められる分布を，自由度（ｍ，ｎ−１）のＦ’分布と呼ぶことにします．

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝