麹町の新米データサイエンティストSINがゆく!

教育業界に就職した新米データサイエンティストのブログ、現在UdacityのDSND挑戦中

自然科学の統計学を読み始めました。

こんにちは、SINです。
この間、東大出版の統計学基礎(赤本)を読み終わりました。
ということで次は青本こと自然科学の統計学を読みます。と同時に、メモをブログにアウトプットすることにします。
ゆくゆくは統計検定1級取りたいですね(ゴゴゴ)

第1章は、赤本の復習みたいな内容でした。いろんな確率分布や中心極限定理などなど。 第2章はちょっとわからなかったんで飛ばしました。もうちょい線型代数頑張った後に舞い戻ります。 ということで、今回は第3章の「実験データの分析」から始めます。

・読んだ範囲(79~94) 以下メモ

2標本問題

2つの対象の比較として用いられることが多い。比較の基本となる統計量はそれぞれの集団の平均。

母平均の差の検定

帰無仮説:2つの母平均は等しい

母分散の状況によって3ケースに分かれる

  • 2つの母分散がわかっている場合
  • 母分散未知だが、母分散は等しいと仮定できる場合
  • どちらもわからん場合
2つの母分散がわかっている場合

標本平均の差が合成した正規分布に従うので、標準化変数Zにより検定する

母分散未知だが、母分散は等しいと仮定できる場合

上記と同様に、合成した正規分布に従う。母分散が未知なので、母分散を併合推定量(pooled variance)で推定し、統計量tによって、t検定を行う

どちらもわからん場合

Welchの検定を行う。

上記の2ケース目の、等分散を仮定できるかの判断に分散の比の検定を行う場合がある。 統計量Fによって、F検定を行う。

一元配置分散分析

2標本の差の検定は、以上に述べたような方法でできるが、3標本以上の間の差を分析する場合は、分散分析という手法を用いる。(ANOVA : Analysis of variance)

例えば、温度を50℃、55℃、60℃と変化させ、ある化学反応を進行させたとすると、ここでいう 温度のように、実験に変化を及ぼすと思われるものを「因子(factor)」と呼び、ここでいう50, 55, 60℃のように、因子に対して与える条件を「水準(level)」と呼ぶ。

それぞれの条件での繰り返し数の重みでの加重平均を一般平均と呼び、各水準の平均から一般平均を引いたものが、各水準の効果(effect)と呼ばれる。

つまり、
[得られたデータ] = [全体の平均] + [各水準の効果] + [誤差]
という分解をすることができる。

よって、因子によって効果があるかどうかという分析は、
帰無仮説:それぞれの水準の効果が0である
を検定することに帰着する。

データ全体の変動の大きさを
sum(([それぞれのデータ] - [総平均])**2)
で定義し、これを総平方和と呼ぶ。

総平方和は、水準間の変動と同一水準での変動に分解することができる。つまり、 [総平方和] = [級間平方和] + [誤差平方和]
と表され、分散分析では、右辺の二種類の比をとり、級間平方和の方が誤差平方和よりも有意に働くかどうかを検討する。

実際の検定では、それぞれの平方和をそれぞれの自由度で割ったものがカイ二乗分布に従うことから、それらの比はF分布に従うとして検定を行う。

また、それぞれの平方和を自由度で割ったものが分散の形をしており、分散の比によって検定が行われるので、分散分析と呼ばれる。

今日はここまで!次回は3.3の交互作用と要因実験から はてなMarkdownでプレビュー見ながら数式がかける方法はないものだろうか。。。