codexaで統計を学ぼう！(1)

　Python学習編63回目です。

　今回からcodexaで統計の勉強。

不偏標準偏差がn-1で割るの、そういや長年の謎だったしこの機に聞いてみよう。

入力：不偏標準偏差という定義が用意された意味を、なぜ通常の標準偏差ではまずいかを踏まえて教えてください。

出力：

不偏標準偏差とは、標本から母集団の標準偏差を推定する際に使用される統計量であり、通常の標準偏差と比べて、母集団の標準偏差をより正確に推定できるように調整されたものです。この調整がなぜ必要なのか、通常の標準偏差の限界を踏まえて説明します。

通常の標準偏差

通常の標準偏差は、標本内の値がその標本の平均からどれだけ散らばっているかを測る指標です。これは標本データに基づいて計算され、以下の式で表されます。

s=n1​∑i=1n​(xi​−xˉ)2​

ここで、xi​は標本の各データ点、xˉは標本平均、nは標本サイズです。

なぜ通常の標準偏差ではまずいか

通常の標準偏差を使用すると、母集団の標準偏差を過小評価する傾向にあります。これは、標本が母集団からランダムに選ばれた小さな部分であるため、標本内のデータの変動は母集団全体の変動を完全には反映できないためです。特に標本サイズが小さい場合、この問題はより顕著になります。

不偏標準偏差

この過小評価を補正するために、不偏標準偏差が用いられます。不偏標準偏差は、以下の式で計算されます。

s′=n−11​∑i=1n​(xi​−xˉ)2​

この式では、分母がnではなくn−1になっています。これにより、標準偏差の計算において標本の自由度を1つ減らし、標本の平均が母集団の平均に対して持つ偏りを補正しています。これは「ベッセルの補正」とも呼ばれ、標本から母集団のパラメータを推定する際の偏りを減らすために行われます。

結論

不偏標準偏差は、標本データに基づいて母集団の標準偏差をより正確に推定するために用いられます。通常の標準偏差を使用すると生じがちな母集団の標準偏差の過小評価を防ぐための調整が施されているのが特徴です。特に統計学においては、このような補正を施した推定量が好まれる傾向にあります。

うーん、”n-1″で補正する理由は不明なままだ。聞いてみよう。

入力：なぜn-1で補正するのですか？ほかの方法では何がまずかったのでしょうか

出力：

n−1で補正する理由は、統計学における「自由度」の概念に基づいています。自由度とは、データセット内の値が統計的推定において自由に変動できる度合いを指します。不偏標準偏差の計算でn−1を使う主な目的は、母集団の標準偏差を不偏推定するためです。

自由度とは？

標本平均を計算した後、標本データの各値は平均値に対して一定の制約を受けます。つまり、最初のn−1個のデータ点には自由に値をとることができますが、全体の平均が既に定まっているため、最後のデータ点は自動的に決定されます。これにより、実質的に自由に変動できるデータ点の数はn−1個となります。

不偏推定とは？

統計学において、ある推定量が母集団のパラメータを推定する際にその期待値が真のパラメータ値と等しくなるとき、その推定量を不偏推定量と言います。通常の標準偏差（nで割る）では、母集団の標準偏差を過小評価する傾向にあるため、これを補正して不偏推定量を得るにはn−1で割る必要があります。

他の方法の問題点

• nで割る方法: これは母集団の標準偏差を過小評価し、特に標本サイズが小さい場合にはこのバイアスが大きくなります。
• n+1、n−2などで割る方法: これらは母集団の標準偏差を不偏に推定することができません。n−1で割るのは、統計学において理論的に導かれた、母集団の標準偏差を不偏に推定するための最適な方法です。

結論

n−1で補正するのは、標本から母集団の標準偏差を不偏に推定するための理論的に正しい方法であり、統計学における自由度の概念に基づいています。他の補正方法では、推定量が不偏でなくなるため、n−1を使うことが一般的です。

標本集団は平均値がxˉという制約を課せられてるから、最後の1個はばらつきに寄与しないという理屈か。それっぽいが本当か？実験してみよう

入力：n-1で補正することが適切かどうか検証するために、以下の実験を設計しようと思います。設計が有効かどうか判定してください
母集団：0~1のランダムの1000個の数字とする。
標本集団：母集団から選び出した5個の数字とする。
母集団の標準偏差を求める。
「標本集団の標準偏差と不偏標準偏差を求める。」
「」を100回繰り返す。
標準偏差100回分の平均と不偏標準偏差100回分の平均をとり、近い方がより母集団の標準返済を適切に表していると判断する。

出力：

あなたの実験設計は、不偏標準偏差が母集団の標準偏差をどの程度正確に推定できるかを検証するための有効な方法の一つです。この設計の主な目的は、通常の標準偏差と不偏標準偏差のどちらが母集団の標準偏差をより正確に推定できるかを確認することです。以下、設計の詳細とその有効性についての評価です。

実験の手順

1. 母集団の生成: 0から1の範囲でランダムに選ばれた1000個の数字からなる母集団を生成します。この母集団の標準偏差は、後で標本の標準偏差や不偏標準偏差と比較する基準となります。
2. 標本の抽出: 母集団からランダムに5個の数字を選び出し、これを標本集団とします。標本サイズを5に設定することで、標本の標準偏差と不偏標準偏差の差をより明確に観察できます。
3. 標準偏差の計算: 各標本集団に対して、通常の標準偏差と不偏標準偏差を計算します。
4. 繰り返し: 上記の手順を100回繰り返し、それぞれの標準偏差と不偏標準偏差を求めます。
5. 平均値の比較: 100回の試行から得られた通常の標準偏差と不偏標準偏差の平均を計算し、それぞれを母集団の標準偏差と比較します。近い方が母集団の標準偏差をより正確に推定していると判断します。

評価

• 有効性: この実験設計は、小さな標本サイズでの不偏標準偏差の優位性を示すのに有効です。母集団の標準偏差に対する推定値の精度を、複数回の試行を通じて比較することで、不偏標準偏差の利点が統計的に検証されます。
• 改善点: 標本サイズが非常に小さい（この場合は5）ため、結果のバリエーションが大きくなる可能性があります。より包括的な理解を得るためには、異なる標本サイズ（例えば、10, 20, 50など）で実験を繰り返し、結果の傾向を比較すると良いでしょう。
• 追加の考察: 標本の標準偏差と不偏標準偏差の分布自体も分析すると、それらが母集団の標準偏差をどの程度一貫して推定しているかの洞察が得られます。つまり、平均値だけでなく、推定値のばらつきや分布の形状も考慮することで、どちらの推定量が全体として優れているか、より深く理解することができます。

実験の追加的な側面

• 分布の分析: 標準偏差と不偏標準偏差の推定値の分布を視覚化することで、それらがどの程度一貫して母集団の標準偏差に近い値を提供しているかを評価できます。たとえば、ヒストグラムや箱ひげ図を使用して、推定値の分布を比較します。
• 標本サイズの変化: 異なる標本サイズで実験を行うことで、標本サイズが標準偏差と不偏標準偏差の推定精度にどのように影響するかを検証できます。小さい標本サイズでの推定の不確実性は大きいと予想されますが、標本サイズが増えるにつれて、その不確実性は減少するはずです。
• 統計的検定の利用: 平均値の比較に加えて、統計的検定（例えば、t検定）を使用して、標準偏差と不偏標準偏差の平均値の差が統計的に有意かどうかを検証することも有効です。これにより、観察された違いが偶然によるものではないことをより確信できます。

結論

あなたの実験設計は、不偏標準偏差が母集団の標準偏差を推定する上での有効性を検証するための良い出発点を提供します。実験をより包括的に行い、さまざまな標本サイズや統計的分析を組み込むことで、不偏標準偏差の性能をより深く理解し、その有効性を確かめることができます。母集団から標本を抽出し、それらの標準偏差を計算することで、統計学における重要な概念の理解を深めることができるでしょう。

相変わらず1聞くと10以上にして返してくれるな。実験の方針は間違ってなさそうなので、寄り道してn-1で割る妥当性を検証してみよう。

次回に続く