データに関するあなたの脳の認識は間違っている：信頼区間からの教訓
はじめに：平均を超えて
スクリーンに世論調査の結果が映し出される。ある候補者の得票率は33%だ。スポーツアナウンサーは、バスケットボール選手のフリースロー成功率が85%だと発表する。こうした一点だけの推定値は至るところで見かけるが、果たしてどれほど確かなのだろうか？実際の値は 正確に 33%なのか、それとも85%なのか？あるいはもっと高い、低い可能性もあるのだろうか？
信頼区間（CI）は、この疑問に答えるために設計された統計ツールです。これは、真の値に対して単なる推測値ではなく、妥当な値の範囲を示します。しかし、後述するように、信頼区間が何を表すかについての一般的な理解は、データと 不確実性.
第一の原則は、自分自身を騙してはいけないということです。そして、最も騙されやすいのは自分自身なのです。
1. 不確実性に関するあなたの直感はおそらく間違っている
私たちの脳は、少量のデータから不確実性の真の範囲を推測する能力を本来備えていません。私たちは目にした数字に過信しがちです。
例えば、あるプロバスケットボール選手がフリースローを20本中17本成功させ、そのサンプルにおける成功率は85%だったとします。先に進む前に、少し立ち止まって考えてみてください。この選手の 真の 長期的なスキルは、どのくらいの範囲にあるとお考えですか？書き留めてください。お待ちしています。
ほとんどの人はかなり狭い範囲を推測する。しかし、実際の95%信頼区間は 63.1%から95.6%で.
この範囲は、ほとんどの人が直感的に予想するよりもはるかに広い。これは重要な教訓を示している。つまり、サンプルサイズが小さいと、不確実性が非常に高くなるということだ。信頼区間の文脈を考慮せずに、85%という単一の点推定値に頼るのは、非常に危険な誤解を招く恐れがある。信頼区間は何が起こったかを示しているが、信頼区間はそこからどの程度（あるいはどの程度）一般化できるかを示している。
2. 「95%の確信」はあなたが思っている意味とは違う
これは信頼区間に関する最も一般的で重大な誤解です。「95%信頼度」という表現は、真の母集団値が、先ほど計算した特定の区間（例えば、63.1%から95.6%）内に95%の確率で存在するという意味では ない 平均は、真の母集団値があなたが計算した特定の区間内にある確率が 95% であることを意味します (例: 63.1% から 95.6% まで)。
正しい解釈はもっと微妙です。重要なのは結果ではなく、プロセスです。実験を何度も繰り返し、毎回95%信頼区間を計算した場合、 計算された区間の95%が 真の母集団値を含むと予想されます。つまり、あなたの「信頼」は、その方法が長期的に見て信頼できるかどうかにあるのであって、その方法が生み出す個々の区間の確実性にあるのではありません。
大きなボウルに100個のボールが入っていると想像してください。そのうち25個は赤、75個は黒です。赤いボールの真の「母集団値」は25%です。次に、15個のボールを無作為に繰り返し抽出し、そのサンプル中の赤いボールの割合を計算し、そのサンプルから95%信頼区間を計算すると想像してください。長期的には、これらの区間の5%は、純粋な偶然によって、真の値である25%を含まずになってしまいます。計算した 1つの 区間が、成功した95%に含まれるのか、失敗した5%に含まれるのかは、決してわかりません。
この区別は統計における知的誠実さにとって極めて重要です。
区間はランダムに変動するため、区間に母集団値が含まれる確率を問うのは正しい。母集団値はランダムに変動しないため、区間内に母集団値が含まれる確率を問うのは正しくない。
3. 計算よりも仮定が重要
信頼区間は数式で表されます。しかし、この数式はデータに関する前提が正しい場合にのみ有効です。データ収集プロセスに欠陥があれば、その計算は無意味になります。
重要な前提は次のとおりです。
- ランダム（または代表）サンプル: データは、結論を導き出したい大規模な集団を公平かつ偏りなく表すものでなければなりません。
- 独立した観察: 各データポイントは他のデータポイントとは独立して選択する必要があります。例えば、夫婦のみを調査対象とすることは、この規則に違反することになります。
- 正確なデータ: データは、エラーや意図的な操作がなく、正確にカウント、記録、集計される必要があります。
歴史は、こうした仮定が失敗したときに何が起こるかを示す強力な例を示しています。
- において 1936年のルーズベルト・ランドン選挙1936年、世論調査員たちはランドン氏の圧勝を予測したことで有名です。しかし、彼らの世論調査のサンプルは電話帳と自動車登録リストから抽出されたものでした。1936年当時、裕福な層は電話や自動車を所有する可能性がはるかに高く、彼らはたまたまランドン氏を支持していたため、サンプルに偏りが生じていました。しかし、もう一つ問題がありました。ランドン氏の支持者は、ルーズベルト氏の支持者よりも世論調査に回答する可能性がはるかに高かったのです。この世論調査は標本バイアスと無回答バイアスの両方に悩まされ、壊滅的な結果となりました。
- において 1948年のデューイ・トルーマン選挙世論調査はデューイの勝利を確信的に予測した。新聞は「デューイ、トルーマンに勝利」という見出しを事前に掲載したほどだった。世論調査自体は当時としては正確だったと思われるが、実施は選挙の数週間前に行われた。有権者の意見が変わらないだろうという想定は誤りだった。多くの有権者が選挙戦終盤に考えを変えたのだ。
教訓は明白だ。信頼区間は、ランダム標本誤差による不確実性を定量化することしかできない。データ収集における体系的な偏りを検出したり修正したりすることはできない。どんなに洗練された計算式を使っても、ゴミを入れればゴミしか出てこないのだ。
4. 「3つのルール」：何も見えない時の簡単なコツ
サンプル内のある事象の発生がゼロの場合、信頼区間はどのように計算するのでしょうか？例えば、新しい治療法が最初の試験で副作用を示さなかった場合、それは完全に安全であると結論付けることができるでしょうか？もちろん、そうではありません。
「3 つのルール」はまさにこのような状況に対するシンプルで便利な近道です。
このルールは、n回の試行でイベントがゼロだった場合、そのイベントの発生率の近似95%信頼区間は 0から3/nまで.
これは非常に実用的です。新薬が最初の250人の患者で副作用を全く示さなかった場合、3の法則により、真の副作用発生率は0%から1.2%の間であると95%の確信を持って言えます（3/250 = 0.012）。これは、まだ何も問題がない場合でも、リスクの合理的な上限値を示します。
結論：インターバルを受け入れる
平均値、パーセンテージ、率といった単一の数字は、決して全体像を示すものではありません。それはあくまでも推定値であり、不確実性の海に浮かぶ一つの推測に過ぎません。
信頼区間は、私たちにこの不確実性に立ち向かわせます。信頼区間は、データが世界について実際に何を教えてくれるのかについて、決定的に重要で謙虚で、より正直な視点を与えてくれます。あり得る真実の範囲を示すことで、確実性という幻想に惑わされることを防いでくれます。
次に統計を目にしたとき、その数字について尋ねますか、それともその数字を取り巻く不確実性について尋ねますか?
