脳が統計を間違える7つの驚くべき方法
はじめに：データに関するあなたの直感が嘘をついている理由
私たちの脳は驚くべきパターンマッチングマシンです。限られた情報から素早く一般化するこの本能は、数千年もの間、私たちの祖先が生き残る上で役立ってきました。熟した果実を識別し、捕食者を避け、複雑な社会環境を生き抜くために。パターンを見つけ、結論を急ぐ能力は、私たちの思考に深く根付いています。しかし、サバンナで役に立ったこの本能は、データ、確率、統計が支配する現代の世界では、しばしば私たちを誤った方向に導いてしまいます。
数字を目の前にすると、私たちの直感はしばしば意外な形で、そして直感に反する形で外れてしまいます。私たちは、純粋なランダム性の中に意味のある傾向を見出したり、単純なシナリオの確率を誤って判断したり、スプレッドシート上の明白な事実に先入観による色付けを許したりします。この記事では、統計的直感がいかにして常に誤っているのかを示す7つの典型的な例を考察し、データに精通した人でさえ陥りやすい認知バイアスを明らかにします。これらの心の罠を理解することは、それらを克服し、より健全でデータに基づいた意思決定を行うための第一歩です。
リスト記事：確率に関する直感に反する7つの真実
1. あなたは自分の判断に自信過剰になっている可能性が高い
の認知バイアス 過信 という認知バイアスは、最も広く見られるもののひとつです。その実態を知るには、研究者のルッソとシューメーカーが考案したテストを考えてみましょう。彼らは1,000人以上の人々に、一連の雑学クイズ（例：「マーティン・ルーサー・キング・ジュニアの死去時の年齢は？」）を尋ね、正解が含まれていると90％確信できる範囲を示すように指示しました。もし人々が適切に判断できていれば、10問中約9問正解できたはずです。
その結果は？参加者の99%が過信していた。ほとんどの人が設定した範囲が狭すぎたため、正解を捉えたのは目標の90%ではなく、わずか30%から60%に過ぎなかった。これは、私たちが 感じる自信と実際の正確さの間に根本的な乖離があることを示している。データ専門家が推定値に対して と私たちが実際にどれだけ正確であるか。これが、データ専門家が構築する理由です。 計算された 信頼区間を構築するのはまさにこのためだ。点推定値は確実なように感じられるが、信頼区間は私たちの脳が無視したがる不確実性を正式に定量化する。
2. 脳は純粋なランダム性の中に意味のあるパターンを見出す
教科書 『統計と確率は直感的ではない』の典型的な例として、表1.1ではバスケットボールのシュートをシミュレーションしたものが示されています。シュートが成功した場合は「X」、失敗した場合は「-」で表されています。ほとんどの人はすぐに「好調期」と「不調期」に気づき、このパターンはランダムではないと結論づけるでしょう。しかし、このデータは完全にランダムなプロセスによって生成されたもので、各シュートの成功確率は50%であり、前のシュートとは完全に独立しています。私たちの脳はパターンを見つけようとするあまり、実際には存在しないパターンをデータに当てはめてしまうのです。
データサイエンティストが仮説検定とp値に頼るのはまさにこのためです。これらの形式的な手法は、パターンを求める私たちの本能に対する統計的なガードレールとなり、A/Bテストにおけるランダムな変動を真の勝利と祝ったり、通常の売上変動を誤って危機と認識したりすることを防ぎます。
3. 小規模グループは良い面も悪い面も最も極端な結果をもたらす
不可解な事実があります。米国の郡ごとの腎臓がん発生率を調査したところ、発生率が 最も低い 郡と 最も高い 郡の両方が、人口の少ない郡であることが判明しました。これは矛盾しているように思えます。田舎の郡には、保護的であると同時に有害でもあるような環境要因があるのでしょうか？答えは環境とは全く関係なく、サンプルサイズに関係しています。
大規模な集団では、ランダムな変動は平均化される傾向があります。しかし、小規模な集団では、ランダムな偶然が平均値や割合に及ぼす影響ははるかに大きくなります。人口わずか1,000人の小さな郡を考えてみましょう。住民の中に腎臓がん患者が一人もいなければ、その郡の罹患率は最低となります。しかし、たった一人でも罹患すれば、その郡の罹患率はたちまち国内で最も高い部類に入るでしょう。データ専門家にとって、これは検出力の低い研究や小規模なパイロットプログラムから強い結論を導き出すことに対する重大な警告です。だからこそ、実験 前に 検出力分析を行うことが不可欠なのです。サンプルサイズが十分に大きく、ランダムな偶然による増幅されたノイズから真の効果を区別できることを確認する必要があるからです。
4. 「モンティ・ホール問題」は、常に賭けを変えるべきだということを証明している
この古典的な確率パズルは、数学者を含め、数え切れないほどの人々を悩ませてきました。3つのドアがあるゲーム番組に出ていると想像してみてください。1つのドアの後ろには車、他の2つのドアの後ろにはヤギがいます。あなたは1つのドア（例えばドア1）を選びます。それぞれのドアの後ろに何があるのかを知っている司会者が、残りのドアの1つ（例えばドア3）を開けてヤギを出します。そして司会者はあなたに尋ねます。「ドア1のままにしますか、それともドア2に切り替えますか？」
圧倒的に多いものの、間違った直感は、どちらでも構わないというものです。まるで五分五分の勝負のように感じられるかもしれません。しかし、正しい答えは、 常に 切り替えるべきだということです。その理由は次のとおりです。
- 最初にドア #1 を選択した場合、正解する確率は 3 分の 1 でした。
- これは、車がいずれかの後ろにいる確率が3分の2であることを意味します。 他の2つのドア.
- 司会者がドア3の裏にヤギを見せたとき、それは当初の確率を変えているのではなく、新たな情報を与えているのです。ドア2と3に分散していた2/3の確率全体が、残った1つのドア、ドア2に集約されます。ドアを切り替えることで、当初間違っていた2/3の確率に賭けていることになります。元の選択に固執しても、勝てる確率は1/3しかありません。モンティ・ホール問題は、データサイエンスの日常的な課題ではありませんが、条件付き確率に関する力強い寓話です。この寓話は、たとえ些細なことに思える新しい情報であっても、確率の地形を劇的に変化させ得ることを教えてくれます。これは、新しいデータが到着するにつれて「信念」を更新するベイズモデルの根底にある概念です。
5. 「非常に正確な」医療検査でも、91%は間違っている可能性がある
私たちの脳は、新しい情報と既存の知識を組み合わせるのが非常に苦手です。これはベイズ推論と呼ばれるプロセスです。献血者を対象としたHIVスクリーニング検査を考えてみましょう。HIVの有病率は0.1%と非常に低いのですが、この検査は非常に正確で、感染サンプルの99%を正しく特定し、非感染サンプルの偽陽性率はわずか1%です。献血者の検査結果が陽性だった場合、実際にHIVに感染している可能性はどれくらいでしょうか？
100,000万人の寄付者について計算してみましょう。
- 実際には100人がHIVに感染しています。検査ではそのうち99人（真陽性）を正確に特定できます。
- 99,900人はHIVに感染していません。検査ではそのうち1%を誤って判定し、結果として999人が偽陽性となります。
- 合計で、陽性検査は 1,098 件（真 99 件 + 偽 999 件）です。
衝撃的な結論は、陽性反応を示した1,098人のうち、実際にHIVに感染しているのはわずか99人だということです。つまり、陽性反応が真陽性である確率はわずか9%（99 / 1,098）です。驚くべきことに、陽性反応の91%は偽陽性です。不正検出や医療診断といった問題に取り組む人にとって、これは基本的な教訓です。「99%の精度」を持つモデルであっても、求めている事象が稀な場合、致命的な誤解を招く可能性があります。そのため、精度（Precision）や再現率（Recall）といった指標は、生の精度（Accuracy）よりも重要になることが多いのです。
6. 「平均への回帰」に騙される
「平均への回帰」とは、ある変数が最初の測定値で極端な値を示すほど、2回目の測定値では平均値に近づく可能性が高くなるという統計現象のことです。この概念一つで、有名な「スポーツ・イラストレイ テッド誌の表紙ジンクス」（素晴らしいシーズンを送ったアスリートは、次のシーズンは平均的な成績に近づく傾向がある）から、効果のない医療処置が効いているように見える現象まで、数え切れないほどの誤った結論を説明できます。
図1.1に示されている、原文の血圧測定のシミュレーション研究を考えてみましょう。研究者は大規模な集団で血圧を測定し、最初の測定値が最も高かった個人だけを「治療」の対象として選びます。そして2回目の測定を行います。必然的に、この選ばれた集団の平均血圧は低下します。まさにこれが、ランダム化比較試験（RCT）が研究におけるゴールドスタンダードである理由です。比較のための対照群がなければ、平均回帰分析によって、極端な集団への介入はほぼすべて効果的であるように見えてしまい、分析者は、外れ値を平均値へと引き戻す単なる統計的重力に因果関係を帰結させてしまいます。
7. あなたの政治観はスプレッドシートに表示されるものを変えることができる
私たちのバイアスによって、生のデータの解釈方法が根本的に変わってしまう可能性があります。Kahan氏らによる有力な研究では、参加者に数字の表を見せ、介入が効果的かどうかを尋ねました。数字は常に同じでしたが、ラベルは変更されていました。
表が新しいスキンクリームのテストとして提示されたとき、リベラルな民主党員も保守的な共和党員もデータを正しく解釈しました。しかし、全く同じデータが隠し拳銃を禁止する法律のテストとして提示されたとき、人々の解釈はそれぞれの政治的立場によって左右されました。介入が何もしないよりも効果が 低い ことが数学的に明確に示されていたにもかかわらず（介入群の改善率は74.8%、対照群は83.6%）、両陣営ともデータが自分たちの先入観を裏付けていると結論付けました。これは、あらゆるアナリストにとって謙虚さを学ぶべき教訓です。分析 前に 仮説を登録したり、盲検 データ分析 実施したりといった手法がなぜ重要なのかを示しています。こうした手続き上の安全策は、真の洞察と、私たちの偏見が必死に探し求める結論を区別するのに役立ちます。
結論：直感を信じず、プロセスを信じる
これまで見てきたように、統計と確率の世界では、私たちの直感は極めて頼りない指針です。私たちは自信過剰になり、存在しないパターンを見抜き、既存の信念に左右されて結論を導き出すようにできています。これらは知的な弱さの兆候ではなく、人間の認知能力に共通する普遍的な特徴なのです。
科学的・統計的厳密さが極めて重要である理由はまさにこれです。形式手法は単なる学問的な演習ではなく、私たち自身の誤った直感に対抗するために開発されたツールです。形式手法は、私たちに仮定を検証し、不確実性を定量化し、誤った結論に飛びつくことを防ぐ論理的なプロセスに従うことを強います。こうした認知的罠を理解することで、私たちは誤りやすい直感に頼るのではなく、健全で再現性のあるプロセスに頼ることを学ぶことができます。
こうした精神的な罠に気づけるようになったら、自分の仕事や思考において、どの罠に最も注意するでしょうか?
