管理職が引用する心理学実験、再現は36%

心理学の論文を100本選び、別のチームが同じ手順でやり直す。2015年に『Science』に載ったこの検証では、元の論文の97%が統計的に有意な結果を報告していたのに、やり直しで有意になったのは36%だった。効果の大きさも平均でほぼ半分に縮んだ。

人事の会議や研修資料で「ある研究によると」と書かれたスライドを、私は何度も見てきた。自分でも採用や組織づくりの話に心理学をよく借りるし、このブログでもハーズバーグやダンバー数を使って書いている。だからこの数字は他人事ではない。管理職がいまも好んで引用する実験がどこまで持ちこたえているのか、元の論文に当たって確かめてみた。

100本をやり直して、有意だったのは36%

Open Science Collaboration「Estimating the reproducibility of psychological science」（2015年、Science 349巻）は、心理学の主要3誌の2008年刊行分から100本の実験研究と相関研究を選び、できる限り元の著者の材料を使い、元より検出力の高い設計で再実施した大規模な再現プロジェクトである。プロジェクトは2011年11月から2014年12月にかけて進められた。

元の研究で有意な結果（p＜.05）を報告していたのは97%。再現で有意になったのは36%。元の効果量が再現の95%信頼区間に収まったのは47%で、研究者が主観的に「再現できた」と判定したのは39%だった。効果量を相関係数 r に揃えた平均は、0.403から0.197へ下がっている。

この数字から言えないことも書いておく。100本は心理学全体からの無作為抽出ではない。3誌・1年分のうち、再実施が現実的なものを選んでいる。分野による差も大きい。同じ論文の内訳では、再現で有意になった割合は認知心理学で50%（42本中21本）、社会心理学で25%（55本中14本）だった。だから「心理学の64%は嘘」と読むのは行き過ぎだ。論文自身は、再現できるかどうかは誰が実施したかより、元の証拠の強さで予測できたと述べている。要するに、私たちは一本の有意な結果を信じすぎていた。

なぜ研究結果は、やり直すと縮むのか

大きな理由は、有意な結果ほど論文になりやすいことにある。小さなサンプルでたまたま大きく出た効果が誌面に載り、出なかった結果は引き出しにしまわれる（研究者の机の引き出しは、たぶん想像以上に重い）。出版バイアスと呼ばれる現象だ。やり直しでは偶然の上乗せが消えるので、効果は小さく見える。

人事の言葉で言えば、面接で一度だけ光った候補者に近い。以前、リファレンスがすべて好意的だった候補者を採用し、入社後に実行力が大きく足りないと分かったことがある。一回の強いシグナルは、次の場面で同じ強さでは出てこないことが多い。

研修で語られ続ける実験は、いまどうなっているか

スタンフォード監獄実験

1971年、スタンフォード大学の地下に模擬刑務所がつくられ、応募者から選ばれた男子学生24人が看守役と囚人役に分けられた。2週間の予定が6日で打ち切られ、「普通の人でも権力を持つと残酷になる」話として、管理職研修でも長く使われてきた。

フランスの研究者 Thibault Le Texier は、2018年の著書『Histoire d'un mensonge』と、2019年の論文「Debunking the Stanford Prison Experiment」（American Psychologist 74巻7号）で、実験のアーカイブを調べ、参加者15人に聞き取りをした。看守役は、囚人の扱い方について具体的な指示を受けていた。自然に湧いた残酷さというより、実験者の期待に応えた振る舞いに近い。ジンバルドー側は反論を出しているが、少なくとも「放っておけば人はこうなる」証拠としては使いにくくなった。もっとも、状況が行動に影響するという大きな命題まで崩れたわけでもない。

マシュマロ・テスト

4歳でマシュマロを我慢できた子は、のちに学力が高い。元になった Shoda, Mischel & Peake（1990年、Developmental Psychology）は、スタンフォード大学構内の保育園に通っていた子どもの追跡研究で、653人のうち追跡できたのは185人、学力試験との相関を出した条件では35人前後だった。

Watts, Duncan & Quan（2018年、Psychological Science）は、米国の大規模縦断調査（NICHD SECCYD）の918人で同じ関係を別の方法で確かめた「概念的再現」である。待てた時間と15歳時点の学力の相関は元の研究の約半分で、家庭背景、早期の認知能力、家庭環境を統制すると、そこからさらに3分の2小さくなった。我慢強さに見えたものの多くは、育った環境を映していた可能性がある。

自我消耗

意志の力は使うと減る、だから大事な判断は朝のうちに、という話の土台は Baumeister らの1998年の実験である。Hagger らの事前登録型マルチラボ再現（2016年、Perspectives on Psychological Science）は23の研究室・2,141人でやり直し、効果量は d＝0.04（95%信頼区間 −0.07〜0.15）とほぼゼロだった。使った課題が弱かったという反論もあり、議論はまだ続いている。少なくとも、評価制度の根拠に据えられるほどの強さはない、と私は見ている。

「研究によると」を制度に入れる前に確かめること

私が使っている確かめ方は単純で、四つの問いを順に当てるだけだ。

まず、誰を何人調べたか。学生か、子どもか、働く大人か。数十人か、数千人か。次に、別のチームが再現したか。事前登録された大規模な再現は、一本の原論文より重い。さらに、効果はどのくらいの大きさで、ほかの要因を統制した後に何が残るか。最後に、職場で働く人を対象に確かめられているか。上で見た実験は、どれも働く人を対象にしていない。

この四つで、使ってよい段階が決まると考えている。全部そろえば制度設計の根拠にしてよい。半分なら、仮説として小さく試し、自社のデータで確かめる。どれもなければ、研修の枕に使う程度にとどめる。適性検査や研修の提案で「科学的に証明済み」と言われたら、まず元の論文名を聞く。同じ数字でも誰が何を数えたかで意味が変わる話は、残業時間の二つの数字でも書いた。

このブログの理論も、同じ目で読んでほしい

正直に書いておく。私自身、この連載で古典理論を使ってきた。ハーズバーグの二要因理論の元データは、1959年にピッツバーグ周辺の技術者と会計担当者203人へ、仕事で特に良かった時期と悪かった時期を思い出してもらった聞き取りだ。この聞き方そのものが二つの要因を分けて見せているのではないか、という批判は King（1970年、Psychological Bulletin 74巻1号）以来続いていて、その記事でも触れた。

ダンバー数は霊長類の脳の大きさから推定した数で、ダンバー数の記事でも学術的な異論に触れた。アレン曲線は1970年代の研究開発部門のエンジニアを観察したもので、チャットツールが当たり前の職場で同じ形になるかは別の問いだ。リンゲルマン効果の元は1913年に出版された綱引きの測定で、のちの Ingham らの実験（1974年）は、減った力の多くが連携の損失より意欲の低下で説明できることを示している。

それでも私がこれらを使うのは、組織図を引き直すときの補助線として役に立つからで、法則として信じているからではない。数字をそのまま人の評価や処遇に入れることもしない。私の記事についても、誰を調べた話か、職場で確かめられているかを問いながら読んでもらえるとありがたい。たぶん、それがいちばん正しい使い方だ。