左滕 Nobu Sato

管理学爱引用的心理学实验,复现只剩36%

100项研究重做一遍,显著的只剩三分之一,效应缩了一半

目录4
  1. 100项研究重做,剩下多少
  2. 老板们最爱讲的三个实验,现在什么状态
  3. 想把「研究表明」写进制度,先过这四关
  4. 我自己的文章,也请这样读

原本97%都「显著」的100项心理学研究,换一批人照原样重做,只剩36%还显著,效应大小平均砍掉一半。这是2015年《Science》上的结果。管理课上常讲的那些经典实验,就出自这个学科。

常有这种事。老板上了一门课,听到一个实验,回来就把它做成选人标准或考核规则。坑不大,可是贵。在日本选错一个法人负责人,换人通常要6到12个月,猎头费率也远高于常见的年薪30%左右。所以挑几个最常被引用的实验,对着原论文看看,还剩多少。

100项研究重做,剩下多少

Open Science Collaboration 2015年在《Science》第349卷发了一篇「Estimating the reproducibility of psychological science」,是一次大规模的协作复现。他们从三本心理学主流期刊2008年登的论文里,挑了100项实验和相关研究,尽量用原作者的材料,换统计功效更高的设计重做。项目从2011年11月做到2014年12月。重做下来,剩下36%。

原研究里报告显著结果(p<.05)的占97%,复现后只有36%显著。原效应量落在复现95%置信区间内的占47%,研究者主观判断「复现成功」的占39%。平均效应量折成相关系数 r,从0.403降到0.197。

100项心理学研究重做一遍,显著的只剩三分之一,效应也缩了一半

Open Science Collaboration(2015,Science 349)。从三本主要心理学期刊2008年的论文里选100项,重做

显著结果的比例 p<.05,0到100%
  • 原研究
    97%
  • 复现
    36%
平均效应量 r 刻度0到0.5
  • 原研究
    0.403
  • 复现
    0.197

一项显著的结果,我们信得太多了。写进制度之前,先查它有没有被复现过。

图1 Open Science Collaboration(2015)重做三本心理学期刊的100项研究,显著结果的比例从97%降到36%,平均效应量 r 从0.403降到0.197,只凭一项显著结果定制度并不稳。

这组数字有边界。100项研究不是从整个心理学里随机抽的,是三本期刊、一年的论文里挑出能重做的。分领域看差别也大。按同一篇论文的拆分,认知心理学的研究复现后仍显著的是50%(42项里21项),社会心理学只有25%(55项里14项)。所以「心理学六成是假的」,这话也站不住。论文自己的判断是,能不能复现,主要看原研究的证据硬不硬,跟谁来重做关系不大。毛病出在大家把单个「显著」结果信得太满。

一重做就缩水,主要因为发表偏差。有结果的论文容易登,没结果的压在抽屉里。小样本碰巧做出个大效应,就登出来了;换人重做,运气没了,效应自然就小了。

老板们最爱讲的三个实验,现在什么状态

斯坦福监狱实验。1971年,24名男大学生在斯坦福大学地下室的模拟监狱里分成狱卒和囚犯,原计划两周,6天就叫停。之后几十年,它一直被拿来证明「普通人一掌权就变坏」。法国研究者 Thibault Le Texier 先在2018年出了书《Histoire d'un mensonge》,2019年又在《American Psychologist》第74卷第7期发表「Debunking the Stanford Prison Experiment」。他翻了实验档案,访谈了15名参与者,发现狱卒事先拿到了怎么对待囚犯的具体指令。所谓「自发的恶」,更像是在配合研究者的期待。津巴多一方反驳过,可这个实验已经很难再拿来证明「放任就会作恶」了。「环境影响行为」这个大判断,倒没因此被推翻。

棉花糖实验。说法是4岁能忍住不吃糖的孩子,长大成绩更好。原始追踪研究 Shoda、Mischel 和 Peake(1990年,《Developmental Psychology》)的孩子来自斯坦福校园里的幼儿园,653人里只追踪到185人,关键条件下算成绩相关的只有35人左右。Watts、Duncan 和 Quan(2018年,《Psychological Science》)用美国全国性追踪调查 NICHD SECCYD 的918个孩子做了概念性复现,换数据、换方法检验同一个关系。等待时间和15岁成绩的相关,只有原研究的一半左右;再控制家庭背景、早期认知能力和家庭环境,又缩掉三分之二。看着像「自控力」的东西,很大一块其实是家庭条件。

自我损耗。「意志力像电池,用了就少,重要决定放在早上做」,源头是 Baumeister 等人1998年的实验。Hagger 等人2016年在《Perspectives on Psychological Science》发表了预注册的多实验室复现,23个实验室、2,141人,效应量 d=0.04,95%置信区间从−0.07到0.15,基本等于零。有人觉得他们选的任务太弱,争论还没完。可拿它来设计考核和排班,显然不够硬。

这三个实验还有个共同点,没一个是拿上班的人做的。学生、幼儿园孩子、实验室里的被试,从这儿一步跳到「我们公司的销售经理」,这一步是你自己跳的。研究可没替你跳。

想把「研究表明」写进制度,先过这四关

我自己用的办法很土,就四个问题:

第一,研究的是谁、多少人。大学生、小孩还是在职的成年人,35个人还是几千人。第二,有没有别的团队复现过,最好是预注册的大样本复现。第三,效应有多大,把家庭背景这类因素控制掉以后还剩多少,光看「显著」没用。第四,有没有在真实职场、对在职员工验证过。

四关都过,可以当制度依据。过两三关,当假设,小范围试,拿自己公司的数据验证。一关都过不了,培训时当个故事讲讲就行,别写进选人标准。供应商拿着测评工具说「有科学依据」,先问一句,论文叫什么。官方数字也一样要问清是谁报的、算了谁,日本加班的两个数字那篇讲的就是这个。

我自己的文章,也请这样读

说句实话,这个网站上我也用了不少经典理论,其中有几个本身就有争议。赫茨伯格双因素理论的原始数据,是1959年在匹兹堡一带访谈203名工程师和会计,让他们回忆工作中特别满意和特别不满的时候。从 King 1970年在《Psychological Bulletin》上的文章开始,一直有人质疑两类因素分得那么开,可能是这种访谈方法本身造成的,那篇文章里我也提过。

邓巴数是从灵长类大脑大小推出来的,邓巴数那篇里我也写了学界的争议。艾伦曲线来自1970年代对研发工程师的观察,那时候还没有企业微信和 Slack。林格尔曼效应的拉绳数据1913年出版,后来 Ingham 等人1974年的实验发现,掉下去的力气,大部分要用动力下降来解释,光靠配合不好解释不了。

我还接着用,是因为画组织图、拆模块的时候,它们是好用的辅助线。我不拿它们当定律,也不会把里面的数字直接拿去定谁的薪水、谁的绩效。读我的文章,也拿上面四个问题来问。哪篇过不了关,告诉我。

数据来源

用三种语言,写在日本落地这件事。