幸存者偏差 :统计中普遍存在的一种逻辑谬误

更新时间:2024-09-20 18:22

“幸存者偏差”(Survivorship bias),也称生存者偏差或存活者偏差,是指在统计过程中,无意间将经过非特定筛选的样本作为研究重点,忽略了样本背后隐藏的关键信息,最终得出的结论与实际情况存在巨大差距。

幸存者偏差的概念源自美国哥伦比亚大学统计学教授亚拍拉罕·沃德(Abraham Wald)于1941年研究的飞机防护问题。其产生的原因是人们在观察和统计时,往往更容易注意和搜集到成功案例,而容易忽略无法统计的失败案例。

幸存者偏差现象是一种常见的逻辑谬误,广泛存在于日常生活中,也被广泛存在于学界各领域。在统计、金融、社会、生物研究等领域都有应用。实践证明,那些被忽视的信息往往十分重要,并且会直接影响结论的正确性。

起源

幸存者偏差的概念源自二战时期美国军队统计作战飞机受损情况的真实故事。他们发现,返航飞机机翼的弹孔数最多,发动机部位的弹孔数最少。

于是有人提出要加固机翼,但统计学专家沃德教授指出,应该强化的是发动机,因为飞机各部位的中弹概率应该是相同的。发动机部位的弹孔明显偏少,只能说明被击中引擎的飞机大多没有返航。军方最终采纳了教授的建议,然后盟军被击落的战机迅速减少。实践证明,教授的意见是正确的。这就是有名的“飞机防护”案例。

这个例子很好地说明了幸存者偏差的问题,即军方只看到幸存下来的飞机,而未能反映飞机受损的真实情况。

对于“飞机防护”案例,沃德教授认为:

(1)统计的样本,只涵盖平安返回的战略轰炸机

(2)被多次击中机翼的轰炸机,似乎还是能够安全返航;

(3)在机尾的位置,很少发现弹孔的原因并非真的不会中弹,而是一旦中弹,其安全返航的概率就微乎其微。

由此,幸存者偏差被用来指当获取信息的渠道仅来自于幸存者时,那么信息的真实性与实际情况存在偏差。

来自失败者的信息很难获取,其中有两个原因:其一是“死无对证”,比如因被击落而未能平安返航的战机;其二是“沉默的大多数”,比如未进医院的糖尿病患者或未发病人群。

基本概念

幸存者偏差是指仅从幸存者中获取数据进行统计,导致结论与实际情况存在偏差的情况。

这是一种常见的逻辑谬误,即只能看到经过某种筛选而产生的结果,而没有意识到筛选的过程,因此忽略了被筛选掉的关键信息。这个谬误产生的原因是当观测者获取资讯时,只看到了幸存者,而忽略了死者或“沉默的数据”,导致资讯存在与实际情况不同的偏差。

幸存者偏差本质上是一种取样偏差,有效的取样应该是完备且随机的。如果观测者只关注成功者而忽略失败者,就会做出错误的判断,甚至得出荒唐的结论。

相关理论

回归分析是一种重要的统计分析方法,在使用回归模型对因变量进行估计时,需要考虑输入回归方程的自变量取值是否属于样本所在的总体范畴,即回归方程有适用的边界。例如,动态统计图视频“全球GDP数据动态排行,其后半部分2018-2099年数据则是根据已有历史数据建立的模型预测而来。但是,几十年后的时间不一定适合这个模型,预测参考价值不大。

统计学中研究的对象的全体称为总体。对于这些对象,研究者可能只关心其中的一些指标。例如,学生有很多特征,如身高、体重、学号、年龄、血压、籍贯等,但研究中可能只关注学生的身高和体重。身高和体重是一系列数据,它们具有一定的规律性,比如服从正态分布。因此,总体的含义包括三个方面:研究对象的全体、一系列数据以及服从某种概率分布

为了研究总体的某些特征,就需要从总体中抽取一部分作为样本。这就要求样本具有代表性,也就是说可以通过样本来推断整个总体的特征。因此,选取样本的方法非常重要。在统计学中,常用的方法是简单随机抽样,这意味着每个个体被抽到的机会都是相等的。这样选取的样本不仅具有独立性,而且与总体的分布完全相同。

为了确保样本具有代表性,不能只看到幸存者的数据资料,还需要考虑遇难者的数据资料,并综合考虑各种情况。只有这样才能保证结论的正确性。

典型案例

柏克森悖论

美国医生伯克森(Berkson)对所在医院中糖尿病患者和胆囊炎患者做统计时发现,糖尿病患者同时患胆囊炎的人数较少,而非糖尿病患者的胆囊炎发病率相对较高。这似乎说明糖尿病患者可以免受胆囊炎的折磨,但深入研究却无法证明糖尿病能对胆囊炎起到有效的防护作用。和绝大多数人生活中的错觉一样,柏克松医生忽略掉的是那些没有住院的多数,以及入住其他医院的患者,从而掉进了“幸存者偏差”陷阱。

读书无用论

在中国存在部分一种普遍现象,一些在学生时代学习好的人毕业后挣钱没有不好好学习的人多,于是很多人就得出“读书无用”的结论。但是这种结论忽略了“没好好学习的人也混得好”只是个例,中国人口基数太大,这部分人口的绝对数量很多,但却忽略了绝大多数的不读书者生活艰辛和读书者更容易改善生活的事实。新中国成立以来,出现过三次“读书无用论”的思潮。第一次是在文革后期,学校停课,知识分子成为批斗的对象。第二次出现在改革开放初期的80年代末和90年代初,许多人进入个体户行列而勤劳致富,而教授、医生、教师、公务员、工程师等依然在单位拿着固定工资,收入差距十分明显。2013年前后,“读书无用论”从农村出现,高昂的学费和大学毕业后找不到工作等问题令许多农村青年放弃高考。

股票市场

股票市场指数表现强劲并不意味着所有股票都表现良好。市场指数通常是由表现良好的股票组成的,而表现不佳的股票则被剔除。因此,市场指数可能会对历史收益进行过高估计。投资领域中,成功的投资者常常谈论他们的经验和方法,但观众和读者往往忽略了一个事实:采用相同经验和方法却失败的人没有机会被曝光。这种幸存者偏差现象可能导致以下结果:(1)成功者声名显赫,失败者默默无闻,由于媒体大量渲染,观众或追随者会高估成功的概率;(2)由于条件限制或心理因素,成功者难以保持理性和客观,容易夸大自己的能力,忽视时机、地点、人物等因素,削弱对风险的认识。例如,投资者很容易看到某人在股市稳定地赚了几千万,但忽略了在追逐股市的道路上有成千上万的失败者。由于互联网的渲染,潜意识中让投资者觉得在股市中取得成功很容易,导致更多的投资者去模仿,但大部分人无法幸存。

猫坠楼

1987年发表在《美国兽医协会杂志》(Journal Of American Veterinary Medical Association)上的一项研究观察了132只猫,这些猫平均摔落5.5层楼后仍然幸存下来。根据研究,如果没有及时接受紧急兽医护理,其中三分之一的猫可能会丧生。有趣的是,从七层楼以下坠落的猫通常比从更高楼层摔落的猫受伤更严重。有人提出了一种可能的解释是,猫在跌落到大约五层楼时会矫正自己的姿势,达到终端速度后会放松,因此从六层楼或更高处坠落的猫受伤程度会减轻。1996年,《The Straight Dope》报纸专栏提出了另一种可能的解释,即幸存者偏差。与受伤的猫相比,在跌落中死亡的猫不太可能被带到兽医那里,所以该主题的研究中没有报告许多从较高建筑物坠落时死亡的猫。

热带植物

热带藤本植物(Tropical vines)和藤本植物(lianas)通常被认为是树木的大型寄生虫,它们会降低宿主树的存活率。观察发现,在耐荫、重木、生长缓慢的树种中,受藤本植物侵扰的树木比例较高,而对光照要求高、树木较轻且生长迅速的树种通常不会有藤本植物。这些观察结果导致人们认为藤本植物对耐荫物种有更强的负面影响。然而,进一步调查显示,藤本植物对要求光照的快速生长树种造成的危害更大,藤本植物的侵扰显著降低了这些树木的存活率。因此,这些植物的观察样本偏向于那些幸存且没有藤本植物的样本。由于幸存者偏差的存在,树冠上存在藤本植物的样本呈现出倾斜的情况。

键盘侠时代

互联网的幸存者偏差体现在旁观者和参与者在观察和评论的过程中,往往倾向于认同“幸存者”的经验而非“未能幸存者”的经验。例如,当與论对"大学毕业生求职到底有多难"进行讨论时,很多人会倾向于相信那些在求职中取得成功的人的观点,在心理和情感上更倾向于相信"不难"。再如,当有人发言说如今职场性骚扰现象严重,很多人也会倾向于用自己"从未被性骚扰过"这样的经验,来驳斥上述说法。

影响

幸存者偏差相关的风险可能会导致对现实的扭曲认知,从而导致错误的结论和决策。因为忽视了不成功的案例,就可能会导致低估风险,高估成功的机会,并采取错误的假设或策略。为了避免这种偏见,要同时关注幸存者和非幸存者,并分析结果的整体分布,而不仅仅是极端的分布。

个体影响

幸存者偏差普遍存在,对决策具有深刻影响。这种偏差通常与金融决策、创业、赌博和医学研究相关。在这些领域做决策时,决策者如果无法考虑到成功和失败因素,幸存者偏差就会深刻影响个人的认知和判断。没有足够数据做出理性决策,个人就无法为自己做出最佳选择。

系统影响

历史叙事

在对历史的影响以及理解上来看。根据不同学派、不同呈现方式和不同的史料,就可能产生偏见。对某些群体及其历史上的成功过于关注,淡化其他人的历史。一些阶级就可能利用这种幸存者偏差,让群众产生错误的历史观和世界观,例如英雄史观种族主义等。

流行病学

幸存者偏差在疾病诊断也是普遍存在的,特别是与诊断后的生存率有关。被医治后生存情况较好的患者通常是那些年龄、先前健康状况和体能水平低风险的患者。健康状况较差的患者并非总能存活,他们的死亡就不计入生存率的计算,这就意味着生存率计算中的患者被相对健康的个体所不成比例地代表。由于那些在被诊断后不久去世或在正式诊断前就去世的个体没有计入生存率计算中,生存结果被夸大。例如,在COVID-19大流行期间,生存率成为一个重要问题。许多流行病学家和医生认为,一些国家或地区公开的计算结果并不能提供完整的数据。未经COVID-19测试就死亡的患者不被视为病毒死亡人数的一部分,这可能会扭曲生存率。在全球范围内,许多国家和他们的医疗系统在进行测试方面存在问题,导致从该疾病产生的数据可能存在幸存者偏差。

产品营销

大部分营销活动都涉及到推荐——这是消费者非常重视的数据。观测者经常想知道产品是否有效,所以观测者可能会查阅广告中呈现的“临床试验”和独立资助的研究。然而,这种研究结果数字背后可能有被隐藏的数据,换句话说,产品的研究可能无法反映完整的情况。当观测者没有意识到研究的全部参数时,就很容易产生偏见。例如,样本大小、是否有人退出研究、样本使用产品的时长等,这些问题对于确定其有效性都很重要。

人工智能

人工智能是一个不断发展的领域,广泛使用可能导致多家公司推出下一个重大进展,过快地推出软件可能会导致忽视一些被隐藏的问题。具体而言,观测者可能没有考虑到,在他获得完善系统之前的多次失败,从而低估人工智能的局限性,这导致在决策或研究中被人工智能误导。

对关键事物的判断影响

选择偏差

只关注已经存活成功的人或物,而忽略了那些已失败或已死亡的人或物。这样会导致我们只能看到成功者的成功因素,却无法了解失败者的失败原因。

抽样偏差

只对已成功的样本进行调查或研究,忽略了失败样本的存在。这样可能会导致样本的代表性不够,结论不能得到充分验证。

数据收集偏差

只收集已成功的数据或信息,而忽略了失败的数据或信息。这样会导致我们无法得到全面的数据或信息,难以做出客观准确的分析和判断。

在企业决策中的影响

样本偏移

只针对特定的成功样本做出推论或决策,而忽略了潜在风险或失败样本的存在。这样会导致决策偏差,可能会带来财务或事业的损失。

过度依赖成功记录

企业决策者容易过度依赖那些已经成功生存下来的企业或基金的业绩数据。他们可能会忽视那些已经失败或破产的企业的数据,从而导致对成功企业的真正原因和成功的必要条件有所误解。

忽视失败的可能性

幸存者偏差会使企业决策者忽视失败的可能性。他们可能倾向于相信过去的成功记录是长期可持续的,并忽视了失败的风险。这可能导致决策者对投资决策过于乐观,从而忽视了潜在的风险和不确定性。

误解行业或市场情况

幸存者偏差使企业决策者只看到那些生存下来的企业或基金的成功案例,而忽视了其他已经失败的公司的经验教训。这可能导致他们对整个行业或市场的真实情况有所误解,缺乏对失败因素的全面认识。

避免幸存者偏差的对策

提高样本代表性

幸存者偏差的主要原因是样本代表性问题。提高样本的代表性有助于规避幸存者偏差。需要注意到"沉默数据"的存在,合理取样是基于对总体的正确认识。忽视"沉默数据"会导致抽样偏误,降低样本的代表性,从而得出有偏差的结论。只有意识到"沉默数据"的存在,才能选择具有代表性的样本,准确反映事物的本质特征,得出正确结论。在现实中,不是所有的"沉默数据"都能被发现,样本代表性有时难以提升。这时可以使用权重调整方法,给不同数据赋予不同的权重,以提高样本的代表性,避免幸存者偏差陷阱。对于易收集、看得见的"显性数据",可以赋予较低的权重;而对于难以收集、看不见的"沉默数据",可以赋予较高权重,避免陷入幸存者偏差。改善思维模式、深化对随机性的认识以及确定合理的预期值也有助于避免幸存者偏差。为了避免思维模式固化,观察者应采取兼容并蓄的态度看待问题,并拓宽信息渠道和扩大信息量。保持独立思考能力,不被他人所谓的"经验"所蒙蔽。正确认识随机性,不仅凭少数个体得出结论,而是建立在大量观察基础之上。在评价事物时,应采取一致的评价标准,不偏袒某一方面。

对事物进行概率分析

了解统计学知识可以提升对幸存者偏差的感知能力。统计方法在各个领域中发挥作用,帮助人们揭示事物背后的规律。假设每个事件都是相互独立且具有相同的概率分布。这使得我们可以计算出事件发生的概率。使用统计方法来分析数据,如计算均值、方差、标准差等,以及运用概率分布来预测和量化事件发生的可能性。熟练掌握统计学理论和方法有助于避免包括幸存者偏差在内的陷阱和错误。作为一种不可忽视的统计现象,熟悉幸存者偏差的内涵、了解其产生原因,并采取有针对性的对策措施,能够有效规避幸存者偏差,获得更客观准确的认知和决策。

评价

“作为一种思维方式,幸存者偏差的破坏力是巨大的。要消除幸存者偏差,必须长期地、有意识地在制度设计和大众教育中融入平等主义的精神,没有捷径可走。”——清华大学新闻与传播学院副教授常江

“当你成为'获胜'团队的一员时,幸存者偏见会变得特别有害。即使你的成功源于纯粹的巧合,你也会发现与其他获奖者的相似之处,并试图将这些标记为“成功因素”。然而,如果你曾经去过失败的个人和公司的墓地,你会发现它的租户拥有许多与你的成功相同的特征。——“解构经济”博士、瑞士作家、企业家Rolf Dobelli

“大多数人对运气有一种幸存者偏见。当奇妙的事情发生时,当准备遇到机会并取得出色的结果时,我们会想:多么幸运!但是我们通常不会承认所有事情只是......失败了。所有准备都一无所获的时候。”——Netflix的联合创始人兼第一任首席执行官Marc Randolph

“倒闭餐馆的墓地非常安静。当然,在这种致命的环境中没有失败的少数人是非常成功的,因为只有最优秀和非常幸运的人才能生存下来。你剩下的只是超级成功,日复一日地看着它们,当你真正看到你应该避免它的证据时,你可能会认为这是一项伟大的业务。”——《黑天鹅》(The Black Swan)作者Nassim Taleb

“一个行之有效的愚蠢决定,事后看来会成为一个聪明的决定。像微软谷歌苹果公司这样的伟大公司做对的事情就像机翼上有弹孔的飞机一样。那些在遭受巨大破坏后一路烧毁的公司从记忆中消失了。”——《思考快与慢》(Thinking Fast and Slow)作者Daniel Kahneman

“技巧会让你在赌桌上下更多的赌注,但这并不是成功的保证……因此,当心成功者的建议。”——谷歌工程师Barnaby James

参考资料

Do cats always land unharmed on their feet, no matter how far they fall?. Wayback Machine.2023-10-24

..2023-11-13

“读书无用论”卷土重来?.人民网.2023-11-13

幸存者偏差(股市).雪球.2023-11-13

一只猫从多高的地方坠落并存活下来?.Science Focus.2023-12-16

Highrise Syndrome in Cats.PetPlace.2023-10-24

Falling Cats. Wayback Machine .2023-10-24

Survivorship Bias.The Decision Lab.2023-11-14

..2023-11-13

Quotable Quote.goodreads.2023-10-24

Marc Randolph Quotes.BrainyQuote.2023-10-24

Survivorship Bias .David McRaney.2023-10-24

免责声明
隐私政策
用户协议
目录 22
0{{catalogNumber[index]}}. {{item.title}}
{{item.title}}
友情链接: