伯克森悖论就是过滤器制造出虚假的负相关时发生的事。

原始直觉很简单:一旦你只看通过了某道门的人,在一个维度上的强势就降低了在另一个维度上所需的强势。

简单的画面

想象一所学校,录取数学特别强或写作特别强的学生。

在录取班级里,数学和写作可以看起来负相关。靠超凡数学能力进来的学生不再需要超凡的写作能力,反过来也是。

这不说明数学能力导致低写作能力。这是录取过滤器制造了这个模式。

为什么会发生

当你基于一个综合结果进行条件化时,陷阱就出现了:

  • 被录取
  • 被雇用
  • 出现在医院样本中
  • 变得足够引人注目以至于被观察到

一旦筛选依赖于多条通往成功的路径,被选中的群体往往会让那些路径看起来像是彼此的替代品。

更简单地说:如果任一把钥匙都能开门,那么门里面的人中,有一把钥匙就让另一把变得不那么必要。

相关在极端处变成反相关

这就是为什么”相关在极端处变成反相关”往往是关于过滤器的警告,而非关于世界本身的。

在被选择分布的顶端,人们可能看起来像是在彼此之间权衡取舍,即使底层特质在完整人群中是中性的甚至正相关的。

常见误读

低水平理解:“这两个特质是对立的。”

中等水平理解:“被选择的样本揭示了最深的真相,因为它包含了重要的案例。”

更好的理解:被选择的样本往往是最具误导性的。筛选越激进,你看到的越可能是门的逻辑而不是现实的逻辑。一个相关的陷阱是参考点偏差,其中”过滤器”只是你自己的位置,你以自己站的地方为条件,把其他一切读作偏差。

核心收获

伯克森悖论提醒你在相信一个负相关之前问一个问题:

什么过程决定了谁进入了样本?

如果样本是由一道任一特质都能满足的门创造的,负相关可能主要是选择的产物。已发表的研究文献是一个特别隐蔽的例子:统计效力不足的研究碰巧发现了显著性,通过了发表的门槛,制造出一个看起来远比现实更一致的证据体。