Pearson相关系数,别再把相关当因果,我用咖啡、步数和孩子成绩给你讲透

admin

“总看到论文里写Pearson相关系数,这玩意儿到底有啥用?是不是数值越高,就说明两件事关系越大?”我当时回了一句:它是数据分析里很好用的“望远镜”,但绝不是“判决书”,今天我就用几个生活里的例子,把Pearson相关系数聊明白,你放心,不堆公式,尽量说人话。

先说结论:Pearson相关系数,通常用来衡量两个连续变量之间“线性关系”的强弱和方向,它的取值在-1到1之间,接近1,说明一个变量增加时,另一个也倾向增加,叫正相关;接近-1,说明一个增加时另一个倾向减少,叫负相关;接近0,说明线性关系不明显,注意,我说的是“线性关系不明显”,不是“完全没关系”,这点特别重要,后面我会展开。

我拿自己举个例子,前阵子我戴手环记录睡眠,同时记每天喝了几杯咖啡,连续记了四周,我发现一个很直观的现象:咖啡喝得越多,入睡时间越晚,把数据丢进去算,Pearson相关系数大概是负的,咖啡杯数增加,入睡时长缩短,也就是入睡更困难,这听起来很顺,对吧?但我没有立刻得出“咖啡导致失眠”的结论,为什么?因为我那段时间刚好在赶项目,加班多、压力大,咖啡只是加班生活的一部分,可能是压力让我喝咖啡,也可能是压力让我睡不着,Pearson相关系数只告诉我“这两件事一起变化”,没有告诉我“谁造成谁”。

这就是很多人最容易踩的坑:把相关当因果,自媒体写作尤其容易犯这个毛病,比如看到“喝咖啡的人收入更高”,就写“喝咖啡能让你涨薪”;看到“每天步数多的人体重更低”,就写“走路就能减肥”,不是说不可以聊,而是不能把相关性直接翻译成因果关系,Pearson相关系数再漂亮,也不能替你完成因果推断。

再说一个更生活化的例子,我朋友老陈,去年开始健身,每天看手环步数,周末称体重,他兴奋地跟我说:“我发现步数和体重是负相关,走得越多体重越轻!”我让他把数据发我看看,结果一看,周中步数高,体重也高;周末步数低,体重反而低,为什么?因为周中外食多、喝水多、训练后肌肉充血,体重波动大;周末在家吃得清淡,体重自然下来,你看,单看一个Pearson相关系数,可能会得出很奇怪的方向,问题不在相关系数本身,而在于数据背后的生活场景太复杂,体重受饮食、盐分、水分、排便、训练量、称重时间影响,步数只是其中一个小因素,所以我现在特别建议:算Pearson相关系数之前,先画散点图,散点图能看出异常值、非线性、分群,而一个数字会把很多细节抹平。

还有一次,我在家长群里看到有人分享:孩子每天阅读时间和语文成绩的Pearson相关系数挺高,于是得出结论“每天多读半小时,成绩肯定涨”,这个例子特别典型,阅读时间和语文成绩可能确实正相关,但背后还有家庭陪伴、学习习惯、学校教学质量、孩子本身的理解能力,阅读时间长的孩子,可能本来就更自律,家长也更重视教育,你很难说成绩好完全是阅读时间带来的,更现实的做法是:把阅读时间当作一个值得关注的指标,而不是唯一抓手,Pearson相关系数在这里的价值,是提醒我们“这两件事值得一起观察”,不是替我们下命令。

我个人对Pearson相关系数的观点很明确:它是一个好工具,但最怕被“神化”,第一,它只擅长看线性关系,如果两个变量的关系是U型的,比如运动量和健康,太少不好,太多也可能有风险,中间适中最好,这时Pearson相关系数可能接近0,但你不能说它们没关系,第二,它对异常值很敏感,一个极端数据点,可能把相关系数从0.2拉到0.7,第三,它要求变量大致是连续数据,而且最好别把类别变量硬塞进去,第四,相关系数不是百分比,0.8不等于“80%的关系”,它只是衡量线性关联强度的指标,别拿它当成绩单。

如果让我给普通读者一个使用建议,我会说:看到Pearson相关系数,先问四个问题,第一,数据是怎么来的?样本大不大?第二,有没有画散点图?有没有异常值?第三,这两个变量的生活逻辑是什么?有没有第三个变量在捣乱?第四,作者有没有把相关偷换成因果?这四个问题问完,你就不容易被“相关系数0.9”这种数字唬住。

最后说句掏心窝子的话:数据不是用来装神秘的,是用来帮我们看清生活的,Pearson相关系数也一样,它像天气预报里的“降水概率”,能给你参考,但不能替你决定带不带伞,真正靠谱的分析,是数字、场景和常识一起上,下次再看到“Pearson相关系数很高”,别急着转发结论,先想想:这俩事儿,真的只是一个原因和一个结果吗?如果答案是“不一定”,恭喜你,你已经开始比很多标题党更懂数据了。

目录[+]