全站文章列表 | 收藏本站 | RSS订阅 SPSS教程|答疑|案例|训练营
SPSS教程美国统计协会:使用P值的6条准则

美国统计协会:使用P值的6条准则
时间:2016年04月10日 | 栏目:SPSS教程 | 评论:0 | 点击: 1914


  • 2016年3月,统计学界发生了一件大事,美国统计协会(ASA)正式发布了一条关于P值的声明:"The ASA's statement on p-values: context, process, and purpose",并提出了6条使用和解释P值的原则。

    以上是该则声明缘起的背景,看上去多少有点讽刺的味道,但事实却也摆在眼前。从舆论上看,许许多多的文章都在讨论P值的弊端,就比如这几条言辞比较激烈的:

    ■这是科学中最肮脏的秘密:使用统计假设检验的“科学方法”建立在一个脆弱的基础之上。——ScienceNews(Siegfried, 2010)

    假设检验中用到的统计方法……比Facebook隐私条款的缺陷还多。——ScienceNews(Siegfried, 2014)

    针对这些对P值的批评,ASA于是决定起草一份声明,一方面是对这些批评和讨论作一个回应,另一方面是唤起大家对科学结论可重复性问题的重视,力图改变长久以来一些已经过时的关于统计推断的科学实践。经过长时间众多统计学家的研讨和整理,这篇声明今天终于出现在了我们面前。

    1、什么是P值?

    P值指的是在一个特定的统计模型下,数据的某个汇总指标(例如两样本的均值之差)等于观测值或比观测值更为极端的概率。这段描述是我们通常能从教科书中找到的P值定义,但在实际问题中,它却经常要么被神话,要么被妖魔化。鉴于此,声明中提出了六条关于P值的准则,作为ASA对P值的“官方”态度。这六条准则算是这条声明中最重要的部分了。



    1、使用P值的6条准则


    1. P-values can indicate how incompatible the data are with a specified statistical model.

    2. P-values do not measure the probability that the studied hypothesis is true, or the probability that the data were produced by random chance alone.

    3. Scientific conclusions and business or policy decisions should not be based only on whether a p-value passes a specific threshold.

    4. Proper inference requires full reporting and transparency.

    5. A p-value, or statistical significance, does not measure the size of an effect or the importance of a result.

    6. By itself, a p-value does not provide a good measure of evidence regarding a model or hypothesis.

    翻译过来,大概是这样的。


    SAS中文论坛公众号将其翻译如下:

    1. P值可以表示数据与一个特定的统计模型是否相容;

    例如在零假设通常用来假设一个效应不存在,如两组之间没有差异,两个因素没有相关性。此时P值越小,数据与零假设的不相容性(incompatibility)越大,可以解释为这些数据怀疑或否定了零假设。

    2. P值不能代表假说为真的概率,也不代表数据完全是由随机因素造成的概率;

    P值是所得数据与解释之间关系的说明,而不是对解释本身的说明。

    3. 科研结论、商业决定和政策制定不能完全凭P是否小于一个特定的值来决定;

    重大决策与结论中,需要考虑诸多因素,如实验设计、数据质量、外部证据、假设的合理性等等,不能只由P值决定Yes or No的问题。

    4. 正确的推理需要全面的报告和透明度;

    正确的科学推理,需要研究者公布研究中包含的所有假设,所有数据收集的决定,所有进行的统计分析和所有P值。

    5. 一个P值,或者显著性,不能表示一个效应的大小,或者一个结果的重要性;

    P值大小不代表效应大小。再微小的效应,达到一定的样本量和测量精度,都能得到小的P值;再大的效应,在样本量和测量精度不那么高的时候,也可能只能得到普普通通的P值。

    6. P值本身不能作为判断一个模型或假说的良好量度。

    单独的P值只能提供有限信息。用一个略小于0.05的P值来拒绝零假设就难以有说服力;相反,一个相对较大的P值也不能说就赞成零假设。当有其他方法可选时,数据分析不应该以一个简单的P值计算作为结束。


    统计之都公众号翻译如下:

    准则1:P值可以表达的是数据与一个给定模型不匹配的程度。

    这条准则的意思是说,我们通常会设立一个假设的模型,称为“原假设”,然后在这个模型下观察数据在多大程度上与原假设背道而驰。P值越小,说明数据与模型之间越不匹配。

    准则2:P值并不能衡量某条假设为真的概率,或是数据仅由随机因素产生的概率。

    这条准则表明,尽管研究者们在很多情况下都希望计算出某假设为真的概率,但P值的作用并不是这个。P值只解释数据与假设之间的关系,它并不解释假设本身。

    准则3:科学结论、商业决策或政策制定不应该仅依赖于P值是否超过一个给定的阈值。

    这一条给出了对决策制定的建议:成功的决策取决于很多方面,包括实验的设计,测量的质量,外部的信息和证据,假设的合理性等等。仅仅看P值是否小于0.05是非常具有误导性的。

    准则4:合理的推断过程需要完整的报告和透明度。

    这条准则强调,在给出统计分析的结果时,不能有选择地给出P值和相关分析。举个例子来说,某项研究可能使用了好几种分析的方法,而研究者只报告P值最小的那项,这就会使得P值无法进行解释。相应地,声明建议研究者应该给出研究过程中检验过的假设的数量,所有使用过的方法和相应的P值等。

    准则5:P值或统计显著性并不衡量影响的大小或结果的重要性。

    这句话说明,统计的显著性并不代表科学上的重要性。一个经常会看到的现象是,无论某个效应的影响有多小,当样本量足够大或测量精度足够高时,P值通常都会很小。反之,一些重大的影响如果样本量不够多或测量精度不够高,其P值也可能很大。

    准则6:P值就其本身而言,并不是一个非常好的对模型或假设所含证据大小的衡量。

    简而言之,数据分析不能仅仅计算P值,而应该探索其他更贴近数据的模型。


    声明之后还列举出了一些其他的能对P值进行补充的分析方手段,比如置信区间,贝叶斯方法,似然比,FDA(False Discovery Rate)等等。这些方法都依赖于一些其他的假定,但在一些特定的问题中会比P值更为直接地回答诸如“哪个假定更为正确”这样的问题。

    声明最后给出了对统计实践者的一些建议:好的科学实践包括方方面面,如好的设计和实施,数值上和图形上对数据进行汇总,对研究中现象的理解,对结果的解释,完整的报告等等——科学的世界里,不存在哪个单一的指标能替代科学的思维方式。


    ASA的执行董事Ron Wasserstein说,P值从来都不能取代科学推理,一个好的科学推理也不是仅仅一个数据、以及整个数据是不是在某个范围内能决定的。只关注P<0.05的时代应该过去了。


    文/图:

    统计之都:美国统计协会开始正式吐槽(错用)P值啦

    SAS中文论坛:美国统计学会发布P值使用原则

    ASA声明原文

    本篇由数据小兵最终编辑


    同类荐读:P值  统计学 

    本文来自:数据小兵博客

    本文地址:http://www.datasoldier.net/post/psig.html

    版权说明:如非注明,本站文章均为 数据小兵博客 原创,转载请注明出处和附带本文链接。

  • 额 本文暂时没人评论 来添加一个吧

    发表评论

    必填

    选填

    选填

    必填

    ◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。