统计效力是指当虚无假设实际错误时拒绝它的概率,也就是在虚无假设应该被拒绝时拒绝它的概率。换句话说,就是避免产生Ⅱ类错误的可能性。像所有的概率估计一样,它的值从0变化到1。任何一个特定研究中效力的水平取决于心理学家希望使用的统计显著性水平、样本容量以及检验的效应大小。这里需要掌握的主要知识就是小样本会带来非常低的效力,即,该小样本具有很大可能性使研究者错过确实存在于总体中的某种关系。
Cohen(1977)曾绘制了一个表格,其中明确了在某个特定的显著性水平和效应大小之下,使用某种特定的统计检验方法时,需要达到特定水平的效力所需要的样本容量。这些表格对于研究者明确研究中需要多少名被试者起到了很好的指导作用。
这些对于统计效力的观察是非常重要的。通常在研究中,一位研究者使用了一个中等大小的样本报告了统计显著性。而后另外一位研究者尝试用一个较小的样本重复这一结果,但是没有能够发现统计显著的效应,从而声称原始的发现一定是个侥幸的结果。但是严格的检验发现第二个研究的效应大小(effect size)实际上与第一个研究同样大——只是更小的样本没有能够达到统计显著性罢了。