何时需要多重比较校正？

Question

我在假设检验方面不是很有经验，并且在发生多重比较问题时有理解问题？

正如我理解的多重比较当试图从单个数据库执行多个统计测试时发生问题。因此，为了得出正确的结论，应该调整显着性水平。 （对吗？）

在我的情况下，我有一个数据库，并对数据库的不同部分执行多个t检验。换句话说，每个测试的数据都与另一个测试完全不同，而所有数据都属于一个数据库。所以，原则上多重比较问题不应该存在于我的测试中，是不是？

在此先感谢。

Answer 1

多假设检验试图同时对您的变量的所有进行假设检验。你会拒绝你的空，当一些这些假设对单个变量失败，反对所有你的假设（一个非常不可能的事件）的失败。

当您对所有变量使用95％置信区间进行多重测试时，您实际上是针对的第二个以上方案进行测试，所有您的假设失败。这不是你想要的多重测试。因此，您的每个变量的置信区间应稍微放松，以适应您的假设只有某些失败的情况。

因此它实际上取决于你的目标：

• 如果您是对涉及多个变量（你想得出一个总的结论）的情景测试，然后是的，这是多重检验和置信区间为每变量应该调整。
• 如果您想要对每个变量进行测试（您想为每个变量绘制一个结论），那么您的每个测试都是单个变量测试，您无需进行调整。