验证自动化脚本需要多少个周期

Question

我有一个查询。也许这是一个愚蠢的问题，但我仍然需要答案来清除我的疑惑。

测试正在评估产品或应用程序。我们进行测试以检查是否有任何显示停止符，以及不应该出现的任何问题。

我们从目前的测试案例中自动化（我正在谈论的脚本）测试用例。一旦测试用例被自动化，我们需要检查脚本运行的测试的周期数，而没有发生重大错误，因此脚本运行可靠而不是手动执行测试用例。

在此先感谢。

Answer 1

如果测试脚本始终在测试失败时失败，则需要仅运行脚本一次。多次运行脚本而不更改代码不会给您额外的安全性。

您可能会发现您的测试依赖于某些在测试过程中发生变化的外部来源，从而使测试失败有时。多次运行测试也不能解决这个问题。为了解决这个问题，您必须确保测试设置真正初始化所有外部因素，以便测试始终成功。如果你无法做到这一点，你不能可靠地测试，所以没有办法解决这个问题。

也就是说，测试无法确保您的产品100％正确或安全。他们只是确保您的产品与上次测试以来所做的所有更改一样好（或更好）。它有一种水印能够告诉你可以依赖的最少量的质量。任何高于水印的是推测，但低于它（测试覆盖的部分）是安全的。

因此，通过完善您的测试，您可以使您的产品更好地适应每一项变化。没有自动化测试，每一项变更都有可能使您的产品变得更糟。这意味着，如果没有测试，您的质量肯定会随着测试而恶化，您可以保证保持一定的质量。

Answer 2

这是一个巨大的领域，没有简单的答案。

这取决于几个因素，其中包括：

• 你测试的代码覆盖率
• 你如何定义可靠