2016-06-27 145 views
5

道歉,如果这个问题更适合堆栈交换程序员,我已经在这两个网站上发布,因为我认为它是围墙。E2E测试指标

问题:有没有关于E2E自动化测试的有价值的指标? (收集周围的数据是否有意义?)

上下文:例如,当我编写单元测试时,我实现了测试覆盖程序包,其中包括%类,碰到的方法数等。 。

有几点我遇到:

  • 测试效率(规格的速度)
  • 应用性能(响应/加载时间)
  • 自动化进度(试验#目前的能够测试自动化VS#要进行自动化)
  • 缺陷效率(缺陷#测试VS的缺陷#过程中发现分娩后发现)

任何想法?如果它很重要,我在一个Angular应用上使用了Protractor。这使我的头脑与量角器

+1

您应该首先在您的上下文中定义测试自动化的目标。然后创建指标来代表期望结果的差距。没有明确定义目标的投掷度量是无用的。 –

+0

@FlorentB。真的,谢谢你的输入。我认为主要目标是通过验证应用程序的主要部分在开发过程中仍然正常工作(通过功能/回归测试?)我不想说这只是快乐的路径测试(因为我认为它比这更深入)......但是由于缺乏更好的术语,我们可以考虑这一点。 – Gunderson

回答

2

东西: 可以测量代码覆盖率以及端到端测试以及,但这需要一些技巧来设置,检查:https://www.npmjs.com/package/protractor-istanbul-plugin https://www.npmjs.com/package/grunt-protractor-coverage

知道它是不是干净的解决方案 - 你的代码可以缩小,不包括服务器端,只要记住这一点。

你也可以衡量网页性能(加载速度,JS执行速度,CSS渲染其他客户端计算)的东西,如量角器-PERF: https://github.com/axemclion/protractor-perf

但也请记住,它需要大量的准备实现这一点,但无论如何这很酷。

关于自动化Progress/Percent automatable - 我认为你不能自动跟踪这个,只要你的要求非常详细,并存储在一些带有API的系统中。然后,您可以将您的测试案例与特定需求联系起来并进行跟踪。我从来没有看到这个实际工作。

缺陷效率 - 更容易跟踪JIRA报告。

+0

太棒了,欣赏输入。是的,我一直回到“这是否值得付出努力?”的问题。我会等待其他答案 – Gunderson

1

是的,收集有关E2E测试指标的数据是有意义的。除了测试案例的执行,性能和其他测量之外,它还帮助我们为下一阶段的活动做出决定,例如估计未来项目的成本计划&。 了解项目成功所需的改进类型。 决定要修改的过程或技术等测试度量标准是衡量软件质量的最重要指标。