西门子PLM软件的大规模测试自动化和回归测试解决方案
上下文和挑战
西门子PLM软件公司是全球领先的产品生命周期管理(PLM)软件和服务供应商，在全球拥有69,500家客户。
它们的前100名客户使用它们的技术的平均时间为18年——远远早于许多软件公司的存在。产品将继续增长。它每六个月发布一次主要版本，补丁应用更加频繁。有时会有特定于客户的变化。
此外，根据不同客户平台的不同，产品更新必须应用于各种操作系统和浏览器。对于这样一个复杂的产品，测试用例的总数达到数万
虽然在每个版本中都成功地引入了诸如错误修复和新特性之类的更改，但几乎不可能在发布日期之前的可用时间内完成所有测试用例的回归测试。这将导致最终用户遇到质量问题和/或发布延迟。一般来说，测试依赖于主题专家的选择性测试。但是由于产品的规模和复杂性，主题专家的数量永远不够，他们的可用性也得不到保证。
自动化是解决这个回归测试问题的答案，这是完全被理解和接受的。自动化之前已经尝试过，使用一些了解产品和自动化过程的最好的内部资源。一个试点项目产生了数百个成功的测试用例。
然而，真正的挑战是扩展回归自动化以覆盖数以万计的测试用例。西门子选择与测试专家Expleo讨论他们的要求。
解决方案与结果
Expleo针对大规模测试自动化问题的解决方案是测试自动化工厂®。
通过流水线可伸缩性
在分析了问题之后，Expleo得出结论，可扩展性可以通过使用制造业的“装配线”模型来实现。自动化工作分为三个“工位”:
- 主题专家-了解产品，但不需要了解自动化
- 框架设计人员——他们是自动化专家，但也需要在一定程度上了解产品
- 自动化团队-谁是自动化专家，但需要
不知道产品
所有的工位都与其他工位有明确的接口，有利于提高装配线的整体效率。
可伸缩性是通过扩大自动化团队来实现的;简单的事质量保证像Expleo这样的合作伙伴，同时保持相对较小的主题专家和框架设计师团队规模。
西门子PLM积极参与，主题专家来自西门子PLM，框架设计团队由西门子PLM和Expleo人员共同组成。
工具和实用程序
带着制造业进一步类推，Expleo团队为不同的团队开发了许多工具和实用程序，以增加他们的一致性和生产力，同时也减少了对人员的依赖。
产出型定价
该模型最重要的特性之一是基于输出的定价。速率卡只包含自动化、执行和维护测试用例的代价。因此，Expleo完全支持他们的做法，只根据交付的内容向西门子PLM收费。
校准阶段
在约定之前有一个校准阶段，其中一个复杂测试用例的样本集是自动化的，不仅要验证工具和框架，还要校准单位价格。校准考虑到要自动化的测试用例的数量和产品/应用程序的发布时间表，这决定了自动化回归套件的执行频率。
使用敏捷方法的多年参与
订婚是多年的，但使用敏捷每月冲刺和增量开发的范例，以及自动化套件的部署。这允许每个月为自动化选择测试用例的灵活性，并保持自动化套件与被测试产品的最新构建一起更新。
给客户带来的好处
真正的伙伴关系
这种方法在客户和Expleo之间建立了真正的伙伴关系，每个合作伙伴都专注于核心竞争力。需要的测试自动化规模是可能的，因为Expleo的专业测试并致力于实现自动化，这是他们的主要优势之一。
风险转移到Expleo
西门子PLM受益于只为成功买单。因此，成功部署自动化的风险被公平地转移到Expleo，而不是基于员工数量的engagement模型，在该模型中，风险主要来自客户。
基于产量的定价激励效率，以获得年度效益
但基于产量定价的真正好处更加微妙。在基于员工数的模型中，效率甚至可能不是理想的，因为它可能会减少供应商的员工数。在基于输出的模型中，供应商找到了不断改进已交付输出的方法。因此，这种方法鼓励在过程中提高效率。因此，西门子PLM可以从这种方式中获得逐年的收益，无论是更大规模的自动化，还是同样规模的成本降低。