在 重磅发布：持续测试解决方案 ACTS 一文中提到：我们会持续跟踪和评估国内外先进的能够促进持续测试落地的持续测试平台和智能化测试工具，使这个方案更有效地满足不同企业的定制化需求。这篇文章就算是开始】

上周的文章“MeterSphere在开源压测工具JMeter上的分布式优化和实践”介绍了持续测试平台MeterSphere进行分布式压测的实践。今天，我们介绍由一家印度公司开发的开源持续测试平台Testsigma。它也入选了 “2021年软件测试工具总结——十大新UI功能测试工具”之列，因为这个平台提供的UI自动化测试是其主要特色。但是既然自身定位是持续测试平台，那我们就从这个角度来评测一下。

试用Testsigma比较简单的方式是注册并登录Testsigma Cloud（https://testsigma.com/signup ），然后根据自己要测试的应用类型创建一个自己的项目，可选择的项目类型如图1所示。

图1 选择项目类型的界面

Testsigma Cloud提供了3个Demo项目方便用户了解这个平台的特性和使用，登录进去即可看到。由于是国外的服务器，所以整体响应有些慢，从评估的角度来使用，这种响应速度可以接受，如果日常使用，会有些影响。

对于一个持续测试平台来说，提供测试管理、低代码化自动化测试、测试进度看板，以及与CI/CD工具链的集成是四项不可缺少的核心功能，否则都不好意思说自己是一个持续测试平台。那么，我们先来看看Testsigma在这几个方面的表现如何呢？

1. 测试管理特性

Testsigma提供了需求管理、测试用例和套件管理、测试任务管理和测试结果展示面板(Dashboard)等功能，也支持需求和测试用例的关联。Testsigma自身没有缺陷管理的功能，但是可以与外部缺陷管理工具集成，如Jira，Bugzilla等。

• 用户可以在Testsigma中创建并维护产品需求，用户可以查看每个需求关联了多少条自动化测试用例和手工测试用例。
• 在创建一条测试用例时，用户可以创建一个手工测试用例，也可以创建一个自动化测试用例。针对UI自动化测试可以通过录制自动生成测试用例。同时，测试用例评审、测试套件（test suite）开发、测试计划开发等功能都具备。
• 当Testsigma和一个缺陷管理工具集成后，用户可以直接在Testsigma的管理界面中提交缺陷并查看缺陷状态。在具体操作时，用户打开一条测试用例的执行结果界面，从这个界面直接提交bug, 测试执行过程的录屏视频和测试步骤会自动添加到bug信息中。
• 在创建一个UI自动化测试的测试计划时，用户可以选择云端Test Lab中的测试设备或者本地测试设备执行测试任务。对于UI自动化测试来说，可以跨多款浏览器（Web UI）、多个测试设备和多款手机（移动App）执行测试。
• 在Testsigma中可以创建在多个浏览器(勾选“Cross Browser Testing”, for Web UI testing or Mobile Web App)或在多台设备上(勾选“Cross Device Testing”, for Mobile Native App)执行相同的测试用例，也可以创建在多台设备上执行不同的测试用例，不同的测试套件被分发到不同的测试设备上执行。例如，在Chrome浏览器上执行所有的测试用例，在Firfox和Microsoft Edge上只执行高优先级的测试用例。

图2展示的是已经创建好的测试计划列表。在这个页面中可以直接发起一个测试任务，或者设定测试任务执行的日程。

图2 测试计划列表

点击上图中的“Reports”可以查看已经执行的测试任务的报告，测试报告如图3所示。

图3 测试任务报告界面

2. 自动化测试能力

在自动化测试方面，Testsigma支持UI和API自动化测试，尤其在UI自动化测试方面的功能比较完善，既支持Web UI自动化测试，也支持移动端的Web和 Android、iOS原生应用的UI自动化测试。其中，Web UI自动化测试是基于Selenium实现的。

进入"Test Deveopment"界面，用户可以看到如图4所示的菜单。

图4 Test Development菜单

Test Cases界面用于创建测试用例并显示测试用例列表，Testsigma支持低代码化的测试用例编写，一条测试用例如图5所示。

图5 一个UI自动化测试用例

在创建一个UI自动化测试用例之前，用户需要进入“Elements”界面创建需要操作的一系列页面元素，如图6所示。页面元素包含元素定位方法和定位信息。用户可以选择手工创建一个元素，添加定位信息；也可以通过Element Inspector（Mobile App）或Testsigma的chrome插件来获取元素信息。如果是Mobile App，需要上传App安装包到测试设备上。

图6 创建页面元素的界面

如图7所示，一个命名为"Book Flight button"的元素通过XPATH定位，定位信息为“//A[@style='border-radius: 30px']”。

图7 创建页面元素“”Book Flight button"

在测试环境方面，Testsigma本身的Test Lab提供云真机，用户可以选择不同的PC操作系统、浏览器、手机执行测试任务。另外，用户也可以选择其它的test lab提供的远程测试环境，包括BrowserStack、Sauce Labs、Kobiton Test Lab、LambdaTest、Private Grid，不过这些Test Lab都在国外。当然，用户也可以选择在本地测试设备上执行测试，但是需要将开源社区版付费升级到专业版。

另外，Testsigma支持测试用例的数据驱动，用户可以在”Test Data Profile”中创建测试中用到的测试数据，例如创建一组登录的Username和Password。

图8 Test Data Profile

然后，在创建测试用例时选择需要的Test Data Profile并设置成“Data Driven”模式，如图7所示，在测试步骤中通过@|Username和@|Password引入这两个参数，在测试用例执行时就会执行多次，覆盖所有的数据组合，这样就实现了自动化测试中的数据驱动。

图9 一条“data driven”的UI测试用例

在测试用例编写过程中，随时可以在Testsigma Lab中选择合适的测试设备执行测试用例进行调试，如图10所示。

图10 执行单个测试用例

测试用例执行过程中，页面右侧会显示每一步的执行状态并提供截图，如图11所示。

图11 测试用例执行的可视化过程

图12是测试用例执行结果的界面，除了显示测试环境信息、测试步骤、执行时的录屏视频，另外还提供完整的log文件供下载查看。

图12 测试用例执行结果界面

Testsigma宣传“利用AI技术自动修复损坏的脚本，修复动态变化的元素，并为测试失败提供修复建议。”，不过这项特性在社区版中没有体验到。

Testsigma也支持API自动化测试，不过相比MeterSphere功能就比较弱了，只支持REST API的测试，但是不提供接口文档管理、Mock功能、也不支持API性能测试，这里就不详细介绍了。

3. 测试看板

Testsigma提供了测试看板（Dashboard）支持测试结果的可视化，按日、周、月、季度显示每一次测试结果、测试计划以及测试用例和Elements评审状态，如图13所示。

图13 测试看板

4. 与CI/CD集成

Testsigma除了可以和Jenkins集成，融入CI/CD流水线之外，比较注重在测试生态中对其它工具的集成和支持，Testsigma也因此成为一个开放性的测试平台。下面列举了该工具支持的工具：

协作工具：

• Slack
• Microsoft Teams
• Google chat

Bug工具：

• JIRA
• Bugzilla
• Backlog
• Mantis
• Youtrack
• Zepel

Test labs：

• BrowserStack
• SauceLabs
• Lambda Test
• Kobiton

产品管理：

• Azure DevOps Boards
• Trello
• Freshrelease

CI/CD

• Test Plan Details
• REST API(Generic)
• Jenkins
• Azure DevOps
• AWS DevOps
• AWS Lambda
• Circle CI
• Bamboo CI
• Travis CI
• CodeShip CI
• Shell Script(Generic)

5. 获取方式

Testsigma以三种方式提供：

• 开源社区版 Testsigma CE (https://github.com/testsigmahq/testsigma)
• 本地部署的企业版
• 在线使用：提供免费使用的社区版、专业版及企业版等三个版本供用户在线使用，其中专业版版和企业版是需要按月付费的。

图14 Testsigma Cloud版本及付费信息

Testsigma的文档比较完善，其在线文档可以帮助用户了解这个工具的安装使用方法和功能特性。

对于初次使用的用户，当然是先试用一下开源社区版的各项功能，Testsigma提供了三种获取社区版的方式给用户，最简单是通过Cloud在线注册并使用（https://testsigma.com/signup），如果本地安装的话，可以下载安装包或者利用Docker进行安装；Testsigm同时支持三种Windows、Mac OS、Linux这三种操作系统。

6. 总结

作为一个UI自动化测试工具，Testsigma是不错的，使用体验比较舒服。此外，作为持续测试平台，Testsigma在测试管理、测试面板、Test Lab，以及与CI/CD工具链的集成方面做得也不错，但是在接口测试方面，其自身功能有限。

但是，Testsigma距离一个理想的持续测试平台还有一定差距，起码在测试分析、测试设计方面没有涉及，在测试工作一体化方面不够完整。另外，自动化测试实现方式整体来看不够智能化，还是基于Selenium这样偏传统的工具来实现的。UI测试脚本自主修复的特性，不知其实际效果如何。