MiniTest 微信小程序云测是一套由微信测试团队自主研发,联合WeTest云真机能力,共同推出的小程序自动化测试服务。
服务基于云真机,支持开发者简单快捷地实现小程序真机自动化测试和性能分析等能力。 服务平台特色功能如下:
结合不同场景复杂程度、开发者学习成本等因素,云测服务提供了以下几种自动化能力:
智能化Monkey基于微信团队自研的一套智能探索算法,程序会自动识别小程序中可操作的节点,建立探索路径,从而实现对小程序页面的智能遍历。这种模式非常适合页面较少,功能简单的小程序。我们也推荐大多数开发者选用这种模式,来实现零代码、低成本的快速冒烟测试或回归测试。
此外,云测支持自定义Monkey模式,支持用户使用指定的Page+Query参数,直接定位到小程序页面,提升页面覆盖率
在跑测同时,云测服务会自动检测 黑白屏,JsError,Crash 异常情况。当发现这些异常情况时,测试结果将标记为失败,并在报告中提供相关信息帮助用户排查问题。
录制回放可以比智能化Monkey更进一步地指定测试场景,极地大提升了测试覆盖率。
开发者可以通过开发者工具操作提前录制好,然后在云测服务上使用真机执行录制脚本来实现测试过程的回放。
小程序测试框架 Minium 是微信团队为开发者提供的一套测试接口,可以简单快捷地实现对小程序的自定义测试。开发者可以使用这套框架来编写测试用例,执行自动化测试,以达到完全自主定制测试场景的目的。
云测服务支持直接在真机跑测Minium脚本。和用户本地跑测相比,云测服务无需用户部署和维护真机环境,在跑测过程自动获取性能数据,并生成详细的测试报告,方便开发者排查问题。
测试能力 | 突出优势 | 注意事项 | 适用场景 |
---|---|---|---|
智能化 Monkey | 接入即用,智能化点击,也可通过简单配置页面参数提高覆盖率 | 不支持输入,上传图片等复杂操作;无法校验页面逻辑 | 快速冒烟测试 |
录制回放 | 零代码生成用例脚本;快速生成用例,效率高 | 用例调整不如自定义测试灵活 | 较简单的用例,自动化回归测试 |
自定义测试 | 完全定制测试场景;灵活度高,能力全面;支持数据驱动测试(DDT) | 需要编写Python脚本,有一定的学习成本 | 较复杂的用例和场景 |
小程序性能测试主要可以分为启动性能测试和运行时性能测试。
小程序启动是小程序用户体验中极为重要的一环,启动耗时过长会造成小程序用户流失,影响用户体验。
云测服务支持小程序启动性能专项测试,无需额外配置接入即用,通过多次测试用户首次访问(需下载代码包)以及用户非首次访问(已下载代码包)两种情况,分析小程序在各个阶段的启动耗时情况,发现启动性能瓶颈,并针对性给出建议帮助用户提升启动性能。
常规性能数据:
在云测服务跑查任意测试时,会自动获取跑查过程中的常规性能数据,如启动时间,CPU,内存等。并且云测服务会将性能测试结果和现网的平均性能数据进行对比,方便开发者掌握小程序的性能情况。
真机体验评分:体验评分集成在开发者工具中,是一项给小程序的体验好坏打分的功能,它会在小程序运行过程中实时检查,分析出一些可能导致体验不好的地方,并且定位出哪里有问题,以及给出一些优化建议。
小程序云测服务将开发者体验评分能力移植到了真机运行,并和自动化测试能力相结合(注意智能化Monkey默认打开体验评分能力,录制回放和自定义测试需要用户提测时手动开启),帮助开发者更好发现运行时的性能问题。
云测服务支持业务将测试能力融入到研发流程的各个环境,打通DevOps流程,实现持续集成,提升研发效能和小程序质量。
云测服务为用户提供自动跑查 开发中版本、体验版、线上版 小程序,方便业务团队在研发流程的各个阶段进行测试。
云测服务为了方便用户打通Devops流程,提供HTTPS接口提测方式,同时也支持用户将测试报告分享为HTTPS链接,方便团队同学快速查看报告详情和测试结果。具体可参考 第三方接口文档
云测服务支持配置邮箱及手机号信息,测试任务结束会通知到用户,详情可参考 任务结束通知配置。用户可以利用HTTPS接口轮询任务结果,根据任务结果定制业务逻辑,如错误告警等。
云测服务支持小程序第三方服务商 提测。小程序第三方服务商对接业务小程序多,相对于普通开发小程序,每周免费提测次数额度会提升
此外对于第三方服务商,特别支持快速Monkey测试模式,方便服务商一次测试多个授权的小程序。
云测服务为小程序开发者提供每周150分钟免费测试时长(第三方服务商每周1000分钟免费时长)
注意,这里测试时长是指用户实际执行测试用例的时间,下载微信包,真机初始化等其他过程不计入测试时长,所以实际真机执行时间会大于扣除的测试时长。一般来说,免费测试时长能满足绝大多数项目自动化测试需求。
同时为了方便用户在初始使用时调试用例,测服务为每个项目提供申请一次150分钟额外时长,在免费时长不够时,自动抵扣。
少部分项目因业务复杂,用例较多,免费时长不够使用时,可前往微信服务市场购买额外时长
关于测试时长计算规则,详情可以参考 测试时长使用说明