测试时长使用说明
小程序云测 menu

测试时长使用说明

更新于: 2022-08-24 16:27

由于真机资源有限,云测服务原来为每个项目免费提供每周5次提交机会(第三方服务商每周50次),每次实际跑测时间为20分钟。 但这种方式有以下局限性:

  • 用户跑测录制回放和自定义测试时,经常会出现20分钟未能跑完全部用例,导致测试超时的问题。此外用户无法准确评估用例执行时间,实际跑测20分钟无法充分利用
  • 部分用户希望能够自定义智能化Monkey的测试时长,以获得更高的测试覆盖率

为了解决上述问题,云测服务支持用户自定义每次测试最大时长。同时,原来每周5次免费提测升级为150分钟免费测试时长(第三方服务商每周1000分钟)

注意,这里测试时长是指用户实际执行测试用例的时间,下载微信包,真机初始化等其他过程不计入测试时长,所以实际真机执行时间会大于测试时长。

测试时长计算规则

用户在提交测试时,云测服务会根据最长测试时长测试设备数量,自动计算预扣除时长。对不同任务来说,最长测试时长默认值和范围不同,详见表格

测试任务 默认最长跑测时长 取值范围 说明
Monkey 20分钟 5-120分钟
录制回放 20分钟 5-240分钟 根据测试计划需要的虚拟账号数量分配机器
自定义测试(Minium) 20分钟 5-240分钟
快速Monkey 1分钟/Appid \ 每个Appid固定跑测1分钟
启动性能分析 20分钟 \ 固定20分钟

备注:录制回放是根据测试计划中使用的虚拟账号数量分配机器,每个账号都会提测1台机器。建议用户不要再同一个测试计划中,包含太多虚拟账号录制的用例。

启动性能分析能力全新上线,每个项目首次提测启动性能分析任务免费,不计入任务耗时

任务提交后,会先按照最长测试时间扣除时长。当测试结束后,会根据测试实际耗时,自动返还多扣除时长。若用户取消任务或者由于云测服务原因失败的任务,也会自动返还扣除时长。

考虑到安卓设备平均性能比iOS设备较弱,且安卓机器资源比iOS机器资源较多,在计算安卓设备的使用时长时,会乘以安卓计时系数0.8。举例来说,安卓设备实际测试10分钟,云测服务结算时,实际只扣除8分钟。

测试时长基本计算规则如下:

总扣除时长 = 安卓设备数量 * 测试时长 * 安卓计时系数(0.8) + iOS设备数量 * 测试时长

额外时长

当用户刚刚接入云测服务时,需要调试脚本或者用例,此时每周免费时长可能不够用。 为了方便用户渡过调试期,云测服务为每个项目提供申请一次150分钟额外时长的机会,有效期为90天

申请入口:进入额外时长管理页面,如项目未申请过额外时长,右上角有申请按钮,点击申请即可 (只有小程序的开发者或管理员有权限申请) 。请注意,每个项目仅可申请1次免费额外时长

image.png

每次提测时,会优先使用每周剩余的免费时长。当免费时长不够时,系统会按照额外时长有效期顺序,自动扣除额外时长

用户可前往 微信服务市场 购买额外时长,欢迎使用。 购买后发票获取可参考 如何开发票

对于付费用户,除了增加额外时长以外,云测服务后续会逐步开放高阶能力,如:

  • 快速测试:使用专有云机器测试,可以快速进行微信初始化,大大减少任务初始化耗时,缩短整体测试时间,快速获得测试结果(暂时只支持Android)
  • 机型选择:支持测试时选择指定测试机型(TODO)

如果有其他能力需求,欢迎在企业微信群联系MiniTest小助手反馈

需要帮助

购买
客服
反馈