背景
快手有明确的要求,准入和准出更加严格,要求有明确的测试报告。格式如下:
*本文参考字节wiki:CP侧测试报告模板(复制填写轻雀文档)
其他文章推荐:【抖音小玩法-弹幕游戏】开发者功能测试报告提交模板
一、前言
1、首次提交时,必须填写功能测试、客户端性能测试、服务端性能测试报告,建议用轻雀,不要用本地word
2、更新迭代时,重大改动,必须填写功能测试、客户端性能测试、服务端性能测试报告
3、更新迭代时,轻微改动,必须填写功能测试报告,客户端性能测试报告、服务端性能测试报告建议填写
二、功能测试
1、概述
1.1、项目背景
1.2、测试目的
1.3、测试范围
1.4、测试环境
1.5、测试版本
1.6、项目相关人员
1)项目负责人
2)产品负责人
3)开发负责人
4)测试负责人
5)测试时间
2、核心测试用例
|----------|------|----------------------------------------------------------|------|------|
| 基础checklist |||||
| 模块 | 重要程度 | 用例 | 执行结果 | 玩法截图 |
| 开播 | 非常重要 | 通过PC伴侣正常开播 | | |
| 评论 | 非常重要 | 在直播间内进行评论,评论内容包含"加战队指令关键字",加入相应战队,"红"、"蓝"两方战队都需要验证 | | |
| 评论 | 非常重要 | 加入战队成功后,用户名称和图像显示正确 | | |
| 评论 | 非常重要 | 在直播间内进行评论,评论内容不包含"加战队指令关键字",则不加入相应战队 | | |
| 评论 | 非常重要 | 在直播间内进行评论,评论内容包含"召唤兵种关键字",则输出对应兵种,数量和种类都需正确,且用户名称和图像显示正确 | | |
| 评论 | 非常重要 | 在直播间内进行评论,评论内容不包含"召唤兵种关键字",则不输出兵种 | | |
| 点赞 | 非常重要 | 召唤兵种数量正确 | | |
| 点赞 | 非常重要 | 召唤兵种种类正确 | | |
| 点赞 | 非常重要 | 用户名称和图像展示正确 | | |
| 送礼 | 非常重要 | 礼物1,召唤兵种数量和种类正确,用户名称和图像展示正确 | | |
| 送礼 | 非常重要 | 礼物2,召唤兵种数量和种类正确,用户名称和图像展示正确 | | |
| 送礼 | 非常重要 | 礼物3,召唤兵种数量和种类正确,用户名称和图像展示正确 | | |
| 送礼 | 非常重要 | 礼物4,召唤兵种数量和种类正确,用户名称和图像展示正确 | | |
| 送礼 | 非常重要 | 礼物5,召唤兵种数量和种类正确,用户名称和图像展示正确 | | |
| 送礼 | 非常重要 | 礼物6,召唤兵种数量和种类正确,用户名称和图像展示正确 | | |
| 弹幕玩法中 | 非常重要 | 血量正确扣减 | | |
| 弹幕玩法中 | 非常重要 | 杀敌信息正常提示 | | |
| 弹幕玩法中 | 非常重要 | 视角切换、鼠标操作正常 | | |
| 玩法结果 | 非常重要 | 玩法结果展示正确 | | |
| 玩法结果 | 非常重要 | 用户排名等信息展示正确 | | |
| 排行榜 | 非常重要 | 排行榜昵称、头像等显示正常 | | |
| 排行榜 | 非常重要 | 排行榜数据更新正常 | | |
| 排行榜 | 非常重要 | 排行榜结算规则不是单纯以付费维度衡量,且只按单场直播维度结算 | | |
| 再来一局 | 非常重要 | 重新开局,正常开启 | | |
| 再来一局 | 非常重要 | 正常出兵 | | |
| UI | 重要 | 战斗通知完备(XX击败了谁;XX连杀) | | |
| UI | 重要 | 系统通知完备(XX加入了蓝队;XX获得了XX;还有X秒战斗结束等) | | |
| UI | 重要 | 付费通知完备( XX送出了XX礼物获得了XX,所有付费需求有外显) | | |
| 关闭玩法 | 重要 | 点击关闭按钮玩法可正常关闭 | | |
| 弹幕玩法逻辑自测 | 重要 | 由CP侧提供补充完整测试报告 | | |
| 新增功能回测 |||||
| | | | | |
重点关注:
3、测试录屏
需要上传测试录频
1、PC端开播视频
2、直播间评论、点赞、送礼视频等
4、测试结论
|------|----------------------------------------------------------|
| 质量评价 | ××(版本V1.0.0),部分功能未完全实现,有0.19%(3条)的用例没有通过;0%(0个)的Bug没有修复。 |
| 测试结论 | |
| 评估人员 | 测试人员:×× 开发人员:×× |
| 审核人员 | ×× |
三、客户端性能测试(第一次审核提交必须)
1、设备信息
1.1、PC伴侣竞品推荐弹幕玩法配置
|--------|----------------|----------------------------------|---------------------|-------------------------------|----------------|-------------------|
| 产品 | 操作系统 | CPU | 主板 | 显卡 | 内存 | 硬盘 |
| 快手直播伴侣 | Windows 7/8/10 | i7-8700 | Z370 | RTX 2060 | 16GB ddr4_2666 | 512G SSD+ 1TB HDD |
| 抖音直播伴侣 | Windows 10/11 | i7-8700 或更高型号 | / | NVIDIA GeForce RTX 2060 或更高型号 | 16G以上 | / |
| B站直播姬 | / | 英特尔酷睿i5 8400 AMD 锐龙 Ryzen5 2500x | Z370(英特尔) B450(AMD) | GTX1660 Super/RX580 及以上 | 16G以上 | / |
1.2、性能测试电脑配置
|-------|------|-----|----|----|----|
| 机型 | 操作系统 | CPU | 主板 | 显卡 | 内存 |
| 联想XX | | | | | |
| 联想XXX | | | | | |
2、性能指标
2.1、指标要求
|--------|-------------------|------|
| 指标 | 性能基线 | 重要程度 |
| FPS帧率 | >=26 (业界标准,越高越好) | 主要指标 |
| 卡顿率 | <=2%(业界标准,越低越好) | 主要指标 |
| CPU占用率 | 60%及以下(越低越好) | 主要指标 |
| GPU占用率 | **%-**%(待确定) | 次要指标 |
| 内存占用率 | 越低越好 | 次要指标 |
2.2、测试场景及结果
1)单一兵种
|--------|--------|-------|-------|-------|-------|
| 兵种 | 数量 | CPU | GPU | 内存 | FPS帧率 |
| 兵种1 | 10 | **% | **% | **% | 30 |
| 兵种1 | 最大兵数/2 | | | | |
| 兵种1 | 最大兵数 | | | | |
| 兵种2 | 10 | | | | |
| 兵种2 | 最大兵数/2 | | | | |
| 兵种2 | 最大兵数 | | | | |
| 兵种3 | 10 | | | | |
| 兵种3 | 最大兵数/2 | | | | |
| 兵种3 | 最大兵数 | | | | |
| 兵种4 | 10 | | | | |
| 兵种4 | 最大兵数/2 | | | | |
| 兵种4 | 最大兵数 | | | | |
| 兵种5 | 10 | | | | |
| 兵种5 | 最大兵数/2 | | | | |
| 兵种5 | 最大兵数 | | | | |
| 兵种6 | 10 | | | | |
| 兵种6 | 最大兵数/2 | | | | |
| 兵种6 | 最大兵数 | | | | |
| ...... | | | | | |
2)混合兵种:使用单个玩法进程最大允许兵数,按照兵种对应礼物的价格分布,比如:价格1快币、52快币、99快币、199快币、299快币、666快币,则可以大致按照6:2:1:0.5:0.025:0.025的分布
2.3、性能测试工具参考
- Windows系统自带的任务管理器
-
Windows性能监控工具Perfmon
四、服务端性能测试(第一次审核提交必须)
1、性能要求
|---------|--------|----------|---------------|----------|
| | QPS | P995(ms) | 支持多少用户 参与弹幕玩法 | 同一时间最多兵数 |
| 单个直播间压测 | >=100 | <1000 | 需要CP侧说明 | 需要CP侧说明 |
|-------------|---------|-----------|----------|--------|-------|
| 全局 | QPS | 成功率 | P995(ms) | CPU | 内存 |
| 支持主播<=760 | >=1000 | >=99.99% | <1000 | <=60% | <=60 |
| 支持主播<=2000 | >=2000 | >=99.99% | <1000 | <=60% | <=60 |
| 支持主播>=2000 | >=4000 | >=99.99% | <1000 | <=60% | <=60 |
2、压测结果
|-----|--------------------------------------------------------|------|-----|------------|--------|--------|------|
| 接口 | 服务部署及配置情况 | QPS | 成功率 | P995(ms) | CPU | 内存 | 压测结论 |
| 接口1 | 双机房总共40实例 XX机房:20 YY机房:20 服务实例配置 :24C、24G 数据库配置: 缓存配置: | 1000 | | <=1000 ms | <=60% | <=60% | 通过 |
| 接口2 | | | | | | | |
3、压测详情
3.1、单场景(可省略)
|--------|-------|-----|-------|--------|-------|
| 兵种 | 最大QPS | 成功率 | TP995 | CPU使用率 | 内存使用率 |
| 兵种1 | | | | | |
| 兵种2 | | | | | |
| 兵种3 | | | | | |
| 兵种4 | | | | | |
| 兵种5 | | | | | |
| 兵种6 | | | | | |
| ...... | | | | | |
3.2、混合场景(必须)
使用单个玩法进程最大允许兵数,按照兵种对应礼物的价格分布,比如:价格1快币、52快币、99快币、199快币、299快币、666快币,则可以大致按照6:2:1:0.5:0.025:0.025的分布(后续可以更精细化)
|----|-----|-----|-----|-----|------|------|
| 兵种 | 兵种1 | 兵种2 | 兵种3 | 兵种4 | 兵种5 | 兵种6 |
| 占比 | 60% | 20% | 10% | 5% | 2.5% | 2.5% |