《2016上半年app测试白皮书》:平均每款应用存在41个问题

author author     2022-08-04     359

关键词:

 

 技术分享

2016年已过半,目前,经过几年高速发展后的国内市场移动互联网用户量已经趋于饱和,这让想要在该行业先发制人、出奇制胜的机会已经一去不复返。究竟App如今存在哪些方面的质量问题,不同类别的应用需要关注的内容是否相同?看似普通的兼容性测试又有哪些被人忽略却至关重要的关键点?这些问题就是阻碍你在这片拼杀激烈的商业红海中站住脚跟的关键。

继《2016年上半年手游测试数据分析报告》后,TestBird再次重磅推出《2016上半年App测试白皮书》(以下简称白皮书),希望通过上半年总共测试的20806款App 数据,为您直观的展示App行业目前的质量概况,以期在您未来的市场发展和趋势判断中提供一些力所能及的帮助。

20806款APP数据14类应用,深入解析APP问题分布

一款能够长驻市场的应用必须保证质量和进行大量的性能优化,但不同类型的APP存在着不尽相同的质量问题,而了解各个类型APP主要的问题关键点在哪儿,我们才能够顺利地打造出一款成功的产品。

2016上半年, TestBird测试了20806款APP,涵盖了“系统工具、通讯社交、影音视听、新闻阅读、生活休闲、办公商务、摄影摄像、购物优惠、地图旅游、教育学习、金融理财、健康医疗、游戏娱乐以及其他”14类应用。

白皮书对这14APP的测试数据进行详细的分析,譬如游戏娱乐、影音视听应用对手机的性能要求较其他类应用要高;摄影摄像类应用所发生的UI异常问题、程序异常问题也是最为严重的等等。

四大角度定义测试标准,详细剖析应用质量

2016上半年,TestBird测试了20806款APP,发现APP质量问题主要集中在APP与终端的兼容适配性、APP的功能以及终端的性能三个方面,同时由于APP使用对移动网络的依赖,加上移动网络的复杂和多变,客户在使用APP时频繁的面临网络切换问题,对APP的使用体验也有重要的影响。故而白皮书对APP质量问题从影响最关键和高频的功能测试、兼容性测试、网络测试和性能测试四个角度进行了详细的研究。

首先在兼容性测试方面,白皮书对将兼容性问题详细的分为安装失败、启动失败、闪退、卡顿、卡死、黑屏、数据异常、UI异常、连接异常和程序异常10大类,并对每类问题进行了标准定义。同时还结合CPU品牌、内存大小以及安卓版本等终端角度,对兼容性问题机型了交叉分析。

技术分享 

其次,APP功能使用是否正常,是影响用户体验的最关键因素之一,针对功能测试方面,白皮书从注册登录模块、定位服务模块、社交模块、个人信息管理模块和其他模块5个维度进行了分析分类阐述。同时,还对功能问题对用户体验的影响程度进行了详细的分级。

技术分享 

而针对APP网络测试方面,白皮书对常见的网络切换状况进行了分类,并对每种状况下出现的问题进行了详细阐述。同时还从APP类型的角度,对不同类型APP都在弱网条件下的测试和问题发生情况进了分类分析,完整展现了网络环境对APP质量的影响。

 技术分享

一款应用的性能是否良好,主要来源于应用运行过程中的CPU占用率、内存占用值、温度、启动时延、流量数据等,通过这五项数据可以很好的反应一款应用的性能表现。所以,白皮书对5个角度进行了标准化的定义和详细的数据分析。

技术分享 

 

平均每款APP 41个问题,程序闪退高达51%

2016上半年,TestBird在测试的20806款APP中总共发现864578个问题,平均每款APP存在41个问题,在14类应用中,地图旅游、游戏娱乐两种类型的APP平均问题检出数量最多,分别为63和61个。

 技术分享

每类应用平均问题检出数量

在各类兼容性问题分析中,白皮书统计显示闪退、UI异常、程序异常是兼容性问题占比最高的3大类问题其中闪退问题占比最高,达到51.65%。

技术分享 

各类兼容性问题检出率

在功能性问题的研发上,白皮书的分析显示,有1/4的问题都发生在注册登录模块,重点体现为第三方账号登录失败。从问题的严重程度上来看,大量的Bug中,会影响到用户正常操作的A、B、C级问题合计将近80%,所以功能测试问题需要引起开发者的高度重视。

技术分享 

问题模块分布统计

APP网络问题分析中,白皮书显示,服务器交互失败、掉线、数据获取异常等情况易发生在通信社交类、地图旅游类与生活休闲类APP上。而画面时延增加、画面卡顿以及无响应情况常发生于游戏娱乐类应用上。

APP的性能指标分析上,白皮书统计发现,在CPU占用率上,游戏娱乐类最高,健康医疗类最低;启动时延方面,购物优惠类最大,其他类型最小;内存占用上,购物优惠类最高,金融理财类最低;而在平均流量消耗上,摄影摄像类应用最大,健康医疗类应用则最小;手机平均温度方面则是购物优惠类应用最高,系统工具类最低

4000款终端数据交叉分析,小米终端问题最少

目前,市面上安卓终端碎片化极其严重,而相应兼容性问题也随着增加,TestBird通过对 4000款测试手机,历经20000余款APP测试后,通过深度的交叉分析为大家总结出了分辨率、CPU、内存等方面对APP质量问题的影响,并期望开发者能够通过这些数据对测试机型进行相应的筛选,做针对性的测试。

从白皮书的数据来看,在众多终端品牌中,大部分主流品牌的兼容性整体较好,相对而言,小米的问题数最少。从系统版本上分析,Android 5.1的兼容性情况最好,4.1的兼容性问题最严重;在内存方面,4GB内存是一个分水岭,4GB以上内存容量的问题检出率稳定在8.44%左右,小于4G的手机,内存不足引起的问题较多;而在CPU品牌上,展讯出现的兼容性问题较多,问题检出率高达32%,我们熟知的联发科和高通两大类CPU品牌兼容性问题检出率相当,分别为9.6%和9.2%。

IOS系统方面,白皮书也进行了专项的研究,发现2016年上半年平均每款程序IOS兼容性测试检测出8个以上问题,其中在系统层面上来说,IOS7问题检出率达到22.84%,普遍高于IOS8和IOS9;在机型上,iphone6的问题检出率达到12.59%,仅次于iphone4和iphone4s,高于其他机型。另外,相对于iphone,ipad问题检出率明显提高,其中mini1和mini2兼容性问题最为突出。

 技术分享

iphone手游测试问题检出率

 技术分享

ipad测试问题检出率

 

每款智能硬件105个问题,软硬件链接最突出

目前智能硬件市场迎来爆发式的增涨,智能硬件的测试和质量问题亦越来越受产商的重视,白皮书总结了TestBird上半年测试过151款智能硬件的经验,专门就智能硬件测试进行了系统的分析。

白皮书将智能硬件分为智能穿戴设备,智能家居,健康医疗,车联网,人工智能,运动休闲,影音娱乐和其他8个类别,其中智能家居市场占比最多,达到22.15%

 技术分享

智能硬件各类型占比

同时,智能硬件的质量问题也比较突出,上半年TestBird在智能硬件上一共发现了15925个问题,平均每款智能硬件问题数量达到105个以上,其中还发现,硬件本身问题占比是最少的,反而软硬件链接问题最多,这无疑需要引起广大智能硬件厂商的注意和重视。

技术分享 

智能硬件问题占比

新增实操案例,全干货指导APP质量提升

2016APP测试白皮书》不仅给行业带来了一些测试经验和干货内容,帮助开发者在进行APP测试时更有目的、有针对性的入手,而且还新增了兼容性测试、功能测试以及智能硬件测试等大量不同类别的实操案例与测试日志Q&A,并期望通过更加直观的描述,为广大开发者提供一定的参考借鉴。

另外,在白皮书最后,TestBird依然毫无保留地针对APP各项测试问题,叙述了详尽的解决方案。譬如针对兼容性问题中最为严重的程序闪退情况,白皮书中对问题发生的原因进行了归纳并给出了相应的解决建议:

我们测试中发现APP闪退问题是所有兼容性问题中出现最多的问题,闪退问题出现场景各不相同,常见原因因为内存不足、温度过高、系统不兼容、CPU不兼容等。开发人员可以根据这几种现象分析定位原因,找到闪退原因后根据需求优化。

 

正是由于TestBird稳扎稳打,在占有70%手游市场后,凭其测试技术的累积和测试经验的丰富,顺利将业务拓展至整个APP领域,并通过2016上半年测试多达20806款的APP,整合分析的864578个测试问题,最终顺利推出了《2016上半年APP测试白皮书》,全面直观地展示了App行业目前的质量概况,并望以此与广大测试同胞一起分享 

申请下载《2016上半年APP测试白皮书》完整版,请点击:https://jinshuju.net/f/6fxt2F

 

app测试点概述

一、功能测试:1、高级别时间响应:闹铃、推送消息等2、第三方应用打断:打电话、发短信、发送邮件、发送QQ消息、发送微信消息等3、通讯录的备份恢复功能4、手机和其他外设产品的互联互通二、稳定性测试:1、平均失效... 查看详情

用于 Beta 测试本机应用程序的暂存商店

】用于Beta测试本机应用程序的暂存商店【英文标题】:Stagingstoresforbetatestingnativeapps【发布时间】:2017-12-0110:50:45【问题描述】:我已经进行了大约一个月的Android和iOS开发,并且成功地将我的iPhone和三星Galaxy设置为测试设备,并... 查看详情

电商专题研究报告(合集)

...起2021双十一电商行业研究报告2021H1电商发展分析报告2021上半年短视频及电商生态研究报告2021小红书电商直播趋势报告2021巨量引擎母婴行业白皮书2021年618电商营销全景洞察2021年818抖音直播电商数据研究报告2021年上半年直播电... 查看详情

《鸿蒙生态应用开发白皮书》读后感

近期,在HarmonyOS官网发布《鸿蒙生态应用开发白皮书》V1.0版本(以下简称《白皮书》)。笔者通读了《鸿蒙生态应用开发白皮书》,总结了读后感。如果熟悉鸿蒙开发,或者熟悉鸿蒙的文档,那么对于《... 查看详情

《鸿蒙生态应用开发白皮书》读后感

近期,在HarmonyOS官网发布《鸿蒙生态应用开发白皮书》V1.0版本(以下简称《白皮书》)。笔者通读了《鸿蒙生态应用开发白皮书》,总结了读后感。如果熟悉鸿蒙开发,或者熟悉鸿蒙的文档,那么对于《... 查看详情

开发者必备个推《app消息推送白皮书》正式发布|附下载

...本,有何方法?......答案尽在个推《APP消息推送白皮书》。3月29,个推《APP消息推送白皮书》(以下简称白皮书)正式发布。作为行业首本功能实践白皮书,本书详细阐述了个推消息推送产品的核心功能、... 查看详情

高等代数葵花宝典—白皮书

  我第一次接触白皮书是和高中同学钟梓源(复旦数学学院16级)的交流当中发现的,记得是上半期开学之后,钟梓源给我发了几张他们高等代数“练习册”的照片,还记得是矩阵的Kronecker积和摄动法之类的,当时大为惊... 查看详情

《面向中国资本市场应用的分布式总账白皮书》笔记

...同发起设立的分布式账本联盟)在2016年10月14日发布了首版白皮书,从业务需求与推进顺序、技术选型评估、技术路线、特权方案、隐私方案、原生数字货币的处理、性能优化目标、展望与总结等方面,阐述了中国资本市场领域中... 查看详情

精准测试白皮书-2019最新版

精准测试白皮书精准测试诞生的背景 现代社会是建立在各种以计算机为基石的软件技术基础之上的。随着日新月异的需求变化,软件系统越来越复杂。很多人觉得软件开发才是重要环节,但实际上,无法对大型软件进行有效的... 查看详情

重磅丨继人工智能大会后《aios链上人工智能白皮书》正式发布,核心应用即将开启

​ 时隔半年,高瓴资本再度出手,二十余家大型投资机构联袂出席人工智能会议。据悉,以人工智能相关的技术聚焦于一个去中心化人工智能计算平台;可建立以下应用案例,信息服务,金融服务,... 查看详情

如何对Angular 2 Mean Stack App进行单元测试?

】如何对Angular2MeanStackApp进行单元测试?【英文标题】:HowtounitTestAngular2MeanStackApp?【发布时间】:2018-01-0510:23:28【问题描述】:我创建了一个平均堆栈应用程序。有用户注册。现在我想做一些单元测试。谁能告诉我如何用应用程... 查看详情

2016全球资产配置白皮书(附下载)

2016全球资产配置白皮书(附下载) 2017年04月6日中国经济, 投资&经济, 研究报告  报告下载:添加199IT官方微信【i199it】,回复关键词【2016全球资产配置白皮书】即可白皮书建议,在优质投资渠道收窄的今天... 查看详情

车联网白皮书(2021.12)中国信息通信研究院

内容整理自:车联网白皮书(2021年12月)中国信息通信研究院1城市道路环境下车联网应用1.1场景概述城市路网复杂、交通对象多元、出行需求庞大,交通效率提升、交通安全保障、新型交通服务是车联网在城市场... 查看详情

购买测试期间 Amazon App Tester 崩溃 (Xamarin)

】购买测试期间AmazonAppTester崩溃(Xamarin)【英文标题】:AmazonAppTestercrash(Xamarin)duringpurchasetest【发布时间】:2016-10-0601:04:02【问题描述】:使用AmazonAppTester测试应用内购买时,应用在此行崩溃RequestOutputresponse=IAPService.Purchase(request);... 查看详情

如果我的应用不在 App Store 中,如何测试 Firebase 动态链接?

】如果我的应用不在AppStore中,如何测试Firebase动态链接?【英文标题】:HowcanItestFirebaseDynamicLinksifmyappisnotintheAppStore?【发布时间】:2016-09-2100:22:54【问题描述】:我希望能够在单击动态链接时打开应用程序并打印参数(即使它... 查看详情

软件定义汽车产业生态创新白皮书

1什么是软件定义汽车1.1驱动因素汽车“新四化”的发展需要软件的加持据大众汽车公开披露信息,未来平均每辆普通汽车软件代码量超1亿行。在电动化、智能化和网联化等的发展推动下,汽车将加速向高度数字化、信息... 查看详情

软件定义汽车产业生态创新白皮书

1什么是软件定义汽车1.1驱动因素汽车“新四化”的发展需要软件的加持据大众汽车公开披露信息,未来平均每辆普通汽车软件代码量超1亿行。在电动化、智能化和网联化等的发展推动下,汽车将加速向高度数字化、信息... 查看详情

app流畅度测试--使用fpsmeter

1.FFPSMeter是一款非常实用的小软件,能够用数字实时显示安卓界面的每秒帧数,非常直观。此外,FPSMeter还可以显示最大帧数、最小帧数以及平均帧数,用来评价安卓流畅度极具价值。由于涉及到了系统功能,所以FPSMeter需要root... 查看详情