功能性测试大数据功能及应用测试方法

功能性测试大数据分析系统的POSIX语义不同,实现的文件系统API也不同,功能测试要覆盖到大数据系统涉及实现的API和功能点。非功能性测试由于大数据面向具体行业的应用,除了功能性测试,在整个大数据处理框架下需要进行非功能性测试,以下几种:大数据高可用性对很多应用非常关键,需要严格进行测试和验证,以手动测试为主。数据一致性测试

文章来源:http://xmxbbs.com/thread-363-1-1.html

一.功能性测试

大数据功能主要涉及系统实现面向大数据剖析应用的POSIXAPI,包括文件读取与访问控制,元数据操作性功能测试怎么处理,锁操作等功能。

大数据剖析系统的POSIX语义不同,实现的文件系统API也不同,功能测试要覆盖到大数据系统涉及实现的API和功能点。

功能测试工作量大,应当重点考虑应用手动化测试方式进行,同时结合自动测试补充,手动化工具推荐ltp,和。

在多个节点上处理大数据的过程中,存在因为‘无用数据’和数据质量问题带来的各类问题。大数据功能测试主要用以辨识因为编码错误或节点配置错误带来的数据问题。

其包括以下几个阶段:a.数据导出/预处理验证阶段

依据具体的应用背景和业务需求,各类数据源如网路日志,物联网,社会网路及[url=]互联网[/url]文本和文件等被按需加载到HDFS中待处理。在这个过程可能会因为不正确或不复制,储存而造成的错误数据,对于这些情况,可采用以下方法进行测试:

1.输入文件与源文件进行比对,保证数据的一致性;2.按照数据需求来保证获取数据的确切性;3.验证文件被正确的加载进HDFS,且被分割,复制到不同的数据节点中。

b.数据输出验证阶段

当数据加载进行HDFS后,开始对来自不同数据源的数据进行处理。在这个过程中可能会出现处理过程中的编码问题,如在单一节点上运行正确,在多个节点上运行不正确的问题,包括不正确的聚合,节点配置,输出格式等。针对于这个阶段的问题,可采用以下验证手段:1.验证梳理数据处理正常完成,输出文件正常得到;2.在单个节点上验证大数据的业务逻辑,因而在多节点上进行相同验证;3.验证处理过程的key/value对是否正确生产;4.在过程结束后验证数据的集聚合并是否正确;5.通过源文件验证输出数据来保证数据处理正确完成;5.根据大数据业务所需,验证输出数据文件格式是否符合要求。

c.验证大数据ETL到数据库房

当过程结束后,形成的数据输出文件讲被按需移至数据库房或其它的事务型系统.在此过程中,可能会因为不正确地应用转换规则,从HDFS中提取的数据不完全而带来问题。针对于这个阶段的问题可采用以下方式:1.验证转换规则是否正确应用;2.通过比较目标表数据和HDFS文件数据来验证是否有数据损毁;3.验证目标系统数据加载是否成功;4.验证目标系统的数据完整性。

d.验证剖析报告

从数据库房或则hive中得到的数据,可通过报表工具得到剖析报告;这个过程可能会形成报表定义不能达到要求的报表数据问题;在这个过程中可通过查询来验证报表是否满足业务要求。

二.非功能性测试

因为大数据面向具体行业的应用,不仅功能性测试,在整个大数据处理框架下须要进行非功能性测试,以下几种:

a.性能测试

性能是评估一个大数据剖析系统的最为关键的维度,大数据系统性能主要包括吞吐量,任务完工时间,显存借助率等多个指标,可反应大数据剖析平台的处理能力,资源借助能力等性能。可通过性能监控器来检测运行状态性能指标和困局问题,[url=]性能测试[/url]采用手动化化形式进行,测试系统在不同负载情况下的性能。

b.容错性测试

可从部份失效中手动恢复,但是不会验证的影响整体性能,非常地,当故障发生时,大数据剖析系统应当在进行恢复的同时继续以可接受的方法进行操作,在发生错误时某种程度上可以继续操作,需依照应用场景来设计解决方案和具体布署,之后自动测试。

c.可用性测试

高可用性已是大数据剖析不可或缺的特点之一,因而保证数据应用业务的连续性.大数据高可用性对好多应用十分关键,须要严格进行测试和验证,以自动测试为主。

d.扩充性测试

弹性扩充能力对于大数据时代的文件系统尤其重要,文件系统扩充性测试主要包括测试系统弹性扩充能力(扩充/回缩)及扩充系统带来的性能影响,验证是否具有线性扩充能力,以自动测试为主。

e.稳定性测试

大数据剖析系统一般是不间断常年运行性功能测试怎么处理,稳定性的重要性不言而喻,稳定测试主要验证系统在长时间(7/30/180/365*24)容许下,系统是否仍旧才能正常运行,功能是否正常.稳定性测试一般采用手动化形式进行,LTP,,,FIO等工具对测试系统形成负载,同时须要验证功能。

f.布署方法测试

大数据具备scale-out的特征,才能建立大规模,高性能的文件系统集群。针对不同应用和解决方案,文件系统布署方法会有明显不同。

布署方法测试须要测试不同场景下的系统布署方法,包括手动安装配置,集群规模,硬件配置(服务器,储存,网路),手动负载均衡等,这部份测试不大可能进行手动化测试,须要依照应用场景来设计解决方案和具体布署,再进行自动测试。

g.数据一致性测试

这儿的数据一致性是指文件系统中的数据与从外部写入前的数据保持一致,即写入数据与读出数据仍然是一致的.数据一致性才能表明文件系统可保证数据的完整性,不会造成数据遗失或数据错误,这是文件系统最基本的功能,测试可用diff,编撰脚本手动化测试,LTP也提供了数据一致性的测试工具。

h.压力测试

大数据剖析系统的负载能力是存在上限的,系统过载时,系统就可能存在性能下滑,功能异常,拒绝访问等问题。压力测试是验证系统造大压力下,包括数据多顾客端,高OPS压力,高IOPS/吞吐量压力,系统是否仍旧才能正常运行,功能是否正常,系统资源消耗情况,因而为大数据营运提供根据。

给TA打赏
共{{data.count}}人
人已打赏
两性知识

为什么女人容易患上性冷淡,而女人性冷淡又是谁造成的呢

2022-9-2 21:27:40

两性知识

好大夫在线图文义诊·泌尿男科性功能障碍_请问医生,

2022-9-2 21:27:49

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索