本節(jié)旨在論述如何在XX用戶建立測試體系以促進(jìn)和加強(qiáng)測試管理和測試流程,提高測試質(zhì)量,保證銀行IT產(chǎn)品品質(zhì),達(dá)到更好地為金融客戶服務(wù)的目標(biāo)。
測試體系是圍繞測試活動(dòng)開展制定的一系列規(guī)程、指南、標(biāo)準(zhǔn)、模板,用于管理和規(guī)范測試過程,通過引入測試體系可以引入更好地測試方法來優(yōu)化測試細(xì)節(jié);可以通過規(guī)定和規(guī)范加強(qiáng)流程化管理;可以通過定義指標(biāo)、標(biāo)準(zhǔn)更準(zhǔn)確地反映測試、評(píng)估測試。
詳細(xì)描述以解決現(xiàn)有不足為目標(biāo)并結(jié)合銀行測試管理的現(xiàn)狀而設(shè)計(jì)的測試管理總體解決方案的理念、思路、實(shí)現(xiàn)的方式方法。 根據(jù)上一節(jié)對(duì)XX商行測試工作的現(xiàn)狀和現(xiàn)實(shí)環(huán)境的分析,我們了解到在行里建立符合現(xiàn)狀和現(xiàn)需求的測試體系,并在該測試體系的指導(dǎo)下建立一批技術(shù)過硬的IT測試團(tuán)隊(duì)的必要性。本節(jié)將著重描述測試體系建設(shè)的整體規(guī)劃和發(fā)展路線圖。
為了進(jìn)一步提高測試的覆蓋度,保證系統(tǒng)質(zhì)量,需要不斷豐富測試的內(nèi)容,使用“自底向上”的方式檢驗(yàn)系統(tǒng)各個(gè)層面上的正確性和可靠性。在已有的UAT測試的基礎(chǔ)上增加FT測試、SIT測試以及非功能性測試,非功能性測試包含的內(nèi)容有:性能測試、兼容性測試等等。
建立測試體系的首先是選擇適應(yīng)于目前情況的測試模型。與當(dāng)前情況相符合主要是指研究目前開發(fā)項(xiàng)目和系統(tǒng)的特點(diǎn),其中包括:項(xiàng)目需求的規(guī)模,對(duì)測試周期的要求,以及項(xiàng)目所選擇的開發(fā)模型。
測試模型的選型目標(biāo)主要是當(dāng)前比較常用和成熟的測試模型: 瀑布模型 V模型 W模型 迭代模型 進(jìn)化模型 RUP模型(增量迭代)
在選型過程中,需要選擇多種不同的模型以滿足現(xiàn)實(shí)中不同的開發(fā)需求,選型的方法可以參考選擇一個(gè)主模型以適應(yīng)IT項(xiàng)目、一個(gè)子模型以適應(yīng)新特性開發(fā)、需求變更或緊急情況應(yīng)急處理。
選型完成后,可根據(jù)自身的需要對(duì)模型定義的測試階段進(jìn)行刪減和補(bǔ)充。
在選擇適合的測試模型后,測試活動(dòng)被劃分為多個(gè)測試階段和多種針對(duì)不同測試目的的測試。例如: 單元測試 集成測試 功能測試(FT) 系統(tǒng)測試(SIT) 用戶驗(yàn)收測試(UAT)
建立測試體系的目的是為測試工作制定周密的管理計(jì)劃,為測試工作建立標(biāo)準(zhǔn)化流程和標(biāo)準(zhǔn)化文檔,為測試單位提供運(yùn)行的流程和規(guī)范??紤]到本項(xiàng)目的特點(diǎn),我們知道該項(xiàng)目的測試工作需要橫跨不同的業(yè)務(wù)系統(tǒng),不同系統(tǒng)之間存在著網(wǎng)狀的數(shù)據(jù)流。這種系統(tǒng)的復(fù)雜性為測試管理工作提出了嚴(yán)峻的挑戰(zhàn),據(jù)此我們需要通過建立測試體系的方法規(guī)范化測試流程,使得復(fù)雜的聯(lián)調(diào)測試變得易于跟蹤和控制,從而達(dá)到降低項(xiàng)目風(fēng)險(xiǎn)的目的。
建立測試體系的首先是要確定一個(gè)生命周期模型從整體的角度描述整個(gè)項(xiàng)目。
將項(xiàng)目的測試管理分為五個(gè)階段和一個(gè)日常事務(wù)檢查表,對(duì)每個(gè)階段的工作任務(wù)進(jìn)行說明,包括時(shí)間點(diǎn)、任務(wù)、提交物等。提供該體系給項(xiàng)目管理人員作為測試項(xiàng)目管理手冊,對(duì)整個(gè)項(xiàng)目的測試工作進(jìn)行系統(tǒng)的管理、監(jiān)督。
該體系是針對(duì)項(xiàng)目具體實(shí)施過程的,對(duì)大運(yùn)會(huì)項(xiàng)目的測試過程實(shí)施,在各個(gè)里程碑階段,我們將使用以下體系進(jìn)行項(xiàng)目測試過程的執(zhí)行,包括:里程碑接口、里程碑輸入信息、參與角色、工作過程、工作內(nèi)容、輸出信息等。
1) 初始階段 初始階段主要是給客戶做測試過程和測試標(biāo)準(zhǔn)的介紹,加強(qiáng)客戶對(duì)測試過程和測試標(biāo)準(zhǔn)的了解。
面向?qū)ο螅簩?duì)象為項(xiàng)目參與人員(包括管理人員和技術(shù)人員)。 介紹內(nèi)容: 介紹測試過程 介紹測試策略 介紹測試方法和特點(diǎn) 介紹測試結(jié)果評(píng)估、分析方法
2) 需求分析階段
前期接口:
初始階段完成,項(xiàng)目組認(rèn)可所使用的測試過程、方法等;
基本的測試范圍(功能測試、性能測試、自動(dòng)化測試等)和使用何種測試工具等基本達(dá)成一致。
輸入:
被測系統(tǒng)的開發(fā)文檔
被測系統(tǒng)的客戶文檔
參與角色:
在測試項(xiàng)目中,開發(fā)廠商,CSC專家,和測試組都有眾多人員的參與,這里闡述了各方在項(xiàng)目中需要的角色和各自的職責(zé)。
階段過程:
>測試計(jì)劃階段的基本過程如下:
測試需求制定過程:
略
輸出:
項(xiàng)目測試計(jì)劃
項(xiàng)目相關(guān)標(biāo)準(zhǔn)
項(xiàng)目測試需求
3) 案例設(shè)計(jì)階段
測試設(shè)計(jì)人員都參與了系統(tǒng)的詳細(xì)培訓(xùn)
測試設(shè)計(jì)人員參與了測試工具的培訓(xùn),掌握了測試工具的試用
定義測試策略:考察應(yīng)用程序、系統(tǒng)環(huán)境和測試資源等以決定測試目標(biāo)。
分解測試對(duì)象:將AUT(被測應(yīng)用程序)分解成具體的測試單元(可被測試的模塊和功能)。
定義測試案例:確定每個(gè)模塊所需的測試類型,添加基本的定義描述。
建立需求覆蓋:將具體的測試案例和需求建立覆蓋關(guān)系。
設(shè)計(jì)測試步驟:為每個(gè)測試案例添加測試步驟。測試步驟描述測試的操作、檢查點(diǎn)和預(yù)期輸出。
分析測試案例:評(píng)審所有測試案例以確保符合測試目標(biāo)。
測試案例
4) 執(zhí)行階段
測試案例設(shè)計(jì)并審核完畢
測試執(zhí)行記錄
缺陷記錄單
缺陷跟蹤匯總表
缺陷跟蹤:
匯報(bào)缺陷記錄
跟蹤缺陷修改情況
回歸測試直到缺陷得到恰當(dāng)處理(是否進(jìn)行缺陷跟蹤要根據(jù)客戶要求不同而定)
5) 總結(jié)分析階段
測試執(zhí)行工作完成
缺陷記錄
本階段包含四個(gè)步驟:
整理數(shù)據(jù):整理測試過程數(shù)據(jù)和缺陷數(shù)據(jù),以備分析之需。
分析數(shù)據(jù):根據(jù)收集整理的測試過程數(shù)據(jù)和缺陷數(shù)據(jù)對(duì)測試過程和系統(tǒng)情況進(jìn)行分析。
編制總結(jié)分析報(bào)告:對(duì)項(xiàng)目進(jìn)行總結(jié),在整理數(shù)據(jù)和分析數(shù)據(jù)的同時(shí)即可進(jìn)行該項(xiàng)工作,待數(shù)據(jù)分析完成后,將分析結(jié)果增加到報(bào)告中,并將總結(jié)分析報(bào)告提交給開發(fā)部,業(yè)務(wù)部,以便開展項(xiàng)目評(píng)估工作。
調(diào)查客戶滿意度:總結(jié)完成后,由開發(fā)部,業(yè)務(wù)部人填寫滿意度調(diào)查表,調(diào)查結(jié)果供測試過程改進(jìn)和項(xiàng)目評(píng)估參考。
項(xiàng)目評(píng)估:由項(xiàng)目雙方(開發(fā)部,業(yè)務(wù)部和測試組)相關(guān)人員一起,根據(jù)評(píng)估項(xiàng)及其統(tǒng)計(jì)數(shù)據(jù)對(duì)項(xiàng)目完成情況進(jìn)行評(píng)估。
測試總結(jié)分析報(bào)告
項(xiàng)目評(píng)估報(bào)告
1) 缺陷相關(guān)標(biāo)準(zhǔn) 嚴(yán)重級(jí)別: 5 緊急 導(dǎo)致操作系統(tǒng)崩潰(如Win NT/2000 的籃屏、Win 98 的系統(tǒng)致命錯(cuò)誤等) 導(dǎo)致操作系統(tǒng)不響應(yīng) 程序退出沒有釋放資源 導(dǎo)致其它應(yīng)用程序出現(xiàn)異常(如無法啟動(dòng)、不響應(yīng)、異常退出) 卸載時(shí)不提示客戶確認(rèn)即刪除公用程序(DLL 等) 其它導(dǎo)致操作系統(tǒng)或其它應(yīng)用程序異常的情況 造成重大安全隱患情況(如機(jī)密性數(shù)據(jù)的泄密) 4 很高 程序掛起 程序異常退出 系統(tǒng)無法正常安裝、卸載或升級(jí) 其它導(dǎo)致被測系統(tǒng)本身出現(xiàn)無法正常運(yùn)行的錯(cuò)誤 3 高 導(dǎo)致輸出的數(shù)據(jù)錯(cuò)誤(數(shù)據(jù)內(nèi)容出錯(cuò)、格式錯(cuò)誤、無法打開等) 導(dǎo)致其它功能模塊無法正常執(zhí)行,如: 功能不完整或功能實(shí)現(xiàn)不正確; 導(dǎo)致數(shù)據(jù)操作結(jié)果錯(cuò)誤 文件或數(shù)據(jù)傳輸不完整或不正確 對(duì)數(shù)據(jù)格式不進(jìn)行檢測 提示語句易誤導(dǎo)用戶,造成數(shù)據(jù)丟失等重大問題 其它導(dǎo)致被測應(yīng)用系統(tǒng)其它模塊無法正常運(yùn)行或出現(xiàn)錯(cuò)誤結(jié)果的情況 2 中等 影響當(dāng)前操作結(jié)果 數(shù)據(jù)修改后沒有保存提示 系統(tǒng)出錯(cuò)提示不正確或沒有捕獲系統(tǒng)出錯(cuò)信息 數(shù)據(jù)的重要操作(如刪除、添加等)沒有提示 其它影響被測模塊/功能正常執(zhí)行的情況 1 低 頁面布局不合理 字體不一 錯(cuò)別字 語言不一致(如:中英文混合) 頁面提示不明確 系統(tǒng)易用性不好 其它對(duì)被測模塊功能實(shí)現(xiàn)沒有影響的情況
缺陷導(dǎo)入階段: 1. 需求階段 未能真正了解客戶需求,功能描述不正確 需求定義有二義性 需求中遺漏客戶功能需求 2. 概要設(shè)計(jì)階段 架構(gòu)設(shè)計(jì)不正確 業(yè)務(wù)流程設(shè)計(jì)錯(cuò)誤 3. 詳細(xì)設(shè)計(jì)階段 功能模塊間數(shù)據(jù)格式定義不一致 開發(fā)規(guī)范 4. 編碼階段 5. 其它 缺陷優(yōu)先級(jí): 3 必須修改 2 將要修改 1 有時(shí)間則改 0 未分配 缺陷類型: 程序錯(cuò)誤 環(huán)境設(shè)置 重復(fù)記錄 需要完善 不可重現(xiàn) 并非問題
測試流程可分為兩支: 自動(dòng)化測試流程; 手工測試流程。
在測試活動(dòng)中通過標(biāo)準(zhǔn)化、規(guī)范化測試資源使測試資源可以被共享和重用。
如果測試對(duì)象缺乏必要的標(biāo)準(zhǔn)化、規(guī)范化,會(huì)導(dǎo)致測試案例等測試對(duì)象無法共享。例如,很多測試團(tuán)隊(duì)的測試案例編寫缺乏規(guī)范,導(dǎo)致: 測試案例“個(gè)性化”、“個(gè)人化”,只有自己才能夠“看懂”自己的測試案例來進(jìn)行測試執(zhí)行,其他的測試工程師無法使用其他人的測試案例來進(jìn)行測試;
測試設(shè)計(jì)人員和測試執(zhí)行人員無法分離,高成本的測試設(shè)計(jì)人員必須自己來執(zhí)行測試案例,而不能使用低成本的測試執(zhí)行人員來執(zhí)行測試案例,導(dǎo)致無法達(dá)到很好的勞動(dòng)組合,提高工作效率,也大大占用了經(jīng)驗(yàn)豐富的測試設(shè)計(jì)人員的時(shí)間。
對(duì)于測試過程也需要進(jìn)行控制,只有進(jìn)行測試對(duì)象的標(biāo)準(zhǔn)化、規(guī)范化,才能夠進(jìn)行測試案例評(píng)審,進(jìn)一步提升測試案例的質(zhì)量。
測試對(duì)象復(fù)用,主要指測試案例復(fù)用、測試腳本復(fù)用、測試計(jì)劃復(fù)用。
一般情況下,如果一個(gè)測試需要執(zhí)行3次以上,那么自動(dòng)測試的成本能夠和手工測試持平。隨著執(zhí)行測試的不斷增加(特別是后期的回歸測試),測試成本大大小于手工測試執(zhí)行。
隨著測試技術(shù)的發(fā)展,很多測試腳本能夠通過灰盒測試方法,通過自動(dòng)轉(zhuǎn)換程序技術(shù)來自動(dòng)生成,能夠把測試工作大大提前,并且測試腳本的編寫成本大幅度下降。
實(shí)現(xiàn)缺陷流程定制化。根據(jù)項(xiàng)目特點(diǎn),定制有針對(duì)性的缺陷管理流程。為每一個(gè)測試角色分配缺陷處理的權(quán)限。使得每個(gè)測試人員的分工更明確,人員配置更合理。
在缺陷跟蹤之前定制查詢。通過定制常用的查詢規(guī)則,例如:當(dāng)日提交給我待解決的缺陷、所有解決的缺陷等等,測試員和開發(fā)人員將有針對(duì)性地關(guān)注缺陷,測試經(jīng)理也可以即時(shí)了解問題解決情況。
基于Test Center的測試體系可以劃分為8個(gè)子模塊,見下圖。
缺陷管理模塊:
支持缺陷管理流程,可以定制缺陷管理流程,支持缺陷流程的是一個(gè)工作流;
可定制的缺陷過濾器。用戶根據(jù)自身的需要定義過濾器。通過輸入查找條件,將查詢規(guī)則定義為過濾器。通過這種方式,用戶可以更快地找到自己所關(guān)心的缺陷,例如“剩余的沒解決的缺陷”之類;
支持缺陷報(bào)告,缺陷報(bào)告以圖表和圖的方式展示處于各個(gè)狀態(tài)的缺陷,以及各個(gè)緊急程度分類上的缺陷。缺陷報(bào)告還提供了缺陷關(guān)閉、打開曲線圖,用以了解每日缺陷的關(guān)閉和打開趨勢。
生成詳盡的測試報(bào)告,包括執(zhí)行情況、缺陷情況、需求達(dá)成情況使得項(xiàng)目重要干系人即使了解項(xiàng)目進(jìn)程,了解問題的分布情況,即時(shí)分析和規(guī)避開發(fā)風(fēng)險(xiǎn)。
管理開發(fā)和測試資源,使用預(yù)約的方式將資源分配給人員和組,為資源分配提供管理和監(jiān)控的解決方案。
咨詢電話
滬公網(wǎng)安備 31010702002953號(hào)
滬ICP備07036474號(hào) 2003-2024 版權(quán)所有 上海澤眾軟件科技有限公司 Shanghai ZeZhong Software Co.,Ltd.
添加客服微信 歡迎咨詢測試工具和測試服務(wù)
掃描二維碼下載澤眾軟件企業(yè)宣傳冊
電話咨詢,400-035-7887,安排專業(yè)技術(shù)售前給您解答(產(chǎn)品試用、技術(shù)交流、服務(wù)咨詢和商務(wù)報(bào)價(jià))。
您的信息已成功提交!
我們的客服人員稍后會(huì)與您聯(lián)系