解答系統的查全率、查準率測試方法的探討

軟件測試是通過(guò)執行軟件來(lái)，對過(guò)程中的產(chǎn)物（開(kāi)發(fā)文檔和程序）進(jìn)行走查，發(fā)現問(wèn)題，報告軟件質(zhì)量。測試是程序的執行過(guò)程，目的在于發(fā)現錯誤；一個(gè)好的測試用例在于發(fā)現了至今未發(fā)現的錯誤；一個(gè)成功的測試是發(fā)現了至今未發(fā)現的錯誤的測試。一般軟件測試我們主要從功能性、可靠性、易用性、維護性、可移植性、文檔審閱等方面進(jìn)行。作為第三方測評機構中的一名軟件測試工程師，以我曾做過(guò)的一個(gè)項目為例，總結下測試的經(jīng)驗和方法。

一：項目基本情況

隨著(zhù)互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò )上的信息呈爆炸式增長(cháng)。這使得人們在網(wǎng)上找到所需的信息越來(lái)越困難，這種情況下搜索引擎應運而生。越來(lái)越多的課程，使得學(xué)生的負擔壓力也越加嚴重，某解答系統通過(guò)對公式化結構數據的搜索算法、關(guān)鍵知識點(diǎn)等信息，在線(xiàn)上和線(xiàn)下整合的教育資源中進(jìn)行尋找和選擇，即時(shí)獲得求解答案，并提供了相關(guān)知識點(diǎn)拓展學(xué)習的機會(huì )。

某解答系統是上海XX信息技術(shù)有限公司開(kāi)發(fā)實(shí)施完成，該軟件支持WEB端（如圖1）和手機端訪(fǎng)問(wèn)，是一款教育軟件，實(shí)現輸入文字/公式、語(yǔ)音搜索初高中的題目，查看題目詳細解析和相似題等功能。

上海XX信息技術(shù)有限公司以中學(xué)生普遍的困難——課后練習的求解、鞏固、提高和知識點(diǎn)規律為切入點(diǎn)，將互聯(lián)網(wǎng)線(xiàn)上及線(xiàn)下的中學(xué)理科教育資源進(jìn)行了系統的整合，為廣大中學(xué)生和教師、家長(cháng)用戶(hù)提供了一站式的“求解答”教育搜索引擎服務(wù)。

圖1  某解答系統WEB端

二：項目具體實(shí)施

首先，收到客戶(hù)提交的材料，第一件事就是查看送測材料，了解客戶(hù)的測試需求、測試目的、熟悉客戶(hù)信息及被測系統的基本資料（如：測試委托申請表、操作手冊、設計說(shuō)明書(shū)、任務(wù)書(shū)、合同等）。根據收到的材料，被測系統“某解答系統”需要針對WEB端和手機端的功能、《（課題）任務(wù)書(shū)》中的技術(shù)指標進(jìn)行測評。其次，與客戶(hù)聯(lián)系了解測試服務(wù)器和客戶(hù)端所需要的環(huán)境，被測系統搭建了測試環(huán)境，部署了一臺測試服務(wù)器和5臺搜索服務(wù)器；客戶(hù)端支持Microsoft Windows系列、Apple iOS、Google Android等主流操作系統，滿(mǎn)足市場(chǎng)中大部分的用戶(hù)需求；采用MySQL數據庫進(jìn)行數據的管理和維護，通過(guò)定期手動(dòng)拷貝的方式進(jìn)行數據的備份與恢復操作；使用Apache Tomcat 7.0和Oracle JDK 1.7搭建服務(wù)器，通過(guò)Apache Tomcat記錄訪(fǎng)問(wèn)、運行的日志數據，尤其是記錄一些異常錯誤的日志信息。了解完測試服務(wù)器和客戶(hù)端所需要的環(huán)境之后，根據收到的操作手冊和設計說(shuō)明書(shū)編制測試記錄和測試用例。任何一個(gè)項目，一份考慮較周全的用例可以大大降低項目風(fēng)險，增強測試人員乃至整個(gè)項目組的信心。我們通常在測黑盒測試（功能測試）時(shí)采取等價(jià)類(lèi)劃分法、邊界值分析法、錯誤推測法、因果圖法、判定表驅動(dòng)法、正交試驗設計法、功能圖法等方法設計測試用例，檢測每個(gè)功能是否都能正常使用。同時(shí)在A(yíng)pple和Android的應用市場(chǎng)中下載“某解答系統”APP。當所有準備工作準備好了之后，開(kāi)始進(jìn)行軟件測試。

n 測試依據的標準是：

GB/T 16260.1-2006 《軟件工程 產(chǎn)品質(zhì)量 第1部分：質(zhì)量模型》國家標準。

GB/T 25000.51-2010 《軟件工程 軟件產(chǎn)品質(zhì)量要求與評價(jià)（SQuaRE）商業(yè)現貨（COTS）軟件產(chǎn)品的質(zhì)量要求和測試細則》國家標準。

n 測試內容：

依據GB/T 25000.51-2010標準對軟件質(zhì)量進(jìn)行測試，從功能性、可靠性、易用性、維護性、可移植性等特性進(jìn)行測試，對提交的文檔進(jìn)行審閱。

依據《（課題）任務(wù)書(shū)》中技術(shù)指標，對以下指標進(jìn)行測試：

1. 實(shí)現移動(dòng)應用程序注冊會(huì )員人數50萬(wàn)；

2. 智能科學(xué)搜索引擎查準率≥95%；查全率≥95%；

3. 圖像中的中文和公式混合識別準確度≥75%。

根據已寫(xiě)好的測試用例，我們上門(mén)去客戶(hù)單位現場(chǎng)進(jìn)行功能測試，檢測每個(gè)功能是否都能正常使用，并記錄每個(gè)功能的測試操作數據、期望結果和實(shí)際執行結果。測試前，需要在服務(wù)器上放置監控文件，監控測試期間CPU和可用內存的使用情況（如圖2）。本文將主要分析并分享一下技術(shù)指標的測試方法。

圖2  監控CPU和可用內存的使用情況

u 技術(shù)指標1：實(shí)現移動(dòng)應用程序注冊會(huì )員人數50萬(wàn)。

上海XX信息技術(shù)有限公司購買(mǎi)了友盟的U-App（應用統計）的服務(wù)，統計并分析某解答系統iOS版與某解答系統Android版的活躍用戶(hù)數?！居衙?】作為全球領(lǐng)先的第三方全域數據服務(wù)商。通過(guò)全面覆蓋PC、手機、傳感器、無(wú)線(xiàn)路由器等多種設備數據，打造全域數據平臺。友盟提供iOS、Android和Windows Phone等多平臺服務(wù)，為客戶(hù)提供全業(yè)務(wù)鏈數據應用解決方案，包括基礎統計、運營(yíng)分析、數據決策和數據業(yè)務(wù)等，幫助企業(yè)實(shí)現數據化運營(yíng)和管理。

通過(guò)友盟+服務(wù)平臺查看移動(dòng)端的活躍用戶(hù)數，能夠查看到某解答系統iOS版累計用戶(hù)數為：42,908；某解答系統Android版的累計用戶(hù)數為：458,518；總數和為：501,426（超過(guò)50萬(wàn)注冊會(huì )員人數）。

u 技術(shù)指標2：智能科學(xué)搜索引擎查準率≥95%。

查準率(精度)是衡量某一檢索系統的信號噪聲比的一種指標，即檢出的相關(guān)文獻與檢出的全部文獻的百分比。普遍表示為：查準率=(檢索出的相關(guān)信息量/檢索出的信息總量)x100%。

l 測試科目：

初高中的數學(xué)、物理、化學(xué)

l 測試數量：

100個(gè)數理化公式

l 測試公式：

? 單題查準率

? 總查準率

打開(kāi)Google Chrome瀏覽器，輸入網(wǎng)址：
#

圖3  y=kx-b搜索的結果

查準率=檢索出的正確結果總數/網(wǎng)頁(yè)中檢索出的結果總數*100%。網(wǎng)頁(yè)中輸入公式y=kx-b，檢索出的正確結果總數為27個(gè)，檢索出的結果總數為27個(gè)，單個(gè)公式的查準率=27/27*100%=100%，總查準率=1119/1119*100%=100%。滿(mǎn)足智能科學(xué)搜索引擎查準率≥95%。（如表1、如表2）

表1  某解答系統查準率統計表

表2  某解答系統查準率詳細記錄表

u 技術(shù)指標3：智能科學(xué)搜索引擎查全率≥95%。

查全率(召回率)，是衡量某一檢索系統從文獻集合中檢出相關(guān)文獻成功度的一項指標，即檢出的相關(guān)文獻量與檢索系統中相關(guān)文獻總量的比率。普遍表示為:查全率=(檢索出的相關(guān)信息量/系統中的相關(guān)信息總量)x100%。

l 測試科目：

高中的數學(xué)競賽

l 測試數量：

100個(gè)數學(xué)公式

l 測試公式：

? 單題查全率

? 總查全率

打開(kāi)Google Chrome瀏覽器，輸入網(wǎng)址：#

圖4  |y|<1搜索的結果

查全率=檢索出的正確結果總數/系統數據庫中的結果總數*100%。網(wǎng)頁(yè)中輸入公式|y|<1，檢索出的結果總數為2個(gè)，系統數據庫中匹配到2個(gè)，單個(gè)公式的查全率=2/2*100%=100%，對100道公式進(jìn)行查全率計算，平均查全率=（單個(gè)查全率n1+單個(gè)查全率n2+……+單個(gè)查全率n100）/100=（100%+100%+0%+……+75%）=98.75%，智能科學(xué)搜索引擎查全率≥95%。（如表3）

表3  某解答系統查準率詳細記錄表

u 技術(shù)指標4：圖像中的中文和公式混合識別準確度≥75%。

某解答系統旨在以解決：

1. 中學(xué)生目前較為突出存在的購買(mǎi)教輔書(shū)繁多、書(shū)包和經(jīng)濟負擔過(guò)重和不必要的補課等問(wèn)題；

2. 部分師生（尤其是教育欠發(fā)達地區）所面臨的教學(xué)資源和支持相對不足及低效的掣肘，以提高學(xué)生學(xué)習和教師工作的效率，實(shí)現“線(xiàn)上線(xiàn)下，終身學(xué)習，教學(xué)相長(cháng)，無(wú)處不在”。

上海XX信息技術(shù)有限公司將市場(chǎng)上普遍在售的初高中的教輔書(shū)、參考書(shū)書(shū)籍、工具書(shū)、作業(yè)等題目進(jìn)行錄入系統，建立并整理成在線(xiàn)教育試題庫，提高用戶(hù)搜題識別的成功率。

通過(guò)從樣本庫中抽取100道初高中數學(xué)題目使用APP中拍照求解答功能，對100道題目拍照（如圖5）并選取圖像中的中文和公式進(jìn)行識別，點(diǎn)擊搜索，查找題目詳細解析（如圖6）（樣本庫由上海XX信息技術(shù)有限公司提供）。

圖5  拍照的題目

圖6  題目詳細解析

在測試環(huán)境中，使用了某解答系統iOS版與某解答系統Android版APP對100道題目進(jìn)行拍照、識別和搜索（樣本庫由上海XX信息技術(shù)有限公司提供）。樣本庫中的100道題目都能夠識別并搜索到解題思路，準確度為100%。

最后按照實(shí)驗室的報告模板《鑒定測試報告[12.2]》導出測試用例，編制軟件測試報告。

三：總結與展望

查全率和查準率是評價(jià)搜題解題效果的兩項重要指標。查全率和查準率與數據庫系統和信息檢索兩個(gè)方面直接相關(guān)，也就是說(shuō)，與數據庫的收錄范圍、標引工作和檢索式的正確表達等有著(zhù)非常密切的關(guān)系。這兩項重要指標類(lèi)似于目前網(wǎng)絡(luò )上的搜索引擎，面對大數據量能夠自動(dòng)的抓取萬(wàn)維網(wǎng)信息的程序或者腳本。作為搜索引擎的一個(gè)重要組成部分——網(wǎng)絡(luò )爬蟲(chóng)相關(guān)的指標測試，將是我們接下來(lái)研究和探討的主題。