AI發(fā)展標準先行——上海軟件中心牽頭研制的《人工智能計算機視覺(jué)系統測評規范》團體標準正式發(fā)布

2021年8月10日，上海市人工智能技術(shù)協(xié)會(huì )發(fā)布了滬智協(xié)（2021）第07號公告，由上海軟件中心牽頭研制的團體標準T/SAITA 001-2021《人工智能計算機視覺(jué)系統測評規范》正式獲批發(fā)布，該標準將于2021年9月1日起實(shí)施。此項標準將在全國團體標準信息平臺（http：//www.ttbz.org.cn）和上海標準化服務(wù)信息網(wǎng)（https：//www.cnsis.org.cn）上同時(shí)發(fā)布。

《人工智能計算機視覺(jué)系統測評規范》團體標準由上海計算機軟件技術(shù)開(kāi)發(fā)中心牽頭起草，上海依圖網(wǎng)絡(luò )科技有限公司、上海人工智能研究院有限公司、上海思謀科技有限公司等單位參編。該標準的編制過(guò)程以科學(xué)研究成果和實(shí)踐經(jīng)驗為依據，充分兼容了其他相關(guān)標準的要求，并得到了上海市人工智能技術(shù)協(xié)會(huì )專(zhuān)家委員會(huì )的指導與眾多計算機視覺(jué)領(lǐng)域企業(yè)以及科研單位的大力支持。

計算機視覺(jué)是人工智能的關(guān)鍵技術(shù)之一，它是使用計算機模仿人類(lèi)視覺(jué)系統的科學(xué)，讓計算機擁有類(lèi)似人類(lèi)提取、處理、理解和分析圖像以及圖像序列的能力，近年來(lái)在我國各行業(yè)發(fā)展迅速。然而，業(yè)界缺乏對計算機視覺(jué)系統的可靠性、安全性、可解釋性等的系統性測評方法，一定程度上影響著(zhù)計算機視覺(jué)系統的廣泛應用和技術(shù)發(fā)展。團體標準《人工智能計算機視覺(jué)系統測評規范》針對計算機視覺(jué)應用產(chǎn)品化的趨勢，制定計算機視覺(jué)測評標準，有利于加快計算機視覺(jué)技術(shù)創(chuàng )新、成果轉化和推廣，規范、提升計算機視覺(jué)產(chǎn)品質(zhì)量和服務(wù)質(zhì)量，切實(shí)保障用戶(hù)安全，營(yíng)造公平開(kāi)放的計算機視覺(jué)產(chǎn)業(yè)生態(tài)，填補了我國在計算機視覺(jué)標準化、規范化建設上的空白。

《人工智能計算機視覺(jué)系統測評規范》規定了基于機器學(xué)習的計算機視覺(jué)系統的測評規范，適用于基于機器學(xué)習的計算機視覺(jué)系統的設計、研發(fā)、測試、部署與運維，其他人工智能領(lǐng)域也可參考使用。該標準從功能有效性、性能、兼容性、維護性、可移植性、訓練數據質(zhì)量、對抗樣本、魯棒性、可解釋性、安全性等方面對計算機視覺(jué)系統的測評指標進(jìn)行梳理，提出了計算機視覺(jué)系統測評指標體系及測評流程規范。特別的，該標準針對人工智能的安全問(wèn)題，在傳統軟件質(zhì)量指標體系基礎上增加了對抗樣本影響、可解釋性、魯棒性、安全性等具有人工智能特色的指標，為人工智能安全性測評提供了測評指導。

人工智能測評服務(wù)

上海計算機軟件測評重點(diǎn)實(shí)驗室（SSTL）人工智能測評服務(wù)面向計算機視覺(jué)、語(yǔ)音識別、自然語(yǔ)言處理、推薦與搜索等領(lǐng)域，聚焦人工智能應用過(guò)程中的模型功能有效性評估、模型性能評估、數據集質(zhì)量評估、對抗樣本防御能力等，提供全方位的測評服務(wù)，保障人工智能應用的質(zhì)量。

主要測評內容包括：

A 人工智能模型的功能有效性

包括混淆矩陣、準確率、精度、召回率、F1-Score、ROC、AUC等測評指標

B 人工智能模型的性能

包括模型推斷時(shí)間、模型運行占用的資源、模型的壓縮程度、模型的存儲需求、模型的算力需求等

C 人工智能系統數據集質(zhì)量評估

包括數據集規模、數據集標注質(zhì)量、數據集的均衡性等

D 人工智能系統防御對抗樣本能力

利用自研的對抗樣本生成工具，通過(guò)白盒或黑盒的方式生成對抗樣本，評估系統防御對抗樣本的能力、系統對于物理世界攻擊的防御能力等

E 人工智能系統的魯棒性

包括干擾數據對系統的影響、數據集分布對系統的影響、業(yè)務(wù)不相關(guān)數據對系統的影響等

F 人工智能系統的安全性