標準編號:	YY/T 1833.3-2022
中文名稱:	人工智能醫療器械 質量要求和評價 第3部分：數據標注通用要求
英文名稱:	Artificial intelligence medical device—Quality requirements and evaluation一Part 3:General requirement for data annotation
中標分類:	C40    醫用光學儀器設備與內窺鏡
行業分類:	YY    醫藥行業標準
ICS分類:	11.040.99 11.040.99    其他醫療設備 11.040.99
發布機構:	國家藥品監督管理局
發布日期:	2022-08-17
實施日期:	2023-9-1
標準狀態:	valid
翻譯語言:	英文
文件格式:	PDF
中文字符數:	33000 字
翻譯價格(元):	2310.0
交付時間:	付款后 1 個工作日

YY/T 1833.3-2022 Artificial intelligence medical device - Quality requirements and evaluation - Part 3: General requirement for data annotation 1 Scope This document specifies the general requirements and evaluation methods for data annotation of artificial intelligence medical device. It is applicable to data annotation activities of artificial intelligence medical device. 2 Normative references The following documents contain provisions which, through reference in this text, constitute provisions of this document. For dated references, only the edition cited applies. For undated references, the latest edition of the referenced document (including any amendments) applies. YY/T 1833.1 Artificial intelligence medical device - Quality requirements and evaluation - Part 1: Terminology YY/T 1833.2 Artificial intelligence medical device - Quality requirements and evaluation - Part 2: General requirements for datasets 3 Terms and definitions For the purposes of this document, the terms and definitions given in YY/T 1833.1 and YY/T 1833.2 as well as the following apply. 3.1 annotation task activity for purposefully analyzing a set of data to add external knowledge 3.2 annotation object specific information such as data type, features and attributes analyzed in an annotation task 3.3 structured annotation annotation task that records results by fixed formats and rules 3.4 non-structured annotation annotation task that records results by unfixed formats and rules 3.5 semi-structured annotation annotation task that records results by fixed formats and unfixed rules 3.6 manual annotation annotation task performed entirely in manual way 3.7 automatic annotation annotation task performed entirely by machines, and reviewed manually after the annotation is completed 3.8 semi-automatic annotation annotation task performed jointly by human and machine 3.9 semantic annotation annotation task that takes the meaning and relationship represented by data as the annotation object 3.10 annotator personnel who have the ability to complete specific annotation task and meet quality requirements, perform annotation task, and directly contribute to the annotation task Note: Including initial annotator, annotation reviewer, arbitrator, etc. 3.11 initial annotator person who performs the annotation task and gives the preliminary annotation results 3.12 annotation reviewer person responsible for the review and quality control of the preliminary annotation results 3.13 arbitrator person responsible for giving the final result when many annotators have inconsistent annotation results for the same data Note: Under normal circumstances, the qualification requirements of arbitrators > annotation reviewers ≥ initial annotators. 3.14 annotator performance representational ability of the annotator to perform the annotation task 3.15 annotation responsible organization entity that organizes and carries out the annotation task and is directly responsible for the annotation quality 4 Documents describing the annotation task 4.1 Annotation task classification Before the annotation task starts, the annotation responsible organization shall clearly define the classification of the annotation task, including data mode, execution subject, annotation result format, annotation result property, annotation result form and other dimensions. The data modes of the annotation task may be divided into image, signal, video, text, etc. According to the execution subject, annotation tasks may be divided into manual annotation, automatic annotation, semi-automatic annotation, etc. According to the annotation result format, annotation tasks may be divided into structured annotation, non-structured annotation, semi-structured annotation, etc. The annotation result property may be divided into GT value, reference standard, gold standard and other types. The annotation result form may be divided into detection, classification, segmentation, semantics and other types. Note: Semantic annotation is often used to describe relationships or connections between objects, such as the relative positions of muscle and fat on ultrasound images. 4.2 Annotation task description 4.2.1 Annotation rules

Foreword i Introduction ii 1 Scope 2 Normative references 3 Terms and definitions 4 Documents describing the annotation task 5 Data annotation quality features 6 Annotation and quality control process 7 Annotation tools 8 Evaluation method Annex A (Informative) Examples of annotation task description Annex B (Informative) Examples of business architecture (pulmonary nodules in thoracic CT ) Annex C (Informative) Evaluation of AI-assisted annotation performance Bibliography

人工智能醫療器械 質量要求和評價 第3部分：數據標注通用要求 1 范圍 本文件規定了人工智能醫療器械數據標注通用要求和評價方法。 本文件適用于人工智能醫療器械數據標注活動。 2 規范性引用文件 下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。 YY/T 1833.1 人工智能醫療器械 質量要求和評價 第1部分：術語 YY/T 1833.2 人工智能醫療器械 質量要求和評價 第2部分：數據集通用要求 3 術語和定義 YY/T 1833.1、YY/T 1833.2界定的以及下列術語和定義適用于本文件。 3.1 標注任務 annotation task 有目的地對一批數據進行分析、添加外部知識的活動。 3.2 標注對象 annotation object 標注任務分析的具體信息，如數據的類型、特征、屬性等。 3.3 結構化標注 structured annotation 使用固定格式、固定規則記錄結果的標注任務。 3.4 非結構化標注 non-structured annotation 使用不固定的格式、規則記錄結果的標注任務。 3.5 半結構化標注 semi-structured annotation 使用固定的格式、不固定的規則記錄結果的標注任務。 3.6 手工標注 manual annotation 完全由人工執行的標注任務。 3.7 自動標注 automatic annotation 完全由機器執行的標注任務，標注完成后由人工審核。 3.8 半自動標注 semi-automatic annotation 由人工和機器混合完成的標注任務。 3.9 語義標注 semantic annotation 以數據代表的含義和關系為標注對象的標注任務。 3.10 標注人員 annotator 具備完成特定標注任務目標并滿足質量要求的能力、執行標注任務、對標注結果有直接貢獻的人員。 注：包括初級標注人員、審核人員、仲裁人員等。 3.11 初級標注人員 initial annotator 執行標注任務、給出初步標注結果的人員。 3.12 審核人員 annotation reviewer 對初步標注結果進行審核和質控的人員。 3.13 仲裁人員 arbitrator 當多名標注人員對同一數據的標注結果不一致時，負責給出最終結果的人員。 注：一般情況下，仲裁人員的資質要求＞審核人員≥初級標注人員。 3.14 標注人員表現 annotator performance 標注人員執行標注任務的能力表征。 3.15 標注責任方 annotation responsible organization 組織開展標注任務、對標注質量有直接責任的實體。 4 標注任務說明文檔 4.1 標注任務分類 在標注任務開始前，標注責任方應明確標注任務的分類，包括數據模態、執行主體、標注結果格式、標注結果性質、標注結果形式等維度。 標注任務的數據模態分為圖像、信號、視頻、文本等類型。標注任務依據其執行主體，可分為人工標注、自動標注半自動標注等類型。依據標注結果的格式，標注任務可分為結構化標注、非結構化標注、半結構化標注等類型。標注結果性質可分為GT值、參考標準、金標準等類型。標注結果的形式分為檢出、分類、分割、語義等類型。 注：語義標注常用于描述目標之間的關系或聯系，如超聲圖像上的肌肉、脂肪相對位置。 4.2 標注任務描述 4.2.1 標注規則 標注責任方宜陳述標注任務依據的規則，符合以下要求： ——各標注對象的定義唯一、無歧義； ——標注對象的名稱具有依從性文件； ——不同標注對象之間是可區分的； ——標注對象的定性特征宜可驗證； ——標注對象的定量特征宜可測量； ——提供標注規則的依從性文件，如根據專家評議、文獻分析確定標注規則，宜描述分析過程； ——如標注規則來自試驗測量、臨床統計等渠道，宜提供客觀數據； ——對標注規則可能導致的偏倚風險進行分析。 注：依從性文件包括法規文件、技術標準、醫學規范、專家共識、專家評議、文獻分析等。 4.2.2 標注人員 標注責任方應描述對標注人員的要求，包括人員資質、選拔依據、培訓內容、對標注人員表現的評估指標；如適用，應按照初級標注人員、審核人員、仲裁人員等角色分別展開描述。 標注責任方應描述標注與質控流程中的人員分工、央策機制(審核、仲裁、分歧處理)、人員比對。 4.2.3 標注工具 標注責任方應對標注過程使用的硬件、軟件、平臺等進行描述，如設備的型號，軟件的名稱型號、版本號、功能、參數設置、平臺名稱、訪問地址等；如采用算法提供輔助標注，應描述算法性能指標與驗證方法。 4.2.4 標注環境 標注責任方應分析標注環境對標注人員、標注過程、數據質量、標注工具的影響，描述對標注環境的要求，如溫濕度、照明條件、噪聲干擾等。 4.2.5 數據 標注責任方應對標注過程輸入、輸出的數據進行描述，包括： ——待標注數據的適用范圍、質量要求和選擇依據； ——標注對象的定義和示例，如陽性樣本、陰性樣本、目標區域、非目標區域、主要征象、次要征象、干擾項、疑難情形示例等； ——標注結果、測量結果的存儲格式、預覽方法、顆粒度、精度等。 標注責任方應描述數據整理方案，如數據清洗、數據查重等。 對來自實驗室測量的數據，標注責任方應描述測量方法、測量裝置、測量條件及人員等。 對于來自仿真合成的數據，標注責任方應描述計算過程及確認方式。 注：附錄A給出了標注任務說明文檔的示例。 5 數據標注質量特性 5.1 準確性 標注責任方應根據標注結果的形式，聲稱標注結果的準確性。 如適用，在具體標注場景下，可使用下列指標： ——檢出：召回率、精確度； ——分類：靈敏度、特異度、準確率； ——分割：Dice系數、交并比、Hausdorff距離； ——測量、計數：絕對誤差、相對誤差； ——動態曲線評估：Pearson相關系數、2-范數誤差。 5.2 一致性 標注責任方應聲稱標注過程各個環節輸入輸出數據、信息的內部一致性，包括人員信息、標注結果、原始數據。 標注責任方應聲稱標注人員之間的一致性，如： 分類任務：使用Kappa系數描述人員之間的一致性。 5.3 精度 對于可定量描述的標注結果，標注責任方應聲稱標注結果的精度。 5.4 可理解性 標注責任方應說明標注結果能被授權用戶理解的程度，并以書面形式展示可驗證的證據。 5.5 可訪問性 標注責任方應陳述標注結果可被授權用戶訪問的程度，并以書面形式展示可驗證的證據。 5.6 可移植性 標注責任方應陳述標注結果能被安裝、替換或從一個系統移動到另一個系統中，并保持已有質量的屬性的能力。 5.7 保密性 標注責任方應陳述確保標注結果安全的措施，并以書面形式展示可驗證的證據。 5.8 可追溯性 標注責任方應陳述標注任務可被追溯和記錄的程度，如： a)標注任務、質控流程涉及的人員信息，如標注任務創建者、管理者、標注人員、審核人員、仲裁人員等； b)標注任務包含的操作信息，如初始標注、比對、合并、補充、修改、刪除、審核、仲裁等；操作信息也包括標注數據的流轉動作，如傳輸、復制等； c)標注工具信息，如名稱、型號規格、完整版本、制造商、運行環境、軟件確認等； d)標注任務的時間信息，如每個樣本完成標注、審核、仲裁的時間節點。 6 標注與質控流程 6.1 業務架構 標注責任方應根據數據流向和人員分工，描述標注與質控的業務架構。標注責任方應根據業務架構所描述的輸入輸出節點，保存相應的標注結果、人員操作記錄。標注責任方應明確在哪些條件下對標注結論進行審核、仲裁。當初級標注人員的結論一致時，宜對標注結論進行抽樣審核。當初級標注人員的結論不一致時，宜提交仲裁。 注：附錄B給出了具體示例。 6.2 過程組織 6.2.1 任務生成 標注責任方應根據標注任務的定義，收集和整理待標注的數據，準備標注工具和環境，選拔標注人員，明確標注流程、決策機制與工作量，圍繞標注規則開展培訓，形成記錄。 如適用，標注責任方應記錄標注任務的創建者、管理者信息。 6.2.2 任務分配 標注責任方應為標注人員分配標注工具和操作場地，設置操作權限，下發待標注的數據。 6.2.3 任務實施 標注人員應根據標注規則執行標注任務。 標注責任方宜對標注進度進行監控，對標注人員的任務進行調度，確保初級標注人員、審核人員、仲裁人員的協調性。 6.2.4 質量控制 在標注過程中，標注責任方應對標注人員的標注質量進行監督，評估標注人員的表現，考慮重復性指標和準確性指標。當標注人員表現出現顯著下降時，標注責任方應對標注人員進行休整、培訓和再評估。 對重復性指標的評價可采用埋題驗證的方式，統計同一個標注人員在每次連續標注過程中對同一個數據的標注結果，計算重復標注一致或誤差在允許范圍內的樣本在重復標注樣本中的比例。 注1：例如每完成20張糖網圖像的分類標注后，隨機抽選其中一張重新標注。 對準確性指標的評價可對比標注人員與仲裁結論，計算仲裁人員認為正確的初級標注樣本比例。 注2：例如每完成20張糖網圖像的標注，隨機抽選一張由仲裁人員仲裁和對比，以統計準確性。 6.2.5 安全管理 標注責任方應執行如下安全管理措施： a)在標注前，標注責任方應確保待標注數據已完成數據脫敏；應建立待標注數據的獨立備份，確保該備份不被修改、刪除； b)執行數據標注、計算和存儲的設備在停用、退役或退出標注任務前應將其中所有數據徹底刪除，并無法恢復； c)標注責任方應保證標注過程的網絡安全，如采用防火墻、邊界防護、入侵防護等安全措施。 7 標注工具 7.1 功能 7.1.1 處理對象 標注工具宜明確定義處理對象的范圍，包括數據采集方式、存儲格式。 a)根據數據的采集方式，處理對象可分為： ——影像數據：CT、MR、PET、X線、乳腺鉬靶、超聲、內窺鏡、病理等； ——信號數據：心電圖(ECG)、腦電圖(EEG)、肌電圖(EMG)、心肺音等； ——文本數據(如適用)：門急診記錄、住院記錄、實驗室記錄、用藥記錄、手術記錄、隨訪記錄。 b)根據數據存儲格式，處理對象可分為： ——圖像格式：Dicom、Dicom-RT、png、jpg、tif等； ——信號格式：xml、HL7等； ——視頻格式：avi、mp4等； ——文本格式(如適用)：txt、doc、pdf等； ——其他格式：制造商自定義的數據格式。 7.1.2 數據顯示 標注工具應具有數據顯示界面，符合以下要求： a)標注工具宜支持數據讀取范圍內的數據顯示功能，如： ——Dicom格式數據：序列翻頁、窗寬窗位調整、多窗格顯示、平移、整體縮放、反色、局部放大、直線測量、角度測量、圖像旋轉/翻轉、序列播放、恢復原圖、影像渲染、圖像增益、動態范圍等； ——視頻格式數據：視頻播放暫停、幀率調整、整體縮放、局部放大、對比度調整、飽和度調整等； ——圖片格式數據：平移、旋轉、整體縮放、局部放大、對比度調整、飽和度調整等； ——文本格式數據：字體大小調整、字體類型調整、局部放大、單欄顯示、多欄顯示、整頁顯示、滾動顯示等。 b)數據顯示界面應防止數據的未授權獲取，如復制、下載、另存、打印等。 7.1.3 數據標注 標注工具宜提供標注任務需要的標注功能，如： ——提供標注工具，支持基本標注任務類型，包括分類標注、分割標注和檢出標注等； ——分類標簽可根據標注任務的顆粒度進行設置，如病例維度、檢查維度、圖像維度、病灶維度等；