醫療器械開發良好機器學習實務指導原則

1. 發布細節

發布於2021年10月27日。本出版物依開放政府許可v3.0條款授權。 https://www.gov.uk/government/publications/good-machine-learning-practice-for-medical-device-development-guiding-principles/good-machine-learning-practice-for-medical-device-development-guiding-principles

2. 引言

美國食品藥物管理局（FDA）、加拿大衛生署及英國醫藥及保健產品監管局（MHRA）共同識別10項指導原則，可指導良好機器學習實務（GMLP）發展。這些指導原則將幫助對齊安全、有效及高品質使用人工智慧及機器學習（AI/ML）醫療器械。人工智慧及機器學習技術有潛力透過每日醫療交付生成龐大資料衍生新重要洞見轉變醫療。它們使用軟體演算法從實世界使用學習，在某些情況下可使用此資訊改善產品效能。但它們因複雜性及迭代資料驅動開發性質呈現獨特考量。這些10項指導原則意圖奠定處理這些產品獨特性質良好機器學習實務基礎。它們也將幫助對齊此快速進展領域未來成長。10項指導原則識別國際醫療器械監管論壇（IMDRF）、國際標準組織及其他合作機構可工作推進GMLP領域。合作領域包括研究、創建教育工具及資源、國際和諧及共識標準，可幫助告知監管政策及監管指導。我們設想這些指導原則可用於：採用其他部門證明良好實務。調整其他部門實務使其適用醫療技術及醫療部門。創建醫療技術及醫療部門新實務。隨著AI/ML醫療器械領域演進，GMLP最佳實務及共識標準亦須如此。我們國際公共衛生夥伴強大夥伴關係若要授權利益相關者推進此領域負責創新至關重要。因此，我們預期此初始合作工作可告知我們更廣國際參與，包括與IMDRF。我們歡迎您透過Regulations.gov公共檔案（FDA-2019-N-1185）持續反饋，我們期待與您參與這些努力。數位健康卓越中心為FDA領導此工作。直接聯絡我們Digitalhealth@fda.hhs.gov、software@mhra.gov.uk及mddpolicy-politiquesdim@hc-sc.gc.ca。 https://www.gov.uk/government/publications/good-machine-learning-practice-for-medical-device-development-guiding-principles/good-machine-learning-practice-for-medical-device-development-guiding-principles

3. 指導原則

醫療器械開發良好機器學習實務（GMLP）10項指導原則如下：

3.1 全產品生命週期利用多學科專長

對模型意圖整合臨床工作流程深入理解，及期望益處及相關患者風險，可幫助確保ML啟用醫療器械安全有效並於器械生命週期處理臨床意義需求。

3.2 實施良好軟體工程及安全實務

模型設計注重「基礎」實施：良好軟體工程實務、資料品質保障、資料管理及穩健網路安全實務。這些實務包括方法風險管理及設計程序，可適當捕捉及傳達設計、實施及風險管理決定及理由，以及確保資料真實性及完整性。

3.3 臨床研究參與者及資料集代表預期患者族群

資料收集協議應確保預期患者族群相關特徵（例如，年齡、性別、性、種族及民族）、使用及測量輸入於臨床研究及訓練測試資料集足夠大小樣本充分代表。這重要管理任何偏差、促進預期患者族群適當及可一般化效能、評估可用性，並識別模型可能低效情形。

3.4 訓練資料集獨立於測試集

訓練及測試資料集選擇及維持適當相互獨立。所有潛在依賴來源，包括患者、資料獲取及地點因素，考慮及處理確保獨立。

3.5 選定參考資料集基於最佳可用方法

開發參考資料集（即參考標準）接受最佳可用方法確保收集臨床相關及良好特徵資料並了解參考限制。若可用，模型開發及測試接受參考資料集促進並證明模型穩健性及預期患者族群可一般化。

3.6 模型設計調整可用資料並反映器械預期使用

模型設計適合可用資料並支持主動緩解已知風險，如過擬合、效能退化及安全風險。產品相關臨床益處及風險深入了解，用於衍生測試臨床意義效能目標，並支持產品可安全有效達成預期使用。考量包括器械輸入、輸出、預期患者族群及臨床使用條件全球及局部效能及不確定性/變異性影響。

3.7 焦點置於人類-AI團隊效能

模型有「人類在迴圈」時，人因考量及模型輸出人類可解釋性強調人類-AI團隊效能，而非僅模型孤立效能。

3.8 測試證明臨床相關條件下器械效能

統計健全測試計劃開發及執行生成獨立訓練資料集臨床相關器械效能資訊。考量包括預期患者族群、重要子群、臨床環境及人類-AI團隊使用、測量輸入及潛在混淆因素。

3.9 提供使用者清晰、必要資訊

使用者提供易存取清晰、脈絡相關資訊適合預期受眾（例如醫療提供者或患者）包括：產品預期使用及使用適應症、模型適當子群效能、訓練及測試模型資料特徵、可接受輸入、已知限制、使用者介面解釋及模型臨床工作流程整合。使用者也了解來自實世界效能監測器械修改及更新、可用決策基礎，及向開發者傳達產品關注方式。

3.10 部署模型監測效能及再訓練風險管理

部署模型有能力於「實世界」使用監測焦點維持或改善安全及效能。此外，部署後模型定期或持續訓練時，有適當控制管理過擬合、無意偏差或模型退化風險（例如，資料集漂移）可能影響模型安全及效能當人類-AI團隊使用。 https://www.gov.uk/government/publications/good-machine-learning-practice-for-medical-device-development-guiding-principles/good-machine-learning-practice-for-medical-device-development-guiding-principles