国产精品系列在线I亚洲骚图I中文在线一区I日韩字幕I午夜美女人啪最红院I肉感无码正在播放I爱射网I丰满人妻一区二区三区46I国产免费亚洲

醫(yī)療器械創(chuàng)新網(wǎng)

logo

距離創(chuàng)新創(chuàng)業(yè)大賽報(bào)名結(jié)束
48
16
時(shí)
37

會(huì)員登錄

用戶登錄 評(píng)委登錄
一周內(nèi)自動(dòng)登錄 建議在公共電腦上取消此選項(xiàng)
一周內(nèi)自動(dòng)登錄 建議在公共電腦上取消此選項(xiàng)
一周內(nèi)自動(dòng)登錄 建議在公共電腦上取消此選項(xiàng)
手機(jī)驗(yàn)證碼登錄 還未賬號(hào)?立即注冊(cè)

會(huì)員注冊(cè)

已有賬號(hào)?
醫(yī)療器械創(chuàng)新網(wǎng)
醫(yī)療器械創(chuàng)新網(wǎng)

《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》征求意見(jiàn)

日期:2021-06-07

各有關(guān)單位:
??為進(jìn)一步規(guī)范人工智能醫(yī)療器械生存周期過(guò)程質(zhì)控要求和注冊(cè)申報(bào)資料要求,并統(tǒng)一審評(píng)要求,我中心基于《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評(píng)要點(diǎn)》,結(jié)合產(chǎn)品審評(píng)經(jīng)驗(yàn)積累和監(jiān)管科學(xué)研究成果,編寫了《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則(征求意見(jiàn)稿)》(附件1),即日起公開征求意見(jiàn)。
??如有意見(jiàn)或建議,請(qǐng)?zhí)顚懛答佉庖?jiàn)表(附件2)并以電子郵件形式于2021年7月16日前反饋至我中心。
??聯(lián)系人:彭亮
??電話:010-86452602
??電子郵箱:pengliang@cmde.org.cn
??附件:1.人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則(征求意見(jiàn)稿)
?????2.反饋意見(jiàn)表
國(guó)家藥品監(jiān)督管理局
醫(yī)療器械技術(shù)審評(píng)中心

2021年6月4日附件1

人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則(征求意見(jiàn)稿)

本指導(dǎo)原則旨在指導(dǎo)注冊(cè)人建立人工智能醫(yī)療器械生存周期過(guò)程和準(zhǔn)備人工智能醫(yī)療器械注冊(cè)申報(bào)資料,同時(shí)規(guī)范人工智能醫(yī)療器械技術(shù)審評(píng)要求。本指導(dǎo)原則是對(duì)人工智能醫(yī)療器械的一般要求。注冊(cè)人應(yīng)依據(jù)產(chǎn)品具體特性和風(fēng)險(xiǎn)程度確定本指導(dǎo)原則具體內(nèi)容的適用性,若不適用應(yīng)詳述理由。注冊(cè)人也可采用其他滿足法規(guī)要求的替代方法,但應(yīng)提供詳盡的支持資料。本指導(dǎo)原則是在現(xiàn)行法規(guī)、強(qiáng)制性標(biāo)準(zhǔn)體系以及當(dāng)前科技能力、認(rèn)知水平下制定的,隨著法規(guī)、強(qiáng)制性標(biāo)準(zhǔn)體系的不斷完善以及科技能力、認(rèn)知水平的不斷發(fā)展,本指導(dǎo)原則相關(guān)內(nèi)容也將適時(shí)調(diào)整。本指導(dǎo)原則是供注冊(cè)人、審評(píng)人員和檢查人員使用的指導(dǎo)文件,不涉及行政審批事項(xiàng),亦不作為法規(guī)強(qiáng)制執(zhí)行,應(yīng)在遵循相關(guān)法規(guī)的前提下使用本指導(dǎo)原則。本指導(dǎo)原則作為數(shù)字醫(yī)療指導(dǎo)原則體系的重要組成部分,遵循醫(yī)療器械軟件、醫(yī)療器械網(wǎng)絡(luò)安全、移動(dòng)醫(yī)療器械、醫(yī)療器械人因設(shè)計(jì)、醫(yī)療器械獨(dú)立軟件生產(chǎn)質(zhì)量現(xiàn)場(chǎng)檢查等數(shù)字醫(yī)療相關(guān)指導(dǎo)原則要求。本指導(dǎo)原則是人工智能醫(yī)療器械的通用指導(dǎo)原則,其他含有人工智能技術(shù)的醫(yī)療器械指導(dǎo)原則可在本指導(dǎo)原則基礎(chǔ)上結(jié)合具體情況進(jìn)行有針對(duì)性的調(diào)整、修改和完善。采用人工智能技術(shù)進(jìn)行醫(yī)療器械的設(shè)計(jì)、生產(chǎn),亦可參考本指導(dǎo)原則適用要求。

一、適用范圍本指導(dǎo)原則適用于人工智能醫(yī)療器械(含體外診斷醫(yī)療器械)的注冊(cè)申報(bào),包括第二類、第三類人工智能獨(dú)立軟件和含有人工智能軟件組件的醫(yī)療器械。本指導(dǎo)原則也可用作人工智能醫(yī)療器械體系核查的參考。

二、主要概念

(一)人工智能醫(yī)療器械

本指導(dǎo)原則所述人工智能醫(yī)療器械是指基于“醫(yī)療器械數(shù)據(jù)”,采用人工智能技術(shù)實(shí)現(xiàn)其預(yù)期用途的醫(yī)療器械。醫(yī)療器械數(shù)據(jù)是指醫(yī)療器械產(chǎn)生的客觀醫(yī)療數(shù)據(jù),如醫(yī)學(xué)影像設(shè)備產(chǎn)生的醫(yī)學(xué)圖像數(shù)據(jù)(如X射線、CTMRI、超聲等圖像)、醫(yī)用電子設(shè)備產(chǎn)生的生理參數(shù)數(shù)據(jù)(如心電、腦電、血壓、無(wú)創(chuàng)血糖等波形數(shù)據(jù))、體外診斷設(shè)備產(chǎn)生的體外診斷數(shù)據(jù)(如病理圖像、顯微圖像、有創(chuàng)血糖波形數(shù)據(jù)等);通用設(shè)備產(chǎn)生的用于醫(yī)療用途的客觀數(shù)據(jù)亦屬于醫(yī)療器械數(shù)據(jù),如數(shù)碼相機(jī)拍攝的用于皮膚疾病診斷的皮膚照片、健康電子產(chǎn)品采集的用于心臟疾病預(yù)警的心電數(shù)據(jù)等。基于醫(yī)療器械數(shù)據(jù)包括單獨(dú)使用醫(yī)療器械數(shù)據(jù),或者以醫(yī)療器械數(shù)據(jù)為主聯(lián)合使用非醫(yī)療器械數(shù)據(jù)(如電子病歷、醫(yī)學(xué)檢查報(bào)告的結(jié)果文本等)。人工智能是指機(jī)器表現(xiàn)出與人類智能相關(guān)行為的能力,通常是指通過(guò)感知周圍環(huán)境做出合理行動(dòng)以達(dá)到預(yù)期目標(biāo)的計(jì)算機(jī)軟件或系統(tǒng)。機(jī)器學(xué)習(xí)是指與人類學(xué)習(xí)行為相關(guān)的人工智能,通常是指通過(guò)整理現(xiàn)有數(shù)據(jù)和/或獲取新數(shù)據(jù)以提升性能的計(jì)算機(jī)軟件或系統(tǒng)。機(jī)器學(xué)習(xí)雖是人工智能的子集,但卻為人工智能的核心領(lǐng)域,二者當(dāng)前對(duì)于醫(yī)療器械而言含義基本相同,故本指導(dǎo)原則對(duì)二者不做嚴(yán)格區(qū)分,統(tǒng)一采用人工智能進(jìn)行表述。基于非醫(yī)療器械數(shù)據(jù)的醫(yī)學(xué)人工智能產(chǎn)品,或者采用人工智能技術(shù)實(shí)現(xiàn)非醫(yī)療用途的醫(yī)療器械均非人工智能醫(yī)療器械。醫(yī)學(xué)人工智能產(chǎn)品是否屬于人工智能醫(yī)療器械,必要時(shí)可申請(qǐng)醫(yī)療器械分類界定。

(二)人工智能醫(yī)療器械類型

從醫(yī)療器械軟件角度,人工智能醫(yī)療器械可分為人工智能獨(dú)立軟件和人工智能軟件組件,故其類型劃分可參考醫(yī)療器械軟件指導(dǎo)原則相關(guān)維度。人工智能醫(yī)療器械從用途角度可分為輔助決策類和非輔助決策類。其中,輔助決策是指通過(guò)提供診療活動(dòng)建議輔助醫(yī)務(wù)人員進(jìn)行臨床決策,如通過(guò)異常識(shí)別、病灶性質(zhì)判定、自動(dòng)制定手術(shù)計(jì)劃進(jìn)行輔助分診、輔助檢測(cè)、輔助診斷、輔助治療等,相當(dāng)于醫(yī)務(wù)人員的助手。反之即為非輔助決策,包括流程優(yōu)化、診療驅(qū)動(dòng),如診療流程簡(jiǎn)化、自動(dòng)測(cè)量、三維重建等,相當(dāng)于醫(yī)務(wù)人員的工具人工智能醫(yī)療器械從功能角度大體上可分為控制功能、處理功能,處理功能又可分為前處理功能和后處理功能。其中,控制功能是指控制/驅(qū)動(dòng)醫(yī)療器械硬件運(yùn)行的功能,如控制機(jī)械臂運(yùn)動(dòng)等。前處理功能是指采集人體解剖、生理信息生成醫(yī)療器械數(shù)據(jù)過(guò)程的處理功能,如成像質(zhì)量改善、成像流程簡(jiǎn)化等。后處理功能是指利用醫(yī)療器械數(shù)據(jù)生成診療信息過(guò)程的處理功能,如診療流程簡(jiǎn)化、自動(dòng)測(cè)量、三維重建、異常識(shí)別、病灶性質(zhì)判定、自動(dòng)制定手術(shù)計(jì)劃等。人工智能醫(yī)療器械從算法角度具有多種類型劃分維度。從學(xué)習(xí)策略角度可分為有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí),前者需要對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)注,如回歸、分類等典型算法,后者無(wú)需對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)注,如聚類、降維等典型算法,前者對(duì)于數(shù)據(jù)標(biāo)注的要求高于后者。從學(xué)習(xí)方法角度可分為基于模型的算法和基于數(shù)據(jù)的算法,前者采用統(tǒng)計(jì)模型、規(guī)則推理等方法,后者主要基于大數(shù)據(jù)方法,前者對(duì)于訓(xùn)練數(shù)據(jù)量的要求低于后者。從可解釋性角度可分為白盒算法和黑盒算法,前者特征提取需要人為干預(yù),可與現(xiàn)有醫(yī)學(xué)知識(shí)建立關(guān)聯(lián),后者自動(dòng)完成特征提取,難與現(xiàn)有醫(yī)學(xué)知識(shí)建立關(guān)聯(lián),前者可解釋性優(yōu)于后者。上述類型劃分維度相互交叉,例如:前處理和后處理均可采用不同類型的人工智能算法實(shí)現(xiàn)輔助決策、非輔助決策用途。同時(shí),同一維度亦不存在嚴(yán)格的劃分界線,例如:在用途方面,通過(guò)圖像識(shí)別技術(shù)進(jìn)行流程優(yōu)化則需考慮診療驅(qū)動(dòng)相關(guān)要求,自動(dòng)測(cè)量結(jié)果若為臨床決策指標(biāo)則屬于輔助決策范疇;在功能方面,控制功能可與處理功能相結(jié)合,前處理過(guò)程可包含后處理功能;在算法方面,有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)可結(jié)合為半監(jiān)督學(xué)習(xí),統(tǒng)計(jì)模型可基于大數(shù)據(jù),白盒算法和黑盒算法可結(jié)合為灰盒算法。人工智能醫(yī)療器械可同時(shí)采用多種、多個(gè)人工智能算法,在前處理、后處理過(guò)程中實(shí)現(xiàn)輔助決策、非輔助決策用途。因此,應(yīng)結(jié)合人工智能醫(yī)療器械的預(yù)期用途、使用場(chǎng)景、核心功能以及所用算法的類型特點(diǎn)、技術(shù)特征、組合形式開展相應(yīng)產(chǎn)品質(zhì)控工作,以保證產(chǎn)品的安全有效性。

(三)人工智能算法更新

人工智能算法特別是基于數(shù)據(jù)的算法,具有快速迭代更新的特性。人工智能算法更新屬于軟件更新范疇,故遵循軟件更新的一般原則及要求:人工智能算法更新若影響到人工智能醫(yī)療器械的安全性或有效性則屬于重大軟件更新,應(yīng)申請(qǐng)?jiān)S可事項(xiàng)變更;反之,人工智能算法更新若未影響到人工智能醫(yī)療器械的安全性和有效性則屬于輕微軟件更新,通過(guò)質(zhì)量管理體系進(jìn)行控制,無(wú)需申請(qǐng)?jiān)S可事項(xiàng)變更。人工智能算法更新可分為算法驅(qū)動(dòng)型更新和數(shù)據(jù)驅(qū)動(dòng)型更新。其中,算法驅(qū)動(dòng)型更新是指人工智能醫(yī)療器械所用算法、算法結(jié)構(gòu)、算法流程、算法框架(詳見(jiàn)后文)、輸入輸出等發(fā)生改變,通常屬于重大軟件更新。算法重新訓(xùn)練即棄用原有訓(xùn)練數(shù)據(jù)而采用全新訓(xùn)練數(shù)據(jù)進(jìn)行算法訓(xùn)練,亦屬于算法驅(qū)動(dòng)型更新。數(shù)據(jù)驅(qū)動(dòng)型更新是指僅由訓(xùn)練數(shù)據(jù)量增加而發(fā)生的算法更新。數(shù)據(jù)驅(qū)動(dòng)型更新是否屬于重大軟件更新原則上以算法性能評(píng)估結(jié)果(基于相同測(cè)試集)為準(zhǔn),算法性能評(píng)估結(jié)果若發(fā)生顯著性改變則屬于重大軟件更新,即算法性能評(píng)估結(jié)果與前次注冊(cè)相比存在統(tǒng)計(jì)學(xué)差異,反之屬于輕微軟件更新。軟件版本命名規(guī)則應(yīng)涵蓋算法驅(qū)動(dòng)型更新和數(shù)據(jù)驅(qū)動(dòng)型更新,明確并區(qū)分重大軟件更新和輕微軟件更新,其中重大軟件更新列舉全部典型情況。人工智能醫(yī)療器械其他類型的算法更新、軟件更新以及重大軟件更新判定原則詳見(jiàn)醫(yī)療器械軟件指導(dǎo)原則、醫(yī)療器械網(wǎng)絡(luò)安全指導(dǎo)原則。軟件版本命名規(guī)則的一般要求詳見(jiàn)醫(yī)療器械軟件指導(dǎo)原則。

三、基本原則

(一)基于算法特性

人工智能技術(shù)從發(fā)展驅(qū)動(dòng)要素角度實(shí)為基于模型/數(shù)據(jù)和算力的算法,其中模型/數(shù)據(jù)是人工智能技術(shù)的基礎(chǔ),算力是人工智能技術(shù)的保證,算法是人工智能技術(shù)的核心。由于算力所用計(jì)算資源本身不屬于監(jiān)管對(duì)象,計(jì)算資源的監(jiān)管要求取決于其所屬的計(jì)算平臺(tái)類型(參見(jiàn)后文人工智能芯片要求)。故從監(jiān)管角度出發(fā),人工智能醫(yī)療器械安全有效性評(píng)價(jià)以算法特性為核心重點(diǎn)關(guān)注其泛化能力,以模型/數(shù)據(jù)為基礎(chǔ)重點(diǎn)關(guān)注其質(zhì)控情況,同時(shí)兼顧算力不足與失效的影響及風(fēng)險(xiǎn)。人工智能算法的類型不同,其算法特性、適用場(chǎng)景也不同,評(píng)價(jià)重點(diǎn)亦有所側(cè)重;同時(shí),不同類型的人工智能算法可組合使用,需結(jié)合各算法特性和算法組合形式進(jìn)行整體評(píng)價(jià)。因此,應(yīng)結(jié)合人工智能醫(yī)療器械的預(yù)期用途、使用場(chǎng)景、核心功能選擇與之相適宜的人工智能算法或算法組合,基于算法特性并結(jié)合風(fēng)險(xiǎn)管理開展相應(yīng)驗(yàn)證與確認(rèn)工作。以深度學(xué)習(xí)為例,其是指通過(guò)訓(xùn)練具有多個(gè)隱層的神經(jīng)網(wǎng)絡(luò)而獲得輸入輸出映射關(guān)系的人工智能算法,實(shí)為基于海量數(shù)據(jù)和高算力的黑盒算法。因此,對(duì)于采用深度學(xué)習(xí)技術(shù)的人工智能醫(yī)療器械,重點(diǎn)關(guān)注其算法泛化能力、數(shù)據(jù)質(zhì)控、可解釋性等問(wèn)題,同時(shí),深度學(xué)習(xí)若與其他類型的人工智能算法組合使用,還應(yīng)基于各算法特性重點(diǎn)關(guān)注算法組合的整體評(píng)價(jià)問(wèn)題。人工智能新算法研究處于深入發(fā)展階段,如基于小樣本數(shù)據(jù)、基于弱標(biāo)注數(shù)據(jù)、基于非結(jié)構(gòu)化數(shù)據(jù)的算法。人工智能醫(yī)療器械若使用人工智能新算法,亦需基于算法特性并結(jié)合風(fēng)險(xiǎn)管理開展相應(yīng)驗(yàn)證與確認(rèn)工作,以保證產(chǎn)品的安全有效性。

(二)風(fēng)險(xiǎn)導(dǎo)向

人工智能醫(yī)療器械的風(fēng)險(xiǎn)水平亦可用軟件安全性級(jí)別進(jìn)行表述,軟件安全性級(jí)別越高,其生存周期質(zhì)控要求越嚴(yán)格,注冊(cè)申報(bào)資料越詳盡,具體要求詳見(jiàn)醫(yī)療器械軟件指導(dǎo)原則。人工智能醫(yī)療器械的軟件安全性級(jí)別可基于產(chǎn)品的預(yù)期用途、使用場(chǎng)景、核心功能進(jìn)行綜合判定,其中預(yù)期用途主要考慮用途類型、重要程度、緊迫程度等因素,使用場(chǎng)景主要考慮使用場(chǎng)合、疾病特征、適用人群、目標(biāo)用戶等因素,核心功能主要考慮功能類型、核心算法、輸入輸出、接口等因素。亦可根據(jù)風(fēng)險(xiǎn)管理所確定的風(fēng)險(xiǎn)等級(jí)進(jìn)行判定,軟件安全性級(jí)別與風(fēng)險(xiǎn)等級(jí)的分級(jí)可以不同,但二者存在對(duì)應(yīng)關(guān)系,因此可根據(jù)風(fēng)險(xiǎn)等級(jí)來(lái)判定軟件安全性級(jí)別,但應(yīng)在采取風(fēng)險(xiǎn)緩解措施之前進(jìn)行判定。人工智能醫(yī)療器械的主要風(fēng)險(xiǎn)從算法角度包括過(guò)擬合和欠擬合,其中過(guò)擬合是指算法對(duì)于訓(xùn)練數(shù)據(jù)過(guò)度學(xué)習(xí)而將非普遍規(guī)律作為重要特征,欠擬合是算法對(duì)于訓(xùn)練數(shù)據(jù)學(xué)習(xí)不充分而遺漏重要特征,均會(huì)降低算法泛化能力。從用途角度,輔助決策主要包括假陰性和假陽(yáng)性,其中假陰性即漏診,可能導(dǎo)致后續(xù)診療活動(dòng)延誤,特別是要考慮快速進(jìn)展疾病的診療活動(dòng)延誤風(fēng)險(xiǎn),而假陽(yáng)性即誤診,可能導(dǎo)致后續(xù)不必要的診療活動(dòng);非輔助決策從算法設(shè)計(jì)目標(biāo)能否得以實(shí)現(xiàn)角度,亦可參考輔助決策分為假陰性和假陽(yáng)性。此外,進(jìn)口人工智能醫(yī)療器械還需考慮中外差異風(fēng)險(xiǎn),如中外在人種、流行病學(xué)特征、臨床診療規(guī)范等差異。人工智能醫(yī)療器械應(yīng)結(jié)合產(chǎn)品的預(yù)期用途、使用場(chǎng)景、核心功能開展相應(yīng)風(fēng)險(xiǎn)管理活動(dòng),采取有效的風(fēng)險(xiǎn)控制措施將風(fēng)險(xiǎn)降至可接受水平,并貫穿于人工智能醫(yī)療器械全生命周期過(guò)程。

(三)全生命周期管理

注冊(cè)人應(yīng)結(jié)合質(zhì)量管理體系要求,參考軟件、人工智能相關(guān)標(biāo)準(zhǔn)和良好工程實(shí)踐,建立人工智能醫(yī)療器械生存周期過(guò)程,開展與軟件安全性級(jí)別相匹配的產(chǎn)品質(zhì)量保證工作,將風(fēng)險(xiǎn)管理、可追溯分析貫穿于生存周期全程,形成記錄以供體系核查。上市前應(yīng)開展充分、適宜、有效的驗(yàn)證與確認(rèn)活動(dòng),保證算法泛化能力滿足臨床需求,識(shí)別可預(yù)見(jiàn)風(fēng)險(xiǎn)并將其降至可接受水平,明確產(chǎn)品使用限制(含技術(shù)限制,下同)和必要警示提示信息。上市后持續(xù)開展算法泛化能力研究,結(jié)合用戶投訴、不良事件和召回等情況,識(shí)別前期未預(yù)見(jiàn)風(fēng)險(xiǎn)并采取有效的風(fēng)險(xiǎn)控制措施將風(fēng)險(xiǎn)降至可接受水平,同時(shí)根據(jù)產(chǎn)品更新需求,經(jīng)評(píng)估后實(shí)施更新活動(dòng),開展與之相適宜的驗(yàn)證與確認(rèn)活動(dòng),保證算法泛化能力持續(xù)滿足臨床需求。四、人工智能醫(yī)療器械生存周期過(guò)程人工智能醫(yī)療器械生存周期(即生命周期)過(guò)程可基于軟件生存周期過(guò)程予以建立,具體要求詳見(jiàn)醫(yī)療器械獨(dú)立軟件生產(chǎn)質(zhì)量管理規(guī)范及其現(xiàn)場(chǎng)檢查指導(dǎo)原則。考慮到有監(jiān)督深度學(xué)習(xí)是當(dāng)前人工智能醫(yī)療器械的主流算法,故本指導(dǎo)原則以有監(jiān)督深度學(xué)習(xí)為例詳述人工智能醫(yī)療器械生存周期過(guò)程質(zhì)控要求,主要包括需求分析、數(shù)據(jù)收集、算法設(shè)計(jì)、驗(yàn)證與確認(rèn)、更新控制等階段。其他類型的人工智能算法可參照?qǐng)?zhí)行,不適用內(nèi)容詳述理由并予以記錄。

(一)需求分析

需求分析以臨床需求與風(fēng)險(xiǎn)為導(dǎo)向,結(jié)合產(chǎn)品的預(yù)期用途、使用場(chǎng)景、核心功能,綜合考慮法規(guī)、標(biāo)準(zhǔn)、用戶、產(chǎn)品、數(shù)據(jù)、功能、性能、接口、用戶界面、網(wǎng)絡(luò)安全、警示提示等需求,重點(diǎn)考慮數(shù)據(jù)收集、算法性能、使用限制等要求。數(shù)據(jù)收集需考慮數(shù)據(jù)來(lái)源的合規(guī)性和多樣性、數(shù)據(jù)分布的科學(xué)性和合理性、數(shù)據(jù)質(zhì)控的充分性和有效性。數(shù)據(jù)來(lái)源在合規(guī)性基礎(chǔ)上保證多樣性,以提高算法泛化能力,例如:盡可能來(lái)源于多家、多地域、多層級(jí)的代表性臨床機(jī)構(gòu),盡可能來(lái)源于多家、多種、多參數(shù)的代表性采集設(shè)備。數(shù)據(jù)分布的科學(xué)性和合理性需結(jié)合目標(biāo)疾病流行病學(xué)特征予以考慮,包括但不限于疾病構(gòu)成(如分型、分級(jí)、分期)、人群分布(如健康、患者,性別、年齡、職業(yè)、地域、生活方式)、統(tǒng)計(jì)指標(biāo)(如發(fā)病率、患病率、治愈率、死亡率、生存率)等情況,以及目標(biāo)疾病并發(fā)癥與類似疾病的影響情況。數(shù)據(jù)質(zhì)控的充分性和有效性需結(jié)合數(shù)據(jù)采集與數(shù)據(jù)標(biāo)注的人員、設(shè)備、過(guò)程等影響因素予以考慮,具體要求詳見(jiàn)后文。算法性能需結(jié)合臨床實(shí)際和產(chǎn)品定位,綜合考慮假陰性與假陽(yáng)性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性等性能指標(biāo)要求,兼顧不同性能指標(biāo)的制約關(guān)系,如假陰性與假陽(yáng)性等。使用限制需考慮產(chǎn)品禁用、慎用等場(chǎng)景,準(zhǔn)確表述產(chǎn)品使用場(chǎng)景,提供必要警示提示信息。

(二)數(shù)據(jù)收集

數(shù)據(jù)收集基于合規(guī)性要求,主要考慮數(shù)據(jù)采集、數(shù)據(jù)整理、數(shù)據(jù)標(biāo)注、數(shù)據(jù)集構(gòu)建等活動(dòng)的質(zhì)控要求,以保證數(shù)據(jù)質(zhì)量和算法訓(xùn)練效果。

1.數(shù)據(jù)采集數(shù)據(jù)采集需考慮采集設(shè)備、采集過(guò)程、數(shù)據(jù)脫敏等質(zhì)控要求,并建立數(shù)據(jù)采集操作規(guī)范。數(shù)據(jù)采集亦可使用歷史數(shù)據(jù),需結(jié)合樣本規(guī)模、采集難度等影響因素合理選擇數(shù)據(jù)采集方式。采集設(shè)備質(zhì)控包括采集設(shè)備的兼容性和采集特征等要求。兼容性基于數(shù)據(jù)生成方式(直接生成、間接生成)考慮采集設(shè)備的兼容性要求,如采集設(shè)備的名稱、型號(hào)規(guī)格、制造商、性能指標(biāo)等要求,若無(wú)需考慮兼容性要求詳述理由并予以記錄。采集特征考慮采集設(shè)備的采集方式(如常規(guī)成像、增強(qiáng)成像)、采集協(xié)議(如MRI成像序列)、采集參數(shù)(如CT加載電壓、加載電流、加載時(shí)間、層厚)、采集精度(如分辨率、采樣率)等要求。采集過(guò)程質(zhì)控包括人員管理、采集流程、采集質(zhì)量評(píng)估等要求。人員管理考慮采集人員、審核人員的選拔(如職稱、工作年限、工作經(jīng)驗(yàn)、所在機(jī)構(gòu),若有國(guó)外人員明確其資質(zhì)要求)、培訓(xùn)(如培訓(xùn)材料、培訓(xùn)方案)、考核(如方法、頻次、指標(biāo)、通過(guò)準(zhǔn)則、一致性)等要求。采集流程考慮人員職責(zé)、采集步驟、結(jié)果審核等要求。采集質(zhì)量評(píng)估考慮評(píng)估人員、評(píng)估方法、評(píng)估指標(biāo)、通過(guò)準(zhǔn)則等要求,并記錄評(píng)估結(jié)果。數(shù)據(jù)采集若使用歷史數(shù)據(jù),需列明采集設(shè)備及采集特征要求,并開展數(shù)據(jù)采集質(zhì)量評(píng)估工作。采集的數(shù)據(jù)應(yīng)進(jìn)行數(shù)據(jù)脫敏以保護(hù)患者隱私,數(shù)據(jù)脫敏需明確脫敏的類型(靜態(tài)、動(dòng)態(tài))、規(guī)則、程度、方法。

2.數(shù)據(jù)整理脫敏數(shù)據(jù)匯總形成原始數(shù)據(jù)庫(kù),不同模態(tài)的數(shù)據(jù)在原始數(shù)據(jù)庫(kù)中需加以區(qū)分(下同)。數(shù)據(jù)整理基于原始數(shù)據(jù)庫(kù)考慮數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理的質(zhì)控要求。數(shù)據(jù)清洗需明確清洗的規(guī)則、方法、結(jié)果,數(shù)據(jù)預(yù)處理需明確處理的方法(如濾波、增強(qiáng)、重采樣、尺寸裁剪、均一化等)、結(jié)果。數(shù)據(jù)整理所用軟件工具均需明確名稱、型號(hào)規(guī)格、完整版本、制造商、運(yùn)行環(huán)境,并進(jìn)行軟件確認(rèn)。數(shù)據(jù)經(jīng)整理后形成基礎(chǔ)數(shù)據(jù)庫(kù),需明確樣本類型、樣本量、樣本分布等信息。樣本類型以適用人群為單位可分為單一數(shù)據(jù)、數(shù)據(jù)序列(由多個(gè)單一數(shù)據(jù)組成,如結(jié)構(gòu)序列、功能序列、時(shí)間序列)。樣本量需考慮樣本規(guī)模的充分性,明確樣本總量確定依據(jù)。樣本分布需考慮樣本的多樣性和偏倚控制問(wèn)題,依據(jù)疾病構(gòu)成、適用人群、數(shù)據(jù)來(lái)源機(jī)構(gòu)、采集設(shè)備、樣本類型等因素明確數(shù)據(jù)分布情況。

3.數(shù)據(jù)標(biāo)注數(shù)據(jù)標(biāo)注作為有監(jiān)督學(xué)習(xí)數(shù)據(jù)質(zhì)控的關(guān)鍵環(huán)節(jié),應(yīng)建立數(shù)據(jù)標(biāo)注操作規(guī)范,明確標(biāo)注資源管理、標(biāo)注過(guò)程質(zhì)控、標(biāo)注質(zhì)量評(píng)估等要求。標(biāo)注資源管理包括人員管理和基礎(chǔ)設(shè)施管理。人員管理考慮標(biāo)注人員、審核人員和仲裁人員的選拔(如職稱、工作年限、工作經(jīng)驗(yàn)、所在機(jī)構(gòu),若有國(guó)外人員明確其資質(zhì)要求)、培訓(xùn)(如培訓(xùn)材料、培訓(xùn)方案)、考核(如方法、頻次、指標(biāo)、通過(guò)準(zhǔn)則、一致性)等要求。基礎(chǔ)設(shè)施管理考慮標(biāo)注場(chǎng)所(真實(shí)場(chǎng)所或模擬場(chǎng)所,模擬場(chǎng)所可根據(jù)產(chǎn)品實(shí)際情況調(diào)整模擬程度,詳述調(diào)整理由并予以記錄)、標(biāo)注環(huán)境條件(如空間、照明、溫度、濕度、氣壓)、標(biāo)注軟件(名稱、型號(hào)規(guī)格、完整版本、制造商、運(yùn)行環(huán)境、軟件確認(rèn))等要求。標(biāo)注過(guò)程質(zhì)控包括人員職責(zé)(如資質(zhì)、數(shù)量、職責(zé))、標(biāo)注規(guī)則(如臨床指南、專家共識(shí)、專家評(píng)議、文獻(xiàn)分析)、標(biāo)注流程(如標(biāo)注對(duì)象、標(biāo)注形式、標(biāo)注輪次、標(biāo)注步驟、結(jié)果審核)、分歧處理(如仲裁人員、仲裁方式)、可追溯性(如數(shù)據(jù)、操作)等要求。標(biāo)注質(zhì)量評(píng)估包括評(píng)估人員、評(píng)估方法、評(píng)估指標(biāo)、通過(guò)準(zhǔn)則等要求,并記錄評(píng)估結(jié)果。數(shù)據(jù)經(jīng)標(biāo)注后形成標(biāo)注數(shù)據(jù)庫(kù),其樣本類型可分為數(shù)據(jù)塊(如圖像區(qū)域、數(shù)據(jù)片段)、單一數(shù)據(jù)(由多個(gè)數(shù)據(jù)塊組成)、數(shù)據(jù)序列(由多個(gè)單一數(shù)據(jù)組成)。樣本量、樣本分布等要求及風(fēng)險(xiǎn)考量與基礎(chǔ)數(shù)據(jù)庫(kù)相同。數(shù)據(jù)標(biāo)注可使用自動(dòng)標(biāo)注軟件,但自動(dòng)標(biāo)注結(jié)果不得直接使用,應(yīng)由標(biāo)注人員審核后方可使用;同時(shí),自動(dòng)標(biāo)注軟件亦需明確名稱、型號(hào)規(guī)格、完整版本、制造商、運(yùn)行環(huán)境等信息,并進(jìn)行軟件確認(rèn)。

4.數(shù)據(jù)集構(gòu)建基于標(biāo)注數(shù)據(jù)庫(kù)構(gòu)建訓(xùn)練集(用于算法訓(xùn)練)、調(diào)優(yōu)集[1](若有,用于算法超參數(shù)調(diào)優(yōu))、測(cè)試集(用于算法性能評(píng)估),明確訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例。訓(xùn)練集需保證樣本分布具有均衡性,測(cè)試集、調(diào)優(yōu)集原則上需保證樣本分布符合臨床實(shí)際情況,訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集的樣本應(yīng)兩兩無(wú)交集并通過(guò)查重予以驗(yàn)證。為解決樣本分布不滿足預(yù)期的問(wèn)題,可對(duì)訓(xùn)練集、調(diào)優(yōu)集小樣本量數(shù)據(jù)進(jìn)行擴(kuò)增,原則上不得對(duì)測(cè)試集進(jìn)行數(shù)據(jù)擴(kuò)增,對(duì)抗測(cè)試(詳見(jiàn)后文)除外。數(shù)據(jù)擴(kuò)增需明確擴(kuò)增的對(duì)象、方式(離線、在線)、方法(如翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像、平移、縮放、濾波、生成對(duì)抗網(wǎng)絡(luò)等)、倍數(shù),擴(kuò)增倍數(shù)過(guò)大應(yīng)考慮數(shù)據(jù)偏倚的影響及風(fēng)險(xiǎn)。若采用生成對(duì)抗網(wǎng)絡(luò)(詳見(jiàn)后文)進(jìn)行數(shù)據(jù)擴(kuò)增,需明確算法基本信息以及算法選用依據(jù)。數(shù)據(jù)經(jīng)擴(kuò)增后形成擴(kuò)增數(shù)據(jù)庫(kù),需列表對(duì)比擴(kuò)增數(shù)據(jù)庫(kù)與標(biāo)注數(shù)據(jù)庫(kù)在樣本量、樣本分布(注明擴(kuò)增倍數(shù))等差異,以證實(shí)擴(kuò)增數(shù)據(jù)庫(kù)樣本量的充分性以及樣本分布的合理性。


(三)算法設(shè)計(jì)

人工智能算法作為人工智能醫(yī)療器械的核心,其設(shè)計(jì)主要考慮算法選擇、算法訓(xùn)練、算法性能評(píng)估等要求。對(duì)于黑盒算法,算法設(shè)計(jì)應(yīng)開展算法性能影響因素分析,同時(shí)建議與現(xiàn)有醫(yī)學(xué)知識(shí)[2]建立關(guān)聯(lián),以提升算法可解釋性。

1.算法選擇算法選擇提供所用算法的名稱、類型、結(jié)構(gòu)(如層數(shù)、參數(shù)規(guī)模)、輸入輸出、流程圖、算法框架(含自研框架、現(xiàn)成框架)、運(yùn)行環(huán)境等基本信息,并明確算法選用依據(jù),包括選用的理由和基本原則。若組合使用遷移學(xué)習(xí)(詳見(jiàn)后文)、強(qiáng)化學(xué)習(xí)(詳見(jiàn)后文),亦需提供算法基本信息以及算法選用依據(jù)。

2.算法訓(xùn)練算法訓(xùn)練需基于訓(xùn)練集、調(diào)優(yōu)集進(jìn)行訓(xùn)練和調(diào)優(yōu),考慮評(píng)估指標(biāo)、訓(xùn)練方法、訓(xùn)練目標(biāo)、調(diào)優(yōu)方法、訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線等要求。評(píng)估指標(biāo)建議根據(jù)臨床需求進(jìn)行選擇,輔助決策可選擇敏感性、特異性等指標(biāo),非輔助決策可選擇圖像質(zhì)量、測(cè)量準(zhǔn)確性等指標(biāo)。訓(xùn)練方法包括但不限于留出法和交叉驗(yàn)證法,若組合使用聯(lián)邦學(xué)習(xí)(詳見(jiàn)后文)亦需明確算法選用依據(jù),并提供算法基本信息。訓(xùn)練目標(biāo)根據(jù)臨床情況詳述目標(biāo)確定依據(jù),提供ROC曲線等證據(jù)予以證實(shí)。調(diào)優(yōu)方法明確優(yōu)化策略和實(shí)現(xiàn)方法。訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線用于證實(shí)算法訓(xùn)練的充分性和有效性。

3.算法性能評(píng)估算法性能評(píng)估作為軟件驗(yàn)證的重要組成部分,需基于測(cè)試集對(duì)算法設(shè)計(jì)結(jié)果進(jìn)行評(píng)估,綜合考慮假陰性與假陽(yáng)性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性等評(píng)估要求,以證實(shí)算法性能滿足算法設(shè)計(jì)目標(biāo),并作為軟件驗(yàn)證、軟件確認(rèn)的基礎(chǔ)。亦可基于第三方數(shù)據(jù)庫(kù)(詳見(jiàn)后文)開展算法性能評(píng)估。同時(shí),開展算法性能影響因素分析以提升算法可解釋性,詳述影響算法性能的主要因素及其影響程度,如采集設(shè)備、采集參數(shù)、疾病構(gòu)成、病變特征等因素,基于分析結(jié)果明確產(chǎn)品使用限制和必要警示提示信息。此外,根據(jù)產(chǎn)品實(shí)際情況開展壓力測(cè)試(詳見(jiàn)后文)、對(duì)抗測(cè)試等測(cè)試,以全面深入評(píng)估算法性能。

(四)驗(yàn)證與確認(rèn)

1.軟件驗(yàn)證軟件驗(yàn)證是指通過(guò)提供客觀證據(jù)認(rèn)定軟件開發(fā)、軟件更新某一階段的輸出滿足輸入要求,包括軟件驗(yàn)證測(cè)試(單元測(cè)試、集成測(cè)試、系統(tǒng)測(cè)試)、設(shè)計(jì)評(píng)審等系列活動(dòng)。軟件驗(yàn)證通過(guò)法規(guī)、標(biāo)準(zhǔn)、用戶、產(chǎn)品、數(shù)據(jù)、功能、性能、接口、用戶界面、網(wǎng)絡(luò)安全、警示提示等測(cè)試,驗(yàn)證軟件的安全有效性,并作為軟件確認(rèn)的基礎(chǔ)。

2.軟件確認(rèn)軟件確認(rèn)是指通過(guò)提供客觀證據(jù)認(rèn)定軟件滿足用戶需求和預(yù)期目的,包括軟件確認(rèn)測(cè)試(用戶測(cè)試)、臨床評(píng)價(jià)、設(shè)計(jì)評(píng)審等系列活動(dòng)。根據(jù)產(chǎn)品實(shí)際情況,軟件確認(rèn)方式可單一使用,亦可組合使用。軟件確認(rèn)測(cè)試基于軟件需求在真實(shí)或模擬使用場(chǎng)景下予以開展,亦可基于測(cè)評(píng)數(shù)據(jù)庫(kù)(詳見(jiàn)后文)予以開展。臨床評(píng)價(jià)基本原則詳見(jiàn)醫(yī)療器械軟件指導(dǎo)原則,對(duì)于非輔助決策類功能,可基于核心功能開展同品種醫(yī)療器械比對(duì),全新的功能、算法和用途原則上均需開展臨床評(píng)價(jià);對(duì)于輔助決策類功能,需基于核心算法開展同品種醫(yī)療器械比對(duì),所選同品種醫(yī)療器械的臨床證據(jù)需基于臨床試驗(yàn)(可使用歷史數(shù)據(jù)),全新的功能、算法和用途原則上均需開展臨床試驗(yàn)。具體要求詳見(jiàn)臨床評(píng)價(jià)、臨床試驗(yàn)設(shè)計(jì)、境外臨床試驗(yàn)數(shù)據(jù)接受等通用指導(dǎo)原則,以及人工智能醫(yī)療器械臨床評(píng)價(jià)等專用指導(dǎo)原則。同時(shí),開展算法性能比較分析,詳述各類測(cè)試場(chǎng)景(含臨床評(píng)價(jià))算法性能變異度較大的原因,基于分析結(jié)果明確產(chǎn)品使用限制和必要警示提示信息。最后,結(jié)合算法訓(xùn)練、算法性能評(píng)估、臨床評(píng)價(jià)等結(jié)果開展算法性能綜合評(píng)價(jià),針對(duì)訓(xùn)練樣本量和測(cè)試樣本量過(guò)少、測(cè)試結(jié)果明顯低于算法設(shè)計(jì)目標(biāo)、算法性能變異度過(guò)大等情況,對(duì)產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能進(jìn)行必要限制。

(五)更新控制

人工智能醫(yī)療器械若發(fā)生算法更新、軟件更新,均應(yīng)當(dāng)按照質(zhì)量管理體系的要求,開展與算法更新、軟件更新的類型、內(nèi)容和程度相適宜的驗(yàn)證與確認(rèn)活動(dòng),將風(fēng)險(xiǎn)管理、可追溯分析貫穿于更新全程,形成記錄以供體系核查。對(duì)于算法更新,無(wú)論算法驅(qū)動(dòng)型更新還是數(shù)據(jù)驅(qū)動(dòng)型更新,均應(yīng)開展算法性能評(píng)估、臨床評(píng)價(jià)等驗(yàn)證與確認(rèn)活動(dòng),以保證算法更新的安全有效性。對(duì)于軟件更新,具體要求詳見(jiàn)醫(yī)療器械軟件指導(dǎo)原則、醫(yī)療器械獨(dú)立軟件生產(chǎn)質(zhì)量現(xiàn)場(chǎng)檢查指導(dǎo)原則。總之,人工智能醫(yī)療器械所含的每個(gè)人工智能算法,均應(yīng)獨(dú)立開展需求分析、數(shù)據(jù)收集、算法設(shè)計(jì)、驗(yàn)證與確認(rèn)、更新控制等活動(dòng),同時(shí)考慮人工智能算法組合的整體評(píng)價(jià)要求,以保證產(chǎn)品的安全有效性。前期已開發(fā)的人工智能醫(yī)療器械若不滿足本指導(dǎo)原則的適用要求,應(yīng)開展差距分析并予以記錄,明確產(chǎn)品使用限制和必要警示提示信息。必要時(shí)采取補(bǔ)救措施,以滿足質(zhì)量管理體系要求,并保證產(chǎn)品的安全有效性。

五、技術(shù)考量

(一)注冊(cè)單元與檢測(cè)單元

人工智能醫(yī)療器械的注冊(cè)單元與檢測(cè)單元?jiǎng)澐衷瓌t詳見(jiàn)醫(yī)療器械軟件指導(dǎo)原則,人工智能獨(dú)立軟件、人工智能軟件組件分別參照獨(dú)立軟件、軟件組件的要求。若軟件核心功能相同但核心算法類型不同,則每類核心算法均需在產(chǎn)品技術(shù)要求中注明并檢測(cè)。

(二)網(wǎng)絡(luò)安全與數(shù)據(jù)安全

人工智能醫(yī)療器械應(yīng)結(jié)合預(yù)期用途、使用場(chǎng)景、核心功能,基于保密性、完整性、可得性等網(wǎng)絡(luò)安全特性,確定網(wǎng)絡(luò)安全能力建設(shè)要求,以應(yīng)對(duì)網(wǎng)絡(luò)攻擊和數(shù)據(jù)竊取等網(wǎng)絡(luò)威脅,如算法框架漏洞攻擊、數(shù)據(jù)污染等。具體要求詳見(jiàn)醫(yī)療器械網(wǎng)絡(luò)安全指導(dǎo)原則。除此之外,還應(yīng)在人工智能醫(yī)療器械全生命周期過(guò)程中考慮數(shù)據(jù)安全問(wèn)題,包括上市前設(shè)計(jì)開發(fā)階段和上市后使用階段。數(shù)據(jù)轉(zhuǎn)移需明確轉(zhuǎn)移方法、數(shù)據(jù)污染防護(hù)措施、數(shù)據(jù)銷毀等要求。數(shù)據(jù)整理、數(shù)據(jù)集構(gòu)建、算法訓(xùn)練、算法性能評(píng)估、軟件驗(yàn)證等內(nèi)部活動(dòng)需在封閉網(wǎng)絡(luò)環(huán)境下開展以防止數(shù)據(jù)污染。數(shù)據(jù)標(biāo)注、軟件確認(rèn)等涉及外方的活動(dòng)需明確數(shù)據(jù)污染防護(hù)措施,特別是在開放網(wǎng)絡(luò)環(huán)境下。各數(shù)據(jù)庫(kù)(集)均需進(jìn)行數(shù)據(jù)備份,明確備份的方法、頻次、數(shù)據(jù)恢復(fù)方法。數(shù)據(jù)采集、上市后使用需考慮臨床機(jī)構(gòu)關(guān)于網(wǎng)絡(luò)安全與數(shù)據(jù)安全的接口要求。

(三)移動(dòng)計(jì)算與云計(jì)算

人工智能醫(yī)療器械若使用移動(dòng)計(jì)算、云計(jì)算等技術(shù),遵循相關(guān)指導(dǎo)原則要求。具體而言,移動(dòng)計(jì)算相關(guān)要求詳見(jiàn)移動(dòng)醫(yī)療器械指導(dǎo)原則,云計(jì)算相關(guān)要求詳見(jiàn)醫(yī)療器械軟件指導(dǎo)原則,移動(dòng)計(jì)算與云計(jì)算的網(wǎng)絡(luò)安全相關(guān)要求詳見(jiàn)醫(yī)療器械網(wǎng)絡(luò)安全指導(dǎo)原則。

(四)人因設(shè)計(jì)與可用性

人工智能醫(yī)療器械建議加強(qiáng)用戶接口人因設(shè)計(jì)以提升可用性,并將用戶錯(cuò)誤使用的風(fēng)險(xiǎn)降至可接受水平,特別是對(duì)軟件用戶界面。具體要求詳見(jiàn)醫(yī)療器械人因設(shè)計(jì)相關(guān)指導(dǎo)原則。

(五)壓力測(cè)試

本指導(dǎo)原則所述壓力測(cè)試[3]是指采用罕見(jiàn)或特殊臨床真實(shí)數(shù)據(jù)樣本開展的算法性能測(cè)試,側(cè)重于評(píng)估算法泛化能力的極限。注冊(cè)人應(yīng)根據(jù)產(chǎn)品實(shí)際情況開展壓力測(cè)試,以全面深入評(píng)估算法性能。若未開展相應(yīng)測(cè)試或測(cè)試結(jié)果不佳,均需對(duì)產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能進(jìn)行必要限制,并在說(shuō)明書中明確產(chǎn)品使用限制和必要警示提示信息。

(六)對(duì)抗測(cè)試

本指導(dǎo)原則所述對(duì)抗測(cè)試是指基于臨床真實(shí)數(shù)據(jù)樣本利用數(shù)據(jù)擾動(dòng)、生成對(duì)抗網(wǎng)絡(luò)等技術(shù)產(chǎn)生對(duì)抗樣本,并采用對(duì)抗樣本開展的算法性能測(cè)試,側(cè)重于評(píng)估算法的魯棒性/健壯性。若條件具備,建議注冊(cè)人開展對(duì)抗測(cè)試,以全面深入評(píng)估算法性能。若未開展相應(yīng)測(cè)試或測(cè)試結(jié)果不佳,均需明確產(chǎn)品使用限制和必要警示提示信息。

(七)第三方數(shù)據(jù)庫(kù)

第三方數(shù)據(jù)庫(kù)可用于算法性能評(píng)估,但其類型、用途等情況各不相同,未必能夠完全滿足軟件確認(rèn)測(cè)試的要求。因此,使用第三方數(shù)據(jù)庫(kù)進(jìn)行軟件確認(rèn)測(cè)試,應(yīng)評(píng)估其滿足軟件確認(rèn)測(cè)試的充分性、適宜性和有效性。可用于軟件確認(rèn)測(cè)試的第三方數(shù)據(jù)庫(kù)即為測(cè)評(píng)數(shù)據(jù)庫(kù)。測(cè)評(píng)數(shù)據(jù)庫(kù)除滿足數(shù)據(jù)庫(kù)通用要求(如數(shù)據(jù)管理、網(wǎng)絡(luò)安全與數(shù)據(jù)安全、可擴(kuò)展性等)外,還應(yīng)滿足以下專用要求。

1.權(quán)威性:測(cè)評(píng)數(shù)據(jù)庫(kù)的數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注及其質(zhì)控工作應(yīng)由相應(yīng)臨床專業(yè)領(lǐng)域的權(quán)威機(jī)構(gòu)(如國(guó)家臨床醫(yī)學(xué)研究中心)負(fù)責(zé),以保證數(shù)據(jù)準(zhǔn)確性;標(biāo)注人員、審核人員、仲裁人員需具備與其崗位職責(zé)相匹配的臨床實(shí)踐經(jīng)驗(yàn)。

2.科學(xué)性:測(cè)評(píng)數(shù)據(jù)庫(kù)的數(shù)據(jù)樣本均應(yīng)為臨床真實(shí)數(shù)據(jù),不得進(jìn)行數(shù)據(jù)擴(kuò)增;樣本分布符合目標(biāo)疾病流行病學(xué)特征情況,樣本總量基于目標(biāo)疾病流行病學(xué)統(tǒng)計(jì)指標(biāo)、測(cè)試抽樣誤差控制要求,通過(guò)統(tǒng)計(jì)學(xué)計(jì)算予以確定;單次測(cè)試原則上根據(jù)測(cè)評(píng)數(shù)據(jù)庫(kù)樣本分布情況等比例隨機(jī)抽取測(cè)試樣本,且其樣本量滿足測(cè)試抽樣誤差控制要求。

3.規(guī)范性:測(cè)評(píng)數(shù)據(jù)庫(kù)的數(shù)據(jù)采集、數(shù)據(jù)脫敏、數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注、數(shù)據(jù)更換、數(shù)據(jù)管理、數(shù)據(jù)安全保證等數(shù)據(jù)治理活動(dòng)以及測(cè)評(píng)活動(dòng)均應(yīng)建立質(zhì)控程序文件,并滿足可追溯性要求。

4.多樣性:測(cè)評(píng)數(shù)據(jù)庫(kù)的樣本應(yīng)來(lái)源于多家、多地域、多層級(jí)的代表性臨床機(jī)構(gòu)以及多家、多種、多參數(shù)的代表性采集設(shè)備,以保證數(shù)據(jù)多樣性能夠滿足算法泛化能力評(píng)估要求;若條件具備,測(cè)評(píng)數(shù)據(jù)庫(kù)可包含適當(dāng)比例的罕見(jiàn)或特殊臨床真實(shí)數(shù)據(jù)樣本,以便開展壓力測(cè)試深入評(píng)估算法泛化能力的極限。

5.封閉性:測(cè)評(píng)數(shù)據(jù)庫(kù)應(yīng)封閉管理,樣本總量需遠(yuǎn)大于單次測(cè)試樣本量,測(cè)評(píng)活動(dòng)亦需封閉管理,以保證算法性能評(píng)價(jià)的客觀性、公正性、公平性。

6.動(dòng)態(tài)性:測(cè)評(píng)數(shù)據(jù)庫(kù)應(yīng)定期更換一定比例的數(shù)據(jù)樣本,以保證其具備持續(xù)的多樣性和封閉性;數(shù)據(jù)更換的頻率、比例需有確定依據(jù),并滿足規(guī)范性要求;更換出庫(kù)的數(shù)據(jù)樣本由測(cè)評(píng)數(shù)據(jù)庫(kù)責(zé)任方自行確定其處理方案。基于測(cè)評(píng)數(shù)據(jù)庫(kù),利用數(shù)據(jù)擾動(dòng)、生成對(duì)抗網(wǎng)絡(luò)等技術(shù),可衍生出對(duì)抗測(cè)評(píng)數(shù)據(jù)庫(kù)。若條件具備,建議基于測(cè)評(píng)數(shù)據(jù)庫(kù)建設(shè)對(duì)抗測(cè)評(píng)數(shù)據(jù)庫(kù),以全面深入評(píng)價(jià)算法性能。第三方數(shù)據(jù)庫(kù)經(jīng)評(píng)估符合要求后可成為測(cè)評(píng)數(shù)據(jù)庫(kù)(含對(duì)抗測(cè)評(píng)數(shù)據(jù)庫(kù)),測(cè)評(píng)數(shù)據(jù)庫(kù)名錄另行制定并動(dòng)態(tài)調(diào)整。公開數(shù)據(jù)庫(kù)因不具備封閉性而不能用作測(cè)評(píng)數(shù)據(jù)庫(kù),但可用于算法性能評(píng)估,若用于算法訓(xùn)練應(yīng)重新進(jìn)行質(zhì)量評(píng)估。使用公開數(shù)據(jù)庫(kù)應(yīng)根據(jù)其使用情況開展必要評(píng)估工作,并在注冊(cè)申報(bào)資料中予以說(shuō)明。其他類型第三方數(shù)據(jù)庫(kù)可參照測(cè)評(píng)數(shù)據(jù)庫(kù)和公開數(shù)據(jù)庫(kù)的要求予以使用,同時(shí)考慮其適用場(chǎng)景、數(shù)據(jù)質(zhì)量評(píng)估、時(shí)效性等要求。

(八)基于模型的算法

基于模型的算法對(duì)于訓(xùn)練數(shù)據(jù)的數(shù)量要求相對(duì)較低,通常為白盒算法,特征提取需要人為干預(yù),可與現(xiàn)有醫(yī)學(xué)知識(shí)建立關(guān)聯(lián),可解釋性相對(duì)較高。對(duì)于此類算法,有監(jiān)督學(xué)習(xí)的模型/數(shù)據(jù)質(zhì)控要求參照有監(jiān)督深度學(xué)習(xí)執(zhí)行,不適用內(nèi)容詳述理由并予以記錄。同理,無(wú)監(jiān)督學(xué)習(xí)的模型/數(shù)據(jù)質(zhì)控要求亦參照有監(jiān)督深度學(xué)習(xí)執(zhí)行,其中數(shù)據(jù)標(biāo)注不適用,其余不適用內(nèi)容詳述理由并予以記錄。此類算法無(wú)論有監(jiān)督學(xué)習(xí)還是無(wú)監(jiān)督學(xué)習(xí),均需明確特征信息,包括但不限于特征分類(如人口統(tǒng)計(jì)學(xué)、生物學(xué)、形態(tài)學(xué))、特征屬性(如形態(tài)、紋理、性質(zhì)、尺寸、邊界)、特征展現(xiàn)方式(如形狀、尺寸、邊界、顏色、數(shù)量)等信息。

(九)遷移學(xué)習(xí)

遷移學(xué)習(xí)是指將在某領(lǐng)域或任務(wù)學(xué)習(xí)到的模型應(yīng)用于不同但相關(guān)的領(lǐng)域或任務(wù)的人工智能算法,如將在自然圖像領(lǐng)域?qū)W習(xí)形成的模型應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域。遷移學(xué)習(xí)主要包括基于特征和基于模型的算法,并可與深度學(xué)習(xí)、聯(lián)邦學(xué)習(xí)等人工智能算法組合使用。人工智能醫(yī)療器械若使用遷移學(xué)習(xí)算法,注冊(cè)申報(bào)資料需明確算法的名稱、類型、輸入輸出、流程圖、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)遷移學(xué)習(xí)的類型及其算法特性提供預(yù)訓(xùn)練模型的數(shù)據(jù)集構(gòu)建、驗(yàn)證與確認(rèn)等資料。

(十)強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)是指基于行動(dòng)與環(huán)境的交互,實(shí)現(xiàn)行動(dòng)從環(huán)境所獲累積獎(jiǎng)勵(lì)最大化的人工智能算法,采用“試錯(cuò)”的學(xué)習(xí)策略。強(qiáng)化學(xué)習(xí)從不同角度具有不同類型劃分維度,如有模型與無(wú)模型的算法、基于策略和基于價(jià)值的算法等,并可與深度學(xué)習(xí)等人工智能算法組合使用。人工智能醫(yī)療器械若使用強(qiáng)化學(xué)習(xí)算法,注冊(cè)申報(bào)資料需明確算法的名稱、類型、輸入輸出、流程圖、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)強(qiáng)化學(xué)習(xí)類型及其算法特性提供算法驗(yàn)證與確認(rèn)資料。

(十一)聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)是基于多個(gè)數(shù)據(jù)源協(xié)同建立學(xué)習(xí)模型的人工智能算法,即每個(gè)數(shù)據(jù)源獨(dú)立進(jìn)行本地?cái)?shù)據(jù)學(xué)習(xí),通過(guò)交換數(shù)據(jù)模型共同建立學(xué)習(xí)模型,實(shí)為分布式算法訓(xùn)練技術(shù),亦屬于隱私計(jì)算技術(shù)。聯(lián)邦學(xué)習(xí)主要包括橫向聯(lián)邦(基于樣本)和縱向聯(lián)邦(基于特征)等算法,并可與遷移學(xué)習(xí)等人工智能算法組合使用。人工智能醫(yī)療器械若使用聯(lián)邦學(xué)習(xí)算法等隱私計(jì)算技術(shù)進(jìn)行算法訓(xùn)練,注冊(cè)申報(bào)資料需明確算法的名稱、類型、輸入輸出、流程圖、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)聯(lián)邦學(xué)習(xí)等隱私計(jì)算技術(shù)的算法類型及其算法特性提供算法驗(yàn)證與確認(rèn)資料。

(十二)生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)是通過(guò)生成器和判別器的互相博弈學(xué)習(xí)而產(chǎn)生與臨床真實(shí)數(shù)據(jù)類似樣本的人工智能算法,主要用于數(shù)據(jù)擴(kuò)增或者對(duì)抗測(cè)試的樣本生成,并可與深度學(xué)習(xí)等人工智能算法組合使用。人工智能醫(yī)療器械若使用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)擴(kuò)增,注冊(cè)申報(bào)資料需明確算法的名稱、類型、輸入輸出、流程圖、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)生成對(duì)抗網(wǎng)絡(luò)類型及其算法特性提供算法驗(yàn)證與確認(rèn)資料。

(十三)基于數(shù)據(jù)的無(wú)監(jiān)督學(xué)習(xí)

基于數(shù)據(jù)的無(wú)監(jiān)督學(xué)習(xí)具備自學(xué)習(xí)的能力,在臨床機(jī)構(gòu)部署后可通過(guò)持續(xù)學(xué)習(xí)該臨床機(jī)構(gòu)的數(shù)據(jù)而進(jìn)行產(chǎn)品快速更新。此時(shí),臨床機(jī)構(gòu)亦成為產(chǎn)品開發(fā)者,與注冊(cè)人共同承擔(dān)產(chǎn)品質(zhì)量責(zé)任和法律責(zé)任;同時(shí),此種更新對(duì)于產(chǎn)品安全有效性的影響具有高度不確定性,特別是人工智能黑盒算法。因此,在當(dāng)前法律法規(guī)體系和技術(shù)水平條件下,基于數(shù)據(jù)的無(wú)監(jiān)督學(xué)習(xí)應(yīng)關(guān)閉自學(xué)習(xí)功能,或者雖開放自學(xué)習(xí)功能但不得投入臨床使用,即臨床始終使用產(chǎn)品原有功能,自學(xué)習(xí)功能僅用于算法訓(xùn)練或臨床科研。注冊(cè)人應(yīng)按照質(zhì)量管理體系要求,對(duì)自學(xué)習(xí)功能所產(chǎn)生的產(chǎn)品更新的安全有效性進(jìn)行驗(yàn)證與確認(rèn),若適用還應(yīng)根據(jù)法律法規(guī)要求申請(qǐng)?jiān)S可事項(xiàng)變更,待批準(zhǔn)后方能將自學(xué)習(xí)功能所產(chǎn)生的產(chǎn)品更新投入臨床使用。

(十四)人工智能算法框架

人工智能算法框架從開發(fā)者角度可分為自研算法框架和現(xiàn)成算法框架,其中自研算法框架即注冊(cè)人自行研發(fā)的算法框架,屬于自研軟件范疇;現(xiàn)成算法框架是指注冊(cè)人所使用的由第三方開發(fā)的算法框架(如TensorflowPyTorch等),視為現(xiàn)成軟件,現(xiàn)成算法框架開發(fā)者視為醫(yī)療器械供應(yīng)商。人工智能算法框架更新包括產(chǎn)品更新(即更換算法框架)、版本更新、補(bǔ)丁更新,其中產(chǎn)品更新、非效率型版本更新對(duì)于人工智能醫(yī)療器械而言屬于重大軟件更新,效率型版本更新(即運(yùn)算效率單純提高)、補(bǔ)丁更新對(duì)于人工智能醫(yī)療器械而言一般屬于輕微軟件更新,除非影響到人工智能醫(yī)療器械的安全性或有效性。人工智能算法框架同時(shí)發(fā)生多種類型的更新,同樣遵循風(fēng)險(xiǎn)從高原則。人工智能算法框架可參照自研軟件、現(xiàn)成軟件相關(guān)要求提交相應(yīng)注冊(cè)申報(bào)資料,均需明確算法框架的名稱、類型(自研框架、現(xiàn)成框架)、型號(hào)規(guī)格、完整版本、制造商等信息。

(十五)人工智能芯片

人工智能芯片作為計(jì)算資源的組成部分,本身不屬于監(jiān)管對(duì)象,需要根據(jù)其所屬的計(jì)算平臺(tái)類型考慮監(jiān)管要求。對(duì)于人工智能獨(dú)立軟件,人工智能芯片屬于通用計(jì)算平臺(tái)的組成部分,不屬于產(chǎn)品結(jié)構(gòu)組成,作為軟件運(yùn)行環(huán)境予以考慮。對(duì)于人工智能軟件組件,人工智能芯片屬于醫(yī)用計(jì)算平臺(tái)的組成部分,屬于產(chǎn)品結(jié)構(gòu)組成,需與產(chǎn)品進(jìn)行整體評(píng)價(jià)。無(wú)論何種情況,使用人工智能芯片均應(yīng)在注冊(cè)申報(bào)資料中明確其名稱、型號(hào)規(guī)格、制造商、性能指標(biāo)等信息。

六、算法研究資料

(一)算法研究報(bào)告

算法研究報(bào)告適用于人工智能算法或算法組合的初次發(fā)布和再次發(fā)布,包括算法基本信息、算法風(fēng)險(xiǎn)管理、算法需求規(guī)范、數(shù)據(jù)質(zhì)控、算法訓(xùn)練、算法驗(yàn)證與確認(rèn)、算法可追溯性分析、結(jié)論等內(nèi)容,不適用內(nèi)容詳述理由。

1.算法基本信息明確算法的名稱、類型、結(jié)構(gòu)、輸入輸出、流程圖、算法框架、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù)。其中,算法類型從學(xué)習(xí)策略、學(xué)習(xí)方法、可解釋性等角度明確算法特性。算法結(jié)構(gòu)明確算法的層數(shù)、參數(shù)規(guī)模等超參數(shù)信息。算法框架明確所用人工智能算法框架的基本信息,包括名稱、類型(自研框架、現(xiàn)成框架)、型號(hào)規(guī)格、完整版本、制造商等信息。運(yùn)行環(huán)境明確算法正常運(yùn)行所需的典型運(yùn)行環(huán)境,包括硬件配置、外部軟件環(huán)境、網(wǎng)絡(luò)條件;若使用人工智能芯片需明確其名稱、型號(hào)規(guī)格、制造商、性能指標(biāo)等信息。算法選用依據(jù)詳述人工智能算法或算法組合選用的理由和基本原則。

2.算法風(fēng)險(xiǎn)管理明確算法的軟件安全性級(jí)別(輕微、中等、嚴(yán)重)并詳述判定理由。提供算法風(fēng)險(xiǎn)管理資料,明確過(guò)擬合與欠擬合、假陰性與假陽(yáng)性、數(shù)據(jù)擴(kuò)增與數(shù)據(jù)偏倚等風(fēng)險(xiǎn)的控制措施。若無(wú)單獨(dú)文檔可提供軟件風(fēng)險(xiǎn)管理資料,并注明算法風(fēng)險(xiǎn)管理所在位置。

3.算法需求規(guī)范提供算法需求規(guī)范,若無(wú)單獨(dú)文檔可提供軟件需求規(guī)范,并注明算法需求所在位置。

4.數(shù)據(jù)質(zhì)控提供數(shù)據(jù)來(lái)源合規(guī)性聲明,列明數(shù)據(jù)來(lái)源機(jī)構(gòu)的名稱、所在地域、數(shù)據(jù)收集量、倫理批件編號(hào)等信息。提供數(shù)據(jù)采集操作規(guī)范,根據(jù)數(shù)據(jù)采集方式明確采集設(shè)備、采集過(guò)程、數(shù)據(jù)脫敏等質(zhì)控要求。提供數(shù)據(jù)標(biāo)注操作規(guī)范,明確數(shù)據(jù)整理、標(biāo)注資源管理、標(biāo)注過(guò)程質(zhì)控、標(biāo)注質(zhì)量評(píng)估、數(shù)據(jù)安全保證等要求。若適用,提供數(shù)據(jù)擴(kuò)增情況說(shuō)明,明確擴(kuò)增的對(duì)象、方式、方法、倍數(shù)等信息。依據(jù)疾病構(gòu)成、適用人群、數(shù)據(jù)來(lái)源機(jī)構(gòu)、采集設(shè)備、樣本類型等因素提供原始數(shù)據(jù)庫(kù)、基礎(chǔ)數(shù)據(jù)庫(kù)、標(biāo)注數(shù)據(jù)庫(kù)、擴(kuò)增數(shù)據(jù)庫(kù)的數(shù)據(jù)分布情況。若數(shù)據(jù)來(lái)自公開數(shù)據(jù)庫(kù),提供公開數(shù)據(jù)庫(kù)的基本信息(如名稱、創(chuàng)建者、數(shù)據(jù)總量等)和使用情況(如數(shù)據(jù)使用量、數(shù)據(jù)質(zhì)量評(píng)估、數(shù)據(jù)分布等)。

5.算法訓(xùn)練依據(jù)疾病構(gòu)成、適用人群、數(shù)據(jù)來(lái)源機(jī)構(gòu)、采集設(shè)備、樣本類型等因素提供訓(xùn)練集、調(diào)優(yōu)集的數(shù)據(jù)分布情況。明確算法訓(xùn)練所用的評(píng)估指標(biāo)、訓(xùn)練方法、訓(xùn)練目標(biāo)、調(diào)優(yōu)方法,提供ROC曲線證明訓(xùn)練目標(biāo)滿足臨床要求,提供訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線以證實(shí)算法訓(xùn)練的充分性和有效性

6.算法驗(yàn)證與確認(rèn)依據(jù)疾病構(gòu)成、適用人群、數(shù)據(jù)來(lái)源機(jī)構(gòu)、采集設(shè)備、樣本類型等因素提供測(cè)試集的數(shù)據(jù)分布情況。提供假陰性與假陽(yáng)性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性等算法性能指標(biāo)評(píng)估結(jié)果,以證明算法性能滿足算法設(shè)計(jì)目標(biāo)。若使用第三方數(shù)據(jù)庫(kù)開展算法性能評(píng)估,提供第三方數(shù)據(jù)庫(kù)的基本信息(如名稱、創(chuàng)建者、數(shù)據(jù)總量等)和使用情況(如測(cè)試數(shù)據(jù)樣本量、評(píng)估指標(biāo)、評(píng)估結(jié)果等)。若適用,提供算法性能影響因素分析報(bào)告,明確影響算法性能的主要因素及其影響程度,以及產(chǎn)品使用限制和必要警示提示信息。若適用,提供壓力測(cè)試、對(duì)抗測(cè)試等測(cè)試報(bào)告。若未開展相應(yīng)測(cè)試或測(cè)試結(jié)果不佳,均需明確產(chǎn)品使用限制和必要警示提示信息。若基于測(cè)評(píng)數(shù)據(jù)庫(kù)進(jìn)行算法確認(rèn),提供測(cè)評(píng)數(shù)據(jù)庫(kù)的基本信息(如名稱、創(chuàng)建者、數(shù)據(jù)總量等)和使用情況(如評(píng)估指標(biāo)、評(píng)估結(jié)果等)。若基于臨床評(píng)價(jià)方式進(jìn)行算法確認(rèn),指向臨床評(píng)價(jià)資料即可。提供上述各類測(cè)試場(chǎng)景(含臨床評(píng)價(jià))下的算法性能評(píng)估結(jié)果比較分析報(bào)告,明確產(chǎn)品使用限制和必要警示提示信息。

7.算法可追溯性分析提供算法可追溯性分析報(bào)告,即追溯算法需求、算法設(shè)計(jì)、源代碼(明確軟件單元名稱即可)、算法測(cè)試、算法風(fēng)險(xiǎn)管理的關(guān)系表。若無(wú)單獨(dú)文檔可提供軟件可追溯性分析報(bào)告,并注明算法可追溯性分析所在位置。8.結(jié)論簡(jiǎn)述算法性能綜合評(píng)價(jià)結(jié)果,明確對(duì)產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能所做的必要限制,并判定人工智能算法或算法組合的安全有效性是否滿足要求。

(二)算法更新研究報(bào)告

算法更新研究報(bào)告僅適用于人工智能算法或算法組合的再次發(fā)布,在算法研究報(bào)告相應(yīng)內(nèi)容中明確算法更新情況。其中,算法基本信息描述申報(bào)算法情況,若適用詳述與前次注冊(cè)相比的變化情況;算法風(fēng)險(xiǎn)管理、算法需求規(guī)范、數(shù)據(jù)質(zhì)控、算法訓(xùn)練、算法驗(yàn)證與確認(rèn)、算法可追溯性分析描述算法更新的具體情況;結(jié)論簡(jiǎn)述算法性能綜合評(píng)價(jià)結(jié)果,并判定人工智能算法或算法組合更新的安全有效性是否滿足要求。

七、注冊(cè)申報(bào)資料補(bǔ)充說(shuō)明注冊(cè)申報(bào)資料應(yīng)在符合醫(yī)療器械注冊(cè)申報(bào)資料要求等文件要求基礎(chǔ)上,滿足醫(yī)療器械軟件、醫(yī)療器械網(wǎng)絡(luò)安全、移動(dòng)醫(yī)療器械等相關(guān)指導(dǎo)原則要求,同時(shí)需要重點(diǎn)關(guān)注以下要求。

(一)產(chǎn)品注冊(cè)

1.?申請(qǐng)表信息

1)人工智能獨(dú)立軟件產(chǎn)品名稱應(yīng)符合通用名稱命名規(guī)范要求,通常體現(xiàn)輸入數(shù)據(jù)(如CT圖像、眼底照片)、目標(biāo)疾病(含病變、疾病的屬性)、預(yù)期用途(如輔助分診、輔助檢測(cè)、輔助診斷)等特征詞。適用范圍基于預(yù)期用途、使用場(chǎng)景、核心功能予以規(guī)范,包括但不限于處理對(duì)象、目標(biāo)疾病、臨床用途、適用人群、目標(biāo)用戶、使用場(chǎng)所、采集設(shè)備要求、使用限制等內(nèi)容。

2)人工智能軟件組件人工智能軟件組件通常無(wú)需在注冊(cè)證載明信息中體現(xiàn)。其軟件功能名稱可參照人工智能獨(dú)立軟件要求。若有,適用范圍體現(xiàn)輔助決策類軟件功能的情況。

2.?算法研究資料在軟件研究資料中以算法為單位,提交每個(gè)人工智能算法的算法研究報(bào)告,具體要求詳見(jiàn)第六章。

3.?產(chǎn)品技術(shù)要求產(chǎn)品技術(shù)要求若含有基于測(cè)評(píng)數(shù)據(jù)庫(kù)測(cè)試的性能指標(biāo),應(yīng)明確測(cè)評(píng)數(shù)據(jù)庫(kù)的基本信息(如名稱、型號(hào)規(guī)格、完整版本、責(zé)任方等)。基于其他類型第三方數(shù)據(jù)庫(kù)測(cè)試的性能指標(biāo),原則上無(wú)需在產(chǎn)品技術(shù)要求中體現(xiàn)。

4.?說(shuō)明書根據(jù)算法性能綜合評(píng)價(jià)結(jié)果,對(duì)產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能進(jìn)行必要限制,并在說(shuō)明書中明確產(chǎn)品使用限制和必要警示提示信息。若適用,明確數(shù)據(jù)采集設(shè)備和數(shù)據(jù)采集過(guò)程相關(guān)要求。對(duì)于輔助決策類產(chǎn)品,說(shuō)明書應(yīng)明確人工智能算法的算法性能評(píng)估總結(jié)(測(cè)試集基本信息、評(píng)估指標(biāo)與結(jié)果)、臨床評(píng)價(jià)總結(jié)(臨床數(shù)據(jù)基本信息、評(píng)價(jià)指標(biāo)與結(jié)果)、決策指標(biāo)定義(或提供決策指標(biāo)定義所依據(jù)的臨床指南、專家共識(shí)等參考文獻(xiàn))等信息。此時(shí)若采用基于數(shù)據(jù)的人工智能算法,說(shuō)明書還應(yīng)補(bǔ)充算法訓(xùn)練總結(jié)信息(訓(xùn)練集基本信息、訓(xùn)練指標(biāo)與結(jié)果)。若產(chǎn)品采用人工智能黑盒算法,根據(jù)算法影響因素分析報(bào)告,在說(shuō)明書中明確產(chǎn)品使用限制和必要警示提示信息。對(duì)于軟件安全性級(jí)別為嚴(yán)重級(jí)別的產(chǎn)品,原則上需提供用戶培訓(xùn)材料。

(二)許可事項(xiàng)變更

1.?算法研究資料根據(jù)人工智能算法的更新情況,在軟件研究資料中以算法為單位,提交每個(gè)人工智能算法的算法更新研究報(bào)告(或算法研究報(bào)告),具體要求詳見(jiàn)第六章。

2.?產(chǎn)品技術(shù)要求若適用,產(chǎn)品技術(shù)要求變更對(duì)比表需體現(xiàn)測(cè)評(píng)數(shù)據(jù)庫(kù)的變化情況。

3.?說(shuō)明書若適用,提交用戶培訓(xùn)材料。

(三)延續(xù)注冊(cè)

延續(xù)注冊(cè)通常無(wú)需提交算法相關(guān)研究資料。若適用,根據(jù)注冊(cè)證“備注”所載明的要求提交相應(yīng)算法研究資料。

八、編寫單位本指導(dǎo)原則編寫單位為國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心。

九、參考文獻(xiàn)[1]?國(guó)家藥品監(jiān)督管理局.醫(yī)療器械注冊(cè)管理辦法(修訂草案征求意見(jiàn)稿),

2021.3[2]?原國(guó)家食品藥品監(jiān)督管理總局.?醫(yī)療器械說(shuō)明書和標(biāo)簽管理規(guī)定(總局令第6號(hào)),

2014.7[3]?國(guó)家藥品監(jiān)督管理局.醫(yī)療器械注冊(cè)申報(bào)資料要求和批準(zhǔn)證明文件格式(修訂草案征求意見(jiàn)稿),

2021.5[4]?國(guó)家藥品監(jiān)督管理局.醫(yī)療器械主文檔登記事項(xiàng)(2021年第36號(hào)公告)

2021.3[5]?國(guó)家藥品監(jiān)督管理局.?醫(yī)療器械通用名稱命名指導(dǎo)原則(2019年第99號(hào)通告),

2019.12[6]?國(guó)家藥品監(jiān)督管理局.?醫(yī)療器械安全和性能的基本原則(2020年第18號(hào)通告),

2020.3[7]?國(guó)家藥品監(jiān)督管理局.?醫(yī)療器械臨床評(píng)價(jià)技術(shù)指導(dǎo)原則(征求意見(jiàn)稿),

2021.5[8]?國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心.醫(yī)療器械軟件技術(shù)審查指導(dǎo)原則(第二版)(征求意見(jiàn)稿),

2020.6[9]?國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心.醫(yī)療器械網(wǎng)絡(luò)安全技術(shù)審查指導(dǎo)原則(第二版)(征求意見(jiàn)稿),

2020.9[10]?原國(guó)家食品藥品監(jiān)督管理總局.?移動(dòng)醫(yī)療器械注冊(cè)技術(shù)審查指導(dǎo)原則(2017年第222號(hào)通告),

2017.12[11]?國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心.醫(yī)療器械人因設(shè)計(jì)技術(shù)審查指導(dǎo)原則(報(bào)批稿),

2020.10[12]?國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心.人工智能醫(yī)療器械臨床評(píng)價(jià)技術(shù)審查指導(dǎo)原則(草稿),

2021.[13]?國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心.肺結(jié)節(jié)CT影像輔助決策軟件注冊(cè)技術(shù)審查指導(dǎo)原則(草稿),

2021.[14]?國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心.肺結(jié)節(jié)CT影像輔助決策軟件臨床評(píng)價(jià)技術(shù)審查指導(dǎo)原則(草稿),

2021.[15]?國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心.眼底照片輔助決策軟件注冊(cè)技術(shù)審查指導(dǎo)原則(草稿),

2021.[16]?國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心.眼底照片輔助決策軟件臨床評(píng)價(jià)技術(shù)審查指導(dǎo)原則(草稿),

2021.[17]?國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心.深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評(píng)要點(diǎn)(2019年第7號(hào)通告),

2019.7[18]?國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心.?肺炎CT影像輔助分診與評(píng)估軟件審評(píng)要點(diǎn)(試行)(2020年第8號(hào)通告),

2020.3[19]?原國(guó)家食品藥品監(jiān)督管理總局.?醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范(2014年第64號(hào)公告),

2014.12[20]?國(guó)家藥品監(jiān)督管理局.?醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范附錄獨(dú)立軟件(2019年第43號(hào)通告),

2019.7[21]?國(guó)家藥品監(jiān)督管理局.?醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范獨(dú)立軟件現(xiàn)場(chǎng)檢查指導(dǎo)原則(藥監(jiān)綜械管〔202057號(hào)),

2020.5[22]?國(guó)家藥品監(jiān)督管理局標(biāo)準(zhǔn)管理中心.?人工智能類醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則(征求意見(jiàn)稿),

2021.4[23]?國(guó)家藥品監(jiān)督管理局標(biāo)準(zhǔn)管理中心.?輔助決策類醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則(征求意見(jiàn)稿),

2021.6[24]國(guó)家衛(wèi)生健康委員會(huì).?人工智能輔助診斷技術(shù)管理規(guī)范(國(guó)衛(wèi)辦醫(yī)發(fā)〔20177號(hào)),

2017.2[25]國(guó)家衛(wèi)生健康委員會(huì).?人工智能輔助診斷技術(shù)臨床應(yīng)用質(zhì)量控制指標(biāo)(國(guó)衛(wèi)辦醫(yī)發(fā)〔20177號(hào)),

2017.2[26]國(guó)家衛(wèi)生健康委員會(huì).?人工智能輔助治療技術(shù)管理規(guī)范(國(guó)衛(wèi)辦醫(yī)發(fā)〔20177號(hào)),

2017.2[27]國(guó)家衛(wèi)生健康委員會(huì).?人工智能輔助治療技術(shù)臨床應(yīng)用質(zhì)量控制指標(biāo)(國(guó)衛(wèi)辦醫(yī)發(fā)〔20177號(hào)),

2017.2[28] YY/T 0287-2017醫(yī)療器械質(zhì)量管理體系用于法規(guī)的要求[29] YY/T 0316-2016?醫(yī)療器械風(fēng)險(xiǎn)管理對(duì)醫(yī)療器械的應(yīng)用[30] YY/T 0664-2020?醫(yī)療器械軟件軟件生存周期過(guò)程[31] YY/T 1406.1-2016?醫(yī)療器械軟件第1部分:YY/T 0316應(yīng)用于醫(yī)療器械軟件的指南[32] YY/T?人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià)第1部分:術(shù)語(yǔ)(報(bào)批稿),

2020.[33] YY/T?人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià)第2部分:數(shù)據(jù)集通用要求(報(bào)批稿),

2020.[34] YY/T?人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià)第3部分:數(shù)據(jù)標(biāo)注通用要求(草稿),2021.[35] YY/T?人工智能醫(yī)療器械肺部影像輔助分析軟件算法性能測(cè)試方法(草稿),

2021.[36] AIMDICP-WG6-2020-001?基于眼底彩照的糖尿病視網(wǎng)膜病變輔助決策產(chǎn)品性能指標(biāo)和測(cè)試方法,2020.7[37] AIMDICP-WG6-2020-002?基于胸部CT的肺結(jié)節(jié)影像輔助決策產(chǎn)品性能指標(biāo)和測(cè)試方法,2020.7[38] AIMDICP-WG12-2021-001?醫(yī)學(xué)人工智能技術(shù)學(xué)名詞(草稿),

2021.[39] FDA. Computer-Assisted Detection Devices Applied to Radiology Images andRadiology Device Data,?

2012.7[40] FDA. Considerations for Computer-Assisted Detection Devices Applied toRadiology Images and Radiology Device Data,?

2012.7[41] FDA. Proposed Regulatory Framework for Modifications to ArtificialIntelligence/Machine Learning (AI/ML) - Based Software as a Medical Device(SaMD) Draft,

?2019.5[42] FDA. Artificial Intelligence and Machine Learning(AI/ ML) Software as aMedical Device(SaMD) Action Plan,

?2021.1[43]?人工智能醫(yī)療器械創(chuàng)新網(wǎng)合作平臺(tái). www.aimd.org.cn[44] IMDRF AIMD. www.imdrf.org/workitems/wi-aimd.asp[45] ITU&WHO AI4H. www.itu.int/go/fgai4h

返回列表
醫(yī)療器械創(chuàng)新網(wǎng)網(wǎng) 醫(yī)療器械創(chuàng)新網(wǎng)網(wǎng) 醫(yī)療器械創(chuàng)新網(wǎng)網(wǎng) 醫(yī)療器械創(chuàng)新網(wǎng)網(wǎng) 醫(yī)療器械創(chuàng)新網(wǎng)網(wǎng) 精品免费国产一区二区三区四区 | 日韩福利 | 国产一区二区精品 | 中文无码熟妇人妻av在线 | 双性少爷挨脔日常h惩罚h动漫 | 手机看片你懂的 | 国产三级电影 | 羞羞成人漫画入口 | 亚洲理论片 | 国产三级在线播放 | 国产伦精品一区三区精东 | 黑人巨大猛烈捣出白浆 | 夜夜艹| 免费一区二区三区 | 综合激情网 | 亚洲一区二区三区在线 | 成人免费看片 | 美女被c| 成人黄色小视频 | 成人性生交大片免费卡看 | 欧美性猛交 | 在线观看视频 | 丰满少妇在线观看网站 | 五月婷婷六月丁香 | 青青草国产 | 精品91| 日本精品在线 | 日产久久视频 | 狠狠操狠狠操 | 香蕉视频在线播放 | 日韩理论片 | 女人做爰猛烈叫床视频 | 寂寞的少妇的诱惑 | 黄色免费在线观看 | 日韩成人在线视频 | 日韩无码电影 | 天天色播| 欧美大片视频 | 波多野结衣久久 | 99久久精品国产毛片 | 欧美三级在线 | 黄色国产 | 成人国产精品久久久网站 | 国产全肉乱妇杂乱视频 | 国产片 | 日本中文字幕在线观看 | 国产激情视频 | 黄色大片网站 | 91玉足脚交嫩脚丫在线播放 | 中国老熟女重囗味hdxx | 日日夜夜精品视频 | 黑人精品xxx一区一二区 | av高清 | 97在线观看视频 | 女人做爰猛烈叫床视频 | 日韩国产在线 | 少妇又紧又色又爽又刺激视频 | 波多野结衣av无码 | 欧洲做受高潮免费看 | 国产精品无码久久久久 | 亚洲精品视频在线 | 91美女视频 | 少妇搡bbbb搡bbb搡澳门 | 少妇又紧又色又爽又刺激视频 | 欧美视频一区二区三区 | 欧美成人影院 | 日韩无码专区 | 一区二区电影 | 免费国产视频 | 欧美日韩一区二区三区 | 日韩成人在线观看 | 女m被s玩胸虐乳哭着求饶 | 黄色三级网站 | 精品人妻少妇嫩草av无码专区 | 日韩午夜| 成人自拍视频 | 一区二区在线视频 | 亚洲综合激情五月久久 | 天堂网在线观看 | 成人免费看片 | av午夜 | www.黄色| 日韩视频一区二区 | 午夜激情影院 | 国产精品久久久久久网站 | 青青草av| 99精品久久毛片a片 国内老熟妇对白xxxxhd | av集中营 | 日本三级在线 | 91久久精品日日躁夜夜躁国产 | 国产伦精品一区二区三区88av | 性生活大片 | 欧美丰满大乳 | 国产久久精品 | 真实乱偷全部视频 | 国产一区二区三区免费播放 | 久久久中文字幕 | 成全世界免费高清观看 | 亚洲美女视频 | 波多野つ上司出差被中在线出 | 成人免费在线观看 | 亚洲天堂一区 | 涩涩视频在线观看 | 国产自产21区 | 欧美国产精品 | 久久草视频 | 午夜福利视频 | 久久久久久久久久久久久久久久久久久久 | 捆绑调教视频 | 五月婷婷丁香 | 中文字字幕一区二区三区四区五区 | 日韩精品电影 | 国产a级片| 18深夜在线观看免费视频 | 超碰在线免费 | 天天干夜夜骑 | 欧美理论片 | 淫话……粗话……脏话小说 | 开心激情站 | 中文字幕免费在线观看 | www.蜜桃| 国产精品乱码一区二区 | 99热这里| 国产伦精品一区三区精东 | 欧美怡春院 | 特级西西人体444www高清大胆 | 欧美视频一区二区 | 97国产视频 | 人妻在客厅被c的呻吟 | 亚洲午夜久久久久久久久久久 | 天堂中文网 | 亚洲精品久久久久久 | 欧美日韩精品 | 高跟肉丝丝袜呻吟啪啪网站av | 欧美国产精品 | 免费看一级片 | 四虎在线观看 | 黄色小视频在线观看 | 成人国产精品久久久网站 | 日韩在线电影 | 精品麻豆 | 亚洲在线播放 | 日韩黄色片 | 亚洲一区在线播放 | 日韩欧美一区二区三区 | 成人在线网站 | 无码人妻一区二区三区免费n鬼沢 | 国产在线不卡 | 香港黄色片 | 欧美午夜视频 | 熟妇人妻中文字幕无码老熟妇 | 亚洲色图综合 | 国产激情综合五月久久 | 岛国av在线 | 尤物视频在线观看 | 精品少妇人妻一区二区黑料社区 | 日批视频 | 欧美日韩国产精品 | 99热在线播放| 青草网| 欧美性猛交69 | 久久精品中文字幕 | 亚洲精品久久久久中文字幕二区 | 乌克兰毛片 | 波多野つ上司出差被中在线出 | 男人天堂影院 | 91成人| 欧美日韩激情 | 欧美性生交片4 | 午夜精品久久久久久久99老熟妇 | 国产精品吴梦梦 | 三妻四妾免费观看完整版 | 欧美精品久久 | 大j8黑人w巨大888a片 | 亚洲欧美在线观看 | 日产久久视频 | 波多野结衣在线观看 | 日本理伦片午夜理伦片 | 亚洲色图综合 | 国产三级在线播放 | 日韩成人片 | 日韩精品人妻中文字幕有码 | 欧美一区视频 | www.国产精品| 亚洲一卡二卡 | 国产精品天美传媒入口 | 久久在线视频 | 91欧美 | 中国老熟女重囗味hdxx | 男生操女生的视频 | 久久激情网| 欧美一区二区三区在线 | 中文字幕在线看 | 日韩在线观看免费 | 一区二区三区在线观看视频 | 女人的天堂av | 日韩欧美一级 | 熊出没之古宅探宝 | 色姑娘综合网 | 亚洲在线视频 | 99在线观看视频 | 香蕉视频91| 欧美精产国品一二三区 | 熟妇人妻中文字幕无码老熟妇 | 暖暖爱免费观看高清在线遇见你 | 91国产精品| 日本一区二区在线 | 18网站 | 欧美久久精品 | 欧美日韩精品 | 青青在线视频 | 嗯啊视频 | 一级大片 | 免费黄色小视频 | 青青草原av| 亚洲成人自拍 | 国产一区在线播放 | 69视频在线观看 | 亚洲综合一区二区 | 一区二区免费视频 | 欧美大片18 | 男女激情网站 | 操日本女人 | 午夜影院在线观看 | 久久久无码人妻精品无码 | 日本欧美久久久久免费播放网 | 激情婷婷 | 免费在线观看av | 久久福利| 亚洲精品成人 | 国产一区二区在线播放 | 天堂资源在线 | 天堂资源在线 | 色婷婷精品国产一区二区三区 | 亚洲无人区码一码二码三码的含义 | 免费三片60分钟 | 国产日韩欧美在线 | 国产精品视频 | 奶妈的诱惑 | 国产熟妇另类久久久久 | 另类老妇性bbwbbw| 婷婷激情五月 | 一区二区精品 | 亚洲午夜精品久久久久久人妖 | 91av在线播放| 99人妻碰碰碰久久久久禁片 | 偷拍色图 | 久久久久久久久久久久久久久久久久 | 国产精品一级 | 91禁和美女聊天 | 人妻夜夜爽天天爽三区麻豆av网站 | 人人妻人人澡人人爽人人欧美一区 | a级片网站 | 午夜视频在线 | 免费视频一区二区 | 在线观看免费大片 | 波多野结衣久久 | 日韩无码电影 | 扒开伸进免费视频 | 欧洲影院 | 天天操一操 | 黄色大片网站 | 国产片| 波多野结衣在线 | 久久精品视频18 | 国产一区二区在线播放 | 亚洲精品一区二区三区四区高清 | 在线观看欧美日韩视频 | 免费播放片大片 | 国产一级大片 | 999国产精品 | 99视频 | 久久神马 | 男人勃起又大又硬图片 | 夜夜嗨老熟女av一区二区三区 | 欧美日韩在线播放 | 久久天堂网| 国产精品黄色 | 91av视频| 国产伦精品一区二区三区妓女 | 免费三片在线观看网站v888 | a片在线免费观看 | 真实交videos乱叫娇小 | 被室友玩屁股眼子h男男 | 青娱乐91 | 暖暖爱免费观看高清在线遇见你 | 拍国产真实乱人偷精品 | 72种无遮挡啪啪的姿势 | 啪啪动态图 | 午夜福利电影 | 欧亚乱熟女一区二区在线 | 金瓶3d三a级做爰 | 欧美日韩免费 | 欧美视频| 欧美自拍偷拍 | 狠狠操狠狠操 | 国产一级大片 | 尤物在线 | 麻豆免费版| 女人做爰猛烈叫床视频 | 国产你懂的 | 中国黄色一级片 | 欧美第一页 | 日本69少妇 | 天天干天天插 | 爽交换快高h中文字幕 | 亚色图 | 久久精品一区 | 日韩av在线免费观看 | 欧美日韩三级 | 91九色porny国产 | 尤物视频在线观看 | 国产一卡二卡 | 成人自拍视频 | 亚洲视频一区 | 久久久免费 | 日韩在线中文字幕 | 青青在线| 欧美成人免费 | 亚洲黄色片 | 91天堂| 双腿张开被9个男人调教 | www欧美 | 欧美一级片在线观看 | 日韩免费在线观看 | 国产精品96久久久久久 | 在线免费观看视频 | 国产精品一二 | 国产黄色av| 男女靠逼视频 | 韩国伦理片在线观看 | 波多野结衣毛片 | 亚洲综合激情五月久久 | 男人资源站 | 日本一区二区三区在线观看 | 国产一区二区三区视频 | 国产成人免费 | 亚洲在线 | 在线免费视频 | 国产黄色av| 自拍偷拍一区 | 亚洲免费在线视频 | 日韩无码电影 | 欧美一区二区三区视频 | 四虎视频| 亚洲成人av在线 | 黄色小软件 | 91视频在线看| 韩国伦理大全 | 中文字字幕一区二区三区四区五区 | 国产a级片 | 欧美aⅴ| 亚洲天堂色 | 天堂一区 | 日本不卡一区二区 | 手机av在线 | 免费h漫禁漫天天堂 | 日本一区二区在线 | 成人免费毛片入口 | 女人床技48动态图 | 综合激情网 | 奶波霸巨乳一二三区乳 | 无码精品人妻一区二区三区漫画 | 一级片在线播放 | 少妇又紧又色又爽又刺激视频 | 免费看a | 午夜av在线 | 福利在线观看 | 拍真实国产伦偷精品 | 99热最新| 双性少爷挨脔日常h惩罚h动漫 | 天天干天天操 | av色图| 青青草原在线视频 | 熟妇人妻中文字幕无码老熟妇 | 中文无码熟妇人妻av在线 | 国产精品久久久久久久久久久久 | 天天干天天干 | 亚洲精品一区二区三区四区高清 | 久久久国产精品 | 亚洲精品乱码久久久久 | 亚洲小说春色综合另类 | 久久一区 | 免费在线观看视频 | 不卡的av| 综合伊人| 久久精品在线观看 | 免费在线观看视频 | 中文字幕永久在线 | 成人精品 | 国产午夜视频 | 成人播放器| 成人超碰 | 在线观看中文字幕 | 骚虎视频在线观看 | 国产高清在线观看 | 欧美性猛交69 | 91视频官网| 国产精品免费看 | 男人天堂网站 | 色九九 | 天天操天天操天天操 | 国产精品乱码一区二区 | 黄网站在线观看 | 欧美做受 | 国产精品www | www久久久 | 亚洲成人一区二区 | 校草调教喷水沦为肉奴高h视频 | 成年人毛片 | 欧美日韩国产一区二区三区 | 一级a毛片 | 免费国产视频 | 日本一级做a爱片 | 91在线观看免费高清完整版在线观看 | 91在线观看免费高清完整版在线观看 | 天天摸天天操 | 亚洲精品国产精品国自产观看 | 黄色片视频 | 电影《色戒》hd未删减 | 波多野结衣网站 | av入口 | 91久久| 国产精品视频免费观看 | 欧美高清| 年轻善良的少妇 | 日本精品一区 | 搡bbb,搡bbbb,搡bbbb | 97超碰人人| 免费一区二区三区 | 日韩精品第一页 | 日日摸日日添日日碰9学生露脸 | 在线观看欧美日韩视频 | 精品无码人妻一区二区三区 | 国产一区二区三区免费播放 | 中国黄色一级片 | 黄色91| 欧美一级大片 | 奇米影视7777| 欧美肥婆猛交 | 免费av网站 | 国产精品一区二区在线 | 狂野欧美性猛交xxⅹ李丽珍 | 波多野结衣av电影 | 成人超碰| 人人妻人人澡人人爽人人dvd | 欧美一级片在线观看 | 韩国三级hd中文字幕的背景音乐 | 激情五月综合网 | 欧美极品欧美精品欧美图片 | 97在线观看视频 | 另类老妇性bbwbbw | 亚洲香蕉视频 | 午夜看片| 精品日韩 | 无码免费一区二区三区 | 欧美日韩一区二区三区 | 波多野结衣乳巨码无在线观看 | 无码视频在线观看 | 精品一区二区三区四区 | 久久精品电影 | 国产欧美日韩综合精品一区二区三区 | 中文字字幕一区二区三区四区五区 | 暴躁少女csgo高清免费观看 | 嫩草嫩草嫩草 | 日韩精品人妻中文字幕有码 | 综合激情网 | 色交视频| 99re在线 | 91视频在线观看 | 拍真实国产伦偷精品 | 久久亚洲视频 | 120分钟淫片免费看 国产主播在线观看 | 亚洲色图在线观看 | 无码精品一区二区三区在线 | 99免费视频 | 欧美 日本 国产 | 精品乱子伦一区二区三区 | 和两个小婕子做受hd | 久久久久久久 | 欧美国产一区二区 | 国产高清一区 | 免费三片在线观看网站v888 | 久久精品免费 | 尤物在线| 中文字字幕一区二区三区四区五区 | 强伦人妻一区二区三区 | 香蕉爱视频| 韩国《漂亮的女邻居3》 | 蜜臀99久久精品久久久久久软件 | 毛片无码一区二区三区a片视频 | 国产欧美一区二区精品性色超碰 | 中文字幕一区二区三区四区 | 亚洲天堂网站 | 99热精品在线| 日韩福利视频 | 色导航| 亲嘴激烈床视频大全床 | 亚洲天堂影院 | 日本理论片 | 午夜看片 | 国产99精品| 久久精品中文字幕 | 国产一区二区在线视频 | 大尺度叫床戏做爰视频 | 51成人做爰www免费看网站 | 午夜寻花 | 少妇搡bbbb搡bbb搡澳门 | 99re在线视频| 天天操天天操天天操 | www.午夜| 99热这里| 国产精品美女 | 人妻熟女一区二区三区 | 91在线观看18 | 国产精品久久久久久久久久久久 | 亚洲AV无码国产精品 | 午夜视频在线免费观看 | 亚洲精品久久久久中文字幕二区 | 中文字幕二区 | 免费av在线 | 日本二区 | 羞羞漫画在线观看 | 最新av在线| 18在线观看 | 91禁在线看| 欧美理论片 | 一区二区av | 精品视频在线观看 | 色欲狠狠躁天天躁无码中文字幕 | 九九色 | 免费av网站 | 99国产精品99久久久久久 | 香蕉国产| 成人三级视频 | 免费三片60分钟 | 男人天堂影院 | 欧美自拍偷拍 | 青青操在线视频 | 在线观看日韩 | 成人视频在线观看 | 日韩天堂| 猛烈顶弄h禁欲老师h春潮视频 | 操操操操操操 | 日韩欧美亚洲 | 欧美日韩精品在线 | 欧美日韩三级 | 少妇搡bbbb搡bbb搡澳门 | 91免费在线 | 久久久久久久久久久久久久久久久久久久 | 国产精品815.cc红桃 | 欧美三级网站 | 中文字幕免费观看 | 中文字幕乱码中文乱码b站 裸体丰满老女人hd 香蕉视频在线下载 | 蜜乳av红桃嫩久久 | 大尺度做爰呻吟舌吻情头 | 亚洲精品一区二区三区四区高清 | 高清乱码免费看污 | 日韩综合 | 久久午夜夜伦鲁鲁一区二区 | 国产18照片色桃 | 国精产品一区一区三区 | 五月婷婷色 | 人人妻人人澡人人爽久久av | 午夜少妇 | 免费看黄视频 | 国产高清在线观看 | 猛烈顶弄h禁欲老师h春潮视频 | 在线不卡av | 亚洲视频一区二区 | 久久av红桃一区二区小说 | 欧美一二三 | 黄色一级视频 | 好男人www | 日韩中出| 三级视频在线观看 | 日韩中出 | 另类老妇性bbwbbw | 国产黄色大片 | 国产日韩欧美 | 欧美性猛交 | 国产视频二区 | 青草视频在线 | 超碰免费在线观看 | 精品少妇人妻一区二区黑料社区 | 中文字幕在线免费观看 | 国产欧美一区二区 | 亚洲天堂色 | 久久av红桃一区二区小说 | 色欲狠狠躁天天躁无码中文字幕 | 亚洲不卡| 羞羞漫画在线 | 天堂中文在线资源 | 国产做受入口竹菊 | 99热这里 | 4438成人网 | 亚洲一区二区av | 国产无遮挡 | 精品人妻一区二区三区含羞草 | 日本精品一区二区 | av毛片| 91av视频| 玖玖视频 | 高清乱码毛片 | 91免费观看网站 | 成年人毛片 | 日韩av免费在线观看 | 豆花视频| 中国黄色一级片 | 每晚被弄嗷嗷叫高潮 | 日本一区二区在线 | 精品麻豆 | 成年人毛片 | 亚洲第一av| 一级片免费观看 | 中文字幕无码毛片免费看 | 国产精品乱码一区二区 | 久久露脸国语精品国产91 | 伦伦影院午夜理伦片 | 亚洲观看黄色网 | 波多野つ上司出差被中在线出 | 天天弄 | 久久精彩视频 | 国语对白做受69 | 亚洲精品视频在线 | 亚洲色图15p| 精品少妇人妻一区二区黑料社区 | 国产日韩欧美在线 | 中文字幕精品无码一区二区 | 国产伦精品一区二区三区妓女 | 中文字幕乱码中文乱码b站 裸体丰满老女人hd 香蕉视频在线下载 | 91久久| 国产三级在线播放 | 天天操天天插 | 亚洲AV无码国产精品 | 国产高清网站 | 日韩综合网 | 91久久久久 | 欧美肥老妇视频九色 | 成人伊人 | 黄色片免费观看 | 在线观看中文字幕 | 三级黄色片 | 国产精品视频网站 | 欧美伊人 | 久久久无码人妻精品无码 | 在线观看www | 久久久久久久久久久久久久 | 青草视频在线 | 国产熟妇与子伦hd | 黄色片免费看 | 国产精品美女 | av一区二区三区 | 日韩精品 | 欧美怡红院 | 超碰免费在线观看 | 久久久无码人妻精品无码 | 久久久精品| 一级免费视频 | 国产免费一区 | 亚洲一卡二卡 | 玖玖在线| 国产精品一品二区三区的使用体验 | 少妇高潮灌满白浆毛片免费看 | 人人妻人人澡人人爽久久av | 国产黄色电影 | 午夜免费福利视频 | 亚洲一二三 | 少妇又紧又色又爽又刺激视频 | 激情av| 国产精品色 | 中文字幕久久久 | 日日摸夜夜爽 | 日本免费视频 | 日韩av在线免费观看 | 粗长+灌满h双龙h男男室友猛 | 国产精品无码在线 | 好妞在线观看免费高清版电视剧 | 日本精品一区二区 | 国产三级电影 | 日韩av高清 | 91污视频| 成人网址在线观看 | 一区在线观看 | 肉丝到爽高潮痉挛视频 | 国产a区 | 羞羞漫画在线观看 | 尤物在线| 天天干夜夜操 | 日本在线观看 | 国产在线麻豆精品观看 | 日本特级片 | 青青草国产成人av片免费 | 国产一区二区在线播放 | 国产欧美日韩 | 日本精品视频 | 国产三级在线播放 | 三级网站 | 国内久久 | 亚洲美女视频 | 一区二区亚洲 | 国产一区二区三区在线 | 青春草视频 | 日本不卡在线 | 成全世界免费高清观看 | 91蜜桃婷婷狠狠久久综合9色 | 欧美视频一区二区三区 | 美国少妇在线观看免费 | 亚洲高清在线 | 麻豆精品视频 | 中文字幕精品无码一区二区 | 久久av红桃一区二区小说 | 被室友玩屁股(h)男男 | 丁香六月婷婷 | 亚洲精品久久久久久 | 国产全肉乱妇杂乱视频 | 久热精品视频 | 最新中文字幕在线观看 | 91网页版| a片在线免费观看 | 三级伦理片| 18深夜在线观看免费视频 | 男人天堂影院 | 欧美丰满少妇人妻精品 | 欧美日韩三级 | 狠狠操av| 成人精品 | 国产伦精品一区二区三区妓女 | 国产在线一区二区 | 90岁肥老奶奶毛毛外套 | 99成人| 精品人妻一区二区三区日产乱码 | 美女被爆操 | 9i免费看片黄 | 免费国产视频 | 91免费看片 | 国精产品一区一区三区有限公司杨 | 少妇视频 | 日韩欧美综合 | av高清 | 99热在线观看 | 日韩一区二区三区四区 | 国产主播在线观看 | 亚洲码无人客一区二区三区 | 久久久国产精品 | 91激情 | 欧美精产国品一二三区 | 日韩免费在线 | 男女做爰猛烈高潮描写 | 天堂va蜜桃一区二区三区 | 欧美午夜视频 | 免费av在线| 欧美一区二区三区在线观看 | 青娱乐极品盛宴 | 亚洲在线视频 | 色婷婷网 | 蜜桃av在线| 最近中文字幕 | 91小视频| 成人超碰| 三级视频在线观看 | a级黄色片 | 国产精品国产自产拍高清av | 在线观看成人 | 天天看天天爽 | 无码人妻精品一区二区三区温州 | 拍国产真实乱人偷精品 | 欧美视频一区二区 | 午夜一级| 女人床技48动态图 | 成人免费在线观看 | 午夜精品久久久久久久久久久久 | 日本三级电影 | 中文一区二区 | 免费在线观看视频 | 青青草视频在线观看 | 成人91| 八戒网剧在线看9高清国语 欧美日韩精品一区二区 | 亚洲第一色 | 青草网| 亚洲免费观看高清 | 黄色91 | 毛片无码一区二区三区a片视频 | 国产精品一二 | 日韩在线观看 | 淫话……粗话……脏话小说 | av电影在线观看 | 国产高清一区二区 | 校花喂我乳还玩我视频 | 91涩漫成人官网入口 | 亚洲精品乱码久久久久 | 成年人视频网站 | 美国毛片基地 | 日韩高清一区 | 国产精品乱码一区二区 | 日韩av免费在线观看 | 麻豆精品视频 | 久久久久久久久久久久久久久久久 | 五月天社区 | 国产免费无码一区二区 | 久久天堂网 | 午夜激情影院 | 日韩免费视频 | 欧美国产精品 | 青青草国产成人av片免费 | 亚洲无人区码一码二码三码的含义 | 露出调教羞耻91九色 | 欧美人妖老妇 | 亚洲影音| 亚洲小视频 | 波多野结衣av在线播放 | 97国产视频 | 国产精品一区二区三区四区 | 夜夜撸 | 暖暖爱免费观看高清在线遇见你 | 欧美日韩久久 | www.成人| 国产1区2区 | 国产一区二区三区免费播放 | 精品人妻一区二区三区日产乱码 | 中文字幕日韩人妻在线视频 | 国产中文 | 天天草天天干 | 在线观看欧美日韩视频 | 重囗另类bbwseⅹhd | 国产一区二| a级黄色片 | 亚洲欧美视频 | 日韩剧在线观看免费熊出没 | 午夜福利视频 | 亚洲国产精品视频 | 亚洲观看黄色网 | 亚洲美女视频 | 国产激情综合五月久久 | 九九热在线观看 | 特级毛片 | 午夜精品久久久久久久 | 天天干夜夜操 | 中文字幕免费高清 | 亚洲播播 | 免费看片网站91 | 成人网址在线观看 | 国产福利小视频 | 亚洲免费网站 | 在线观看免费大片 | 91樱花| 成人在线免费 | 嫩草一区二区三区 | 视频在线| 大桥未久在线 | 少妇被按摩师摸高潮了 | 欧美熟妇精品黑人巨大一二三区 | 亚洲色图在线观看 | 日韩精品电影 | 精品久久久久久久 | 大波大乳videos巨大 | 捆绑调教视频 | 波多野结衣久久 | 91国产精品 | 日本特级片 | 国产亚洲色婷婷久久99精品91 | 精品无码人妻一区二区三区 | 男人舔女人下面视频 | 国产精品久久久久久久久久 | 国产真实乱人偷精品视频 | 人妻一区二区三区 | 好大好紧好硬好硬口述 | 国产做受入口竹菊 | 色婷婷av | 黄色电影免费看 | 免费在线观看av | 9i看片成人免费看片 | 日韩免费在线视频 | 欧美大片在线看免费观看 | 国产精品无码久久久久 | 日韩视频一区二区 | 免费无遮挡 | 色婷婷网| 亚洲一级电影 | 骚虎视频在线观看 | 在线免费 | 美国少妇在线观看免费 | 欧美自拍偷拍 | 欧美a视频 | 黄色免费在线观看 | 日韩成人免费视频 | 欧美日韩精品一区二区 | 国产欧美日韩综合精品一区二区三区 | 国产精品乱码一区二区 | 亚洲精品一区二区三区在线观看 | 国产精品视频 | 特级黄色片| 手机av在线| 麻豆国产精品 | 草莓视频旧址www在线 | www.欧美 | 欧美激情视频一区二区三区不卡 | 成人无码视频 | 无人高清电影电视剧在线观看免费 | 日韩精品在线播放 | 少妇熟女视频一区二区三区 | 麻豆影视 | 亚洲色图图片 | 最新中文字幕在线观看 | 成人性生交大片免费卡看 | 日本不卡一区二区 | 欧美大片免费高清观看 | 久久久久久久久久久久久久久久久久久久 | 99人妻碰碰碰久久久久禁片 | 日韩在线一区二区三区 | 亚洲成人一区 | 日本理论片 | 香蕉视频在线看 | 波多野结衣一区二区 | 4438成人网 | 麻豆传媒在线 | 欧美性猛交69 | 高清乱码免费看污 | 中文字字幕一区二区三区四区五区 | 日韩激情| 国产精品一二 | 精品成人 | 99久久精品国产色欲 | gogo人体做爰大胆视频 | 欧美极品欧美精品欧美图片 | 亚洲黄色网址 | 成人免费在线观看 | 中国色老太hd | 黄色三级视频 | 国产激情在线 | 蜜桃传媒 | 熟女俱乐部一区二区视频在线 | a片在线免费观看 | 日本欧美久久久久免费播放网 | 日本久久久久 | 国产精品一区二区三区四区 | 拍国产真实乱人偷精品 | 肥老熟妇伦子伦456视频 | 久久久一区二区 | 国产精品一区二区在线观看 | 99精品久久毛片a片 国内老熟妇对白xxxxhd | av网站在线播放 | 国产精品久久久久久网站 | 国产高清网站 | 国产精品久久久久久久久 | 国产精品久久久久久 | 亚洲一区二区三区 | 日日摸夜夜爽 | 欧美性生交片4 | 日本理伦片午夜理伦片 | 成人精品| 狂野欧美性猛交xxⅹ李丽珍 | 国产成人在线观看免费网站 | 草莓视频www入口在线播放 | 久免费一级suv好看的国产 | 香蕉国产 | 强伦人妻一区二区三区 | 91精品国自产在线观看 | 爱的色放在线 | 亚洲视频一区二区 | 亚洲成人一区二区 | 国产九色91回来了 | 欧美大片18 | 美女91 | 寂寞的少妇的诱惑 | 国产乡下妇女做爰 | 老司机av| 欧美视频在线播放 | 伦伦影院午夜理伦片 | 国产麻豆剧传媒精品国产av | 午夜精品一区二区三区在线视频 | 黄色片免费 | 免费网站观看www在线观 | 日本高清一区 | 欧美视频一区二区 | 精品一二三区 | 日本黄色录像 | 俄罗斯av | 一区二区视频 | 青青草视频在线观看 | 五月激情综合网 | 嫩草嫩草嫩草 | 草草浮力影院 | 强伦轩人妻一区二区电影 | 日韩中文字幕无砖 | 欧美性生活视频 | 日韩电影一区 | 国产日韩欧美在线 | 99国产精品99久久久久久 | 麻豆传媒在线 | 日批视频 | 和两个小婕子做受hd | 国产精品久久久久久 | 国产1区2区 | 亚洲视频在线观看 | www.蜜桃| 亚洲精品一区二区三区蜜桃久 | 无码人妻一区二区三区免费n鬼沢 | 欧美日韩三级 | 天天操天天操 | 日韩高清在线观看 | 国产一级一片免费播放放a 成人免费看 | 狠狠干狠狠操 | 四虎影成人精品a片 | 国产欧美日韩综合精品一区二区三区 | 欧美激情一区 | 久久亚洲视频 | 成人看片泡妞 | 亚洲精品在线视频 | 国产一级一片免费播放放a 成人免费看 | 波多野结衣毛片 | 在线免费 | 在厨房拨开内裤进入毛片 | 欧美一级大片 | 大尺度做爰呻吟舌吻情头 | 国产做受麻豆动漫 | 少妇高潮灌满白浆毛片免费看 | 99久久精品国产毛片 | 久久夜色精品国产欧美乱极品 | 蜜桃一区二区三区 | 肥老熟妇伦子伦456视频 | 被室友玩屁股(h)男男 | 三上悠亚在线播放 | 91玉足脚交嫩脚丫在线播放 | 97超碰人人 | 精品无码人妻一区二区三区 | 人人妻人人澡人人爽人人dvd | 自拍偷拍av | 欧美性生活视频 | 中文字幕永久在线 | 亚洲精品一区二区三区蜜桃久 | 国产精品高潮呻吟 | 日韩免费在线观看 | 美女一区| 国产精品一区在线观看 | 无码人妻精品一区二区三区不卡 | 国产三级午夜理伦三级 | 91玉足脚交嫩脚丫在线播放 | 91玉足脚交嫩脚丫在线播放 | 尤物在线 | 国产精品三级 | 欧美老熟妇乱大交xxxxx | 亚洲无码一区二区三区 | 欧美日韩中文 | 韩国三级电影在线观看 | 青青草原在线视频 | 欧美日韩久久 | 91欧美| 国产一区二区三区 | 日本在线 | 光明影院手机版在线观看免费 | 日本不卡视频 | 小婷的性泛滥日记h | 久久免费精品视频 | 久久久影院 | 国产超碰在线 | 天堂va蜜桃一区二区三区 | 西西人体www大胆高清 | 日韩黄色网址 | 日本在线免费观看 | 91精品国产综合久久久久久 | 久久av红桃一区二区小说 | 亚洲免费网站 | 中文字幕码精品视频网站 | 美女久久久 | 青娱乐91 | 黄色女女 | 精品免费国产一区二区三区四区 | 日日视频 | 日日爽| 暖暖爱免费观看高清在线遇见你 | 久草网站 | 成人自拍视频 | 国产高清av | 久久久久久久久久久久久久久久久 | 韩国《漂亮的女邻居3》 | 91久久精品日日躁夜夜躁国产 | 麻豆视频在线观看 | 青青av| 午夜理伦三级理论 | 超碰在线 | 999久久久| 国产一区二区不卡 | 国内老熟妇对白xxxxhd | 国产精品入口麻豆九色 | 成人免费在线观看 | 国产精品815.cc红桃 | 日韩av电影在线观看 | 麻豆精品久久久久久久99蜜桃 | 体内精视频xxxxx | 99国产精品99久久久久久 | 美女被草| 波多野つ上司出差被中在线出 | 国产精品一二 | 无码人妻精品一区二区三区温州 | 日韩精品第一页 | 国产小视频在线观看 | 午夜18视频在线观看 | 久久久一区二区 | 国产在线一区二区三区 | 美女毛片 | 亚洲熟女一区二区三区 | 黄色三级视频 | 日本黄色片 | 少妇又紧又色又爽又刺激视频 | 欧美日韩三级 | 激情一区二区 | 国产裸体美女永久免费无遮挡 | 伦理《禁忌11》 | 色婷婷久久 | 精品无码在线观看 | 国产超碰在线 | 国产18照片色桃 | 午夜免费福利视频 | www.av在线| 被c到喷水嗯h厨房交换视频 | 日本一区二区在线 | 日韩av高清 | 男人操女人逼 | 日韩视频一区二区 | 成人做爰69片免费观看 | 久久影视 | 久久神马| 亚洲精品成人 | 麻豆网址| 黄色三级视频 | 亚洲福利 | 青青草国产 | 久久精品| 亚洲在线| 国产精品一区二区在线观看 | 精品免费视频 | 麻豆视频在线播放 | 国产a视频 | 日韩性生活 | 日韩剧在线观看免费熊出没 | 日韩不卡 | 18在线观看| 国产精品一品二区三区的使用体验 | 亚洲无人区码一码二码三码的含义 | 一级免费视频 | 嫩草视频在线观看 | 和亲女洗澡时伦了h雯雯 | 国产精品色 | 亚洲一区在线播放 | 久久久国产精品 | 成人av免费 | 99re在线视频| 日韩成人在线视频 | 国产久久精品 | 91视频入口 | 无码免费一区二区三区 | 欧美熟妇精品黑人巨大一二三区 | 日本一道本| 成人在线免费观看视频 | 淫话……粗话……脏话小说 | 国产a久久麻豆入口 | 亚洲精品综合 | 国产视频二区 | 日韩成人在线视频 | 久久久久亚洲av成人无码电影 | 国产精品免费看 | 国产精品揄拍一区二区 | 一区二区三区电影 | 日韩福利视频 | 麻豆乱淫一区二区三区 | 狠狠影院 | 亚洲精品影院 | 日韩三级在线观看 | 日韩免费在线 | 亚洲播播 | 亚洲色图欧美 | 黄色小说视频 | 午夜精品久久久久久久久久久久 | 97精品视频 | 亚洲精品999| 亚洲精品免费视频 | 120分钟淫片免费看 国产主播在线观看 | 调教小荡货h办公室打屁股视频 | 久久久天堂国产精品女人 | 麻豆国产精品 | 禁欲总裁被揉裆呻吟故事动漫 | 在线视频在线观看 | 国产精品不卡 | 中国女人真人一级毛片 | 免费av网站 | 男女激情网站 | 久免费一级suv好看的国产 | 波多野结衣一区二区三区 | 韩国伦理大全 | 久久国产电影 | 精品免费视频 | 中文字幕码精品视频网站 | 亚洲在线| 亚洲无人区码一码二码三码的含义 | 久久影视| 国产精品96久久久久久 | 青青草国产 | 中文字幕第二页 | 日韩精品在线视频 | 黄色网址在线播放 | 久久夜色精品国产欧美乱极品 | 最新中文字幕 | 扒开伸进免费视频 | 99人妻碰碰碰久久久久禁片 | 久久精品在线观看 | 熊出没之古宅探宝 | 国产成人在线观看免费网站 | 给我免费观看片在线电影的 | 少妇熟女视频一区二区三区 | 午夜日韩 | 这里只有精品视频 | 无码国产精品一区二区免费式直播 | 一区二区三区av | 亚洲最大成人网站 | 色视频在线观看 | 成人性生交大片免费卡看 | 亚洲国产精品视频 | 亚洲天堂影院 | 日韩一区二区视频 | 日韩中出 | 精品人妻少妇嫩草av无码专区 | 国产suv精品一区二区6 | 精品一区二区三区三区 | 天堂va蜜桃一区二区三区 | 黄色免费在线观看 | 在厨房拨开内裤进入毛片 | 国产电影一区二区三区 | 久久精品电影 | 一区二区三区在线播放 | 羞羞漫画在线 | 黄色小视频在线观看 | 久免费一级suv好看的国产 | 久久精品一区二区 | 国产精品久久久久久久 | 国产电影一区二区三区 | 日韩精品久久久 | 日韩在线电影 | 91美女视频 | 欧美在线播放 | 欧美激情在线 | 日韩中文字幕 | 狠狠干狠狠爱 | 亚洲午夜久久久久久久久久久 | 国产一区二区三区 | 国产熟妇另类久久久久 | 欧美精品久久 | 大尺度叫床戏做爰视频 | 男女激情网站 | 日本黄色小视频 | 午夜精品久久久久久久99黑人 | 成人av影视 | 麻豆视频在线观看 | 久久久久久久久久久久久久久久久久久久 | 成人自拍视频 | 精品一二三 | 韩国禁欲系高级感电影 | 欧美激情一区二区三区 | 亚洲中文字幕在线观看 | 午夜视频福利 | 男女av | 青青草国产| 欧美精品在线播放 | 两性囗交做爰视频 | 亚洲一区二区在线 | gogo人体做爰大胆视频 | 亚洲黄色大片 | 精品乱子伦一区二区三区 | 亚洲精品电影 | 毛片无码一区二区三区a片视频 | 日韩免费av | 六十路息与子猛烈交尾 | 男欢女爱久石 | 欧美理论片| 苍井空无码| 久久精品影视 | 免费三片在线观看网站v888 | 一级片免费观看 | 日本中文字幕在线 | 国产黄色一级片 | 无码视频在线观看 | 日本黄网 | 国产精品一二三 | 三级伦理片 | 少妇一区二区三区 | 免费视频一区二区 | 国产精品入口麻豆九色 | 中国女人真人一级毛片 | 麻豆视频在线播放 | 久久久国产精品 | 国内自拍偷拍 | 青娱乐av | 18网站| 熟妇人妻中文字幕无码老熟妇 | 亚洲一区二区在线 | 成人视频在线观看 | 亚洲精品一区二区三区四区高清 | 亚洲AV无码国产精品 | 精品无码一区二区三区 | 日韩三级在线观看 | 中国黄色大片 | 国产视频网| 日本久久精品 | 日韩在线电影 | 和漂亮老师做爰4 | 国产高清在线观看 | 日韩精品人妻中文字幕有码 | 国产精品无码在线 | 欧美又粗又大aaa片 欧美一区二区三区在线 | 一区二区三区在线观看视频 | 重囗另类bbwseⅹhd | 午夜精品久久久久久久 | 日韩视频在线播放 | 国产一级18片视频 | www久久| 91蜜桃| 波多野结衣一区二区三区 | 校草调教喷水沦为肉奴高h视频 | 久久亚洲视频 | 伦理《法国护士长》观看 | 日韩高清国产一区在线 | 精品交短篇合集 | 91在线视频| 靠逼网站 | 日韩免费在线视频 | 国产探花在线观看 | 国产一区二区不卡 | 久久久免费| 蜜臀99久久精品久久久久久软件 | 亚洲小说春色综合另类 | 亚洲色图15p| 日本一区二区三区在线观看 | 免费看裸体网站视频 | 日韩视频在线免费观看 | 欧美在线一区二区 | 国产精品96久久久久久 | 久久精品网 | 91亚洲精品国偷拍自产在线观看 | 打屁股sp惩罚调教视频 | 精品九九| 中文在线字幕免费观看 | 亚洲精品一区二区 | 大尺度做爰呻吟舌吻情头 | 蜜桃av一区二区三区 | 9i免费看片黄 | 免费h漫禁漫天天堂 | 欧美一级片 | 亚洲免费观看 | 免费av网站 | 久久午夜夜伦鲁鲁一区二区 | 福利视频网站 | 日本不卡一区二区 | 重囗另类bbwseⅹhd | 久久久网 | 男人天堂网站 | 美女91| 999精品视频| 久久久国产视频 | 精品视频一区二区三区 | 国产你懂的 | www国产| 麻豆av在线 | 亚洲精品一区二区三 | 光明影院手机版在线观看免费 | 欧美日韩国产在线观看 | 污视频在线免费观看 | 国产精品无码一区二区三区免费 | 国产精品久久久久久久久 | 国产a级片| 国产高清自拍 | 男人天堂 | 国产免费一区二区 | 国产裸体美女永久免费无遮挡 | 国产精品一级片 | 99re在线 | 亚洲视频在线免费观看 | 天天操天天插 | 精品一二三区 | 丁香六月婷婷 | 日本在线观看 | 黄色激情网站 | 强开乳罩摸双乳吃奶羞羞www | 体内精视频xxxxx | 国产精品无码久久久久 | 日韩成人片 | 亚洲香蕉视频 | 五月激情综合网 | 日韩一区二区三区在线观看 | 91视频免费看 | 69天堂| 91小视频| 一区二区三区视频 | 日韩欧美综合 | av一级片| 奇米影视7777 | 日日摸夜夜爽 | 桃色视频 | 一区二区免费 | 亚洲男人天堂网 | 拍国产真实乱人偷精品 | 免费成人av | 人妻夜夜爽天天爽三区麻豆av网站 | 人人妻人人澡人人爽 | 国产欧美日韩综合精品一区二区三区 | 一区在线观看 | 超级碰碰碰| 草莓视频旧址www在线 | 欧美精产国品一二三区 | 91免费在线视频 | 被c到喷水嗯h厨房交换视频 | 少妇特黄a一区二区三区 | 日韩一级视频 | 中文天堂 | 日本不卡一区二区 | 手机看片你懂的 | 国产精品一二三 | 120分钟淫片免费看 国产主播在线观看 | 国产高清在线 | 国产在线拍揄自揄拍无码视频 | 超碰免费在线 | 禁欲总裁被揉裆呻吟故事动漫 | 欧美熟妇精品黑人巨大一二三区 | 日韩av免费看 | 国产激情在线 | 国精产品一区二区三区 | 一区二区视频 | 在线观看欧美日韩视频 | 蜜臀99久久精品久久久久久软件 | 中文字幕精品无码一区二区 | 亲嘴激烈床视频大全床 | 欧美大逼| 成人免费视频网站 | 免费在线观看视频 | 日韩理论片 | 99re在线视频| 日韩剧在线观看免费熊出没 | 久久久久国产一区二区三区 | 午夜免费| 三妻四妾免费观看完整版 | 天天操天天操 | 暴躁少女csgo高清免费观看 | 黄色一级电影 | 爱爱动态图 | 小婷的性泛滥日记h | 波多野结衣av无码 | 黄色免费在线观看 | 黄色在线 | 午夜视频 | 精品在线播放 | 日韩欧美在线观看 | 欧美大片免费高清观看 | 久久久久久久久久久久久久久久久久久 | 黄色三级视频 | 色欲狠狠躁天天躁无码中文字幕 | 91在线观看免费高清完整版在线观看 | 大波大乳videos巨大 | 午夜影院在线观看 | 蜜臀av在线| 超碰超碰| 日本理伦片午夜理伦片 | 国产一区二区不卡 | 强开乳罩摸双乳吃奶羞羞www | 日批视频 | 国产裸体美女永久免费无遮挡 | 国产在线一区二区三区 | 无码人妻精品一区二区三区不卡 | 欧美大片免费高清观看 | 欧美做受高潮1 | 精品视频一区二区 | 国产精品视频 | 亚洲在线视频 | 国产suv精品一区二区6 | 成人a毛片 | 日韩欧美在线播放 | 亚洲一级黄色片 | 麻豆视频在线播放 | 9i看片成人免费看片 | 重囗另类bbwseⅹhd | 猛男狂小受受视频 | 亚洲欧美综合 | 日韩在线观看 | 四虎av| 黄色三级网站 | 国产高清一区二区 | 欧美性生交片4 | 日本精品久久 | 亚洲欧美国产精品专区久久 | 欧美乱码精品一区二区三区 | 日韩一区二区三区四区 | 青青在线视频 | 亚洲免费观看高清完整版在线观看 | 国产片 | 久久久国产精品 | 草莓视频旧址www在线 | 婷婷伊人 | 欧美精品在线视频 | 无码人妻精品一区二区三区不卡 | 久久久一区二区 | 日本免费网站 | 男人天堂网站 | 亚洲成人一区二区 | 黄色三级电影 | 欧美性生活 | 欧美精品久久久久 | 黄色网炮| 久久免费精品视频 | 91樱花 | 综合伊人 | 丝袜脚交免费网站xx | 日本三级片在线观看 | 欧美激情网站 | 欧美视频在线观看 | 亚洲一级片 | 精品少妇 | 福利视频一区二区 | 国产又粗又长 | 午夜福利视频 | 成人av免费 | 在线观看91 | 国产三级视频 | 一级性爱视频 | 一区二区三区视频在线观看 | 国产激情综合五月久久 | 亚洲一二三| 天堂va蜜桃一区二区三区 | 欧美成人免费 | 麻豆一区二区 | 午夜免费 | 亚洲视频一区二区 | 麻豆传媒网站 | 欧美精品一区二区三区蜜臀 | 不卡的av| 蜜臀99久久精品久久久久久软件 | 欧亚乱熟女一区二区在线 | 中文字幕观看 | 亚洲欧美va天堂人熟伦 | 亚洲色图偷拍 | 成人18视频免费69 | 性生活大片 | 91日韩| 欧美激情一区 | 插曲30分钟高清免费观看 | 精品乱子伦一区二区三区 | 无人高清电影电视剧在线观看免费 | 日韩中文字幕 | 另类性姿势bbwbbw | 日本精品在线 | 久热精品视频 | 日本不卡一区二区 | 影音先锋在线视频 | 亚洲成人av在线 | 久久国产电影 | 欧洲一级片 | 免费成人av | 午夜精品久久久久久久99黑人 | 久久久久久国产 | 亚洲免费网站 | 亚洲综合激情五月久久 | 少妇高潮灌满白浆毛片免费看 | 国产激情视频 | 嗯~啊~快点死我男男91 | www四虎| 欧美一级大片 | 男女爱爱动态图 | 校草调教喷水沦为肉奴高h视频 | 亚洲熟女一区二区三区 | 72种无遮挡啪啪的姿势 | 青青草视频在线观看 | 强h被cao哭高h打桩机崩溃 | 亚洲欧美国产精品专区久久 | 欧美日韩国产精品 | 激情一区二区 | 大尺度做爰呻吟舌吻情头 | 天天插天天干 | 福利视频一区 | 成人午夜影院 | 捆绑调教视频 | 国产精品一区在线观看 | 国产三级网站 | 九九热精品视频 | 香蕉视频网站 | 亚洲天堂网站 | 日韩一区二区视频 | 每晚被弄嗷嗷叫高潮 | 亚洲男人天堂 | 亚洲精品久久久久久 | 激情视频网站 | 丰满少妇在线观看网站 | 91麻豆精品 | 双性少爷挨脔日常h惩罚h动漫 | 欧美伊人 | 国精产品一二三区精华液 | 亚洲精品一区二区三区蜜桃久 | 山外人精品影院 | 日本一区二区三区在线观看 | 国产精品久久久久久久久久 | 天天躁日日躁狠狠很躁 | 波多野结衣乳巨码无在线观看 | 国产精品久久久 | 亚洲午夜精品久久久久久人妖 | 日韩成人精品 | 艳妇乳肉豪妇荡乳av无码福利 | 欧美一级在线观看 | 91网页版| 亚洲成人一区二区 | 国产伦精品一区二区三区妓女 | www.桃色av嫩草.com | 欧美爱爱视频 | 高清免费视频日本 | 秋霞成人| 夜夜撸| 欧美一区二区三区在线观看 | 91视频免费 | 国产一区二区三区免费播放 | 欧美黄色小说 | 国产欧美日韩在线 | av手机在线观看 | 久久精品99久久久久久久久 | 亚洲免费观看高清完整版在线观看 | 奶波霸巨乳一二三区乳 | 中文字幕电影 | 日本一区二区三区在线观看 | 无码国产精品一区二区免费式直播 | 欧美第一页 | 欧美一级在线 | 91禁看片| 亚洲国产成人精品女人久久久 | 远古野人粗壮h灌满3p | 欧美高清 | 91视频免费在线观看 | 华丽的外出在线 | 中文字幕永久在线 | 久久不卡 | 久久久久国产 | 亚洲视频一区二区 | 好大好紧好硬好硬口述 | 调教小荡货h办公室打屁股视频 | 中文字幕观看 | 日本孕妇孕交 | 国产免费看 | 福利在线观看 | 欧美日韩精品在线 | 成人av免费 | 91国产精品| 免费看裸体视频 | 一区二区视频在线观看 | 欧美午夜精品 | 中文字幕免费视频 | 日韩欧美精品 | 欧美日韩精品 | 欧美在线一区二区 | 欧美不卡视频 | 精品一区二区视频 | 尤物视频在线观看 | 91在线| 久久久久久av | 日韩精品在线播放 | 日韩精品第一页 | 日日夜夜精品 | 99精品久久毛片a片 国内老熟妇对白xxxxhd | 久久久久久久 | 草莓视频www入口在线播放 | 潘金莲一级淫片aaaaaa播放 | 超碰在线免费 | 精品无码人妻一区二区三区 | 亚洲欧美在线观看 | 五月天婷婷丁香 | 高跟91白丝| 天堂中文在线资源 | 亚洲欧美国产精品专区久久 | 午夜视频在线 | 一本色道久久加勒比精品 | 国产在线观看免费 | 国产精品揄拍一区二区 | 草莓视频在线 | 给我免费观看片在线电影的 | 国产精品美女 | 熟妇人妻中文字幕无码老熟妇 | 欧美性猛交69 | 91嫩草欧美久久久九九九 | 成人黄色小视频 | 九九av| 黄色大片免费看 | 在线你懂的| 91高清视频 | 日本一级一片免费视频 | 欧美亚洲 | 亚洲视频在线免费观看 | 国产做受高潮动漫 | 日本黄网| 亚洲在线 | 扒下女教师的内衣 | 校花喂我乳还玩我视频 | 国产在线观看免费 | 91美女视频| 拨开岳两片肥嫩的肉视频 | 久久久国产视频 | 美女一级片 | 精品人妻少妇嫩草av无码专区 | 欧美大片在线看免费观看 | 亚洲视频在线播放 | 宁荣荣被挤奶羞羞网站 | 亚洲视频一区 | 五月天社区 | 亚洲不卡| 波多野结衣在线电影 | 国产精品亚洲一区二区 | 天天操夜夜操 | 国产又粗又长 | 娇妻被老王脔到高潮失禁视频 | 黄色av免费| 无人高清电影电视剧在线观看免费 | 久久久999 | 欧美丰满少妇人妻精品 | 日本三级电影 | 久久视频在线观看 | 在线观看免费 | 高清一区二区 | 69视频在线观看 | 91导航 | 特级丰满少妇一级aaaa爱毛片 | 黑人一级片| 三上悠亚在线播放 | 国产精品815.cc红桃 | 国产一级视频 | 强开乳罩摸双乳吃奶羞羞www | 黄色av免费 | 国产a久久麻豆入口 | 日韩中出| 奇米影视7777 | 调教小荡货h办公室打屁股视频 | 天天干天天干 | 中文字幕电影 | av免费播放 | 国产一区二区不卡 | 免费看黄视频 | 蜜桃av在线| 亚洲精品一区二区 | 日本欧美久久久久免费播放网 | 欧美伊人| 超碰免费在线观看 | 亚洲国产精品视频 | 亚洲第一网站 | 毛片大全 | 国产一区二区视频在线观看 | 波多野结衣毛片 | 51成人做爰www免费看网站 | 91视频免费看 | 精品在线播放 | 99久久精品国产毛片 | 国产福利在线观看 | 欧美做受高潮1 | 爱操av| 精品九九 | 人妻夜夜爽天天爽三区麻豆av网站 | 波多野结衣毛片 | 黄网在线 | 日日夜夜精品视频 | 色欲狠狠躁天天躁无码中文字幕 | 久久精品电影 | 欧洲一级片 | 午夜精品久久久久久久 | 免费观看av | 在线国产视频 | 成人免费在线视频 | 国产肥老妇视频 | 亚洲成人av在线 | 日韩av电影在线观看 | 图书馆的女朋友 | 九九热在线视频 | 黑人一级片 | 成人激情视频 | www久久久| 日本理伦片午夜理伦片 | 黄色一区二区三区 | 日本久久久久 | 午夜精品久久久 | 爱情交叉点 | 麻豆精品久久久久久久99蜜桃 | 日韩激情| 波多野つ上司出差被中在线出 | 香蕉视频在线播放 | 国产成人免费视频 | 搡老岳熟女国产熟妇 | 亚洲精品一区二区三区四区高清 | 成人激情视频 | 精品人妻一区二区三区日产乱码 | 亚洲a级片| 四虎影库 | 国产精品无码AV | 久久久久国产一区二区三区 | 天天躁日日躁狠狠很躁 | 不卡的av| 国产美女在线观看 | 西西人体www大胆高清 | 巨骚综合| 日韩无码电影 | 亚洲无码一区二区三区 | 成人动漫在线观看 | 免费精品视频 | 高清国产mv在线观看 | 精品在线播放 | h片在线观看 | 在线观看av网站 | 毛片无码一区二区三区a片视频 | 国产亚洲精品码 | 亚洲色图欧美 | 91禁在线看 | 亚洲精品久久久久中文字幕二区 | 中文字幕在线播放 | av一区二区三区 | 久久国产精品网站 | 18深夜在线观看免费视频 | 搡老岳熟女国产熟妇 | 欧洲一区二区 | 亚洲一区二区视频 | 午夜国产| 午夜看片 | 中文字幕免费视频 | 福利视频一区二区 | 校草调教喷水沦为肉奴高h视频 | 国产福利视频 | 亚洲精品乱码久久久久 | 韩国伦理在线 | 中文字幕免费视频 | 午夜久久久| 成人18视频免费69 | 日韩黄色大片 | av免费在线播放 | 激情一区二区 | 黄瓜视频在线观看 | 天堂中文网| 日韩高清在线观看 | 国产熟妇另类久久久久 | 亚洲播播 | 操操操操操操 | 玖玖精品| 欧美在线播放 | 女人做爰猛烈叫床视频 | 亚洲高清在线 | 黄色一级大片 | 日韩黄色网址 | 日韩精品在线视频 | 欧美视频在线播放 | 韩国伦理片在线观看 | 国产精品视频 | 草莓视频色 | 男女爱爱动态图 | 91视频入口 | 淫话……粗话……脏话小说 | 92看片 | 欧美熟妇精品黑人巨大一二三区 | 91超碰在线| 韩国禁欲系高级感电影 | 日本在线免费观看 | 日本爱爱视频 | 91麻豆视频 | 女人天堂网 | 日韩欧美在线视频 | 在线观看欧美日韩视频 | 日韩av电影在线观看 | 爱爱免费视频 | 男女做爰猛烈高潮描写 | 日韩精品视频在线 | 羞羞漫画在线 | 先锋av资源 | 久草免费在线视频 | 伊人在线 | 亚洲精品一二三区 | 五月天社区| 亚洲精品一区二区三区蜜桃久 | 特级西西人体444www高清大胆 | 亚洲色吧| 乖…忍一下我就进一点视频 | 爽交换快高h中文字幕 | 啪啪动态图 | 国产你懂的 | 美女靠逼视频 | 国产精品高潮呻吟 | 国产亚洲精品码 | 成人性生交大片免费卡看 | 日韩高清av| 夜夜操天天干 | 黑人精品xxx一区一二区 | 欧美又粗又大aaa片 欧美一区二区三区在线 | 亚洲一区二区三区 | 中国黄色大片 | 在线观看国产 | 国产片| 成人免费视频网站 | 日本精品在线 | 91蜜桃婷婷狠狠久久综合9色 | 91视频入口 | 中文字幕码精品视频网站 | 国精产品一区二区三区 | 亚洲激情图片 | 高清乱码毛片 | 97国产精品 | 国产一区二区视频在线观看 | 午夜视频| 强开乳罩摸双乳吃奶羞羞www | 伊人久久综合 | 国产熟妇另类久久久久 | 娇妻被老王脔到高潮失禁视频 | 拍国产真实乱人偷精品 | www.超碰| 九九免费视频 | 扒下女教师的内衣 | 亚洲欧洲av| 久久机热| 波多野结衣久久 | 国产成人av | 麻豆传媒国产 | 国产成人在线视频 | 久久草视频 | 麻豆网址| 国产精品免费看 | 91免费在线视频 | 日本特级片| 伦理《法国护士长》观看 | 91涩漫成人官网入口 | 亚洲免费观看高清完整版在线观看 | 一本色道久久加勒比精品 | 青青在线视频 | 国产欧美日韩综合精品一区二区三区 | 韩国禁欲系高级感电影 | 17c在线 | 18网站| 国产精品久久久久久久久 | 欧美一区二区三区在线观看 | 日韩精品无码一区二区 | 国产激情自拍 | 日韩国产在线 | 露出调教羞耻91九色 | 久久黄色网 | 久久久久国产精品 | 亚洲天堂网站 | 羞羞漫画在线观看 | 久久精品中文字幕 | 阿姨免费高清在线电视剧观看 | 日本一道本 | 这里有精品 | 美女极品粉嫩美鲍35p | 欧美视频在线观看 | 日韩激情 | 亚洲午夜视频 | 欧美国产一区二区 | 九九免费视频 | 黄色小说视频 | 精品一区二区三区三区 | 日本精品视频 | 91免费在线| 九九热九九 | 超碰免费在线 | 女人高潮叫床骚话污话 | 无码精品一区二区三区在线 | 在线观看日韩 | 韩国伦理片在线观看 | 亚洲精品乱码久久久久 | 国产裸体美女永久免费无遮挡 | 青娱乐av| 亚洲午夜精品久久久久久人妖 | 在线看片 | 在线成人av | 成人免费看片 | 在线观看av网站 | 夜夜艹 | 欧美成人免费 | 五月婷婷丁香 | 中文字幕在线播放 | 欧美精产国品一二三区 | 欧美日韩精品一区二区 | 欧美老熟妇乱大交xxxxx | 国产拗女 | 91精品一区 | 在厨房拨开内裤进入毛片 | 在线国产视频 | 丰满少妇在线观看网站 | 亚洲精品电影 | 四虎精品 | 搡老岳熟女国产熟妇 | 日韩欧美综合 | 色综合久久天天综合网 | 亚洲欧美视频 | 91视频免费在线观看 | 乖乖女的野男人们np | 亚洲精品区 | 亚洲一区二区三区在线 | 草莓视频黄色 | av毛片 | 苍井空无码 | 免费看欧美片 | 手机看片你懂的 | 女m被s玩胸虐乳哭着求饶 | 欧美国产精品 | 手机在线观看av | 91成人在线观看国产 | 91av在线播放 | 午夜影院在线观看 | 乌克兰毛片 |