天下美男一般黑有效的人工智能监管需要关键利益相关者做好跨学科的组织和协作,才能确保人工智能在临床的顺利启用。应通过有效的监管架构建立标准化的启用时间表和评估、初始启用和监测人工智能应用的流程,每个阶段都设有关卡或检查点。
人工智能技术的快速发展,要求我们不断适应随之而来的挑战。一项对于欧洲放射学会(ESR)成员中的放射科医生应用人工智能临床经验的调查中,人工智能算法的应用场景主要包括辅助诊断、图像后处理和工作流程优先级排序。75.7%的使用基于人工智能算法进行辅助诊断的放射科医生认为算法结果总体可靠;但有意向获取人工智能工具的只占总调查人数的13.3%。人工智能在临床实践中的应用仍有许多问题需要解决。在临床实践中启用人工智能时,需要建立新的工作流程、监管架构和管理流程,来评估、使用和监测人工智能算法。人工智能监管面临的最大挑战可能是需要平衡敏捷性和稳定性,以确保系统适应性强且性能鲁棒,从而确保临床质量和患者安全,实现新兴技术的广阔用途。本文将从临床应用人工智能的要素、监管架构和管理流程、应用建议、长期监测和维护及未来方向等方面进行阐释。
临床影像学人工智能项目的顺利启用需要四个要素:1)数据存取和数据安全:构建一个数据安全的环境,保护患者信息完整且脱敏;2)跨模态:在一个位点实现对电子病历(EMR)、医学影像、基因组学和生理监测数据的存取;3)临床交付:通过临床决策支持平台,将新发现引入临床护理实践;以及4)数据科学:为临床研究人员提供数据科学的培训和工具,以便更好地利用这些数据。随着人工智能应用日趋复杂化,需要构建一个完善的基础设施来保障算法的实施。基础设施需要纳入临床数据,并应与AI解决方案相结合(图1)。
影像学人工智能监管组织的职责是定义目标、优先级、策略和范围;建立运作框架,并与组织使命、价值观、愿景和战略联系起来。人工智能监管架构制定相应机制,决定应该在本地部署哪些人工智能工具/解决方案,以及如何最佳分配机构和/或部门资源,以支持在临床启用最有价值和最具影响力的人工智能工具,从而改善患者临床获益。监管组织应建立流程来对基于人工智能的解决方案进行客观评分和评估。
本文为人工智能在临床中的启用所需的基础设施构建出一个框架,并提出管理路线)谁来决定、使用哪些人工智能算法?2)评估启用人工智能算法时应考虑哪些因素?3)在临床实践中应如何使用人工智能?4)临床使用后应如何对人工智能模型进行长期监测和维护?执行这4步路线图,可以监督临床人工智能的启用(图2)。
当用户确定临床需求,可以选定一款能够解决该需求的人工智能解决方案,并向监管组织申请使用。监管组织应根据一套标准流程对该需求进行评估,评估包括以下几个维度:本地性能指标和易用性、疗效的证据基础、技术准备情况、患者安全价值、临床护理质量或成本效率,以及具体的临床价值。每个评估维度都设定从0~15或0~30的具体的评分标准,根据最后得分来决定是否通过这项申请(图3)。
举例而言,下表分别列出了2种算法——骨龄评估算法和新冠肺炎死亡率预测算法依据上述规则获得的评分。算法1在性能和易用性、科学证据等方面得分很高,得以在临床应用,而算法2未能通过评估。除能保证应用人工智能的各项指标符合临床标准之外,这种评估管理流程还有一个好处:随着人工智能应用数量的增长,评估管理将为临床机构提供“记忆”,以免临床在重复申请其他人工智能工具解决类似临床问题。
一旦算法被监管组织批准,相应对接人应与供应商或内部开发人员合作进行鲁棒性和集成测试,理想情况下分别进行分阶段的“影子”和试点部署(图4)。在“影子”部署模式中,临床数据被实时提供给算法,收集结果以评估算法的性能和安全性,但生成的结果不会提供给临床用户,对临床决策没有影响。在这个阶段,算法将在临床使用前进行测试和完善。在试点部署中,选定的临床用户先在部分临床实践中对模型进行测试,并在全面临床部署前进行反馈。分阶段部署后,对预先选择的指标进行审核,以确定是否要全面使用AI算法,或仍需进一步评估、或审核不通过。每款AI工具的初始部署模式都会根据风险和环境而有所不同。在没有临床医生输入的情况下选择病历报告的分类算法可能需要进行大量的影子测试。如果有良好的回顾性性能验证数据,需要人工审核批准其输出的测量算法可以在试点模式中使用。以提高效率为主要功能的AI算法通常可以在模拟环境中进行测试,以评估其对临床工作流程的影响。
放射科往往更重视AI的应用,但其维护和监测长期看来可能同样重要,应在部署和启用之前就做好相应准备工作,以确保患者安全。在各种环境下,监测人工智能应用都比较困难,并需要投入大量资源。而临床影像学领域缺乏既定标准和最佳实践,使得监测格外具有挑战性。无论机构和医院设有怎样的监管架构,一旦在临床上引入人工智能,就应在临床启用前建立评估标准,并持续监测产品改进。例如,质量团队可以监测人工智能算法和影像科医生所出具报告间的差异。这种形式的质量控制和监测可以降低预测漂移、特征漂移和输入数据错误的风险,并有助于尽早发现问题。监测到的差异也可以供放射科医生学习和了解差异(无论是人工产生还是人工智能的缺陷所导致的)相关的信息。
有效的人工智能监管需要关键利益相关者做好跨学科的组织和协作,才能确保人工智能在临床的顺利启用。应通过有效的监管架构建立标准化的启用时间表和评估、初始启用和监测人工智能应用的流程,每个阶段都设有关卡或检查点。鲁棒的监测计划和持续的学习程序可检测到人工智能性能下降,并进行早期干预。无论是怎样的监管架构,在评价即将启用的人工智能工具时,应考虑资源的公平分配,还必须考虑能力和效率。人工智能监管组织应在追求创新与确保临床启用质量和安全间取得平衡。
随着更多的人工智能算法被考虑用于临床,制定适用于每款人工智能工具生命周期的标准策略就极有必要。建立一套支持各种场景的工具,将使得人工智能在临床的应用效率更高、协作衔接更流畅。监管组织应建立风险分层流程,并确定启用和监测的适宜途径。本文提出的监管流程可能需要机构层面的财务和资源投资,但这项投资对于确保人工智能在临床中的高质量和安全应用至关重要。
从成立之初,放射学始终引领技术革命。重大变革会带来挑战,但转变对这个学科并不陌生,我们总能适应。人工智能的出现标志着放射学历史上又一个分水岭时刻。得当的监管和管理架构将使放射学科能够适应并拥抱这一变化,即使成熟的人工智能工具可能需要数年才能常规进入临床实践。人工智能临床启用需要一定的基础设施和投资,而且迫在眉睫的变化将带来许多挑战,尤其是不确定性和恐惧,但这种转变终将利于放射学的发展,并为我们带来引领人工智能促进医学实践的机会。
刘雨奇,阅影科技合伙人,CCI四期学员,CCI执委。关注心血管及影像领域,参与多个基础科研项目和临床研究试验,包括数据库设计,成果转化,媒体宣传等。负责市场运营脉影CT-FFR的注册临床研究和全心室的影像建模仿真模拟等。
|