一、FDA人工智能应用治理规则的适用范围及主要内容

该指南为申办方和其他相关方提供了有关在药品全生命周期内使用AI生成信息或数据的规范建议。涉及的信息或数据主要包括用于支持对药品安全性、有效性或质量进行判断和决策的内容。需要注意的是，该指南的适用范围不涉及人工智能模型在两方面的使用：一是药物发现；二是用于提高运营效率（例如，内部工作流程、资源分配、起草/撰写监管提交材料）且不影响患者安全、药物质量或非临床或临床研究结果可靠性的情况。

指南最核心的内容是引入了一个“基于风险的可信度评估框架”，旨在帮助申办方和其他相关方对AI应用过程进行有计划的信息采集、记录保存、数据和模型管理，以便在人工智能模型用于生成旨在支持监管决策的相关信息或数据时，有能力确定人工智能模型输出的可信度水平。

二、AI治理规则的效力

FDA的此项指南并不具有强制性的效力。监管部门期望相关方能够参照该指引建立适合自身业务情况和风险水平的AI治理规范和流程。指南的相关内容具有参照意义，但FDA鼓励申办方和其他相关方尽早与监管部门开展沟通，以便双方能够就AI治理规范的内容、范围和具体措施达成共识。

此外，指南还介绍了根据应用场景和具体的开发计划，就人工智能模型使用的相关问题与FDA进行沟通的不同方案，例如请求正式会议，或者非正式沟通的方式，包括联系临床试验创新中心（Center for Clinical Trial Innovation, C3TI）、复杂创新试验设计会议计划（Complex Innovative Trial Design Meeting Program, CID）、药物开发工具（Drug Development Tools, DDTs）和创新科学与技术方法（Innovative Science and Technology Approaches for New Drugs, ISTAND）、数字健康技术计划（Digital Health Technologies Program, DHTs）、新兴药物安全技术计划（Emerging Drug Safety Technology Program, EDSTP）、CDER的新兴技术计划（CDER’s Emerging Technology Program, ETP）和CBER的先进技术团队（CBER’s Technologies Team, CATT）、模型知情药物开发配对会议计划（Model-Informed Drug Development Paired Meeting Program, MIDD）、真实世界证据计划（Real-World Evidence Program, RWE）等FDA下的机构或研究计划协调部门。

尽管FDA在指南中并未明确要求申办方与FDA进行接触的时间，但鉴于可信度评估框架（详见图一）的指南期待FDA将根据模型风险和应用场景就人工智能模型风险评估（第3步）以及可信度评估计划的充分性（第4步）与申办方互动反馈，申办方应尽早与FDA进行接触沟通。

三、基于风险的可信度评估框架

指南的核心组成部分是一个基于风险的可信度评估框架。该框架指导申办方判断AI模型是否足够可靠，并能够适用于其特定的应用场景（Context of use）。

总体而言，该框架要求申办方首先明确AI关注的目标问题，然后确定AI模型输出结果是作为主要决定因素，还是与其他证据一起作用。在计算整体风险后，申办方需要制定一份详细计划，内容包括数据管理、训练方法、性能目标和应对潜在偏差的技术。评估框架执行的结果将汇总成可信度评估报告，描述预期结果与实际结果之间的任何差异。最终，申办方将决定AI模型是否符合拟定用途的可接受标准；如果不符合，可能需要改进或增加模型可信度水平，然后才能继续进行申请或实施。

图一  AI可信度评估框架

（一）步骤1：明确目标问题（Question of Interest）

目标问题描述应包括解释和说明申办方应用人工智能模型所期望处理的具体问题、决策事项或关注点。FDA的指南提供了两个例子。

• 例一（临床开发）：药物A与严重不良反应相关。之前，所有受试者都在用药后接受了住院监测，但有些受试者发生不良反应的风险较低。现在，申报者通过人工智能模型，依据风险对受试者进行分级，低风险的受试者将在用药后送回家接受门诊监测。在此示例中，目标问题即为：“哪些受试者可以被认为是低风险，不需要住院监测？”
   

• 例二（商业化生产）：药物B是一种非肠道注射剂，以多剂量小瓶分装，容量是其关键质量属性。药物制造商拟使用人工智能视觉分析系统，自动评估小瓶的填充水平，以提高剂量检测效能并识别可能的误差情况。在此示例中，目标问题即为：“小瓶药物B是否符合规定的填充量规格？”

为建立对目标问题的评估和反馈机制，可能会使用多种数据和信息，包括人工智能模型生成的结果。在第2步描述人工智能模型的使用范围时，应明确这些不同的证据来源，并在第3步评估模型影响时予以说明。

（二）步骤2：确定人工智能模型的应用场景

即确定人工智能模型用于解决所关注目标问题的具体作用和范围。

对应用场景的描述应详细说明将对目标问题的哪些组成部分进行建模以及如何使用模型输出结果。还应说明是否会将其他信息（如动物或临床研究的结果）与模型输出结果结合使用以解决关注的目标问题。

（三）步骤3：评估人工智能模型风险

模型风险指人工智能模型输出可能导致错误决策，从而造成不利结果的可能性，而不是模型固有的风险（如遭受网络攻击的风险）。

指南建议从模型影响力（model influence）和决策不良后果的严重程度（decision consequence）两个维度对模型风险进行评估。模型影响力主要指AI模型应用对于解决问题的贡献程度。例如，在FDA提供的有关药品临床试验例子中，将使用AI模型决定受试者接受不同类型的患者监测方法，如果AI模型是该问题的唯一决策因素，则模型影响力的评估维度就应给予高分。

决策后果主要关注问题的错误决策所导致不良结果的严重性。例如，在同样的例子里，如果将需要住院监测的受试者归入门诊监测类别，那么该受试者可能会在得不到适当治疗的情况下出现潜在危及生命的不良反应，因此该情景下，AI应用的决策后果的评估维度也应该给予高分。

对模型风险的评估是判断采取不同程度模型风险管理措施的前提。指南的预期是相关方能够通过有效的评估，建立适当的风险管理措施；并在需要的情况下，能够向监管部门举证证明相应的风险评估的科学性，以及其采取风险管理措施与风险评估结果匹配的程度。例如，对于高风险模型，FDA将预期申办方和相关利益方能够采取更为严格的成效标准（performance acceptance criteria），并向监管部门提交更为详细的报告。

（四）步骤4：制定可信度评估方案，确立AI模型在应用场景下的可信度

对于申办方和相关方而言，核心的AI治理合规工作是建立一套AI模型可信度评估体系，并能够充分有效评估AI模型输出结果的可信度。指南讨论了该体系建设涉及的一般考虑因素和评估活动的组成要素，但也明确这些建议并非穷尽式列举，有些内容可能并不适用于所有人工智能模型及其应用场景。

FDA提示，是否向FDA提交这些计划，以及何时提交、向谁提交的问题将依赖于申办方与监管部门沟通的情况，也要考虑AI模型和应用场景的具体情况。FDA强烈建议申办方和相关利益方能够尽早与监管部门沟通讨论AI模型的风险情况、基于模型风险的可信度评估活动的适当性。提前进行的监管沟通应至少包括步骤1-3覆盖的目标问题、应用场景和模型风险以及拟开展的评估计划。

模型描述和开发过程的要求详见表一，模型评估过程的具体要求详见表二。

表一  AI模型描述要求和开发过程要求

表二  模型评估要求

（五）步骤5：执行

指南建议申办方在执行前与FDA讨论该可信度评估计划，以便根据模型风险和应用场景确定对评估的合理预期，识别潜在挑战以及如何应对这些挑战。

（六）步骤6：记录可信度评估方案的执行结果并讨论与预期的偏离

可信度评估的结果应纳入可信度评估报告，并应描述与可信度评估计划预期的任何偏离情况。

在与FDA进行早期沟通期间，申办方应与FDA讨论是否、何时以及在何处向该局提交可信度评估报告。可信度评估报告可以是（1）根据与监管部门沟通的方式而制作的一份自成一体的文件，作为监管呈件的一部分，或作为会议文件的一部分；或（2）在监管部门提出要求时（如在检查期间）提供给FDA。可信度评估报告的提交应与FDA进行事先讨论。

（七）步骤7：确定人工智能模型在应用场景中的适当性

根据可信度评估，模型可能适合也可能不适合特定的应用场景。如果申办方或FDA认定模型的可信度不足，可能会有几种结果：

1. 可将其他类型的证据与人工智能模型的证据结合起来，降低模型的影响力因素，来回答目标问题；
    
2. 可提高可信度评估活动的强度，或通过增加额外的开发数据来增强模型的输出；
    
3. 可建立适当的控制措施以降低风险；
    
4. 可改变建模方法；或
    
5. 认定人工智能模型输出的可信度不足，无法满足应用场景的要求；因此，模型的应用场景将被拒绝或被修改。

四、对医药行业AI治理工作的几点建议

FDA的指南尚在征求意见阶段，但根据目前各国AI治理立法和规则发展的趋势看，该指南的核心内容估计不会有很大的变化，其对数据和模型的管理要求与欧盟、日本等司法管辖区的要求或建议基本一致。不确定性可能存在于不同国家层面AI产业政策立法方面的趋势分歧以及美国新一届政府对行业监管部门的态度变化。中国医药行业已经开展AI应用实践或计划使用AI工具的，应重视新的监管要求可能对药品开发所需时间和成本的影响，提前做好规划和布局，重点可以做好以下几个方面的工作：

1. 系统梳理评估已有和即将开发应用的AI模型，开展模型风险评估，确定适当的AI治理方法。FDA等监管部门强调“基于风险”的治理理念，对于风险较低或者可以采取其他方法降低风险的模型，可以考量采取更为简单的AI治理方法，平衡好监管合规成本与经济效益的关系。
    
2. 做好AI开发和应用数据的规划和管理。从开发的阶段开始，就要做好原始数据采集和来源的规范化管理，对数据特性、潜在问题及其对模型搭建和测试的影响进行全面充分的评估，形成规范的管理流程，记录总结相关问题和解决方案，做到能够形成对模型效果和评估进行验证、解释和追溯的机制。
    
3. 密切跟踪监管政策动态，提前做好监管报送工作的准备。在向FDA开展相关申报工作流程方面，应根据数据和模型治理的要求，提前做好工作流程和文档准备工作的优化，及时将数据、模型的治理要求嵌入业务和管理工作中，提高监管合规的工作水平和效率。对于涉及跨境申报的中国企业，需要特别注意申报中可能涉及的数据出境合规的问题，及时评估并与境内监管部门做好沟通工作。
    
4. 保持内部有效沟通。从合规的角度，医药行业要能够在内部业务部门、AI开发和应用的相关部门和法律合规部门形成有效协作，在技术、管理、法律和合规等层面，保持高效的互动；涉及外部AI开发商的，更要注重合作的方式和沟通效率，努力推动相关合规要求的落地。
    
5. 持续保持与监管部门的沟通。FDA的指南在多处强调申办方与其进行及时沟通的重要性。对数据和模型的治理要求，由于技术性很高，而且应用场景各异，很难有一个方法可以有效解决所有问题的方案。在和监管部门的沟通中，应及时发现问题，及时协调，努力达成与监管部门对问题和解决方案的一致意见。

注释：

[1] https://www.fda.gov/regulatory-information/search-fda-guidance-documents/considerations-use-artificial-intelligence-support-regulatory-decision-making-drug-and-biological