欧盟《人工智能法》风险监管体系概览
2025-02-07 10:52:59 | 来源:人民法院报 | 作者:李倩倩
 

  人工智能系统带来的风险问题需要法律予以回应和规制,2024年8月1日正式生效的欧盟《人工智能法》将“风险”定义为“损害发生的可能性和损害严重程度的结合”。根据该定义,《人工智能法》将人工智能系统风险分为不可接受风险、高风险、有限风险和最小风险四个等级,并分别采取针对性监管方式。同时,该法明确了人工智能系统监管主体的职责与监管对象的义务,从而形成了全方位、多层次的人工智能风险监管体系,为全球人工智能法的制定提供了重要参考,有助于推动人工智能健康有序发展。

  区分风险等级与监管方式

  不可接受风险:绝对禁止

  不可接受风险等级的人工智能系统是指对人的健康、安全和基本权利构成明显威胁的人工智能系统,可分为以下两类:个体方面,包括介入个人潜意识、用于社会评价、实施大规模监控和跟踪的人工智能系统;社会方面,包括利用或扭曲弱势群体行为,具有种族、性别或宗教偏见,用于非法活动的人工智能系统和具有不可预测性和高度危险性的自主武器系统。此外,任何被欧盟相关机构认定为具有不可接受风险的人工智能系统也包括在内。

  针对不可接受风险等级的人工智能系统,《人工智能法》采取绝对禁止的态度,禁止在欧盟境内使用、禁止将其投放市场和投入服务。因为这类人工智能系统对人的健康、安全和基本权利具有明显威胁。个体意义上,这类系统通过操控个人的潜意识、分析个人数据和监控个人行为等方式,影响个人的自主决策、侵犯个人隐私权;社会意义上,这类系统在设计之初或应用之时会涉及群体偏见、不可预测的危险等问题,从而导致社会不平等,对社会公共安全造成威胁。

  高风险:严格监管

  高风险等级的人工智能系统是指对人的健康、安全和基本权利产生较高威胁的人工智能系统,包括以下两种类型:第一,在欧盟统一立法清单的范围内,作为产品或产品安全部件的人工智能系统。机械、玩具、电梯及其安全组件、缆道、医疗器械等都属于该类。这些人工智能系统在投放市场或使用之前必须接受第三方评估。第二,规定在《人工智能法》附件3中特定领域的人工智能系统,涉及生物识别、关键基础设施、教育、就业、公共服务、执法、移民和司法八大关键领域。在认定人工智能系统是否属于高风险时,不仅要进行形式审查,还要进行实质审查。即使某人工智能系统属于上述第二点范围内,但若其不会对自然人的健康、安全或基本权利造成较高威胁,则不被视为高风险。

  针对高风险等级的人工智能系统,《人工智能法》采取了严格的监管措施,进行持续性监测与评估,贯穿高风险等级的人工智能系统从开发到运行的全过程。首先,《人工智能法》规定,在高风险等级的人工智能系统设计和开发前,应建立风险管理系统,并对人工智能系统进行符合性评估。通过风险管理系统和符合性评估,识别、分析高风险等级的人工智能系统在应用时可能面临的风险,进而采取针对性的风险管理措施。其次,高风险等级的人工智能系统在投入使用时,应保持足够的透明度,并达到准确稳健的网络安全水平,从而保证其具有可理解性与安全性。最后,在高风险等级的人工智能系统投放市场后,监测系统对其进行定期记录与分析。

  有限风险:透明度规制

  有限风险等级的人工智能系统是指对人的健康、安全和基本权利产生较低威胁的人工智能系统,主要包括与自然人存在互动的人工智能系统,可以生成图像、音频、视频等内容的人工智能系统,情感识别系统和生物特征分类系统四种类型。

  针对有限风险等级的人工智能系统,《人工智能法》主要通过透明度规则来进行约束。第一,提供者需要确保自然人知道其正在与人工智能进行互动;第二,提供者应确保技术方案的有效性、互操作性、稳健性和可靠性;第三,在情感识别系统和生物特征分类系统的应用中,部署者应告知自然人与之接触的人工智能系统的运行情况。

  最小风险:自愿遵守

  最小风险等级的人工智能系统是指对人的健康、安全和基本权利不构成威胁的人工智能系统。这类系统通常应用于简单的智能生活辅助领域,如语音助手、智能推荐等。

  针对最小风险等级的人工智能系统,《人工智能法》不对其作义务方面的规定。不过,该法第95条提出,鼓励有限风险等级和最小风险等级人工智能系统的提供者自愿遵守针对高风险等级的人工智能系统的规定,欧盟委员会和成员国可以针对自愿遵守的相关事项制定行为准则。

  明确风险监管主体与对象

  人工智能系统可能引发的风险涉及社会生活的多个领域,《人工智能法》规定了人工智能系统的监管主体和监管对象,明确各方的责任与义务,建立起以风险管控为基础的监管体系。

  监管主体

  《人工智能法》规定,人工智能系统的监管主体在欧盟层面包括欧盟委员会和人工智能委员会,在成员国层面包括通报机构、符合性评定机构、市场监管机构、司法机关和认证机构。

  欧盟委员会和人工智能委员会作为欧盟人工智能系统的监管主体,首先,有权确定人工智能系统是否具有风险,发布并更新具有系统性风险的通用人工智能模型清单。其次,有权对存在系统性风险的通用人工智能模型的提供者采取具有约束力的措施以降低风险。再次,可以按照法定程序制定、修改和废除高风险等级的人工智能系统的分类规则。最后,协调符合评价标准的高风险等级的人工智能系统机构之间的合作,支持机构间的相互交流。

  各成员国的通报机构、符合性评定机构、市场监管机构、司法机关和认证机构在各自职权范围内对不同风险等级的人工智能系统进行监督、管理和评估,贯穿人工智能系统运行的全过程。以高风险等级的人工智能系统为例,在对其提供者颁发证书前,如果认为该系统可能存在不可接受的风险,符合性评定机构有权要求提供者提供相应信息并采取纠正措施。市场监管机构有权完整访问提供者用于开发高风险等级的人工智能系统的文件,在有充足理由认为该系统不符合《人工智能法》的要求时,有权要求运营方采取措施使之符合要求、撤回或限期召回系统。在公众场所为实现执法目的而使用“实时”远程生物识别系统时,应事先征得成员国司法机关的授权。此外,在对人工智能系统进行风险性评估时,若市场监管机构认为有关人工智能系统的使用不限于本国领土范围内,或风险等级的评估有偏差,应尽快将评估结果通知欧盟委员会和其他成员国。《人工智能法》还规定各成员国应指定或建立至少一个通报机构,负责评估和监督符合性评定机构对人工智能系统的测试、认证和检验工作。各成员国的认证机构负责向符合性评定机构颁发认证证书,以证明符合性评定机构的组织和运作符合要求。

  监管对象

  在《人工智能法》中,运营者是提供者、部署者、进口商和分销商的总称。其中,提供者和部署者是开发或使用人工智能系统的自然人、法人、公共机关、机构或其他组织,进口商和分销商是投放或提供人工智能系统的自然人或法人。因此,可以将运营者分为两种类型:一类是开发、使用人工智能系统的提供者和部署者;另一类是投放和提供人工智能系统的进口商和分销商。

  提供者和部署者。提供者是人工智能系统的最终责任主体,应当遵守不同风险等级下《人工智能法》所列举的各项义务,确保人工智能系统可能引发的风险在可控范围内。提供者认为已开发或使用的人工智能系统不符合《人工智能法》的规定时,应及时采取纠正措施并通知该人工智能系统的分销商,视情况通知部署者与进口商。部署者需要对人工智能系统在实际投入市场前、使用过程中进行监督和评估,同样应承担不同风险等级下《人工智能法》所列举的各项义务。

  进口商和分销商。进口商和分销商是指位于欧盟或设立在欧盟的自然人或法人。进口商和分销商主要在市场上投放和提供带有第三国自然人或法人商标的人工智能系统,需要履行《人工智能法》规定的相关义务,主要涉及进口合规性声明、分销合规性声明等。当进口商和分销商有充分理由认为其投放和提供的人工智能系统不符合《人工智能法》规定时,进口商应及时通知提供者和市场监管机构,分销商应及时通知提供者、进口商和市场监管机构,以降低人工智能系统构成的风险。

  (作者单位:中南财经政法大学法学院)

责任编辑:张婧