文章目录
- 前言
- 三、《关于禁止的人工智能实践指南》
-
- [1. 整体适用](#1. 整体适用)
- [2. 禁止的人工智能系统具体介绍](#2. 禁止的人工智能系统具体介绍)
- [3. 处罚](#3. 处罚)
前言
《人工智能法案》采取了风险分级管理的监管思路，将人工智能系统分为禁止的人工智能系统、高风险人工智能系统、有限风险人工智能系统和最小风险人工智能系统四个级别，分别施以不同的监管要求（具体监管要求详见欧盟《人工智能法案》对中国企业出海的影响一文）。其中，禁止的人工智能系统因对基本权利及欧盟价值观构成不可接受风险而被禁止[35]，相关规定已于2025年2月2日起开始实施。
《人工智能法案》规定，欧盟委员会应制定关于禁止的人工智能实践的实施指南[37]。2025年2月4日，欧盟委员会正式发布《关于禁止的人工智能实践指南》（Guidelines on Prohibited Artificial Intelligence Practices，以下简称"Prohibited AI Guidelines"），旨在进一步解释《人工智能法案》第5条关于禁止的人工智能系统的相关规定[38]。该指南不具有法律约束力，对禁止的人工智能实践的最终解释权仍归欧盟法院（CJEU）。指南所载示例仅具指导性，《人工智能法案》第5条的适用需充分考虑具体情形，并遵循个案评估原则[39]。
三、《关于禁止的人工智能实践指南》
1. 整体适用
（1）禁止的人工智能系统总览
《关于禁止的人工智能实践指南》在《人工智能法案》第5条的基础上，细化列举了八类禁止的人工智能系统，包括：
（1）有害操纵和欺骗类（Harmful manipulation, and Deception）；
（2）对脆弱性的有害利用类（Harmful Exploitation of
Vulnerabilities）；
（3）社会评分类（Social Scoring）；
（4）个人刑事犯罪风险评估和预测类（Individual Criminal Offence Risk Assessment and Prediction）；
（5）非定向抓取构建人脸数据库类（Untargeted Scraping to Develop Facial Recognition Databases）；
（6）情绪识别（Emotion Recognition）；
（7）生物特征分类（Biometric Categorisation）；
（8）实时远程生物识别类（Real-time Remote Biometric Identification）[40]。
（2）排除适用的情形
《人工智能法案》第2条规定了若干排除适用《人工智能法案》的情形。《关于禁止的人工智能实践指南》对该等排除适用情形进行了细化[41]，包括：
1）国家安全、国防和军事目的
《人工智能法案》在任何情况下均不影响成员国在国家安全事务上的权限。如果人工智能系统是专门用于军事、国防或国家安全目的而投放市场、投入使用的，则其不在《人工智能法案》的适用范围内[42]。
2）与第三国进行司法和执法合作
对于第三国的公共机构或国际组织在与欧盟或某个成员国进行执法和司法合作的过程中使用的人工智能系统，若该等人工智能系统能够为个人基本权利和自由提供足够保障，则该人工智能系统不属于《人工智能法案》的适用范围[43]。
3）研发活动
《人工智能法案》不适用于人工智能系统或模型在投放市场或投入服务之前的任何研究、测试或开发活动，亦不适用于专为科学研究和发展目的而开发和投入服务的人工智能系统或模型[44]。
4）个人非专业活动
《人工智能法案》中针对部署者的义务不适用于个人在纯粹个人非专业活动中使用人工智能系统的情形。个人定期获取经济利益或从事专业、商业、贸易、职业或自由职业的活动，均应视为专业活动，因此不适用该项排除情形。该排除情形亦不适用于犯罪行为，因其不属于纯粹个人活动范畴[45]。
5）开源许可下发布的人工智能系统
开源许可下的人工智能系统通常不受《人工智能法案》约束，但若该等系统构成禁止的人工智能系统，则不能适用此排除适用条款[46]。
2. 禁止的人工智能系统具体介绍
（1）有害操纵和欺骗类及对脆弱性的有害利用类
1）含义及目的
被禁止的有害操纵和欺骗类人工智能系统，是指部署超出个人意识范畴的潜意识技术或故意采用操纵性或欺骗性技术的人工智能系统，其目的或效果在于扭曲行为，导致或可能合理导致重大伤害[47]；
对脆弱性的有害利用类系统，是指利用因年龄、残疾或特定社会经济处境导致的脆弱性的人工智能系统，其目的或效果在于扭曲行为，导致或可能合理导致重大伤害[48]；
禁止上述两类人工智能系统，目的在于保护个人及弱势群体免受人工智能的操纵和利用行为所造成的重大伤害（包括但不限于对个人自主权、决策能力和自由选择权的伤害）[49]。
2）主要构成要件
有害操纵和欺骗类与对脆弱性的有害利用类人工智能系统的构成要件较为类似，两者的构成要件一与构成要件四一致，仅在构成要件二和构成要件三上有差异[50]：
构成要件一： 人工智能系统被"投放市场"、"投入服务"或"使用"；
"投放市场"是指首次在欧盟市场提供人工智能系统供使用，提供是指在商业活动中为在欧盟市场销售或使用而供应系统，无论是否收取费用，也无论通过何种方式供应系统[51]；
"投入服务"指向部署者首次提供人工智能系统供其使用，或在欧盟境内用于自身预定目的，包括向第三方首次提供使用的情形，也涵盖内部开发及部署行为[52]；
"使用"应做广义理解，涵盖系统投放市场或投入服务后生命周期内任何时点的使用或部署行为，也包括将人工智能系统整合至使用者的服务流程中（包括作为更复杂系统、流程及基础设施组成部分的情形）[53]；
构成要件二： 有害操纵和欺骗类人工智能系统必须使用超出个人意识范畴的潜意识技术或故意采用操纵性或欺骗性技术；对脆弱性的有害利用类系统必须利用因年龄、残疾或社会经济状况产生的脆弱性[54]；
构成要件三： 人工智能系统所采用的技术应以实质性地扭曲个人或群体行为为目的或产生此类效果。此外，有害操纵和欺骗类系统额外要求这种影响必须显著削弱个人或群体的知情决策能力，导致其作出原本不会作出的决定，对脆弱性的有害利用类系统则不需包括"显著削弱知情决策能力"这一要求[55]；以及
构成要件四： 被扭曲的行为必须导致或可能合理导致对该个人、其他人或群体的重大伤害。同时，所采用的技术对行为的实质性影响与已造成或可能合理造成的重大损害之间需存在合理因果关系[56]。
3）排除范围
根据《人工智能法》第5条第(1)款第(a)项和第(b)项的规定，要适用这些禁止性规定，必须满足相关条款中列出的所有条件，所有不符合这些条件的其他人工智能系统均不在这些禁止性规定的适用范围之内，以下是一些具体例子[57]：
a）采取合法说服技术的人工智能系统
采取合法说服技术的人工智能系统以透明的方式开展并尊重个人的自主权，其涉及以一种既能诉诸理性又能触动情感的方式呈现论点或信息，同时解释人工智能系统的目标和运作方式，提供相关且准确的信息以确保决策的明智性，并支持个人对信息进行评估并做出自由且自主的选择[58]。
b）不太可能造成重大伤害的操纵性、欺骗性及利用性人工智能系统
有害操纵和欺骗类系统以及对脆弱性的有害利用类系统禁止适用的核心前提是：人工智能系统的操纵及脆弱性剥削行为必须导致或可能合理导致重大损害。原则上，所有不具备显著危害可能性的操纵性、欺骗性及剥削性人工智能应用均不在此禁止范畴内，但不影响其他适用的欧盟法律的效力。
（2）社会评分类
1）含义和目标
被禁止的社会评分类人工智能系统是指基于社会行为或个人或个性特征对个人或群体进行评价或分类的人工智能系统，当数据来源于不相关社会情境或该等处理方式与社会行为不相称或不合理时，该等社会评分将导致对个人或群体的有害或不利待遇[59]。
实施社会评分的人工智能系统可能导致对特定个体和群体的歧视性、不公正对待，包括被排斥于社会之外，以及实施有违欧盟价值观的社会控制与监控行为。禁止社会评分类人工智能系统旨在保护人格尊严及其他基本权利（包括但不限于不受歧视的权利、平等权、数据保护权等）[60]。
2）主要构成要件
a）人工智能系统被"投放市场"、"投入服务"或"使用"；
b）该人工智能系统必须旨在或用于在一定时期内对个人或群体基于以下要素进行评估或分类：
其社会行为；或
已知、推断或预测的个人或个性特征；以及
c）人工智能系统辅助生成的社会评分必须在以下一种或多种情形中导致或可能导致对个人或群体的有害或不利待遇：
在与数据最初生成或收集场景无关的社会情境中；
处理方式与其社会行为或其严重程度不相称或不合理，处理方式与社会评分之间需有因果关系[61]。
需要注意的是，无论社会评分类人工智能系统由公共机构还是私人实体提供或使用，只要符合以上构成要件，都是被禁止的。[62]
3）排除范围
以下情形不属于被禁止的社会评分场景：
a）针对法律实体的社会评分，该等评分不基于个人的社会行为或个人或个性特征；
b）用户对服务质量的个人评分；
c）根据欧盟和成员国法律，为特定目的对自然人进行的合法评估实践，例如信用评分、风险评分、保险核保、提升服务质量和效率、优化理赔流程、特定员工评估、欺诈防控和监测、执法，前提是使用该评分导致的任何有害或不利待遇均与社会行为严重程度相称并具有正当理由。[63]
（3）个人刑事犯罪风险评估和预测类
1）含义和目标
被禁止的个人刑事犯罪风险评估和预测类系统是指仅通过个人画像或性格特征评估或预测个体犯罪风险的人工智能系统，但不包括基于与犯罪活动直接相关的客观且可验证的事实对人工评估提供支持的人工智能系统（该等系统属于高风险人工智能系统）[64]。
该等禁止的理由是，个人应根据其实际行为受到宣判，而非仅根据基于其个人画像或性格特征的人工智能预测行为受到宣判[65]。
2）主要构成要件
a）人工智能系统被"投放市场"、"投入服务"或"使用"；
b）人工智能系统必须进行风险评估，评估或预测个人实施刑事犯罪的风险；以及
c）风险评估或预测必须仅基于以下一项或两项做出：
对个人的画像；
对个人性格特征的评估。[66]
3）排除范围
以下情形不属于被禁止的个人刑事犯罪风险评估和预测类人工智能系统[67]：
a）基于地理位置、空间或场所的犯罪预测人工智能系统
基于地理位置、空间或场所的犯罪预测，其依据是犯罪发生地点或特定区域内的犯罪可能性。此类警务活动原则上不涉及对特定个体的评估，故不属于被禁止的范畴[68]。
b）基于与客观可验证的犯罪事实对人工评估提供支持的人工智能系统
当人工智能系统用于支持人工评估个人是否参与犯罪活动时（该评估本身已基于与犯罪活动直接相关的客观可验证事实而不仅基于对个人的画像和/或对个人性格特征的评估），该等系统不属于被禁止的范畴[69]。
c）用于法律实体犯罪预测与评估的人工智能系统
本条禁止仅适用于对于个人的刑事犯罪风险评估和预测，因此通常不适用于对公司、非政府组织等法律实体进行犯罪评估和预测的人工智能系统[70]。
d）用于个体行政违法行为预测的人工智能系统
本条禁止仅针对刑事犯罪预测，原则上不涵盖对个人基本权利和自由干预较少的行政违法行为的预测。
（4）非定向抓取构建人脸数据库类
1）含义和目标
被禁止的非定向抓取构建人脸数据库类系统，是指通过互联网或闭路电视（"CCTV"）录像非定向抓取人脸图像来创建或扩展人脸识别数据库的人工智能系统[71]。
从互联网和CCTV录像中非定向抓取人脸图像严重侵害个人隐私与数据保护权，并剥夺个人保持匿名的权利。该等行为会造成大规模监控的压迫感，并导致对隐私权等基本权利的严重侵犯，因此需禁止该类人工智能系统[72]。
2）主要构成要件
a）人工智能系统被"投放市场"、"投入服务"或"使用"；
b）人工智能系统的目的在于创建或扩充人脸识别数据库；
c）数据库填充手段是通过人工智能工具进行非定向抓取；以及
d）图像来源包括互联网或CCTV录像。[73]
3）排除范围
以下情形不适用于本条禁止：
a）对非面部图像的其他生物识别数据（如声音样本）的非定向抓取；
b）未使用人工智能系统的抓取行为；或
c）人脸数据库不用于识别个人（如用于人工智能模型训练或测试且不涉及身份识别的人脸数据库）。从互联网采集大量面部图像以构建生成虚构人物新图像的人工智能系统也不适用于本条禁止，因为该等系统不涉及识别真实的个人。[74]
（5）情绪识别类
1）含义和目标
被禁止的情绪识别类系统是指，在工作场所或教育机构进行情绪识别的人工智能系统，但出于医疗或安全目的的情况除外[75]。
目前情绪识别技术发展迅速，且在商业领域、娱乐产业、公共安全维护等多领域均有应用。但情绪识别技术的有效性与准确性常受质疑。情绪识别可能导致歧视性结果，并侵犯相关人员的权利与自由，特别是隐私权、人格尊严与思想自由权。这种风险在权力不对称的关系中尤为突出，例如职场与教育机构中的劳动者和学生往往处于弱势地位，因此需要禁止符合如下情形的情绪识别类人工智能系统。[76]
2）主要构成要件
a）人工智能系统被"投放市场"、"投入服务"或"使用"；
b）该人工智能系统用于基于生物识别信息推断（含识别，下同）情绪；
c）适用于工作场所或教育机构领域；以及
d）出于医疗或安全目的的人工智能系统不在此禁止之列。[77]
3）排除范围
以下情形不适用于本条禁止[78]：
a）非基于生物识别数据推断情绪和情感的人工智能系统；
b）推断疼痛、疲劳等生理状态的人工智能系统。
c）工作场所和教育机构之外其他领域；
d）为维护公共秩序与活动安全对群体行为进行监控管理的人群管控系统（Crowd Control），常见于大型集会如足球赛事、音乐会等或机场、车站等特定场所，该系统可在不推断个体情绪的情况下运作，例如分析场所整体声量或氛围水平；
e）用于医疗领域的人工智能系统，如护理机器人、医务人员在工作场所诊疗时使用的情绪识别系统、紧急呼叫语音分析监测器等。
（6）生物特征分类
1）含义和目标
生物特征分类人工智能系统，是指通过生物识别数据对人进行分类的人工智能系统，以推测或推断种族、政治观点、工会成员身份、宗教或哲学信仰、性生活或性取向；但不包括对依法获取的生物识别数据集进行标记或筛选，包括在执法领域[79]。
生物识别数据可能被用于提取、推测或推断包括敏感信息在内的多种信息（甚至无需当事人知情），这可能导致不公正和歧视性待遇，例如因被判定属于某一种族而拒绝提供服务。基于人工智能的生物特征分类系统若旨在将个人归类至涉及性取向、政治倾向或种族等方面的特定群体，不仅侵犯个人的尊严，更对隐私权、不受歧视权等基本权利构成重大风险，因此需要禁止该类人工智能系统[80]。
2）主要构成要件
a）人工智能系统被"投放市场"、"投入服务"或"使用"；
b）该系统必须是生物特征分类系统（生物特征分类系统是指基于个人生物识别数据将其划分至特定类别的人工智能系统，除非该系统附属于另一项商业服务且因客观技术原因确属必要[81]）；
c）必须对个人进行分类；
d）分类依据基于生物识别数据；以及
e）分类目的为推断种族、政治观点、工会成员身份、宗教或哲学信仰、性生活或性取向。[82]
3）排除范围
以下情形不适用于本条禁止[83]：
a）对合法获取的生物识别数据集（如图像）进行标注或筛选的人工智能系统；
对生物识别数据集进行标注或筛选可能正是为了确保数据均衡代表所有人口群体，避免特定群体被过度代表。因此，基于某些受保护的敏感信息进行标注或筛选，可能是确保数据质量、防止歧视的必要措施；或
b）在执法领域对合法获取的数据集进行标注或筛选。
（7）实时远程生物识别类
1）含义和目标
实时远程生物识别类系统，是指在公共场所为执法目的部署（仅针对部署者）实时远程生物识别的人工智能系统，除非出于对特定受害者的针对性搜寻、预防特定威胁（包括恐怖袭击）或搜寻特定犯罪嫌疑人的必要[84]。
正如《人工智能法案》序言部分所指出，公共场所实时远程生物识别系统具有高度侵入性，可能影响大部分人群的私生活、引发持续被监控的感受，并间接阻碍集会自由等基本权利的行使。远程生物识别人工智能系统的技术缺陷可能导致结果偏差并产生歧视性影响，这种偏差在年龄、民族、种族、性别或残疾方面尤为显著。此外，此类实时系统影响的即时性及核查纠错机会的有限性，进一步放大了执法活动对相关人员的权利和自由的风险，因此需予以禁止。[85]
2）主要构成要件
a）人工智能系统为远程生物识别系统（指通过将个人生物识别数据与参考数据库中的数据进行比对，在无需当事人参与的情况下远距离完成识别个人的人工智能系统）；
b）相关活动涉及对该系统的"使用"，该禁令仅禁止基于执法目的在公共场所使用实时远程生物识别系统，此类系统的"投放市场"或"投入服务"不受禁止；
c）采用"实时"方式，即对生物识别数据进行"即时、近乎即时或在任何情况下无显著延迟"的采集与处理；
d）应用于公共场所，公共场所指任何向不特定数量个人开放的公有或私有物理空间，无论是否设置准入条件，亦不受潜在容量限制；以及
e）服务于执法目的，执法目的包括对刑事犯罪的调查、侦查和起诉，在犯罪实际发生前预防刑事犯罪的活动，以及刑罚的执行。[86]
3）排除范围
《人工智能法案》为实时远程生物识别类禁止明确了如下三类例外情形，但需注意的是，只有成员国国内制定相关立法明确允许相关例外情形并满足《人工智能法案》规定的条件和保障措施（《人工智能法案》第5条第2至7款），该等例外情形才可具体适用[97]。
a）针对三类严重犯罪受害者及失踪人员的搜寻
在符合严格必要性标准的情况下，允许为执法目的在公共空间使用实时远程生物识别系统，以针对性搜寻绑架、人口贩卖或性剥削受害者，以及寻找失踪人员[88]。
b）预防迫在眉睫的生命威胁或恐怖袭击
为预防对个人生命或人身安全具体、重大且迫近的威胁，或真实存在或可预见的恐怖袭击威胁，可在符合严格必要标准的情况下，为执法目的在公共空间使用实时远程生物识别系统[89]。
c）特定犯罪嫌疑人的定位与识别
为对《人工智能法案》附件二所列且在涉案成员国至少可判处四年监禁或拘留的罪行进行刑事调查、起诉或执行刑事处罚之目的，对涉嫌实施刑事犯罪的人员进行定位与识别时，允许在公共场所实时使用实时远程生物识别系统[90]。
3. 处罚
《人工智能法案》根据违反严重程度，采用分级方式设定违反不同条款的处罚标准。违反禁止的人工智能系统的相关规定被视为最严重违规行为，将面临最高罚款。从事被禁人工智能实践的供应商和部署者可能被处以最高3500万欧元（约两亿九千万元人民币）罚款，若违规主体为企业，则最高可处其上一年度全球营业额7%的罚款（以较高者为准）。[91]