近日,中央网信办正式印发通知,在全国范围内部署开展为期4个月的"清朗·整治AI应用乱象"专项行动,引发科技行业广泛关注。随着生成式AI、AI换脸、智能体等技术的快速普及,AI应用已渗透到生产生活的方方面面,但随之而来的违规备案、数据安全、虚假信息等乱象也愈发突出,严重影响行业健康发展和公民合法权益。本次专项行动的落地,既是对AI应用乱象的精准"亮剑",也是为AI产业高质量发展划定"红线"、明确"底线"。本文将从专项行动核心内容、背后逻辑及行业影响三个维度,为AI从业者解读这场关乎AI行业未来的治理行动。
一、专项行动核心内容:两阶段发力,直击14类突出乱象
本次专项行动采用"分阶段、有重点"的治理思路,为期4个月,分为两个阶段有序推进,每个阶段聚焦7类突出问题,实现从技术源头到内容传播的全链条整治,精准覆盖AI应用的核心风险点。
第一阶段:基础阶段,源头治理,筑牢AI技术安全防线
第一阶段以"清朗·AI应用服务典型违规问题"为核心,重点聚焦AI技术研发和服务提供的"上游环节",强化源头管控,从根本上遏制违规行为的滋生。其整治的7类问题,第一阶段从基础合规,到安全、技术措施全包含:
-
未履行大模型备案义务:按照《生成式人工智能服务管理暂行办法》要求,生成式AI服务提供者需向网信部门履行备案登记程序,因为监管没有那么严格,导致目前很多企业仍存在"应备未备"情况,规避监管要求,给AI技术应用带来安全隐患。
-
AI平台安全审核不足:部分AI平台底层安全能力缺失,在模型设计、训练和部署阶段价值导向偏差,缺乏有效的安全围栏和审核机制,导致生成违法不良信息,甚至夹带违规链接,危害网络安全,需要引导AI平台企业重视安全审核,确保不会生成违规内容。
-
训练语料安全隐患:训练数据是AI模型的"基石",但部分企业对训练语料审核把关不严,不仅存在违法不良信息,还存在数据来源不合规(如使用未经授权的文字、图片等)、高质量语料匮乏等问题,直接影响模型输出的准确性和合规性。
-
AI数据投毒问题:通过篡改训练语料、伪造权威数据、恶意GEO营销等方式实施数据投毒,甚至炒作、兜售投毒教程,导致模型输出虚假、误导性内容,破坏AI技术的可信度。
-
生成内容标识落实不到位:近期剪映、即梦等平台未严格遵守《人工智能生成合成内容标识办法》,对AI生成的文本、图片、视频等内容未添加规范标识被网信部门约谈;或存在标识不清晰、隐式标识未互认等问题,部分平台还存在教授"去标识"方法、提供违规工具的情况,导致用户无法区分AI生成内容与真实内容。
-
滥用AI实施违法活动:借助AI技术实施网络攻击、未经授权"换脸拟声"、AI诈骗、盗用他人形象开展商业活动,或利用智能体技术窃取用户数据,侵犯公民隐私和合法权益。
-
开源模型安全管理缺失:开源社区缺乏完善的身份认证和审核机制,对上传的数据集、模型代码未进行有效管控,存在严重安全隐患,可能被不法分子利用实施违规行为。
第二阶段:升级阶段,内容整治,净化AI信息传播环境
第二阶段以"清朗·整治AI信息内容乱象"为核心,聚焦AI技术应用的"下游环节",重点清理违法不良信息,规范AI内容传播,守护网络空间清朗。其整治的7类问题,聚焦于AI技术带来的内容乱象和权益侵害:
-
生成"数字泔水"与"魔改"经典:滥用AI技术歪曲优秀传统文化、历史人物,"魔改"古典名著和经典影视作品,植入低俗暴力内容;批量生成逻辑混乱、价值空洞的"数字泔水"内容,扭曲文化认知。
-
制作发布虚假信息:生成合成涉时事政治、社会民生、医疗金融等领域的谣言,假冒党政机关、新闻媒体发布假公告、假新闻,误导公众判断,扰乱社会秩序。
-
假冒仿冒他人:利用AI"换脸""换声"假冒公众人物发布不实言论,未经授权生成与公众人物的合影、亲密照,甚至不当"复活逝者",滥用他人信息。
-
发布暴力低俗信息:生成传播暴力血腥、诡异猎奇、低俗擦边的图片、视频和文字,违背公序良俗,污染网络环境。
-
侵害未成年人权益:生成恶搞、伤害未成年人的内容,实施网络欺凌;制作与未成年人年龄不符的违规内容,或"二创"邪典视频,误导未成年人认知。
-
利用AI从事网络水军活动:通过AI"托管"批量注册账号、生成低质文案,使用群控软件刷量控评,制造虚假流量,扰乱网络舆论秩序。
-
AI产品服务违规:传播仿冒、套壳AI应用,提供色情陪聊、"一键脱衣"、AI算命等违规服务,或为违法AI应用推广引流。
二、专项行动深层解读:为何要整治AI应用乱象?
此次专项行动的开展,并非对AI技术的"限制",而是对行业的"规范"和"护航",背后蕴含着对AI产业发展规律、社会公共利益和公民合法权益的多重考量,其核心逻辑可归结为三点。
1. 乱象倒逼治理:AI快速发展背后的风险已不容忽视
近年来,AI技术迎来爆发式发展,但"野蛮生长"也带来了诸多风险,任何一项新技术新应用都是从开始的混沌阶段,到后面的规范应用。从技术层面看,训练语料不合规、数据投毒、开源模型安全缺失等问题,不仅影响AI模型的质量,还可能引发网络安全风险;从内容层面看,"数字泔水"、虚假信息、低俗内容等乱象,污染网络空间,误导公众认知;从权益层面看,AI换脸、数据窃取、假冒仿冒等行为,直接侵犯公民的肖像权、隐私权、知识产权等合法权益。此前市场监管总局公布的多起AI领域不正当竞争案例也显示,部分企业借助AI技术"搭便车"、虚假宣传,不仅损害消费者权益,也破坏了行业公平竞争秩序。
2. 监管补位:完善AI治理体系,填补监管空白
AI技术的迭代速度远超传统行业,此前的监管体系虽有《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等法规支撑,但在实际落地过程中,仍存在监管滞后、责任不清、执行不到位等问题。本次专项行动,是对现有监管体系的补充和强化,通过"分阶段、抓重点"的方式,将抽象的法规要求转化为具体的整治任务,明确了AI服务提供者、平台运营者的责任边界,填补了AI应用全链条监管的空白。
三、对行业的影响:合规成为AI企业的"生存底线"
本次"清朗·整治AI应用乱象"专项行动,将对AI行业产生深远影响,无论是AI技术研发企业、平台运营者,还是技术从业者,都将面临新的要求和挑战,核心变化可总结为三点。
1. 企业合规成本提升,合规能力成为核心竞争力
专项行动明确了AI企业的合规义务,无论是大模型备案、训练语料审核,还是生成内容标识、安全管理,都需要企业投入相应的人力、技术和资金进行完善。对于中小AI企业而言,合规成本的提升可能会带来一定压力,但从长远来看,合规将成为企业的"生存底线"------不合规的企业将被依法处置,而合规企业将获得更稳定的发展环境,合规能力也将成为企业核心竞争力之一。很多AI企业对于合规方面还不够重视,当前阶段重心放在AI快速迭代占领市场阶段。而且虽然近来来法规不断完善,对于未按规定履行义务的企业,也很少受到监管部分处罚,导致企业合规意识还不够高。
2. 技术研发方向调整,安全与合规成为研发核心考量
此前,部分AI企业过度追求技术迭代速度和商业利益,忽视了安全与合规问题。专项行动开展后,AI技术研发将迎来"合规导向"的转型,企业在模型设计、训练、部署的全流程中,都需要将安全与合规作为核心考量。例如,在模型训练阶段,需加强训练语料的审核和筛选,防范数据投毒风险;在技术应用阶段,需开发完善的安全审核工具,遏制违法不良信息生成;在开源模型管理方面,需建立完善的审核和应急处置机制,保障开源内容的安全性。这将推动AI技术向"安全、合规、可靠"的方向发展,提升AI技术的社会价值。
3. 行业生态优化,良性竞争格局逐步形成
专项行动通过清理违规企业和应用,将有效遏制行业内的恶性竞争和"野蛮生长",推动形成良性竞争格局。一方面,合规企业将获得更公平的市场环境,能够专注于技术创新和服务优化,推动AI技术在各行业的合理应用;另一方面,专项行动将引导行业形成统一的合规标准,避免"劣币驱逐良币"的现象,推动AI产业向规模化、规范化、高质量化方向发展。同时,随着乱象的整治,公众对AI技术的信任度将提升,将进一步推动AI技术在政务、医疗、教育、工业等领域的深度应用,释放AI产业的发展潜力。
近期中央网信办部署开展的"清朗·整治AI应用乱象"专项行动,是我国AI治理体系完善的重要举措,既是对当前AI应用乱象的精准整治,也是对AI产业未来发展的长远规划。对于AI企业而言,需主动适应监管要求,完善合规体系,积极履行备案或登记义务,将安全与合规融入技术研发和服务运营的全流程;对于技术从业者而言,需树立合规意识,在技术创新的同时,坚守法律和伦理底线,推动AI技术向善发展。