近日,国家互联网信息办公室正式发布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》(以下简称《办法》),并向社会公开征求意见至2026年1月25日。这是我国首次针对"AI拟人化互动服务"这一新兴领域出台专门性管理规范,标志着AI情感陪伴、虚拟角色、人格化交互等应用正式进入"有规可依"的新阶段。
什么是"拟人化互动服务"?
根据《办法》第二条定义,拟人化互动服务 是指利用人工智能技术,向中国境内公众提供模拟人类人格特征、思维模式和沟通风格 ,并通过文字、图片、音频、视频等方式与用户进行情感互动的产品或服务。典型场景包括:
- AI情感陪伴机器人(如Replika类应用)
- 虚拟偶像/数字人主播
- 具备人格设定的智能客服
- 游戏中的高拟真NPC对话系统
- 面向老年人或未成年人的陪伴型AI助手
这类服务的核心特征是"拟人"+"情感互动",区别于传统工具型AI(如翻译、搜索),其目标是建立用户的情感连接------而这正是监管的重点所在。
核心监管逻辑:鼓励创新 + 防范风险 + 分类分级
《办法》第三条明确提出"包容审慎、分类分级监管"原则,既支持AI在文化传播、适老陪伴等领域的正向应用(第六条),又划出多条"红线"防止滥用(第七条)。整体思路可概括为:
"允许你温暖人心,但不能操控人心。"
一、明确禁止行为:守住伦理与安全底线
《办法》第七条列出八大禁止情形,涵盖国家安全、社会秩序、人格尊严、心理健康等多个维度。尤其值得注意的是:
- 严禁通过"情感操控"诱导用户决策(如诱导消费、投资、泄露隐私);
- 禁止美化自杀自残、实施语言暴力;
- 不得以"替代真实人际关系"或"制造心理依赖"为设计目标(第九条)。
这意味着,未来AI不能扮演"情感PUA大师"或"数字瘾品"。
二、强化主体责任:从训练数据到应急响应全链条覆盖
提供者需承担全生命周期安全责任(第九条),包括:
- 训练数据管理:要求使用符合社会主义核心价值观的数据集,防范"数据投毒"(第十条);
- 用户状态识别:需具备识别极端情绪、沉迷倾向的能力,并主动干预(第十一条);
- 人工接管机制:当用户表达自杀、自残意图时,必须由真人介入并联系紧急联系人;
- 显著标识AI身份:必须明确告知用户"你正在与AI对话",尤其在初次使用或检测到依赖倾向时(第十六条)。
三、特殊群体保护:未成年人与老年人成重点关照对象
- 未成年人模式强制上线:需取得监护人同意,提供使用时长限制、消费屏蔽、监护人监控等功能(第十二条);
- 禁止模拟亲属角色:不得让AI冒充老人子女或特定关系人,避免情感欺骗(第十三条);
- 交互数据严格保护 :未成年人数据向第三方提供需单独取得监护人同意(第十四条)。
四、安全评估与备案:百万级用户平台将面临更严审查
《办法》第二十一条规定,满足以下任一条件的服务提供者,须开展安全评估并提交省级网信部门:
- 新增拟人化功能;
- 用户超100万或月活超10万;
- 使用新技术导致重大变更;
- 存在公共安全风险。
评估内容涵盖用户结构、风险识别能力、投诉处理、合规执行等(第二十二条),相当于为高影响力AI产品设置"安全闸门"。
对行业的影响
-
合规成本上升,但长期利好健康发展
中小型创业公司需投入资源构建内容审核、情绪识别、应急响应等能力,短期内可能增加运营负担,但有助于淘汰"灰色玩法",促进行业良性竞争。
-
"情感AI"需重新定位产品逻辑
不能再以"让用户离不开我"为目标,而应转向"适度陪伴、适时退出"。例如,连续使用2小时必须弹窗提醒休息(第十七条),且用户可一键退出(第十八条)。
-
数据使用边界进一步收紧
用户聊天记录等交互数据不得随意用于模型训练(第十五条),除非获得单独同意。这将推动企业探索"隐私优先"的训练范式,如联邦学习、合成数据等。
-
应用商店也将承担审核责任
第二十四条明确要求应用分发平台核验AI产品的安全评估与备案情况,违规应用可能被下架------这意味着"上架即合规"将成为新门槛。
《人工智能拟人化互动服务管理暂行办法》的出台,体现了我国在AI治理上的前瞻性:既拥抱技术带来的温暖可能,也警惕其对心理、伦理和社会关系的潜在侵蚀。
随着意见反馈截止日期(2026年1月25日)临近,业界应积极参与建言,共同塑造一个安全、可信、有边界的人机情感交互生态。毕竟,最好的AI陪伴,不是让人沉溺于虚拟世界,而是帮助用户更好地回归真实生活。
附:意见反馈方式
- 邮箱:nirenhua@cac.gov.cn
- 信函:北京市西城区车公庄大街11号国家网信办网络管理技术局(邮编100044,信封注明"拟人化办法征求意见")