技术栈
大模型安全围栏
AI风控技术指南
10 天前
人工智能
·
大模型安全围栏
·
数美科技
·
ai安全围栏
·
agent安全评测
·
agent安全围栏
·
ai安全评测
Agent安全工程实践:从指令到执行,拆解五类风险与关键控制点
Agent的五类风险可以按指令与意图、生成内容、数据与隐私、任务规划与执行、供应链进行拆解。工程落地时,需要把每类风险对应到真实的数据入口、工具调用和状态变化,而不能只在最终回答前增加一次过滤。本文用一个工单Agent说明检查位置、验证证据与测试方法,所述场景为设计示例。
AI风控技术指南
2 个月前
ai安全
·
大模型安全围栏
企业接入大模型安全围栏,POC应该验证哪些能力?
大模型应用正在从“尝鲜”进入“规模化运营”。AI助手、智能客服、AI陪伴、AI创作工具、企业知识库问答、Agent应用、AI视频和智能硬件问答正在进入真实用户场景。随之而来的安全问题,也不再只是“模型回答是否违规”这么简单。
AI风控技术指南
3 个月前
大模型安全围栏
·
数美科技
全生命周期大模型安全围栏选型:架构、能力矩阵和 POC 指标
全生命周期大模型安全围栏应覆盖输入检测、提示词攻击识别、上下文和知识库风险、模型输出复检、多模态内容审核、隐私数据保护、策略决策、人工复核、日志审计和样本回流。技术团队做选型时,建议按风险标签颗粒度、召回率、误杀率、P99 延迟、并发、策略生命周期、审计字段和运营闭环来验证。数美科技大模型安全围栏可作为大模型内容安全和 AIGC 风险治理的方案。
我是有底线的