ai安全

晓翔仔3 天前
人工智能·安全·ai·ai安全
【深度实战】Agentic AI 安全攻防指南:基于 CSA 红队测试手册的 12 类风险完整解析你的Agentic AI智能体,真的能抵御隐蔽攻击吗? 当AI从“被动回答”升级为“自主执行任务”,传统静态安全测试早已形同虚设——权限越权、上下文污染、多智能体伪装攻击等12类新型风险,正成为企业部署Agentic AI的隐形炸弹。 云安全联盟(CSA)2025年发布的《Agentic AI Red Teaming Guide》,首次系统性定义了这类风险的攻防框架。本文将基于这份权威指南,从技术原理、真实攻击场景、实战测试用例到防御方案,完整拆解12类核心风险,给你一套可直接落地的安全评估体系。
Yuer202518 天前
人工智能·机器学习·语言模型·ai安全·edca os
低熵回答倾向:语言模型中的一种系统稳定态在当前主流的大模型系统中,存在一个几乎不可避免、却长期被误解的现象:当系统缺乏明确的裁决结构、责任边界与失败定义时,语言模型会系统性地将输出收敛到低信息密度区。
梁辰兴21 天前
人工智能·安全·ai·ai安全·梁辰兴·人工智能安全治理·中国信通院
中国信通院发布《人工智能安全治理研究报告(2025年)》,AI安全攻防为何“易攻难守“?路边一块贴了贴纸的停车标志,足以让自动驾驶汽车直接撞向护栏;训练数据里掺0.1%的“毒药样本”,就能让价值上亿的智能系统沦为“人工智障”——这不是科幻情节,而是AI安全专家每天在实验室复现的真实风险。中国信通院最新报告捅破了AI安全的核心困境:黑客攻击只需改动几个像素,防御者却要重建整个训练模型,这种悬殊的非对称对抗,正将全球拖入技术安全的新战场。
合天网安实验室2 个月前
ctf·web渗透·ai安全·大模型安全·2025铸剑杯
2025铸剑杯线下赛AI安全渗透复现2025铸剑杯线下赛第二部分是渗透,其中包括web渗透和大模型安全。这道题其实是2023年中国科学技术大学Hackergame的一道题目改编的,大差不差。
知白守黑V2 个月前
人工智能·安全·ai agent·ai智能体·ai应用·ai安全·大模型安全
OWASP 2025 LLM 应用十大安全风险深度解析
阿杰学AI2 个月前
人工智能·ai·语言模型·aigc·ai安全·奖励欺骗·reward hacking
AI核心知识44——大语言模型之Reward Hacking(简洁且通俗易懂版)Reward Hacking(中文常译为 奖励刷分、奖励黑客 或 奖励欺骗),是大语言模型在强化学习(RLHF)阶段出现的一种“作弊”行为。
Whoami!2 个月前
网络安全·信息安全·ai安全
⸢ 拾陆-V⸥⤳ 安全数智化建设:安全智能平台(上)▸概述👍点「赞」📌收「藏」👀关「注」💬评「论」更多文章戳👉晖度丨安全视界-CSDN博客🚀(原名:whoami!)
Light607 个月前
无感刷新token·ai安全·领码spark·微服务认证·双token机制
深度剖析无感刷新Token:领码SPARK平台赋能微服务认证的智能实践在现代微服务架构与数字化转型大潮中,用户身份认证的连续性与安全性尤为关键。无感刷新Token技术通过智能的双Token机制,确保用户访问凭证在不打扰用户的前提下自动续期,避免因Token过期导致的频繁登录中断。本文结合领码SPARK融合平台的iPaaS和aPaaS优势,深刻解析无感刷新Token的实现原理、典型场景、安全风险及AI赋能智能防护,系统阐述实现无感刷新Token的最佳实践。通过流程图和表格的有机结合,实现理论与实践的高度契合,保障企业微服务生态的安全、稳定与高效。
小白学安全hhhh9 个月前
安全·ai·ai安全
FlySecAgent:——MCP全自动AI Agent的实战利器最近,出于对人工智能在网络安全领域应用潜力的浓厚兴趣,我利用闲暇时间进行了深入研究,并成功开发了一款小型轻量化的AI Agent安全客户端FlySecAgent。
拓荒者IT1 年前
ai安全·ai私有化·ollama教程·deepseek本地部署
ollama系列1:轻松3步本地部署deepseek,普通电脑可用本文主要介绍如何通过ollama快速部署deepseek、qwq、llama3、gemma3等大模型,网速好的小伙伴10分钟就能搞定。让你摆脱GPU焦虑,在普通电脑上面玩转大模型。
小菜日记^_^1 年前
论文阅读·人工智能·深度学习·sp·ai安全·backdoor 后门攻击·安全四大
BEAGLE: Forensics of Deep Learning Backdoor Attack for Better Defense(论文阅读)将论文中内容精简了一下,并做了下总结。目录摘要背景介绍Contribution:提出的方法:BEAGLE的核心目标
DaLi Yao1 年前
人工智能·算法·语言模型·自然语言处理·提示词攻击·ai安全·注入攻击
【论文速读】Optimization-based Prompt Injection Attack to LLM-as-a-JudgeLLM-as-a-Judge 利用一个大型语言模型(LLM)从一组候选答案中选择给定问题的最佳回答。LLM-as-a-Judge 有许多应用,例如 LLM 驱动的搜索、带有 AI 反馈的强化学习(RLAIF)和工具选择。在这项工作中,提出了 JudgeDeceiver,这是一种针对 LLM-as-a-Judge 的基于优化的提示注入攻击。JudgeDeceiver 将一个精心设计的序列注入到攻击者控制的候选回答中,使得 LLM-as-a-Judge 无论其他候选回答是什么,都会为攻击者选择的问题选择该候选
云安全联盟大中华区1 年前
云安全·ai安全·csa研究成果
CSA发布 | 医疗行业变革下的治理、风险管理与合规性策略随着医疗行业的迅猛发展,云计算、人工智能(AI)、区块链和物联网(IoT)等新兴技术正在推动行业发生深刻变革。这些技术在提升医疗服务质量与效率的同时,也伴随着数据安全、合规性和风险管理方面的新挑战。医疗保健机构(HDO)在充分利用这些技术时,必须确保数据的安全性与合规性,这使得建立和优化治理、风险管理与合规性(GRC)框架变得至关重要。为帮助医疗保健行业深入理解并有效应对这些风险,云安全联盟大中华区发布了《医疗保健中的信息技术治理、风险与合规(第二版)》报告。
合天网安实验室1 年前
深度学习·后门攻击·人工智能安全·ai安全
深度学习后门攻击分析与实现(二)在本系列的第一部分中,我们已经掌握了深度学习中的后门攻击的特点以及基础的攻击方式,现在我们在第二部分中首先来学习深度学习后门攻击在传统网络空间安全中的应用。然后再来分析与实现一些颇具特点的深度学习后门攻击方式。
智源研究院官方账号1 年前
人工智能·ai安全
签署《AI安全国际对话威尼斯共识》 智源持续推动人工智能安全发展近日,由AI安全国际论坛(Safe AI Forum)和博古睿研究院(Berggruen Institute) 共同举办的第三届国际AI安全对话(International Dialogues on AI Safety)在威尼斯举办。图灵奖得主Yoshua Bengio、姚期智教授,加州大学伯克利分校教授Stuart Russell,北京智源人工智能研究院创始理事长张宏江博士,清华大学讲席教授、智能产业研究院院长张亚勤等多位全球顶尖的人工智能科学家出席活动,经过为期三天的讨论,共同达成了《AI安全国际对话
云安全联盟大中华区2 年前
人工智能·ai安全·csa认证培训·caisp人工智能安全专家
全球视角下的AI安全挑战:面向未来的准备云安全联盟大中华区即将推出人工智能安全认证专家(Certified Artificial Intelligence Security Professional,CAISP)培训及认证计划,将在Q3全面上线。
云安全联盟大中华区2 年前
数字安全·ai安全
国内首发 | CSA大中华区启动《AI安全产业图谱(2024)》调研在人工智能(AI)技术的快速发展浪潮中,AI安全已成为全球关注的焦点。为应对AI安全带来的挑战,确保AI技术的健康发展,全球范围内的研究机构、企业和技术社区都在积极探索解决方案。
Jay 172 年前
python·ai安全·提示词注入
第七届西湖论剑·中国杭州网络安全技能大赛 AI 回声海螺 WP开题,提示输入密码给FLAG。这个回声海螺应该是个AI,就是复读机,应该是想办法从中骗出密码。感觉这题不像是AI,也没用啥模型,应该是WEB。或者是说类似于AI的提示词注入
我是有底线的