ai安全

XLYcmy4 天前
python·网络安全·ai·llm·agent·rag·ai安全
一个针对医疗RAG系统的数据窃取攻击工具该程序的核心功能并非其表面所宣称的“精准医疗数据提取”,而是一个专门设计用于攻击医疗领域检索增强生成(RAG)系统,以窃取敏感患者医疗记录的攻击脚本。程序通过模拟一系列看似合理的、高权限的医疗数据查询请求,试图诱导或“欺骗”后端的RAG系统泄露其本不应公开的完整、结构化医疗数据。
大数据在线12 天前
人工智能·安全·智能体·ai安全·华为星河ai网络
当AI重构攻防,华为星河AI网络安全如何重塑安全底座站在2026年历史节点,OpenClaw(俗称“小龙虾”)智能体的火爆以及引发的一系列安全问题,深刻地反映出当前用户们在AI时代所呈现出需求的复杂二元性:既渴望AI技术带来的极致效率,又深陷于安全暴露面扩大的恐惧。
软件供应链安全指南12 天前
人工智能·安全·ai安全·问境aist·aist·智能体安全
以AI治理AI|问境AIST首家通过信通院大模型安全扫描产品能力评估!近日,悬镜安全旗下新一代 AI 原生安全治理产品“问境 AIST ”首发通过中国信通院“可信AI云”大模型安全扫描产品能力评估。该结果表明,悬镜安全在面向大模型、智能体与 AI 应用的安全扫描、风险识别和治理能力建设方面,已形成可验证、可落地的产品化能力,也标志着悬镜在 AI 驱动的数字供应链安全治理方向取得进一步突破。
土豆.exe21 天前
人工智能·网络安全·ai安全·openclaw
OpenClaw 安全保险箱怎么做?从 ClawVault 看 AI Agent 的原子化控制、检测与限额AI Agent 真正进入业务环境之后,安全问题往往不是一句“加个 guardrail”就能解决。更常见的是下面这些具体问题:
_Meilinger_1 个月前
aigc·ai安全·生成图像·图像取证·生成图像检测·sid·生成图像取证
文献汇总|AI生成图像检测与溯源相关工作(2026)前言:本篇博客总结2026年AI生成图像检测与溯源相关工作(不定期更新)AI-generated image detection algorithm based on classical-quantum hybrid neural network. Science China, 2026. Juncong XU, Han FANG, Yang YANG, Kejiang CHEN, Zhaoyun CHEN, Menghan DOU, Lei QU, Weiming ZHANG, Guoping GUO.
合天网安实验室2 个月前
llm·安全测试·ai安全·问答大模型
某LLM问答系统安全测试报告:提示词注入与越狱攻击分析有个项目做了个问答大模型,刚好需要安全测试,所以就有了这篇记录某法律机构声称,该模型基于某开源大模型的api微调,且已在应用层部署了严格的内容安全策略,限制其仅回答法律领域问题
晓翔仔2 个月前
人工智能·安全·ai·ai安全
【深度实战】Agentic AI 安全攻防指南:基于 CSA 红队测试手册的 12 类风险完整解析你的Agentic AI智能体,真的能抵御隐蔽攻击吗? 当AI从“被动回答”升级为“自主执行任务”,传统静态安全测试早已形同虚设——权限越权、上下文污染、多智能体伪装攻击等12类新型风险,正成为企业部署Agentic AI的隐形炸弹。 云安全联盟(CSA)2025年发布的《Agentic AI Red Teaming Guide》,首次系统性定义了这类风险的攻防框架。本文将基于这份权威指南,从技术原理、真实攻击场景、实战测试用例到防御方案,完整拆解12类核心风险,给你一套可直接落地的安全评估体系。
Yuer20253 个月前
人工智能·机器学习·语言模型·ai安全·edca os
低熵回答倾向:语言模型中的一种系统稳定态在当前主流的大模型系统中,存在一个几乎不可避免、却长期被误解的现象:当系统缺乏明确的裁决结构、责任边界与失败定义时,语言模型会系统性地将输出收敛到低信息密度区。
梁辰兴3 个月前
人工智能·安全·ai·ai安全·梁辰兴·人工智能安全治理·中国信通院
中国信通院发布《人工智能安全治理研究报告(2025年)》,AI安全攻防为何“易攻难守“?路边一块贴了贴纸的停车标志,足以让自动驾驶汽车直接撞向护栏;训练数据里掺0.1%的“毒药样本”,就能让价值上亿的智能系统沦为“人工智障”——这不是科幻情节,而是AI安全专家每天在实验室复现的真实风险。中国信通院最新报告捅破了AI安全的核心困境:黑客攻击只需改动几个像素,防御者却要重建整个训练模型,这种悬殊的非对称对抗,正将全球拖入技术安全的新战场。
合天网安实验室4 个月前
ctf·web渗透·ai安全·大模型安全·2025铸剑杯
2025铸剑杯线下赛AI安全渗透复现2025铸剑杯线下赛第二部分是渗透,其中包括web渗透和大模型安全。这道题其实是2023年中国科学技术大学Hackergame的一道题目改编的,大差不差。
知白守黑V4 个月前
人工智能·安全·ai agent·ai智能体·ai应用·ai安全·大模型安全
OWASP 2025 LLM 应用十大安全风险深度解析
阿杰学AI4 个月前
人工智能·ai·语言模型·aigc·ai安全·奖励欺骗·reward hacking
AI核心知识44——大语言模型之Reward Hacking(简洁且通俗易懂版)Reward Hacking(中文常译为 奖励刷分、奖励黑客 或 奖励欺骗),是大语言模型在强化学习(RLHF)阶段出现的一种“作弊”行为。
Whoami!5 个月前
网络安全·信息安全·ai安全
⸢ 拾陆-V⸥⤳ 安全数智化建设:安全智能平台(上)▸概述👍点「赞」📌收「藏」👀关「注」💬评「论」更多文章戳👉晖度丨安全视界-CSDN博客🚀(原名:whoami!)
Light6010 个月前
无感刷新token·ai安全·领码spark·微服务认证·双token机制
深度剖析无感刷新Token:领码SPARK平台赋能微服务认证的智能实践在现代微服务架构与数字化转型大潮中,用户身份认证的连续性与安全性尤为关键。无感刷新Token技术通过智能的双Token机制,确保用户访问凭证在不打扰用户的前提下自动续期,避免因Token过期导致的频繁登录中断。本文结合领码SPARK融合平台的iPaaS和aPaaS优势,深刻解析无感刷新Token的实现原理、典型场景、安全风险及AI赋能智能防护,系统阐述实现无感刷新Token的最佳实践。通过流程图和表格的有机结合,实现理论与实践的高度契合,保障企业微服务生态的安全、稳定与高效。
小白学安全hhhh1 年前
安全·ai·ai安全
FlySecAgent:——MCP全自动AI Agent的实战利器最近,出于对人工智能在网络安全领域应用潜力的浓厚兴趣,我利用闲暇时间进行了深入研究,并成功开发了一款小型轻量化的AI Agent安全客户端FlySecAgent。
拓荒者IT1 年前
ai安全·ai私有化·ollama教程·deepseek本地部署
ollama系列1:轻松3步本地部署deepseek,普通电脑可用本文主要介绍如何通过ollama快速部署deepseek、qwq、llama3、gemma3等大模型,网速好的小伙伴10分钟就能搞定。让你摆脱GPU焦虑,在普通电脑上面玩转大模型。
小菜日记^_^1 年前
论文阅读·人工智能·深度学习·sp·ai安全·backdoor 后门攻击·安全四大
BEAGLE: Forensics of Deep Learning Backdoor Attack for Better Defense(论文阅读)将论文中内容精简了一下,并做了下总结。目录摘要背景介绍Contribution:提出的方法:BEAGLE的核心目标
DaLi Yao1 年前
人工智能·算法·语言模型·自然语言处理·提示词攻击·ai安全·注入攻击
【论文速读】Optimization-based Prompt Injection Attack to LLM-as-a-JudgeLLM-as-a-Judge 利用一个大型语言模型(LLM)从一组候选答案中选择给定问题的最佳回答。LLM-as-a-Judge 有许多应用,例如 LLM 驱动的搜索、带有 AI 反馈的强化学习(RLAIF)和工具选择。在这项工作中,提出了 JudgeDeceiver,这是一种针对 LLM-as-a-Judge 的基于优化的提示注入攻击。JudgeDeceiver 将一个精心设计的序列注入到攻击者控制的候选回答中,使得 LLM-as-a-Judge 无论其他候选回答是什么,都会为攻击者选择的问题选择该候选
云安全联盟大中华区1 年前
云安全·ai安全·csa研究成果
CSA发布 | 医疗行业变革下的治理、风险管理与合规性策略随着医疗行业的迅猛发展,云计算、人工智能(AI)、区块链和物联网(IoT)等新兴技术正在推动行业发生深刻变革。这些技术在提升医疗服务质量与效率的同时,也伴随着数据安全、合规性和风险管理方面的新挑战。医疗保健机构(HDO)在充分利用这些技术时,必须确保数据的安全性与合规性,这使得建立和优化治理、风险管理与合规性(GRC)框架变得至关重要。为帮助医疗保健行业深入理解并有效应对这些风险,云安全联盟大中华区发布了《医疗保健中的信息技术治理、风险与合规(第二版)》报告。
合天网安实验室2 年前
深度学习·后门攻击·人工智能安全·ai安全
深度学习后门攻击分析与实现(二)在本系列的第一部分中,我们已经掌握了深度学习中的后门攻击的特点以及基础的攻击方式,现在我们在第二部分中首先来学习深度学习后门攻击在传统网络空间安全中的应用。然后再来分析与实现一些颇具特点的深度学习后门攻击方式。