ai安全

kp000007 小时前
网络·安全·网络安全·信息安全·prompt·ai安全
System Prompt Leakage(系统提示词泄露)及安全防御System Prompt Leakage(系统提示词泄露),是指攻击者通过恶意输入,诱使大语言模型(LLM)泄露其内部隐藏的“系统提示词”(System Prompt)。这已被OWASP列为2025年十大LLM安全风险之一(LLM07)。
kp000006 小时前
人工智能·网络安全·信息安全·ai安全
大模型输出造成信息泄露类型大模型输出可能造成的信息泄露,主要可分为无意中暴露敏感数据和模型内部机制被逆向两大类,其核心风险点如下:
kp000009 小时前
人工智能·网络安全·信息安全·prompt·ai安全
AI大模型,如何区分善意提问与Prompt注入攻击在AI大模型中,区分正常指令和恶意Prompt注入(Prompt Injection)的核心挑战在于:模型本身通常无法可靠地区分“指令”与“数据”。因为系统提示词、用户输入和外部数据对模型来说都是“自然语言文本”,它在设计上就会去遵循所有看起来像“指令”的内容。
在水一缸11 小时前
运维·服务器·人工智能·命令执行·智能体·ai安全·mcp
当 AI 拥有了“核按钮”:深入解析 MCP 服务器与命令执行护栏在当前的大模型应用开发领域,我们正处于一个激动人心的转折点。随着 Claude、GPT-5.5 以及 Qwen3.6 Max 等新一代大模型推理能力的飞跃,AI 正在从单纯的“对话机器人”向“智能体”演进。智能体不仅需要能听懂人话,更需要能“动手做事”——操作终端、读写文件、搜索代码库。然而,赋予 AI 这种能力,无异于给一个虽然聪明但偶尔会犯迷糊的孩子递上一把上了膛的枪。
kp0000012 小时前
人工智能·安全·网络安全·信息安全·ai安全
AI系统输入安全基线设计一套AI系统的输入安全基线,核心在于构建一个纵深防御体系,从源头拦截风险。其总体思路是:不信任任何输入,隔离指令与数据,并实施最小权限原则。
kp0000013 小时前
人工智能·网络安全·信息安全·ai安全
NER(Named Entity Recognition)命名实体识别NER 是 Named Entity Recognition 的缩写,中文叫命名实体识别。它是自然语言处理(NLP)中的一项基础核心技术。
kp000001 天前
人工智能·安全·网络安全·信息安全·ai安全
Prompt注入攻击(Prompt Injection Attack)Prompt注入攻击(Prompt Injection Attack) 是针对大语言模型(LLM)的一种首要安全威胁,被OWASP(开放Web应用程序安全项目)列为LLM应用程序十大安全风险之首。
带娃的IT创业者12 天前
人工智能·安全·大语言模型·ai安全·mythos ai·受信发布·ai监管
突破算力与安全的边界:深度解析 Mythos AI 的“受信发布”机制与技术影响在人工智能发展的漫长征途中,我们正处在一个极其微妙的转折点。过去几年,大语言模型(LLM)的迭代速度令人咋舌,从早期的简单对话到如今具备深度推理能力的智能体,技术的边界不断被拓宽。然而,随着模型能力的指数级增长,一个名为“双重用途”的困境日益凸显:最强大的工具往往既是造福人类的利器,也可能成为潜在风险的源头。
Token观测者13 天前
ai安全·大模型落地·aiagent·权限隔离
Agent 上生产的最后一公里:权限、发布、回滚和版本治理摘要:在本地跑通一个 Agent Demo 只需要半天,但把它推向生产环境可能需要半个月。很多团队把 Agent 当成普通的 Web 应用来发布,结果上线第一天就遭遇了“数据越权”、“幻觉删库”和“无法回滚”的连环毒打。本文将带你走完 Agent 落地最凶险的最后一公里,拆解如何给大模型戴上权限的“紧箍咒”,以及为什么 Agent 的发布与回滚机制,必须被重新设计。
mooyuan天天14 天前
人工智能·ai安全·hexstrike
大模型全自动攻防渗透:HexStrike-AI 与 MCP 联动部署实战教程(从零搭建完整避坑手册)目录一、技术原理与整体架构解析1.1 HexStrike-AI 核心功能介绍1.2 MCP 协议作用与联动逻辑
带娃的IT创业者1 个月前
安全·llm·大语言模型·开源项目·提示词工程·ai安全·系统提示词
解构黑盒:从开源项目看顶级大模型系统提示词的演进与安全边界在当今的人工智能开发领域,大语言模型(LLM)早已不再是简单的“对话机器”,而是演变成了具备复杂逻辑、工具调用能力和多模态处理能力的智能体。对于中级开发者而言,理解这些模型如何“思考”并不仅是为了满足好奇心,更是为了在实际工程中更精准地控制模型行为,减少幻觉,提升系统的鲁棒性。
行者-全栈开发1 个月前
人工智能·rce·漏洞修复·ai安全·langflow·cvss 10.0·cve-2026-33017
CVE-2026-33017:Langflow AI工作流平台未授权RCE漏洞深度剖析与紧急修复指南摘要: 2026年5月,开源AI工作流平台Langflow被曝出CVSS 10.0满分的未认证远程代码执行漏洞(CVE-2026-33017)。该漏洞武器化速度创纪录——从披露到公开EXP仅用20小时,攻击者无需任何认证即可执行任意Python代码,完全控制服务器。某AI初创公司因未及时修复,导致核心模型参数和训练数据泄露,直接损失超¥600万元。我在本文中将从漏洞原理、快速武器化分析、修复方案、AI平台安全加固四个维度进行深度剖析,为AI工程师和安全从业者提供完整防护指南。
键盘侠伍十七1 个月前
人工智能·prompt·ai安全
Gandalf Lakera AI Prompt Injection 靶场深度教程:从 Level 1 到 Level 8 全面攻防解析在大模型安全的众多研究方向中,Prompt Injection(提示词注入)是最具实战意义、也最难彻底解决的安全威胁之一。Lakera 公司推出的 Gandalf AI 靶场(gandalf.lakera.ai)是目前最经典的 LLM 注入攻防练习平台——它把抽象的安全理论变成了一个可以亲手"攻破"的闯关游戏。
Resistance丶未来1 个月前
人工智能·大模型·api·claude·ai安全·魔芋ai·maigateway
管控用量,降本增效,MAI Gateway:助力企业搭建 Tokens 统一管理体系作为技术负责人,你一定有过这样的经历:2026 年,当 AI 从 "尝鲜" 变成 "刚需",算力成本失控已经成为所有企业的头号难题。Gartner 最新数据显示:62% 的企业 AI 成本超支 175% 以上,头部企业单月账单突破 1.2 亿美元,甚至有 3 人小团队因为密钥泄露直接破产。
xian_wwq1 个月前
笔记·学习·ai安全
【学习笔记】「大模型安全:攻击面演化史」第 03 篇-数据投毒大模型的安全问题不是某一个漏洞,而是一条攻击面持续扩大的演化线——从输入层(Prompt Injection / Jailbreak)→ 训练层(数据投毒 / 模型窃取)→ 执行层(Agent安全)→ 评估与治理层(红队方法论 / 安全左移)。每一层的攻击都让上一层的防御变得不够用。
xian_wwq1 个月前
笔记·学习·ai安全
【学习笔记】「大模型安全:攻击面演化史」第 05 篇-Agent安全大模型的安全问题不是某一个漏洞,而是一条攻击面持续扩大的演化线——从输入层(Prompt Injection / Jailbreak)→ 训练层(数据投毒 / 模型窃取)→ 执行层(Agent安全)→ 评估与治理层(红队方法论 / 安全左移)。每一层的攻击都让上一层的防御变得不够用。
xian_wwq1 个月前
笔记·学习·ai安全
【学习笔记】「大模型安全:攻击面演化史」第 04 篇-模型窃取与供应链安全大模型的安全问题不是某一个漏洞,而是一条攻击面持续扩大的演化线——从输入层(Prompt Injection / Jailbreak)→ 训练层(数据投毒 / 模型窃取)→ 执行层(Agent安全)→ 评估与治理层(红队方法论 / 安全左移)。每一层的攻击都让上一层的防御变得不够用。
xian_wwq1 个月前
笔记·学习·ai安全
【学习笔记】「大模型安全:攻击面演化史」第 06 篇-红队方法论大模型的安全问题不是某一个漏洞,而是一条攻击面持续扩大的演化线——从输入层(Prompt Injection / Jailbreak)→ 训练层(数据投毒 / 模型窃取)→ 执行层(Agent安全)→ 评估与治理层(红队方法论 / 安全左移)。每一层的攻击都让上一层的防御变得不够用。
xian_wwq2 个月前
笔记·学习·ai安全
【学习笔记】提示词注入完全指南:五种变体,一套防御体系图1:提示词注入完全指南:五种变体,一套防御体系「Prompt Injection」这个词大家都听过,但大多数团队对它的理解停在第一层——「用户输入里加了『忽略上面的指令』」。
安当加密2 个月前
rce·数据库安全·ai安全·web应用安全·llm漏洞
Langroid LLM 框架 CVSS 9.8 RCE + WP Maps Pro 在野利用:当 AI 代理成为攻击入口2026年6月1日,两个 CVSS 9.8 级别的严重漏洞同时登上安全头条,而且它们指向了同一个趋势:攻击入口正在从传统 Web 应用向 AI 代理层和低门槛运营工具迁移。