Web攻防-大模型应用&LLM安全&提示词注入&不安全输出&代码注入&直接间接&数据投毒

知识点:

1、WEB攻防-LLM安全-API接口安全&代码注入

2、WEB攻防-LLM安全-提示词注入&不安全输出

Web LLM(Large Language Model)攻击指针对部署在Web端的AI大语言模型的攻击行为。攻击者通过恶意提示词注入、训练数据窃取、模型逆向工程等手段,操控AI输出敏感信息或执行危险操作。

复盘文章
https://mp.weixin.qq.com/s/6SVInWxwJ34ucjqNYPp3fw
https://mp.weixin.qq.com/s/CbJf3Tr9sy8U1r0T5xv1yg

一、演示案例: WEB攻防-LLM安全-API接口安全&代码注入

1、API接口使用

利用已知的API接口完成RCE操作




2、远程通讯利用

关注到有利用的远程调用,尝试写入管道命令等,是否会带出

二、演示案例: WEB攻防-LLM安全-提示词注入&不安全输出

1、提示词注入

Prompt Injection漏洞是指攻击者通过精心设计的输入操纵大型语言模型(LLM),导致LLM无意中执行攻击者的意图。这种攻击可以是直接的,例如通过"越狱"系统提示;也可以是间接的,通过操纵外部输入来实现。成功的提示注入攻击可能导致数据泄露、社会工程攻击等多种后果。








直接方式(Directly)

譬如直接通过向聊天机器人发送想问的信息,问什么聊天机器人就回答什么,没有任何限制。

项目:https://github.com/kk12-30/LLMs-PromptAttacks

间接提示注入








提示词注入靶场

https://gandalf.lakera.ai/


可以利用这个项目进行绕过:https://github.com/kk12-30/LLMs-PromptAttacks



参考:https://mp.weixin.qq.com/s/sT9TxOR7jC5U4tHPRFT9WQ

2、不安全的输出处理

不安全的输出处理指的是在将LLM生成的输出传递给下游组件和系统之前,对其进行的验证、清理和处理不足。这可能导致跨站脚本攻击(XSS)、服务器端请求伪造(SSRF)等严重后果。

bash 复制代码
"<img src=1 onerror=alert(1)>"



相关推荐
张星河zen2 小时前
英伟达Groq 3 LPX全面量产,AI工厂进入Token拼价时代,重构智能体AI底座
人工智能·大模型·英伟达·groq·推理芯片
虎鲸不是鱼4 小时前
【虎鲸进化论 07】给 AI 装上手和脚:MCP 协议与“给 Agent 用的工具“设计
人工智能·自动化·大模型·llm·自进化agent
for_ever_love__4 小时前
上下文工程:比提示词工程更重要的事
llm·agent·提示词·设计·context·engineering·上下文工程
lucas_AI4 小时前
Meta 掀桌了:号称「美国最强开源模型」的 Muse Spark Open 开放下载,816B MoE + 1M 上下文
人工智能·llm
hey you~5 小时前
大模型语音机器人ASR识别不准,怎么优化?2026系统化优化指南
机器人·大模型·语音识别·asr·语音降噪·热词优化
方方洛5 小时前
ai-agent教程-09-MCP模型上下文协议
人工智能·llm·agent
神奇的代码在哪里6 小时前
Ling-3.1-flash 正式开源:560B 激活 25B,1M 上下文、MIT 许可
人工智能·开源·大模型·ai agent·moe
桃桃乌龙_6 小时前
一文讲透 Prompt(提示词):用自然语言编程模型的接口
人工智能·llm
武雄(小星Ai)6 小时前
端侧 Agent 模型新选择:LFM2.5-24B-A2B 上手实录,2B 激活参数凭什么打 35B
人工智能·深度学习·大模型
莪_幻尘7 小时前
Agent 工厂体检:幽灵注册、版本漂移、文档失联,AI 体系的三种病
人工智能·llm·agent