《Password Guessing Using Large Language Models》——论文阅读

1.研究背景

LLM在文本生成和理解方面表现出色,但直接用于密码猜测存在以下问题:

  • 密码与自然语言的差异(短、无语法、需精确匹配)

  • 生成效率低、重复率高

  • 伦理限制(如GPT-4拒绝生成大量密码)

2.本文研究

提出PASSLLM框架,它通过"少量高效微调 + 专用生成算法 + 知识蒸馏"三步走策略。

  • 将LoRA(低秩适应)微调技术引入LLM密码猜测,构建通用框架,支持trawling(广撒网)和三种targeted(精准)攻击场景(基于个人信息,密码重用,结合PII和密码重用)。
  • 同时为trawling场景设计两阶段BFS算法,支持大规模并行生成。为targeted场景设计动态beam search算法,提高生成效率。
  • 将知识蒸馏技术用于LLM密码猜测,压缩模型参数,在不损耗性能的情况下,提升推理速度。

3.相关知识

LoRA(低秩适应):是一种"只改一点点,就能让大模型学会新任务"的参数高效微调技术,其核心思想为:冻结原模型,外挂"小补丁"------用极少量可训练参数,近似全参数微调的效果。

4.具体步骤

(1)数据处理与模型输入构建

数据格式

  • 每条训练数据是一个序列:seq_i = [INFO_i, pw_i]。

  • INFO_i:可用的辅助信息(如PII、姊妹密码)。pw_i:目标密码。

双词汇表设计

  • 辅助信息部分:使用LLM原有的词汇表(通常包含数万个token)进行编码,以保留其语言理解能力。

  • 密码部分 :使用一个自定义的字符级词汇表 ,仅包含95个可打印ASCII字符 和一个EOS(End-of-Sequence) token,共96个符号。

(2)基于LoRA的高效模型微调

LoRA注入 :在Transformer的自注意力层 中的Query, Key, Value投影矩阵上注入LoRA模块。

训练目标 :标准的下一个token预测(自回归)。损失函数仅计算密码部分的交叉熵,而不计算辅助信息部分。

(3)针对不同场景的密码生成算法

trawling场景的两阶段生成算法

前缀生成 :使用一个优先队列(最大堆) ,从初始提示开始,基于累积概率广度优先地生成一系列互不为前缀的字符序列。

并行子字典生成: 将第一阶段得到的前缀集合中的每一个前缀,与初始提示词组合,形成新的输入;对每个新输入,并行地 使用带概率剪枝的BFS算法生成以该前缀开头的密码子字典;最后将所有子字典合并,按概率排序,得到最终的拖网密码字典。

优势:该设计将一个大任务分解为大量可并行执行的子任务,极大提高了生成效率,易于在消费级GPU上实现大规模密码生成。

targeted场景的动态束搜索算法

动态束宽:允许在不同生成长度(深度)设置不同的束宽(beam width),更灵活地平衡资源。

EOS终止阈值:引入一个阈值 ε,只有当模型生成EOS token的概率大于 ε时,才认为该密码序列完成并被输出。

KV缓存共享 :关键性能优化,辅助信息 INFO的KV缓存只需计算一次,然后在所有beam中共享。只需为不断增长的密码前缀维护KV缓存。

(4)模型蒸馏

教师模型:训练好的 7B参数 PAssLLM (Mistral)

学生模型:一个更小号的模型(如 0.5B参数的 Qwen2.5)

训练目标 :学生模型的训练损失是两种损失的加权和,蒸馏损失( 让学生模型的输出分布尽可能接近教师模型的输出分布**)和任务损失(** 标准的交叉熵损失,让学生模型也能直接学习到正确的下一个字符**)**

相关推荐
Ada's37 分钟前
【目标检测2025】
人工智能·目标检测·计算机视觉
MongoVIP40 分钟前
音频类AI工具扩展
人工智能·音视频·ai工具使用
说私域3 小时前
百丽企业数字化转型失败案例分析及其AI智能名片S2B2C商城小程序的适用性探讨
人工智能·小程序
不当菜鸡的程序媛4 小时前
Stable Diffusion的U-Net中,交叉注意力机制的QKV
人工智能
不当菜鸡的程序媛4 小时前
Stable Diffusion里面Cross-Attention设计:为啥Q来自图像/噪声,K和V来自文本
人工智能·计算机视觉·stable diffusion
2401_841495647 小时前
【计算机视觉】基于数学形态学的保留边缘图像去噪
人工智能·python·算法·计算机视觉·图像去噪·数学形态学·边缘保留
三天哥7 小时前
Sora 2为什么会火?
人工智能·gpt·ai·aigc·agi·ai视频·sora
逻辑留白陈7 小时前
2025年实用大模型工具清单
人工智能·学习方法
许泽宇的技术分享7 小时前
AI驱动的视频生成革命:MoneyPrinterTurbo技术架构深度解析
人工智能·内容创作·ai视频生成
飞哥数智坊7 小时前
“成章”写作助手开源:中秋赏不成月,那就开源一个 AI 实战项目吧
人工智能·ai编程·trae