《Password Guessing Using Large Language Models》——论文阅读

1.研究背景

LLM在文本生成和理解方面表现出色,但直接用于密码猜测存在以下问题:

  • 密码与自然语言的差异(短、无语法、需精确匹配)

  • 生成效率低、重复率高

  • 伦理限制(如GPT-4拒绝生成大量密码)

2.本文研究

提出PASSLLM框架,它通过"少量高效微调 + 专用生成算法 + 知识蒸馏"三步走策略。

  • 将LoRA(低秩适应)微调技术引入LLM密码猜测,构建通用框架,支持trawling(广撒网)和三种targeted(精准)攻击场景(基于个人信息,密码重用,结合PII和密码重用)。
  • 同时为trawling场景设计两阶段BFS算法,支持大规模并行生成。为targeted场景设计动态beam search算法,提高生成效率。
  • 将知识蒸馏技术用于LLM密码猜测,压缩模型参数,在不损耗性能的情况下,提升推理速度。

3.相关知识

LoRA(低秩适应):是一种"只改一点点,就能让大模型学会新任务"的参数高效微调技术,其核心思想为:冻结原模型,外挂"小补丁"------用极少量可训练参数,近似全参数微调的效果。

4.具体步骤

(1)数据处理与模型输入构建

数据格式

  • 每条训练数据是一个序列:seq_i = [INFO_i, pw_i]。

  • INFO_i:可用的辅助信息(如PII、姊妹密码)。pw_i:目标密码。

双词汇表设计

  • 辅助信息部分:使用LLM原有的词汇表(通常包含数万个token)进行编码,以保留其语言理解能力。

  • 密码部分 :使用一个自定义的字符级词汇表 ,仅包含95个可打印ASCII字符 和一个EOS(End-of-Sequence) token,共96个符号。

(2)基于LoRA的高效模型微调

LoRA注入 :在Transformer的自注意力层 中的Query, Key, Value投影矩阵上注入LoRA模块。

训练目标 :标准的下一个token预测(自回归)。损失函数仅计算密码部分的交叉熵,而不计算辅助信息部分。

(3)针对不同场景的密码生成算法

trawling场景的两阶段生成算法

前缀生成 :使用一个优先队列(最大堆) ,从初始提示开始,基于累积概率广度优先地生成一系列互不为前缀的字符序列。

并行子字典生成: 将第一阶段得到的前缀集合中的每一个前缀,与初始提示词组合,形成新的输入;对每个新输入,并行地 使用带概率剪枝的BFS算法生成以该前缀开头的密码子字典;最后将所有子字典合并,按概率排序,得到最终的拖网密码字典。

优势:该设计将一个大任务分解为大量可并行执行的子任务,极大提高了生成效率,易于在消费级GPU上实现大规模密码生成。

targeted场景的动态束搜索算法

动态束宽:允许在不同生成长度(深度)设置不同的束宽(beam width),更灵活地平衡资源。

EOS终止阈值:引入一个阈值 ε,只有当模型生成EOS token的概率大于 ε时,才认为该密码序列完成并被输出。

KV缓存共享 :关键性能优化,辅助信息 INFO的KV缓存只需计算一次,然后在所有beam中共享。只需为不断增长的密码前缀维护KV缓存。

(4)模型蒸馏

教师模型:训练好的 7B参数 PAssLLM (Mistral)

学生模型:一个更小号的模型(如 0.5B参数的 Qwen2.5)

训练目标 :学生模型的训练损失是两种损失的加权和,蒸馏损失( 让学生模型的输出分布尽可能接近教师模型的输出分布**)和任务损失(** 标准的交叉熵损失,让学生模型也能直接学习到正确的下一个字符**)**

相关推荐
CH_Qing16 小时前
【ROS2】驱动开发-雷达篇
人工智能·ros2·1024程序员节
孤廖16 小时前
面试官问 Linux 编译调试?gcc 编译流程 + gdb 断点调试 + git 版本控制,连 Makefile 都标好了
linux·服务器·c++·人工智能·git·算法·github
星期天要睡觉16 小时前
什么是提示词(Prompt),提示词类型、结构解析
人工智能·语言模型
深度学习lover16 小时前
<数据集>yolo煤矿安全帽识别数据集<目标检测>
人工智能·python·深度学习·yolo·目标检测·计算机视觉·煤矿安全帽识别
前端双越老师16 小时前
建议应届毕业生不要再做前端开发了
人工智能·面试·ai编程
aneasystone本尊16 小时前
学习 Dify 的工具系统
人工智能
nju_spy16 小时前
牛客网 AI题(二)机器学习 + 深度学习
人工智能·机器学习·笔试·tf-idf·pca·位置编码·k-means
周杰伦_Jay16 小时前
【Mac下通过Brew安装Ollama 】部署 DeepSeek 轻量模型(实测版)
人工智能·macos·数据挖掘·database·1024程序员节
北青网快讯16 小时前
CDN5上线AI智能防御系统,为香港CDN加速服务注入新一代安全与智能动力
人工智能·安全
IT_陈寒16 小时前
Python 3.12震撼发布:5大性能优化让你的代码提速50%,第3点太香了!
前端·人工智能·后端