山东大学软件学院毕业设计(一)

任务书:

将法律领域的结构化知识(如罪名构成要件、量刑情节、证据规则等)融入到LLM的训练与推理过程中,设计一种有效的知识注入机制,将上述领域知识构建成可计算的提示模板或软提示,进而对某个开源预训练语言模型进行提示微调,使其能够提取关键词、生成案例摘要,克服通用摘要模型在法律专业领域可能出现的事实偏差与逻辑谬误。

关键词:提示模板、软提示、关键词提取、生成案例摘要

模型:Qwen3-8B

模型任务:

任务一:关键词提取

任务二:生成案例摘要

论文任务:

对比基线模型、提示模板+基线模型、软提示+基线模型、Qlora+基线模型对不同任务的完成情况。

评价机制:

任务一:与基线模型对比F1参数

任务二:与基线模型对比ROUGE-1 / ROUGE-2 / ROUGE-L等自动指标

bash 复制代码
ROUGE-1

定义:计算生成文本与参考文本之间单个词(unigram)的重叠率。

计算方式:

召回率 (Recall):生成文本中与参考文本匹配的词数 / 参考文本总词数

精确率 (Precision):生成文本中与参考文本匹配的词数 / 生成文本总词数

F1-score:精确率和召回率的调和平均数

用途:衡量生成文本是否包含参考文本中的关键词。


ROUGE-2

定义:计算生成文本与参考文本之间连续两个词(二元组 bigram)的重叠率。

计算方式:

同 ROUGE-1,但匹配的是连续两个词的组合。

用途:衡量生成文本是否保留了参考文本中的短语或局部句法结构,比 ROUGE-1 更严格。

ROUGE-L

定义:计算生成文本与参考文本之间的最长公共子序列(Longest Common Subsequence, LCS)。

特点:

不要求连续的词,但顺序必须一致

可反映文本的整体顺序和语义连贯性

计算方式:

召回率 = LCS 长度 / 参考文本长度

精确率 = LCS 长度 / 生成文本长度

F1-score = 精确率和召回率的调和平均数

用途:衡量生成文本与参考文本在整体结构和逻辑上的一致性。

项目结构:

bash 复制代码
LawLLM_Project/                 # 项目根目录
├─ data/                        # 原始和处理后的数据
│   ├─ raw/                     # 原始裁判文书、案例文本
│   │   ├─ criminal_cases/      # 刑事判决书样本
│   │   ├─ civil_cases/         # 可选:民事案例样本
│   │   └─ metadata.json        # 数据集说明
│   ├─ processed/               # 清洗/标注后的数据
│   │   ├─ keyword_cases.jsonl  # 用于关键词提取的样本
│   │   └─ summary_cases.jsonl  # 用于摘要生成的样本
│   └─ prompts/                 # 统一存放 Prompt 模板
│       ├─ keyword_prompt.txt
│       ├─ summary_prompt.txt
│       └─ legal_constraint_prompt.txt
│
├─ models/                      # 模型存放
│   └─ Qwen3-8B/                # 本地下载的模型
│
├─ src/                         # 实验代码
│   ├─ __init__.py
│   ├─ download_model.py         # HuggingFace 模型下载脚本
│   ├─ inference.py              # 推理函数(generate_text, keyword_extraction, summarize_case)
│   ├─ evaluate.py               # 实验评测函数(人工打分/自动指标)
│   └─ run_experiments.py        # 对照实验执行脚本
│
├─ results/                     # 实验结果
│   ├─ keyword_extraction/      # 关键词提取输出
│   │   ├─ baseline.jsonl
│   │   └─ legal_prompt.jsonl
│   └─ summary/                 # 案例摘要输出
│       ├─ baseline.txt
│       └─ legal_prompt.txt
│
├─ notebooks/                   # 可选:Jupyter笔记本
│   └─ analysis.ipynb           # 可视化对比、统计图表
│
├─ requirements.txt             # Python依赖
├─ README.md                    # 项目说明

今日完成任务:

建立项目框架、下载模型、初步构建模型评价体系、将任务上传到github

相关推荐
To_OC32 分钟前
大模型蒸馏是啥?说白了就是大厨带徒弟的学问
人工智能·llm·agent
新手来了@click1 小时前
JAVA+AI 简化开发操作|文章被 AI Agent 技术社区收录分享
人工智能
GuWenyue1 小时前
Cursor黑盒拆解!1套LangChain.js手写Mini编程Agent,自动生成React项目,效率提升60%
前端·数据库·人工智能
GuWenyue1 小时前
传统Agent工具两大痛点!300行代码落地MCP跨语言工具,彻底解耦LLM与工具
前端·人工智能·算法
老云讲算力市场2 小时前
WAIC首日观察:国产算力与机器人加速落地,奇点算力迎来产业新机遇
人工智能·科技
糖果店的幽灵2 小时前
【DeepAgents 从入门到精通】Context Management 上下文管理
java·人工智能·后端·spring·中间件·langgraph·deepagents
小林ixn2 小时前
大模型随机说话的秘密:Temperature 和 Top K 深度解析,LangChain 实战调优
人工智能·langchain
ALINX技术博客2 小时前
ALINX 亮相 2026 WAIC 世界人工智能大会,展示 AI 视觉 FPGA+GPU 异构计算与电子后视镜解决方案
人工智能·ai·fpga·世界人工智能大会·电子后视镜
程序员老猫3 小时前
当 AI 能写 80% 的代码时,后端工程师的核心价值还剩什么?
人工智能
想会飞的蒲公英3 小时前
计算机怎样读取中文文本:编码、清洗与标准化
人工智能·python·自然语言处理