SaulLM-7B: A pioneering Large Language Model for Law

SaulLM-7B: A pioneering Large Language Model for Law

相关链接:arxiv

关键字:Large Language Model 、Legal Domain 、SaulLM-7B 、Instructional Fine-tuning 、Legal Corpora

摘要

本文中,我们介绍了SaulLM-7B,这是为法律领域量身打造的大型语言模型(LLM)。SaulLM-7B拥有70亿参数,是第一个专门为了理解和生成法律文本而设计的LLM。它是基于Mistral 7B架构,并在超过300亿的英语法律语料上训练优化。SaulLM-7B在理解和处理法律文件方面表现出了前沿的专业能力。此外,我们提出了一种新颖的指导性微调方法,利用法律数据集进一步提高了SaulLM-7B在法律任务中的表现。SaulLM-7B在MIT许可下被释放。

核心方法

  1. 基于法律语料的大规模预训练: 累积了从美国、加拿大、英国和欧洲等英语法律区域的扩展预训练数据集,主要包括了案例文件、法律规则等不同类型的法律文档。
  2. 指导性微调(Instructional Fine-tuning): 利用法律数据集和合成数据集对模型进行特定法律任务的微调,以提升对法律语境更敏感的理解能力。
  3. 专注法律实践者的需求: 强化了对法律实践中常见问题类型的识别和解答能力,比如案件分析、法规回溯、解释、修辞理解和法规结论。
  4. SaulLM-7B-Instruct版本的发布: 发布了一个指令微调版的模型SaulLM-7B-Instruct,特别优化了对一系列法律任务的表现。

实验说明

实验结果主要包括以下几个部分:

Model LegalBench-Instruct MMLU-Jurisprudence MMLU-Professional Law MMLU-International Law
SaulLM-7B-Instruct 0.61 0.63 0.69 0.41
Mistral-7B-Instruct-v0.1 0.55 0.60 0.65 0.38
Mistral-7B-Instruct-v0.2 0.52 - - -
Llama2-13B-chat 0.45 - - -
Zephyr 0.44 - - -
Llama2-7B-chat 0.39 - - -

重点说明:

  • SaulLM-7B-Instruct在LegalBench-Instruct基准测试中达到了最佳性能,显示出在法律领域的强大适应性。
  • 在MMLU的法律相关任务上,SaulLM-7B-Instruct也展现出相较于其他模型更优的性能。
  • 总结来看,SaulLM-7B-Instruct在法律领域的表现卓越,为法律语言理解和应用研究贡献了重要力量。

结论

我们介绍的SaulLM-7B是针对法律领域设计的开源解码器模型,其性能在7B类模型中达到了领先水平。我们的方法包括将法律数据与指令微调相结合进行训练。此外,我们还提供了LegalBench的清洗版本,并引入了一个新的文件集来衡量复杂度。我们希望我们在MIT许可下发布的模型能够为开源生态系统和社区做出贡献。

相关推荐
双鱼大猫13 分钟前
opencode 吃掉 100G 空间:Agent 会话数据要分级清理
人工智能·agent·ai编程
用户58333398166822 分钟前
RPA 流程的异常处理设计:重试、降级与告警,生产环境实战指南
人工智能
sanxing三省1 小时前
DeepSeek Harness 到底是什么?标题里最重的词其实不是「DeepSeek」
前端·人工智能·deepseek
合尘猫2 小时前
用 6GB 显卡搭短视频产线:MiniMax H3 + ffmpeg 全流程实录(55 秒片 / 40 分钟)
人工智能·音视频
ZONGYUAN-ROOT2 小时前
【自愈治理】自愈式数据管道:大规模公开数据采集的治理方法
人工智能
Starry-sky(jing)2 小时前
Hermes Agent 升级 v0.23.2:先辨更新渠道,再看 CLI 退出残留修复
人工智能·python·ai agent
oil欧哟2 小时前
AI Agent Skill 入门指南:文件夹本质、渐进式加载与挑选方法
人工智能·ai编程
百度Geek说3 小时前
从代码生成到需求交付:DarkFactory 的工程实践
人工智能
Baihai_IDP3 小时前
使用场景不同,模型“推理速度慢”的原因也不同
人工智能·面试·llm