目 录
-
概述... 2
-
测试DeepSeek 15B原生模型... 3
-
测试微调训练后的大模型... 4
-
微调模型训练过程及代码... 6
1. 概述
基于DeepSeek-R1-Distill-Qwen-1.5B模型训练自主的领域大模型，例如打造针对钢铁、矿山、有色、稀土、建材、加工制造等领域的大模型。促进大模型技术在具体领域的应用与落地，助力行业向智能制造转型升级。
本文介绍：
（1）基础模型DeepSeek-R1-Distill-Qwen-1.5B与微调训练后的deepseek-1.5b-lora模型使用对比。
（2）微调训练模型的过程及Python代码。
下载代码：https://github.com/wxzz/iNeuOS_LLM。
2. 测试DeepSeek-R1 15B原生模型
2.1 提示词1：iNeuOS是什么？
**结论：**回答内容与iNeuOS不相关。
提问： iNeuOS是什么？
**回答：**如下图：
2.2 提示词2：iNeuOS工业互联网操作系统的特点？
**结论：**回答内容说了一大堆废话，与提问内容不相关，浪费资源。
**提问：**iNeuOS工业互联网操作系统的特点？
**回答：**如下图：
2.3 提示词3：iNeuOS工业互联网操作系统的功能介绍？
**结论：**回答内容说了一大堆英文，与提问内容不相关，浪费资源。
提问： iNeuOS工业互联网操作系统的功能介绍？
**回答：**如下图：
3. 测试微调训练后的大模型
3.1 提示词1：iNeuOS是什么？
**结论：**回答的内容与iNeuOS有少许的相关性，但是回答的内容不成体系，可能与由于提问太过笼统、训练模型的数据集都有关系。
**提问：**iNeuOS是什么？
**回答：**如下图：
3.2 提示词2：iNeuOS工业互联网操作系统的特点？
**结论：**相比提示词1，回答的内容与iNeuOS相关的内容更多了，回答的准确度提高了，内容更体系化。
**提问：**iNeuOS工业互联网操作系统的特点？
**回答：**如下图：
3.3 提示词3：iNeuOS工业互联网操作系统的功能介绍？
**结论：**回答的内容大部分与训练模型的数据集相关，内容更有逻辑感。
提问： iNeuOS工业互联网操作系统的功能介绍？
**回答：**如下图：
3.4 提示词4：写一份物联网的方案,包含数据采集、数据可视化、数据表报等
**结论：**增加回答难度，回答的内容基本与训练模型的数据集相关，如果提示词更完善，那么回答的内容更准确。
**提问：**依据iNeuOS工业互联网操作系统相关内容，写一份物联网的方案
**回答：**如下图：
4. 微调模型训练过程及代码
4.1 代码工程目录
下载代码：https://github.com/wxzz/iNeuOS_LLM。
|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| LLM/ ├───📂 deepseek-1.5b-lora-final/ //微调训练后的模型 ├───📂 deepseek-1.5b-lora-merged/ //微调后模型与基础模型合并的模型 ├───📂 deepseek-ai/ │ ├───📂 DeepSeek-R1-Distill-Qwen-1.5B/ //基础模型 ├───📂 docx_input/ //生成数据集的基础Word文件 ├───datasets.json/ //微调训练模型的输入数据集文件 ├───merged_model.py/ //用于合并基础模型与微调后的模型 ├───test_base_model.py/ //测试基础模型 ├───test_merged_model.py/ //测试合并后的模型 ├───test_train_model.py/ //测试微调后的模型 ├───train_model.py/ //微调训练模型 ├───training_dataset.json/ //转换Word生成的数据集文件 ├───word_to_dataset.py/ //用于转换Word生成的数据集 |
4.2 下载基础模型DeepSeek-R1-Distill-Qwen-1.5B
使用huggingface-cli下载基础模型，工具下载地址：https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
4.3 准备数据集
（1） 把准备好的Word文件，放入docx_input文件夹。
（2） 运行word_to_dataset.py代码，会生成training_dataset.json数据集文件，把training_dataset.json文件名称改为datasets.json。数据集有很大的调优空间。
4.4 训练模型
（1） 运行train_model.py，训练模型，以我的笔记本配置，训练完成datasets.json数据集需要将近4个小时。
（2） 训练完成的模型保存在deepseek-1.5b-lora-final目录下。
（3） 使用test_train_model.py代码测试基础模型与训练后的模型。
4.5 合并模型
（1） 运行merged_model.py代码，把基础模型与训练后的模型合并成一个整体的模型，保存在deepseek-1.5b-lora-merged目录下。
（2） 运行test_merged_model.py代码，测试合并后的模型。应用效果参见本文章节：测试微调训练后的大模型。
物联网&大数据技术 QQ群：54256083
物联网&大数据项目 QQ群：727664080
QQ：504547114
微信：wxzz0151
博客：https://www.cnblogs.com/lsjwq
