毕设学习进展周报

文章目录

3.11-3.18

1.阅读ACL文献并记录

2.查找相关资料学习在阿里云部署ChatGLM3-6B

参考:https://blog.csdn.net/H66778899/article/details/135630030

python 复制代码
#  运行
streamlit run /mnt/workspace/ChatGLM3/conposite_demo/main.py

可以得到:

3.学习如何微调

首先需对下载的医疗公开数据集进行处理,选择处理的是内科数据集,大概三万多条数据。

用作处理的代码如下,使用智普AI写的:

python 复制代码
import pandas as pd
import json

# 1. 读取CSV文件
import chardet

with open('internal.csv', 'rb') as f:
    result = chardet.detect(f.read())

print(result)  # 输出检测结果,包括编码和置信度

df = pd.read_csv('internal.csv', encoding=result['encoding'])



# 2. 数据预处理
# 这里可以根据需要对数据进行清洗和处
df.drop_duplicates(inplace=True)
df.fillna(method='ffill', inplace=True)

# 3. 格式转换
# 假设您的CSV文件中有两列:"Question" 和 "Answer",您想用它们来训练模型
# 请根据您的实际数据结构调整下面的代码
data_for_chatglm = []
for index, row in df.iterrows():
    data_for_chatglm.append({
        "instruction": row['title'],
        "output": row['answer']
        # 如果需要的话,可以添加更多键值对
    })

# 4. 保存为JSON格式
with open('medical.json', 'w', encoding='utf-8') as f:
    json.dump(data_for_chatglm, f, ensure_ascii=False, indent=4)

数据集的问答存在的问题为:有些回答包含无意义内容,有些回答的语句不通顺,先作为保留问题,等跑通了再做处理

官方微调文档:https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo/README.md

使用阿里云DSW微调ChatGLM3-6B:https://blog.csdn.net/a131529/article/details/134895649

相关推荐
瑞克-桑切斯6 小时前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
kaixin_啊啊9 小时前
【三种鲑科鱼类比较基因组学分析鉴定出参与细胞内寄生菌鲑立克次体抗性的功能候选基因】论文学习
学习
CappuccinoRose11 小时前
Redis 学习文档
redis·后端·学习·缓存·session·非关系型数据库·gossip
qingwufeiyang_53012 小时前
Docker学习笔记2
笔记·学习
Z21-X13 小时前
云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践
运维·笔记·学习·云原生·kubernetes
Century_Dragon13 小时前
把高压回路“看透” 新能源汽车动力系统拆装与检测实训MR软件
学习
电科_银尘1 天前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
QuZhengRong1 天前
【AI】Agent 全栈进阶|AgentScope 沙箱源码解析
python·学习·ai·agent·沙箱
承渊政道1 天前
【Python编程—从入门到实践】(用户账户:给Django网站装上登录系统,让每个人拥有自己的学习笔记)
python·学习·pycharm·django
诗句藏于尽头1 天前
游戏《完美神话》-使用Ai-agent进行修复已停服游戏到本地成功部署以及GM端网页完整教程
人工智能·学习·游戏