[论文笔记] LLM数据集——金融数据集

一、chatglm_金融

ModelScope 魔搭社区

请将modelscope sdk升级到v1.7.2rc0，执行：

​
pip3 install "modelscope==1.7.2rc0" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

# 方式1
git clone http://www.modelscope.cn/datasets/modelscope/chatglm_llm_fintech_raw_dataset.git

# 方式2
from modelscope.msdatasets import MsDataset
ds =  MsDataset.load('modelscope/chatglm_llm_fintech_raw_dataset', subset_name='default', split='train', use_streaming=True)
for item in ds:
    print(item)