#加载某类文件作为数据集
dataset = load_dataset("json", data_files="./train_pair_1w.json", split="train")
#加载数据集中的子数据集
datasets = load_dataset("clue",name="afqmc",#trust_remote_code=True)
train_dataset=datasets["train"]
#load_dataset加载某类文件（json,csv,text）
ds=load_dataset("json",data_files="path.json")
data_files = {"train": "train.csv", "test": "test.csv"}
dataset = load_dataset("dataset_name", data_files=data_files)
#构造数据集
try_dataset=train_dataset[:10]
dataset = Dataset.from_dict(try_dataset)
dataset_dict = DatasetDict({'train': dataset})
Dataset_dict才可以使用map方法
#用脚本的方式加载dataset：
from datasets import load_dataset
ds = load_dataset('path/to/local/loading_script/loading_script.py', split='train')
#使用save_to_disk之后的加载方式：（必须是save_to_disk保存过的，不然不能这样加载，用load_datset加载）
ds.save_to_disk("path/to/dataset/directory")
ds = load_from_disk('path/to/dataset/directory')
#如果文件夹里面有train,test等多个文件夹，那么就需要用DatasetDict
c3 = DatasetDict.load_from_disk("./c3/")
更多加载方式以及参数：