datasets的一些使用技巧

#加载某类文件作为数据集

dataset = load_dataset("json", data_files="./train_pair_1w.json", split="train")

#加载数据集中的子数据集

datasets = load_dataset("clue",name="afqmc",#trust_remote_code=True)

train_dataset=datasets["train"]

#load_dataset加载某类文件(json,csv,text)

ds=load_dataset("json",data_files="path.json")

data_files = {"train": "train.csv", "test": "test.csv"}

dataset = load_dataset("dataset_name", data_files=data_files)

#构造数据集

try_dataset=train_dataset[:10]

dataset = Dataset.from_dict(try_dataset)

dataset_dict = DatasetDict({'train': dataset})

Dataset_dict才可以使用map方法

#用脚本的方式加载dataset:

from datasets import load_dataset

ds = load_dataset('path/to/local/loading_script/loading_script.py', split='train')

#使用save_to_disk之后的加载方式:(必须是save_to_disk保存过的,不然不能这样加载,用load_datset加载)

ds.save_to_disk("path/to/dataset/directory")

ds = load_from_disk('path/to/dataset/directory')

#如果文件夹里面有train,test等多个文件夹,那么就需要用DatasetDict

c3 = DatasetDict.load_from_disk("./c3/")

更多加载方式以及参数:

https://huggingface.co/docs/datasets/v2.16.1/en/package_reference/main_classes#datasets.Dataset.save_to_disk

相关推荐
自不量力的A同学3 分钟前
微软发布「AI Shell」
人工智能·microsoft
花生糖@35 分钟前
OpenCV图像基础处理:通道分离与灰度转换
人工智能·python·opencv·计算机视觉
2zcode39 分钟前
基于YOLOv8深度学习的智慧农业棉花采摘状态检测与语音提醒系统(PyQt5界面+数据集+训练代码)
人工智能·深度学习·yolo
秀儿还能再秀1 小时前
神经网络(系统性学习四):深度学习——卷积神经网络(CNN)
人工智能·深度学习·机器学习·cnn·学习笔记
小彭努力中2 小时前
141. Sprite标签(Canvas作为贴图)
前端·深度学习·3d·webgl·three.js
开MINI的工科男2 小时前
【笔记】自动驾驶预测与决策规划_Part7_数据驱动的预测方法
人工智能·自动驾驶·端到端·预测与决策·多模态预测
蒋会全3 小时前
第2.3 AI文本—prompt入门
人工智能·prompt·aigc
Evaporator Core3 小时前
门控循环单元(GRU)与时间序列预测应用
人工智能·深度学习·gru
是Yu欸3 小时前
【Github】如何使用Git将本地项目上传到Github
人工智能·git·深度学习·github·论文笔记·cvpr
归-途3 小时前
C#构建一个简单的循环神经网络,模拟对话
神经网络·机器学习·c#