dvc使用方法

参考使用文档

https://zhuanlan.zhihu.com/p/475053858

https://dvc.org/doc/start

https://blog.csdn.net/qq_38300692/article/details/125652294


安装

pip install dvc

pip install "dvcssh"

dvc init


#1、首次创建数据(此时远程仓库中还没有相关数据集)(注意区别于#4 )

dvc add data/ #会生成一个.dvc文件

dvc remote add -d crnn_plate_recognition_remote ssh://zhangying@192.168.36.198/srv/dev-disk-by-uuid-d8f1b085-f201-4f7f-aec7-a1ce0e0c0a1c/share/deeplearning/zhangying/dvc/crnn_plate_recognition

dvc remote modify crnn_plate_recognition_remote password opendrive

mkdir xxx/ # 在使用dvc push命令之前,需要确保远程存储仓库的目录结构已经存在。DVC本身不会自动创建远程存储仓库的文件夹

git add .dvc/config #注意 add是先dvc add,后git add

git add data.dvc

git commit -m "Configure local remote storage"

dvc push # 将本地数据集push到远程存储库

git push origin branch_name


#2、修改数据集后

dvc add data/

dvc push

git add * # 主要为了add .dvc文件

git commit -m 'dataset update:delete opendrive.txt 、opendrive/ ' # 数据集版本的详细信息通过commit记录(能否记录在 .dvc/config里?


#3、切换数据集版本

git log

git checkout <commit_id>

dvc checkout


#4、首次拉取代码+拉取数据 (此时远程仓库已经又对应数据集了,并且项目目录下有.dvc文件)

git pull ...

dvc pull #从配置的​默认远程存储库​下载缺失的数据文件


5、#修改了远程存储库中的数据

dvc pull

dvc不是版本控制,而是只控制.dvc文件。.dvc的内容定义了使用的数据版本,项目根据.dvc去寻找数据集

查询已配置的远程存储库信息

dvc remote list


报错:

1、 File "/home/zy/anaconda3/lib/python3.8/site-packages/OpenSSL/crypto.py", line 1537, in X509StoreFlags

CB_ISSUER_CHECK = _lib.X509_V_FLAG_CB_ISSUER_CHECK

AttributeError: module 'lib' has no attribute 'X509_V_FLAG_CB_ISSUER_CHECK'

方法:

sudo rm -rf /home/zy/anaconda3/lib/python3.8/site-packages/OpenSSL/

pip install pyOpenSSL --upgrade

2、'./data.dvc' validation failed.

extra keys not allowed, in outs -> 0 -> hash, line 2, column 3

方法:如果项目下的.dvc文件生成时使用的dvc版本为3.x,则后续其他人拉取数据都需要用3.x版本,若用2.x版本会报此错误。

3、Preparing metadata (pyproject.toml) ... error

error: subprocess-exited-with-error

方法:

pip install pip==21.3.1

相关推荐
武子康10 小时前
H3-World 写了 CPU offload,为什么还不能保证塞进 48GB?
大数据·人工智能·深度学习
严肃小白兔14 小时前
第 04/24 期:深度学习中的损失函数及其数学解释
人工智能·深度学习
BYSJMG15 小时前
计算机毕业设计选题推荐:【基于深度学习的车辆损坏严重程度评估方法研究】ResNet50 图像分类
人工智能·深度学习·目标检测·机器学习·计算机视觉·分类·课程设计
在所不辞兄15 小时前
为什么在电池供电场景下,不能采用固定电压频率策略,而需要动态调整以最大化 Race-to-Sleep 收益?
人工智能·深度学习·神经网络·机器学习
BYSJMG16 小时前
计算机毕业设计选题推荐|【基于深度学习的电梯电动车违规进入检测研究】YOLO26m+可视化大屏
人工智能·深度学习·神经网络·目标检测·机器学习·计算机视觉·课程设计
盼小辉丶16 小时前
PyTorch强化学习实战(35)——多智能体强化学习
人工智能·pytorch·深度学习·强化学习
武子康2 天前
H3-World 的动作能按时发生,为何还不能据此判断实时互动?
人工智能·深度学习·agent
Rocky Ding*2 天前
【三年面试五年模拟】2026-11-05_月之暗面大模型算法岗一面、二面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·强化学习·ai-native
在所不辞兄2 天前
【人工智能驱动的电催化研究-05】条件、循环与数据检查
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
伞伞悦读2 天前
【第81期】特征缩放怎么选:标准化、MinMax 与 Robust 的原理、泄漏对照和完整实验
人工智能·python·深度学习·机器学习