深度学习的笔记

1. 从huggingface上仅下载pytorch模型权重和配置文件到服务器

python 复制代码
import os
import shutil
from huggingface_hub import snapshot_download

# 直接指定模型和下载路径
model_name = 'openai/clip-vit-base-patch32'
download_path = '/home/xxx/.cache/huggingface/hub/models--anas-awadalla--mpt-7b'

# 确保下载路径存在
os.makedirs(download_path, exist_ok=True)
print('*'*10, f'Start downloading {model_name}', '*'*10)

# 下载模型
snapshot_download(repo_id=model_name,
                  cache_dir=download_path,
                  local_dir=download_path,
                  local_dir_use_symlinks=False,
                  ignore_patterns=["*.h5","*safetensors","*msgpack"],
                  force_download=True,
                  resume_download=False,
                  etag_timeout=60)


print('*'*10, 'Download finish', '*'*10)

# 清理下载的模型目录
for item in os.listdir(download_path):
    if os.path.isdir(os.path.join(download_path, item)) and item.startswith('models'):
        shutil.rmtree(os.path.join(download_path, item))

2. 从huggingface的镜像站上下载数据集:

python 复制代码
import os
from datasets import load_dataset

os.environ["HF_DATASETS_BASE_URL"] = "https://hf-mirror.com/"

# 数据集名称
dataset_name = 'lukaemon/mmlu'
download_path = '/data/share/xxx/'

# 子集列表
subsets = ['subset1', 'subset2', 'subset3']  # 替换为实际的子集名称

# 确保下载路径存在
os.makedirs(download_path, exist_ok=True)
print('*' * 10, f'Start downloading subsets of {dataset_name}', '*' * 10)

# 下载数据集的每个子集
for subset in subsets:
    print(f'Downloading subset: {subset}')
    dataset = load_dataset(dataset_name, subset, cache_dir=download_path,trust_remote_code=True)["test"]
    print(f'Finished downloading subset: {subset}')

print('*' * 10, 'Download finish', '*' * 10)

3. 关于对数概率(logits)和softmax函数:

对数概率(Logits):指的是在应用 softmax 函数之前的层的输出。它们是模型输出的原始未归一化的分数,可以理解为模型对每个类别的信心度量。这些分数可以是任意实数值,不限于0到1之间。

Softmax 函数是一种将对数概率(或任意实数值向量)转换成概率分布的方法。具体来说,它会对每个输出应用指数函数,然后对这些指数值进行归一化,使它们的和为1,从而转换为概率分布。

总结一下,对数概率(logits)是 softmax 函数的输入,而 softmax 函数的输出是一个概率分布,即模型对各个类别的预测概率。这两者经常一起使用,尤其是在处理分类问题时。

4. 你可以通过指定--name或-n参数来创建并命名一个新的Conda环境:

bash 复制代码
conda env create -f environment.yml #改成如下:

conda env create -f environment.yml -n openflamingov1

5. epoch , batch ,step的关系

bash 复制代码
step = batch number * epoch number,解释如下:
step表示参数更新的次数

假设有1000个数据,我想遍历10个epoch,我假设 batch_size = 10,也就是一次处理10张图片,
那么1个epoch 会有 1000/10 = 100个batch,也就是batch number = 100

运行完一个batch_size的数据之后才会 计算loss ,进行反向传播,更新参数,step+1,那么1个epoch之后,更新100次,step=100
10个epoch,则表示有100 * 10 = 1000 个step来更新参数
相关推荐
正义的彬彬侠2 分钟前
《XGBoost算法的原理推导》12-14决策树复杂度的正则化项 公式解析
人工智能·决策树·机器学习·集成学习·boosting·xgboost
Debroon11 分钟前
RuleAlign 规则对齐框架:将医生的诊断规则形式化并注入模型,无需额外人工标注的自动对齐方法
人工智能
EricWang135812 分钟前
[OS] 项目三-2-proc.c: exit(int status)
服务器·c语言·前端
羊小猪~~18 分钟前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
AI小杨19 分钟前
【车道线检测】一、传统车道线检测:基于霍夫变换的车道线检测史诗级详细教程
人工智能·opencv·计算机视觉·霍夫变换·车道线检测
晨曦_子画24 分钟前
编程语言之战:AI 之后的 Kotlin 与 Java
android·java·开发语言·人工智能·kotlin
道可云25 分钟前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
人工智能培训咨询叶梓35 分钟前
探索开放资源上指令微调语言模型的现状
人工智能·语言模型·自然语言处理·性能优化·调优·大模型微调·指令微调
zzZ_CMing35 分钟前
大语言模型训练的全过程:预训练、微调、RLHF
人工智能·自然语言处理·aigc
newxtc36 分钟前
【旷视科技-注册/登录安全分析报告】
人工智能·科技·安全·ddddocr