260401日志

attention_mask是因为padding产生的

静态填充和动态填充优缺点:批次大小固定,训练过程稳定,易于分布式训练,静态优点计算图固定,可能获得更好的硬件加速,缺点存在大量无效计算(填充部分),显存利用率低,长序列样本可能丢失重要信息,;动态填充优点提高计算效率,显存占用降低约 30%,保留更多序列信息,尤其适合短文本占比高的数据集,适合训练阶段,提升整体训练速度,推理阶段需要额外处理,不适合批量预测,批次长度不固定,分布式训练配置更复杂

分布式训练:多卡训练

目前主流分词工具:Hugging Face Transformers Tokenizer

Hugging Face transformers 库原生支持 SentencePiece 模型

Hugging Face SentencePieceTokenizer和sentencepiece区别:底层一样,少写代码

Hugging Face transformers 库在新版本中彻底移除了 SentencePieceTokenizer 这个独立类,所有基于 SentencePiece 的分词器统一通过 AutoTokenizer 自动加载

使用 AutoTokenizer 自动适配(所有基于 SentencePiece 的模型都支持)

之前了解的主流分词器格式tokenizer.json

查看电脑的cuda版本:PowerShell(Windows) nvidia-smi

是不是越高版本的cuda计算速度越快:在驱动、显卡、深度学习框架(PyTorch/TensorFlow)全都完美兼容的前提下:更高版本的 CUDA 通常会更快,至少不会更慢

AlbertTokenizer配置sentencepiece训练的model:

python 复制代码
from transformers import AlbertTokenizer

# 核心写法:直接初始化,加载本地SentencePiece模型 + 手动配置特殊令牌
tokenizer = AlbertTokenizer(
    vocab_file="mymodel.model",  # 你的本地分词模型文件
    do_lower_case=True,         # 根据你的模型选择是否小写(中文可忽略)
    # 手动指定Albert必需的特殊令牌,修复special_tokens错误
    bos_token="[CLS]",
    eos_token="[SEP]",
    unk_token="[UNK]",
    pad_token="[PAD]",
    mask_token="[MASK]"
)

# 测试分词
text = "你好,这是测试文本"
inputs = tokenizer(text, return_tensors="pt")
print(inputs)

sentencepiece训练出的model示例:

显示的是 score(分数)而不是"词频"或"ID"异常;负数是因为log probability(对数概率)或类似评分;整数是因为是打印时被截断/近似了

相关推荐
菜鸟~noob23313 分钟前
[AI]间章:系列走到这里,聊聊后面的规划、造卡需要的软件平台,以及为什么我要先暂停更新
人工智能·python·fpga开发·django·pygame
aneasystone本尊22 分钟前
大模型训练系列收官:动手训一个属于自己的小模型
人工智能
杨凯凡29 分钟前
Spring AI MCP 多租户安全实战:共享 Session 会串数据吗?工具权限与隔离边界
人工智能·安全·spring
chh56310 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
TomEval10 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
ZhengEnCi11 小时前
AI 总模仿代码库里的过时写法怎么办:先清坏样例,再用类型与测试让 AI 无法犯错
人工智能·ai编程
一只爱撸猫的程序猿11 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
GitCode官方11 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI12 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP12 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python