模型训练

Ronin-Lotus8 天前
人工智能·python·深度学习·机器学习·分类·模型训练·分类任务
深度学习篇---分类任务图像预处理&模型训练本文简单介绍了pytoch、paddlepaddle框架下的分类任务的图像预处理、模型训练以及模型保存的流程。
爱吃泡芙的小白白11 天前
机器学习·模型评估·模型训练·acc、p、r、f值·k折交叉验证
模型评估——acc、P、R、F值、交叉验证、K折交叉验证模型评估:对预测函数地预测精度的评估。多重回归:涉及三个及其以上的变量的回归问题。评估模型的方法:交叉验证:将数据集分成测试集和训练集,可以采用3:7或者2:8的比例方式进行划分,使用测试集进行对模型的评估,对测试数据计算测试数据的误差的平方,再取其平均值,也就是以前提及的均方差MSE(Mean Square Error,误差越小,精度越高):
爱吃泡芙的小白白19 天前
大模型·数据生成·模型微调·模型训练
模型微调——模型性能提升方法及注意事项(自用)名词补充人为为训练数据标注的标签称为黄金标准或真实值,这个过程一定程度上保证训练的准确性,但是其人工标注的成本和时间很高,并且标注的标签受人的主观因素影响。
kcarly1 个月前
人工智能·深度学习·模型微调·模型训练·微软开源
大模型训练微调技术介绍大模型训练微调技术是人工智能领域中的一项重要技术,旨在通过少量特定领域的数据对预训练模型进行进一步训练,使其更好地适应具体任务或应用场景。以下是关于大模型训练微调技术的详细介绍:
SunStriKE2 个月前
llm·模型训练
deepseek-v3 论文阅读主要作用是在保证效果的基础上, 利用低秩压缩的原理优化kvCache, 加速推理, 同时节省训练显存.
Milkha2 个月前
llm·模型训练
大模型训练工具,小白也能轻松搞定!Axolotl 是一款旨在简化各种人工智能模型微调的工具,支持多种配置和架构。主要特点:示例:使用零代码命令行与 Web UI 轻松训练百余种大模型,并提供高效的训练和评估工具。
SunStriKE2 个月前
llm·模型训练
[megatron代码阅读] 1. 初始化和组网以pretrain_gpt.py为例, 看megatron的整体逻辑. 本章主要包括megatron初始化相关逻辑, 核心函数为initialize_megatron, setup_model_and_optimizer两个
SCBAiotAigc3 个月前
人工智能·python·机器学习·模型训练·人工智能发展史·人工智能可以发展的方向
机器学习无处不在,AI顺势而为,创新未来机器学习无处不在:1、推荐广告和搜索:推广搜不分家,属于数据科学中,对人的行为进行理解2、计算机视觉CV:对人看到的东西进行理解
华为云开发者联盟4 个月前
docker·ai·容器·模型训练·华为云modelarts
基于云主机的ModelArts模型训练实践,让开发环境化繁为简本文分享自华为云社区《【开发者空间实践】云主机安装Docker并制作自定义镜像在ModelArts平台做模型训练》,作者: 开发者空间小蜜蜂。
颜淡慕潇4 个月前
深度学习·模型训练·cnns
【深度学习】深入解析卷积神经网络(CNNs)卷积神经网络(Convolutional Neural Networks, CNNs)是深度学习领域中一种极为重要的算法,尤其在计算机视觉任务中表现出色。CNNs 模拟人类视觉系统,通过多层的卷积操作提取特征,最终实现对图像的分类、识别等任务。本文将深入探讨 CNNs 的基本结构、工作原理、关键技术以及在实际应用中的表现。
机器学习是魔鬼4 个月前
llama·模型训练·ai功能岛·矩池云
LLaMA-Factory 上手即用教程LLaMA-Factory 是一个高效的大型语言模型微调工具,支持多种模型和训练方法,包括预训练、监督微调、强化学习等,同时提供量化技术和实验监控,旨在提高训练速度和模型性能。
SmallBambooCode5 个月前
linux·人工智能·python·阿里云·debian·脚本·模型训练
【人工智能】阿里云PAI平台DSW实例一键安装Python脚本阿里云的DSW实例自带的镜像很少而且并不好用,所以我在这里写三个一键编译安装Python3.8,Python3.9,Python3.10的Shell脚本。
Thanks_ks5 个月前
深度学习·docker·tensorflow·模型部署·容器化技术·模型训练·flask 应用
利用 TensorFlow 与 Docker 构建深度学习模型训练与部署流水线在深度学习领域,构建、训练和部署模型是一个复杂且耗时的过程。本文将介绍如何利用 TensorFlow 构建深度学习模型,并通过 Docker 容器化技术实现模型的训练与部署,从而简化整个流水线,提高开发效率。我们将通过实战代码,展示从模型构建到部署的全过程。
算家云5 个月前
人工智能·aigc·图像生成·模型训练·抠图·背景去除·内容创作
BRIA-RMBG-1.4容器构建指南BRIA-RMBG-1.4 是 BRIA AI 公司开发的一款先进的背景去除模型,旨在高效、准确地从各种类别和类型的图像中分离前景和背景。
青云交5 个月前
大数据·机器学习·数据处理·模型训练·应用案例·kubeflow·资源利用
大数据新视界 --大数据大厂之 Kubeflow 在大数据与机器学习融合中的应用探索💖💖💖亲爱的朋友们,热烈欢迎你们来到 青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。💖💖💖
青云交5 个月前
大数据·人工智能·分布式机器学习·数据处理·模型训练·ray·应用场景
大数据新视界 --大数据大厂之 Ray:分布式机器学习框架的崛起💖💖💖亲爱的朋友们,热烈欢迎你们来到 青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。💖💖💖
一颗小树x5 个月前
实例分割·模型训练·目标检测与跟踪·yolo11·关键点姿态估计
YOLO11模型训练 | 目标检测与跟踪 | 实例分割 | 关键点姿态估计本文分享YOLO11的模型训练,训练任务包括物体分类、目标检测与跟踪、实例分割 、关键点姿态估计、旋转目标检测等。
Alluxio8 个月前
大数据·人工智能·机器学习·缓存·自动驾驶·alluxio·模型训练
案例分享|Alluxio在自动驾驶数据闭环中的应用分享嘉宾:孙涛 - 中汽创智智驾工具链数据平台开发专家关于中汽创智:中汽创智科技有限公司(以下简称“中汽创智”)由中国一汽、东风公司、南方工业集团、长安汽车和南京江宁经开科技共同出资设立。聚焦智能底盘、新能动力、智能网联三大业务领域,围绕“车端+云端+通信端”生态体系,开展前瞻、共性、平台、核心技术和产品研发及产业孵化。
SunStriKE8 个月前
机器学习·llm·模型训练
LLM并行训练7-混合并行总结根据前面的系列文章, 对预训练大模型里用到的主要并行加速技术做了一系列拆分分析. 但是在实际的训练里往往是多种并行混合训练. 我们要怎么配置这些并行策略才能让训练框架尽可能的减少通信瓶颈, 提升GPU计算利用率呢? 这里的变量太多了, 以最简单的3D并行为例:
Thomas_Cai8 个月前
深度学习·模型训练·梯度消失·梯度爆炸
模型训练中出现loss为NaN怎么办?在训练的某个阶段,学习率可能设置得过高,导致模型参数更新幅度过大,甚至可能出现数值不稳定的情况。你可以尝试降低学习率,并观察训练过程中的变化。