训练

大模型训练CP切分（与TP、SP结合）一. CP并行原理megatron中的context并行(简称CP)与sequence并行(简称SP)不同点在于，SP只针对Layernorm和Dropout输出的activation在sequence维度上进行切分，CP则是对所有的input输入和所有的输出activation在sequence维度上进行切分，可以看成是增强版的SP。之前我有篇文章重点讲了TP、SP、EP技术。本文我讲下长文本的CP技术，以及怎么和TP和SP结合的。

《VLA 系列》π0 与 π0.5 | 强化学习训练 | VLA本文分享使用 RLinf 框架对 π₀ 和π₀.₅ 进行强化学习微调。支持PPO和GRPO等强化学习算法。

零样本学习（Zero-Shot Learning, ZSL）补充零样本学习（Zero-Shot Learning, ZSL）是一种机器学习范式，它允许模型在没有任何特定任务的标注数据的情况下，通过利用已有的知识来推断和完成新任务。这种能力对于处理罕见类别或快速适应新环境非常重要，因为在这些情况下获取大量标注数据可能是不切实际的。这种学习方式对于处理现实世界中标签数据稀缺的问题尤为重要。

垂域大模型评估不再靠“感觉”：用结构化测试集+自动化打分实现效果可量化当前大模型在垂直领域的落地已从“能不能跑”进入“跑得好不好”的阶段。开发者普遍发现，微调一个模型或搭建一套RAG系统并不算最难，真正的瓶颈在于缺乏一套可靠、高效、可复现的评估机制。很多团队依赖人工试用，靠“感觉”判断模型是否变好，这种做法在初期或许可行，但一旦进入迭代优化阶段，主观判断无法支撑工程决策。尤其在企业场景中，业务文档高度专业化，通用评测集（如MMLU、C-Eval）覆盖不足，而人工构造高质量测试集成本极高。更棘手的是，模型可能在训练损失下降的同时，出现知识幻觉、逻辑断裂或通用能力退化等问题，这

小北的AI科技分享

人工智能大模型：从技术突破到人机交互重塑当前科技领域里，人工智能大模型属于极具革命性的技术突破当中的一个，这些模型借助在海量数据之上开展训练，从而获取了理解、生成以及处理人类语言还有其他类型信息的能力，自2020年GPT - 3发布开始直至如今各类多模态模型出现，大模型技术正以令人惊叹的速度重塑着人机交互的方式。

【深度学习02】YOLO模型的数据集、训练、验证、预测、导出目录一、数据集1.1、第一种结构（YOLOv5风格）1.2、第二种结构（YOLOv8风格）1.3、两种结构的本质区别

数据不够代码凑？用 Albumentations 让你的 AI 模型“看”得更广，训练快 10 倍！作为一名 CV 算法工程师，你一定经历过这种绝望：老板丢给你 100 张产品瑕疵照片，让你训练一个准确率 99% 的检测模型。你看着那少得可怜的数据，内心在咆哮：“这肯定会过拟合（Overfitting）啊！模型根本学不到特征，只会死记硬背！”

其美杰布-富贵-李

PyTorch Optimizer 与 Scheduler 指南在深度学习训练中，学习率（Learning Rate）是最重要的超参数之一。固定学习率的局限：训练曲线示意：

其美杰布-富贵-李

数据清理与特征工程完整指南在机器学习和深度学习项目中，数据预处理通常占据 60-80% 的时间，这是因为：原始数据往往不可直接使用

拒绝“狗熊掰棒子”！用 EWC (Elastic Weight Consolidation) 彻底终结 AI 的灾难性遗忘想象一下，你训练了一个神经网络来识别手写数字（MNIST），准确率高达 99%。接着，你希望能复用这个聪明的脑子，让它继续学习识别时尚单品（Fashion-MNIST）。

别再迷信“准确率”了！一文读懂 AI 图像分割的黄金标尺 —— Dice 系数想象这样一个痛点场景：你正在训练一个 AI 模型，任务是从脑部核磁共振（MRI）扫描中找出极小的肿瘤区域。你熬夜跑完代码，发现模型在验证集上的 Accuracy（准确率）高达 99.9%！

告别样本不平衡噩梦：Focal Loss 让你的模型学会“划重点”你是否遇到过这种令人抓狂的场景？你在训练一个癌症检测模型，数据集中 99% 都是健康样本（负样本），只有 1% 是患病样本（正样本）。你满怀期待地跑完训练，发现模型的准确率（Accuracy）高达 99%！

基于ms-swift框架微调多模态模型（Ubuntu22.04）作者：吴业亮博客：wuyeliang.blog.csdn.net本文从核心原理到实操步骤，完整讲解基于微软ms-swift（ModelScope Swift）框架在Ubuntu22.04系统上微调多模态模型（如Qwen-VL、LLaVA、MiniCPM-V等）的全流程。

基于 ms-swift 框架微调 Embedding 模型（Ubuntu22.04）：从原理到实践作者：吴业亮博客：wuyeliang.blog.csdn.netEmbedding模型的核心是将文本转化为低维稠密向量，使语义相似的文本向量距离更近、语义相异的更远。微调的目标是让预训练Embedding模型适配特定领域/任务（如金融、医疗文本相似度匹配），核心逻辑是：

Unsloth 从原理到实践（基于Ubuntu 22.04）作者：吴业亮博客：wuyeliang.blog.csdn.netUnsloth 是一款面向大语言模型（LLM）的高效微调框架，主打低资源占用、超高训练速度，核心优化了 QLoRA/LoRA 微调流程，适配 Ubuntu 22.04 等Linux环境，支持 Llama、Mistral、Phi、Gemma 等主流开源模型。本文从原理到全流程实践，覆盖环境搭建、数据集处理、微调、模型合并、量化、评测、监控等核心环节。

我很哇塞耶

OpenAI公开新的模型训练方法：或许能解决模型撒谎问题，已在GPT-5 thiking验证研究人员在GPT-5-Thinking上进行了实验。结果显示，通过这种训练，通过“坦白”来监测模型的不当行为是可行的，即使模型在主要回答中撒了谎，它往往也能在随后的“坦白”中诚实交代

【每天一个知识点】训推一体机训推一体机一般指集“模型训练（Training）+ 推理部署（Inference Serving/推理服务）”于一体的智能计算设备。这种一体机的设计思路是，把 AI 模型从研发到应用的全过程（数据准备 → 训练 → 验证 → 部署 → 推理）都封装在一台硬件平台里，便于企业、科研机构或高校快速落地 AI 应用。

【LLaMA-Factory】使用LoRa微调训练DeepSeek-R1-Distill-Qwen-7B如果不禁用开源驱动，直接安装nvidia-smi，会安装失败，在日志文件/var/log/nvidia-installer.log中会出现以下错误信息 ERROR: Unable to load the kernel module 'nvidia.ko'

文慧的科技江湖

图文结合 - 光伏系统产品设计PRD文档 -（慧哥）慧知开源充电桩平台‌版本号‌：1.0 ‌修订日期‌：2023年10月 ‌作者‌：‌功能描述‌：实时采集并展示电站运行数据

文慧的科技江湖

AI平台如何实现推理？数算岛是一个开源的AI平台（主要用于管理和调度分布式AI训练和推理任务。）数算岛是一个开源的AI平台，主要用于管理和调度分布式AI训练和推理任务。它基于Kubernetes构建，支持多种深度学习框架（如TensorFlow、PyTorch等）。以下是数算岛实现模型推理的核心原理、架构及具体实现步骤：