微调

咕噜咕噜day

高效微调方法简述针对成本和性价比选择RAG或微调，那他们适用的范围和区别要提前了解；形象的描述预训练、微调、提示工程、Agents：

SmolVLM2: The Smollest Video Model Ever（七）现在的数据集里面只涉及tool的分类和手术phase的分类，所以编写的评价指标还是那些通用的，但是：predicted_labels:['The current surgical phase is CalotTriangleDissection, Grasper, Hook tool exists.', 'The current surgical phase is GallbladderDissection, Grasper, Hook tool exists.', 'The current surgic

阿丢是丢心心

【从0到1搞懂大模型】chatGPT 中的对齐优化（RLHF）讲解与实战（9）chatgpt系列模型演进的重要节点包含下面几个模型（当然，这两年模型发展太快了，4o这些推理模型我就先不写了） (Transformer) → GPT-1 → GPT-2 → GPT-3 → InstructGPT/ChatGPT(GPT-3.5) → GPT-4 下面介绍一下各个模型之前的重点差异

使用LoRA微调Qwen2.5-VL-7B-Instruct完成电气主接线图识别任务适配需求 Qwen2.5-VL在视觉理解方面表现优异，但电气主接线图识别需要特定领域的结构化输出能力（如设备参数提取、拓扑关系解析）。微调可增强模型对专业符号（如SCB10-1000KVA）和工程图纸布局的理解。

玩电脑的辣条哥

什么是alpaca 或 sharegpt 格式的数据集？LLaMA-Factoryalpaca 或 sharegpt 格式的数据集？“Alpaca”和“ShareGPT”格式的数据集，是近年来在开源大语言模型微调和对话数据构建领域比较流行的两种格式。它们主要用于训练和微调以生成对话或指令驱动的模型。下面我详细介绍两者的特点和示例格式。

《Python星球日记》第72天：问答系统与信息检索名人说：路漫漫其修远兮，吾将上下而求索。—— 屈原《离骚》创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊）

【LLaMA-Factory】使用LoRa微调训练DeepSeek-R1-Distill-Qwen-7B如果不禁用开源驱动，直接安装nvidia-smi，会安装失败，在日志文件/var/log/nvidia-installer.log中会出现以下错误信息 ERROR: Unable to load the kernel module 'nvidia.ko'

AI大模型顾潇

[特殊字符] 本地部署DeepSeek大模型：安全加固与企业级集成方案零信任架构设计：实施要点：建立VPN隧道：wg genkey | tee privatekey | wg pubkey > publickey

大模型微调指南之 LLaMA-Factory 篇：一键启动LLaMA系列模型高效微调LLaMA-Factory 是一个用于训练和微调模型的工具。它支持全参数微调、LoRA 微调、QLoRA 微调、模型评估、模型推理和模型导出等功能。

《Python星球日记》第55天：迁移学习与预训练模型名人说：路漫漫其修远兮，吾将上下而求索。—— 屈原《离骚》创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊）

大模型微调终极方案：LoRA、QLoRA原理详解与LLaMA-Factory、Xtuner实战对比微调（Fine-tuning）是深度学习中的一种常见方法，它通常用于在预训练模型的基础上进行进一步的训练，以适应特定的任务。微调的主要目的是利用预训练模型已经学习到的通用知识，从而提高模型在特定任务上的性能。常见的微调框架有 LLaMA-Factory 和 XTuner 等。

DeepSeek实战--蒸馏知识蒸馏（Knowledge Distillation）最早由Hinton等人在2015年提出，主要用于压缩模型。

llamafactory微调模型报错ModuleNotFoundError: No module named ‘triton.ops‘在阿里云Notebook上使用llamafactory微调Meta-Llama-3-8B-Instruct模型报错ModuleNotFoundError: No module named ‘triton.ops’

水煮蛋不加蛋

从 Pretrain 到 Fine-tuning：大模型迁移学习的核心原理剖析在人工智能领域，大模型的出现掀起了一场技术革命。这些拥有海量参数的模型，如 GPT-4、PaLM 等，在众多任务上展现出了惊人的能力。然而，训练一个大模型需要耗费巨大的计算资源和时间，而且直接让大模型处理特定领域的任务往往效果不佳。这时，迁移学习成为了关键技术，它让大模型能够高效地适应不同的任务和领域。本文将深入剖析大模型迁移学习中 Pretrain（预训练）和 Fine-tuning（微调）的核心原理。

青橘MATLAB学习

深度学习中的预训练与微调：从基础概念到实战应用全解析本文系统解析深度学习中预训练与微调技术，涵盖核心概念、技术优势、模型复用策略、与迁移学习的结合方式，以及微调过程中网络参数更新机制、模型状态分类等内容。同时深入分析深层神经网络训练难点如梯度消失/爆炸问题，为模型优化提供理论支撑。适合深度学习开发者及研究者快速掌握迁移学习核心技术。关键词：预训练；微调；迁移学习；梯度消失；模型复用

大模型微调与蒸馏的差异性与相似性分析大模型微调在预训练大模型基础上，通过少量标注数据调整参数，使模型适应特定任务需求。核心目标是提升模型在特定领域的性能，例如医疗影像分析或金融预测。该技术聚焦于垂直场景的精度优化，通常需要任务相关的标注数据支持。

AI大模型顾潇

[特殊字符] 大模型对话风格微调项目实战——模型篇 [特殊字符]✨🎯 背景介绍🔍 这篇文章的任务🤖 模型选型📊 模型评测⚙️ 模型训练🔄 模型转换🧪 模型训练效果评估

AI大模型顾潇

[特殊字符] Prompt如何驱动大模型对本地文件实现自主变更：Cline技术深度解析Cline通过精心设计的prompt系统，使大模型能够像人类开发者一样操作本地文件系统。以下是其核心机制：

Jackilina_Stone

【微调大模型】使用LLaMA-Factory进行监督微调 Qwen2.5本文使用LLaMA-Factory进行监督微调 Qwen2.5。此监督微调（SFT）脚本具有以下特点：

深度学习算法与自然语言处理

单卡4090微调大模型 DeepSeek-R1-32B之前文章同样的方法，也可以在 24G 显存的单卡 4090 上微调训练 deepseek-ai/DeepSeek-R1-Distill-Qwen-32B；即使该模型的权重文件大小已经达到 62G，这是因为 unsloth 和 lora 的量化微调和部分参数微调优化可以大幅节约显存占用。