lora

吴法刚10 天前
人工智能·lora·llama·大模型训练·大模型微调·llama.cpp
20_大模型微调和训练之-基于LLamaFactory+LoRA微调LLama3后格式合并GGUF 格式的全名为(GPT-Generated Unified Format)，提到 GGUF 就不得不提到它的前身 GGML(GPT-Generated Model Language)。GGML 是专门为了机器学习设计的张量库，最早可 以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并 且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发 中，遇到了灵活性不足、相容性及难以维护的问题。
曲幽20 天前
python·ai·stable diffusion·lora·文生图·diffusers
Stable Diffusion LoRA模型加载实现风格自由对于模型微调来说，直接进行微调需要的硬件配置和时间都是相当夸张的，但要想实现风格切换自由，也不是只有模型微调一个方式，LoRA技术可以说很完美的解决了这个难题。无论是二次元画风还是复古胶片质感，都只需要加载小巧的LoRA模型，就能立即解锁意料之外的百变创作可能！
Andy_shenzl1 个月前
lora·微调·swift
16、Swift框架微调实战（1）-自我认知数据LORA微调ms-SWIFT GitHub项目主页： https://github.com/modelscope/swift
玩电脑的辣条哥2 个月前
人工智能·lora·微调
大模型LoRA微调训练原理是什么？LoRA大模型LoRA微调训练原理是什么？通过 LoRA 微调，你可以在保持模型性能的同时，显著降低微调的计算成本。
熊文豪2 个月前
lora·huggingface·ollama·unsloth·googlecolab·ai微调·医疗ai
轻松微调大模型：利用 Colab 和 Unsloth 实现高效训练大型语言模型（LLM）如 Llama、Mistral 等在通用任务上表现惊艳，但要让它们适配特定场景（比如医疗问答、算命预测），就需要微调。Google Colab 提供免费的 GPU 资源，而 Unsloth 是一个高效的微调工具，能大幅降低显存需求，让普通用户也能在云端完成训练。这篇文章将带你一步步完成从零到部署的全过程。
学不会lostfound3 个月前
lora·深度学习模型·自我认知·llama-factory·sft微调·aigc实战
五、AIGC大模型_04LLaMA-Factory基础知识与SFT实战LLaMA-Factory 是一个开源的大型语言模型（LLM）微调框架，旨在帮助开发者和研究人员轻松地对预训练语言模型进行定制化训练和优化
伊织code3 个月前
开源·lora·大模型·llm·微调·mllm
开源大模型食用指南 - 微调、部署 LLM、MLLM《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调（全参数/Lora）、部署国内外开源大模型（LLM）/多模态大模型（MLLM）教程
开出南方的花4 个月前
人工智能·自然语言处理·lora·llm·prompt·peft·adapter
大模型微调介绍-Prompt-Tuning基于「传统机器学习模型」的范式，如TF-IDF特征+朴素贝叶斯等机器算法.基于「深度学习模型」的范式，如word2vec特征+LSTM等深度学习算法，相比于第一范式，模型准确有所提高，特征工程的工作也有所减少.
yuanlulu4 个月前
lora·llm·transformer·分布式训练·大语言模型·huggingface·多卡训练
llamafactory使用8张昇腾910b算力卡lora微调训练qwen2-72b大模型我需要在昇腾服务器上对Qwen2-72B大模型进行lora微调，改变其自我认知。 我的环境下是8张910B1卡。显存约512GB。
郑小路4 个月前
lora·llm
LoRA微调系列笔记第一章：LoRA微调系列笔记 第二章：Llama系列关键知识总结自然语言处理的一个重要范例是对一般领域数据进行大规模预训练pre-train，并经过微调(fine-tuning)适应特定的任务或领域。当我们fine-tuning较大的模型时，fine-tuning所有模型参数的完全微调变得不太可行。以GPT-3 175B为例，部署独立的微调模型实例，每个实例都有175B参数，这是非常昂贵的。我们提出了低秩自适应（Low-Rank Adaptation, LoRA），它冻结了预训练的模型权重，并将可训练的秩
每天八杯水D5 个月前
lora·微调·llama·peft·glm4-9b-chat
LLaMA-Factory GLM4-9B-CHAT LoRA 微调实战进入下载好的llama-factory，安装依赖包Alpaca 格式是一种用于训练自然语言处理（NLP）模型的数据集格式，特别是在对话系统和问答系统中。这种格式通常包含指令（instruction）、输入（input）和输出（output）三个部分，它们分别对应模型的提示、模型的输入和模型的预期输出。三者的数据都是字符串形式
西西弗Sisyphus5 个月前
lora·大模型·transformer·qwen2-vl
使用Gradio编写大模型ollama客户端 -界面版flyfish文末包含完整源码图例 sqlite3 是 Python 内置的一个库，用于与 SQLite 数据库进行交互。SQLite 是一个轻量级的数据库，它不需要单独的服务器进程或系统的配置，非常适合于嵌入式应用和小型项目。
西西弗Sisyphus5 个月前
lora·transformer·qwen2-vl·qwen2vl
模型训练中梯度累积步数（gradient_accumulation_steps）的作用flyfish在使用训练大模型时，TrainingArguments有一个参数梯度累积步数（gradient_accumulation_steps）
木亦汐丫5 个月前
lora·大模型·微调·chatglm·llama·llama-factory
【大模型系列篇】LLaMA-Factory大模型微调实践 - 从零开始前一次我们使用了NVIDIA TensorRT-LLM 大模型推理框架对智谱chatglm3-6b模型格式进行了转换和量化压缩，并成功部署了推理服务，有兴趣的同学可以翻阅《NVIDIA TensorRT-LLM 大模型推理框架实践》，今天我们来实践如何通过LLaMA-Factory对大模型进行Lora微调。
智联物联5 个月前
物联网·lora·4g模块·rtu·远程通信·远距离通讯·工业无线设备
RTU功能特点及物联网应用RTU全称为Remote Terminal Unit，也称为远程终端单元，是用于远程监控和数据采集的通信设备。通常被部署在传输距离较远需要数据传输的现场，用于收集各种传感器的数据，如温度、压力、流量等，并将这些数据通过通信网络传输到中心控制室或数据中心。
HuggingFace6 个月前
lora·peft·gguf
介绍 GGUF-my-LoRA随着 llama.cpp 对 LoRA 支持的重构，现在可以将任意 PEFT LoRA 适配器转换为 GGUF，并与 GGUF 基础模型一起加载运行。
SpikeKing6 个月前
人工智能·lora·llm·sft·多模态大模型·llama-factory·qwen2-vl
LLM - 使用 LLaMA-Factory 微调大模型 Qwen2-VL SFT(LoRA) 图像数据集 教程 (2)欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/143725947
逐梦苍穹6 个月前
人工智能·语言模型·自然语言处理·lora·微调·论文
速通LoRA：《LoRA: Low-Rank Adaptation of Large Language Models》全文解读🍃作者介绍：双非本科大四网络工程专业在读，阿里云专家博主，专注于Java领域学习，擅长web应用开发，目前开始人工智能领域相关知识的学习 🦅个人主页：@逐梦苍穹 📕所属专栏：🌩 专栏①：人工智能； 🌩 专栏②：速通人工智能相关论文 🌻gitee地址：xzl的人工智能代码仓库 ✈ 您的一键三连，是我创作的最大动力🌹
野指针小李6 个月前
lora·sft·vllm·llama-factory
LLaMA-Factory学习笔记(1)——采用LORA对大模型进行SFT并采用vLLM部署的全流程该博客是我根据自己学习过程中的思考与总结来写作的，由于初次学习，可能会有错误或者不足的地方，望批评与指正。