lora

Andy_shenzl14 天前
lora·微调·swift
16、Swift框架微调实战（1）-自我认知数据LORA微调ms-SWIFT GitHub项目主页： https://github.com/modelscope/swift
玩电脑的辣条哥1 个月前
人工智能·lora·微调
大模型LoRA微调训练原理是什么？LoRA大模型LoRA微调训练原理是什么？通过 LoRA 微调，你可以在保持模型性能的同时，显著降低微调的计算成本。
熊文豪2 个月前
lora·huggingface·ollama·unsloth·googlecolab·ai微调·医疗ai
轻松微调大模型：利用 Colab 和 Unsloth 实现高效训练大型语言模型（LLM）如 Llama、Mistral 等在通用任务上表现惊艳，但要让它们适配特定场景（比如医疗问答、算命预测），就需要微调。Google Colab 提供免费的 GPU 资源，而 Unsloth 是一个高效的微调工具，能大幅降低显存需求，让普通用户也能在云端完成训练。这篇文章将带你一步步完成从零到部署的全过程。
学不会lostfound2 个月前
lora·深度学习模型·自我认知·llama-factory·sft微调·aigc实战
五、AIGC大模型_04LLaMA-Factory基础知识与SFT实战LLaMA-Factory 是一个开源的大型语言模型（LLM）微调框架，旨在帮助开发者和研究人员轻松地对预训练语言模型进行定制化训练和优化
伊织code2 个月前
开源·lora·大模型·llm·微调·mllm
开源大模型食用指南 - 微调、部署 LLM、MLLM《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调（全参数/Lora）、部署国内外开源大模型（LLM）/多模态大模型（MLLM）教程
开出南方的花3 个月前
人工智能·自然语言处理·lora·llm·prompt·peft·adapter
大模型微调介绍-Prompt-Tuning基于「传统机器学习模型」的范式，如TF-IDF特征+朴素贝叶斯等机器算法.基于「深度学习模型」的范式，如word2vec特征+LSTM等深度学习算法，相比于第一范式，模型准确有所提高，特征工程的工作也有所减少.
yuanlulu3 个月前
lora·llm·transformer·分布式训练·大语言模型·huggingface·多卡训练
llamafactory使用8张昇腾910b算力卡lora微调训练qwen2-72b大模型我需要在昇腾服务器上对Qwen2-72B大模型进行lora微调，改变其自我认知。 我的环境下是8张910B1卡。显存约512GB。
郑小路4 个月前
lora·llm
LoRA微调系列笔记第一章：LoRA微调系列笔记 第二章：Llama系列关键知识总结自然语言处理的一个重要范例是对一般领域数据进行大规模预训练pre-train，并经过微调(fine-tuning)适应特定的任务或领域。当我们fine-tuning较大的模型时，fine-tuning所有模型参数的完全微调变得不太可行。以GPT-3 175B为例，部署独立的微调模型实例，每个实例都有175B参数，这是非常昂贵的。我们提出了低秩自适应（Low-Rank Adaptation, LoRA），它冻结了预训练的模型权重，并将可训练的秩
每天八杯水D4 个月前
lora·微调·llama·peft·glm4-9b-chat
LLaMA-Factory GLM4-9B-CHAT LoRA 微调实战进入下载好的llama-factory，安装依赖包Alpaca 格式是一种用于训练自然语言处理（NLP）模型的数据集格式，特别是在对话系统和问答系统中。这种格式通常包含指令（instruction）、输入（input）和输出（output）三个部分，它们分别对应模型的提示、模型的输入和模型的预期输出。三者的数据都是字符串形式
西西弗Sisyphus4 个月前
lora·大模型·transformer·qwen2-vl
使用Gradio编写大模型ollama客户端 -界面版flyfish文末包含完整源码图例 sqlite3 是 Python 内置的一个库，用于与 SQLite 数据库进行交互。SQLite 是一个轻量级的数据库，它不需要单独的服务器进程或系统的配置，非常适合于嵌入式应用和小型项目。
西西弗Sisyphus4 个月前
lora·transformer·qwen2-vl·qwen2vl
模型训练中梯度累积步数（gradient_accumulation_steps）的作用flyfish在使用训练大模型时，TrainingArguments有一个参数梯度累积步数（gradient_accumulation_steps）
木亦汐丫4 个月前
lora·大模型·微调·chatglm·llama·llama-factory
【大模型系列篇】LLaMA-Factory大模型微调实践 - 从零开始前一次我们使用了NVIDIA TensorRT-LLM 大模型推理框架对智谱chatglm3-6b模型格式进行了转换和量化压缩，并成功部署了推理服务，有兴趣的同学可以翻阅《NVIDIA TensorRT-LLM 大模型推理框架实践》，今天我们来实践如何通过LLaMA-Factory对大模型进行Lora微调。
智联物联4 个月前
物联网·lora·4g模块·rtu·远程通信·远距离通讯·工业无线设备
RTU功能特点及物联网应用RTU全称为Remote Terminal Unit，也称为远程终端单元，是用于远程监控和数据采集的通信设备。通常被部署在传输距离较远需要数据传输的现场，用于收集各种传感器的数据，如温度、压力、流量等，并将这些数据通过通信网络传输到中心控制室或数据中心。
HuggingFace5 个月前
lora·peft·gguf
介绍 GGUF-my-LoRA随着 llama.cpp 对 LoRA 支持的重构，现在可以将任意 PEFT LoRA 适配器转换为 GGUF，并与 GGUF 基础模型一起加载运行。
SpikeKing5 个月前
人工智能·lora·llm·sft·多模态大模型·llama-factory·qwen2-vl
LLM - 使用 LLaMA-Factory 微调大模型 Qwen2-VL SFT(LoRA) 图像数据集 教程 (2)欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/143725947
逐梦苍穹5 个月前
人工智能·语言模型·自然语言处理·lora·微调·论文
速通LoRA：《LoRA: Low-Rank Adaptation of Large Language Models》全文解读🍃作者介绍：双非本科大四网络工程专业在读，阿里云专家博主，专注于Java领域学习，擅长web应用开发，目前开始人工智能领域相关知识的学习 🦅个人主页：@逐梦苍穹 📕所属专栏：🌩 专栏①：人工智能； 🌩 专栏②：速通人工智能相关论文 🌻gitee地址：xzl的人工智能代码仓库 ✈ 您的一键三连，是我创作的最大动力🌹
野指针小李5 个月前
lora·sft·vllm·llama-factory
LLaMA-Factory学习笔记(1)——采用LORA对大模型进行SFT并采用vLLM部署的全流程该博客是我根据自己学习过程中的思考与总结来写作的，由于初次学习，可能会有错误或者不足的地方，望批评与指正。
SpikeKing6 个月前
人工智能·lora·swift·qwen2-vl·多模态大语言模型·视频微调
LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 视频微调(LoRA) 教程(3)欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/142882496
智联物联6 个月前
物联网·lora·数据传输·dtu·远距离传输·无线技术·数传电台
物联网中的远距离通信LoRa无线技术LoRa（Long Range Radio）远距离无线传输技术是基于扩频调制技术的低功耗、远距离无线通信技术，采用扩频调制，通过将原始信号与一个伪随机序列进行编码，使得信号的带宽显著增加，从而在更宽的频谱上传输。这种调制方式使得LoRa信号在较低的信噪比环境下也能保持稳定的通信连接，实现远距离通信。