lora

每天八杯水D1 天前
lora·微调·llama·peft·glm4-9b-chat
LLaMA-Factory GLM4-9B-CHAT LoRA 微调实战进入下载好的llama-factory，安装依赖包Alpaca 格式是一种用于训练自然语言处理（NLP）模型的数据集格式，特别是在对话系统和问答系统中。这种格式通常包含指令（instruction）、输入（input）和输出（output）三个部分，它们分别对应模型的提示、模型的输入和模型的预期输出。三者的数据都是字符串形式
西西弗Sisyphus6 天前
lora·大模型·transformer·qwen2-vl
使用Gradio编写大模型ollama客户端 -界面版flyfish文末包含完整源码图例 sqlite3 是 Python 内置的一个库，用于与 SQLite 数据库进行交互。SQLite 是一个轻量级的数据库，它不需要单独的服务器进程或系统的配置，非常适合于嵌入式应用和小型项目。
西西弗Sisyphus13 天前
lora·transformer·qwen2-vl·qwen2vl
模型训练中梯度累积步数（gradient_accumulation_steps）的作用flyfish在使用训练大模型时，TrainingArguments有一个参数梯度累积步数（gradient_accumulation_steps）
木亦汐丫16 天前
lora·大模型·微调·chatglm·llama·llama-factory
【大模型系列篇】LLaMA-Factory大模型微调实践 - 从零开始前一次我们使用了NVIDIA TensorRT-LLM 大模型推理框架对智谱chatglm3-6b模型格式进行了转换和量化压缩，并成功部署了推理服务，有兴趣的同学可以翻阅《NVIDIA TensorRT-LLM 大模型推理框架实践》，今天我们来实践如何通过LLaMA-Factory对大模型进行Lora微调。
智联物联19 天前
物联网·lora·4g模块·rtu·远程通信·远距离通讯·工业无线设备
RTU功能特点及物联网应用RTU全称为Remote Terminal Unit，也称为远程终端单元，是用于远程监控和数据采集的通信设备。通常被部署在传输距离较远需要数据传输的现场，用于收集各种传感器的数据，如温度、压力、流量等，并将这些数据通过通信网络传输到中心控制室或数据中心。
HuggingFace1 个月前
lora·peft·gguf
介绍 GGUF-my-LoRA随着 llama.cpp 对 LoRA 支持的重构，现在可以将任意 PEFT LoRA 适配器转换为 GGUF，并与 GGUF 基础模型一起加载运行。
SpikeKing1 个月前
人工智能·lora·llm·sft·多模态大模型·llama-factory·qwen2-vl
LLM - 使用 LLaMA-Factory 微调大模型 Qwen2-VL SFT(LoRA) 图像数据集 教程 (2)欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/143725947
逐梦苍穹1 个月前
人工智能·语言模型·自然语言处理·lora·微调·论文
速通LoRA：《LoRA: Low-Rank Adaptation of Large Language Models》全文解读🍃作者介绍：双非本科大四网络工程专业在读，阿里云专家博主，专注于Java领域学习，擅长web应用开发，目前开始人工智能领域相关知识的学习 🦅个人主页：@逐梦苍穹 📕所属专栏：🌩 专栏①：人工智能； 🌩 专栏②：速通人工智能相关论文 🌻gitee地址：xzl的人工智能代码仓库 ✈ 您的一键三连，是我创作的最大动力🌹
野指针小李2 个月前
lora·sft·vllm·llama-factory
LLaMA-Factory学习笔记(1)——采用LORA对大模型进行SFT并采用vLLM部署的全流程该博客是我根据自己学习过程中的思考与总结来写作的，由于初次学习，可能会有错误或者不足的地方，望批评与指正。
SpikeKing2 个月前
人工智能·lora·swift·qwen2-vl·多模态大语言模型·视频微调
LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 视频微调(LoRA) 教程(3)欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/142882496
智联物联2 个月前
物联网·lora·数据传输·dtu·远距离传输·无线技术·数传电台
物联网中的远距离通信LoRa无线技术LoRa（Long Range Radio）远距离无线传输技术是基于扩频调制技术的低功耗、远距离无线通信技术，采用扩频调制，通过将原始信号与一个伪随机序列进行编码，使得信号的带宽显著增加，从而在更宽的频谱上传输。这种调制方式使得LoRa信号在较低的信噪比环境下也能保持稳定的通信连接，实现远距离通信。
少喝冰美式2 个月前
数据库·人工智能·lora·llama·大模型实战·大模型微调·大模型应用
大模型微调实战：基于 LLaMAFactory 通过 LoRA 微调修改模型自我认知本文主要分享如何使用 LLaMAFactory 实现大模型微调，基于 Qwen1.5-1.8B-Chat 模型进行 LoRA 微调，修改模型自我认知。
Hoper.J3 个月前
人工智能·stable diffusion·lora·微调·aigc·文生图·ai绘画
用 LoRA 微调 Stable Diffusion：拆开炼丹炉，动手实现你的第一次 AI 绘画总得拆开炼丹炉看看是什么样的。这篇文章将带你从代码层面一步步实现 AI 文本生成图像（Text-to-Image）中的 LoRA 微调过程，你将：
AI极客菌3 个月前
人工智能·ai·ai作画·stable diffusion·lora·aigc·人工智能作画
Stable Diffusion的Lora使用和训练 如何使用和训练LoRA模型？你想要的都在这！--人人都可以当炼金术士！随着人工智能技术的不断发展，图像生成与反推技术已经成为了AI领域的一大热点。今天，我们就来为大家详细介绍Stable Diffusion的Lora使用和训练方法，让每个人都能成为炼金术士，创造出属于自己的图像生成魔法！
AI完全体3 个月前
人工智能·lora·微调·nlp·大语言模型·gemma·kerasnlp
【AI小项目5】使用 KerasNLP 对 Gemma 模型进行 LoRA 微调本项目使用 KerasNLP 对 Gemma 模型进行 LoRA 微调，为了快速验证微调的效果，仅在数据集的一个小子集上进行了一个周期的微调，并使用了较低的 LoRA 秩值。取得了显著的改进效果。
Andy_shenzl4 个月前
lora·大模型·微调·llama·llama factory
9、LLaMA-Factory项目微调介绍LLaMA Factory是一个在GitHub上开源的项目，该项目给自身的定位是：提供一个易于使用的大语言模型（LLM）微调框架，支持LLaMA、Baichuan、Qwen、ChatGLM等架构的大模型。更细致的看，该项目提供了从预训练、指令微调到RLHF阶段的开源微调解决方案。截止目前（2024年3月1日）支持约120+种不同的模型和内置了60+的数据集，同时封装出了非常高效和易用的开发者使用方法。而其中最让人喜欢的是其开发的LLaMA Board，这是一个零代码、可视化的一站式网页微调界面，它允许我们
Qiming_v4 个月前
pytorch·lora·dora
LoRA 和 DoRA 代码笔记Improving LoRA: Implementing Weight-Decomposed Low-Rank Adaptation (DoRA) from Scratch
HuggingFace4 个月前
lora·tgi
TGI 多-LoRA: 部署一次，搞定 30 个模型的推理服务你是否已厌倦管理多个 AI 模型所带来的复杂性和高成本？ 那么， 如果你可以部署一次就搞定 30 个模型推理服务会如何？ 在当今的 ML 世界中，哪些希望充分发挥其数据的价值的组织可能最终会进入一个“微调的世界”。在这个世界，各个组织会构建大量模型，其中每个模型都针对特定任务进行了高度特化。但是，如何处理为每个细分应用部署模型所带来的麻烦和成本呢？多-LoRA 服务提供了一个有潜力的答案。
伊织code5 个月前
lora·微调·llama·peft·qlora·fine tune·torchtune
Llama - 微调本文翻译整理自： https://llama.meta.com/docs/how-to-guides/fine-tuning
天狼啸月19905 个月前
lora·llm·prompt·fine-tuning·prefix-tuning·p-tuning·prompt-tunning
LLM 研究方向(一): LLM Prompts--p-tuning、LoRA目录1. prompt-tuning background2. Prompt Tuning 模型介绍2.1 2021 prefix-tuning