lmdeploy

薛定谔的猫198220 天前
大模型·微调·vllm·模版·llama factory·lmdeploy·对话模板
LLaMA Factory微调中的模版在vLLM或LMDeploy框架部署中对齐很多开发者都会遇到一个典型痛点:在 LlamaFactory 完成 LoRA 微调后,在网页上内对话效果完全符合预期;但把合并后的模型迁移至 vLLM、LMDeploy、Ollama、OpenWebUI 等框架部署时,模型输出风格、回答逻辑、停止时机全部跑偏,甚至出现无限生成、角色认知丢失、问答答非所问。 绝大多数人会怀疑权重导出、量化流程出错,而真正的核心诱因是对话模板不统一。本文完整拆解对话模板底层逻辑、各框架模板差异,给出标准化导出、对齐、自定义落地全流程,彻底解决微调与部署效果割裂问题。
薛定谔的猫19821 个月前
大模型部署·lmdeploy
LMDeploy安装及部署 Qwen/Qwen3-0.6B教程https://internlm.intern-ai.org.cn/ 书生·浦语欢迎来到 LMDeploy 的中文教程! — lmdeploy 教程
福大大架构师每日一题4 个月前
安全·lmdeploy
lmdeploy v0.12.3:视频输入、Qwen3.5、TurboMind 压缩张量、Ray 安全 API 等重大升级全面解析LMDeploy 在 2026 年 4 月 8 日发布了 v0.12.3 版本。这一版本覆盖了 Features、Improvements、Bug fixes、Other 四大部分,累计 19 位贡献者、46 个 commits、472 个 files changed,属于一次覆盖面非常广、实用性非常强的版本更新。
AI资源库6 个月前
langchain·cot·ai agent·moe·lmdeploy·intern-s1-pro·open source llm
Intern-S1-Pro模型深入解析我们将文件分为三大类,并解释它们如何像齿轮一样咬合。为了让你更直观地理解,我们将 Intern-S1-Pro 比作一个拥有超级大脑的科研团队。
破烂pan9 个月前
python·深度学习·llm·lmdeploy
lmdeploy.pytorch 新模型支持代码修改lmdeploy.pytorch 被设计用来简化新模型的支持以及原型的开发,用户可以根据自己的需求适配新的模型。
一如年少模样丶1 年前
openai·agent·asr·vllm·sglang·lmdeploy·gpt_server
GPT Server 文档GPT Server是一个用于生产级部署LLMs、Embedding、Reranker、ASR、TTS、文生图、图片编辑和文生视频的开源框架。
Silence4Allen1 年前
ubuntu·vllm·ollama·llama-factory·openwebui·lmdeploy
Ubuntu 22.04 AI大模型环境配置及常用工具安装建议使用 Ubuntu22.04 以下配置皆以 Ubuntu22.04 系统版本为例【建议安装 3.10】(安装miniconda或者conda来管理虚拟环境)
我是有底线的