qwen

云卷云舒___________5 天前
google·qwen·grok·gemini·xai·ai日报·qwencode
突发:Gemini 4 Hydrogen内测,Grok 4.8推送,Qwen Code 1.0开源,格局一夜生变 | AI日报11.12🎬 视频版直达:https://www.bilibili.com/video/av117600717635656/
一枕槐安48714 天前
fastapi·qwen·vllm·流式推理·openai兼容api·awq量化
Qwen 通义千问本地部署与推理服务封装摘要 解决 Qwen 模型本地部署中推理吞吐不足、服务层缺失鉴权与并发控制的问题。适用于需在内网环境提供 OpenAI 兼容接口的后端与算法工程师。读完可获得基于 vLLM + FastAPI 从模型加载、量化选型到流式代理的生产级封装链路。
论文复现现场19 天前
数据库·人工智能·qwen·ai agent·glm·deepseek
2026 低成本 AI Agent 模型怎么选?DeepSeek V4.1 Flash、Qwen3.8 Flash、GLM-5.3 Flash 对比开发 AI Agent 时,模型选型不再只是比较哪一个模型回答得更准确。对于需要频繁调用工具、访问数据库、处理多轮任务的 Agent 来说,模型的工具调用能力、输出稳定性、响应延迟和 Token 成本,往往比单次对话的效果更重要。
All The Way North-23 天前
huggingface·transformers·qwen·tokenizer·源码解读·autotokenizer·v 5.19
Transformers 5.19.0 首发源码研读:Tokenizer.call() 核心机制与实战验证以下是基于 transformers 5.19.0 源码编写一、__call__() 是什么?有什么用?
云卷云舒___________1 个月前
openai·qwen·anthropic·ai日报·gemini4carbon·fable55·gpt61terra
Qwen本地新模型!Gemini4 Carbon订档本月!Anthropic Fable5.5将至!GPT-6.1Terra现身! | 10月20日 AI日报🎬 视频版直达:https://www.bilibili.com/video/av117470744549953/
小易老师AI实战1 个月前
大模型·私有化部署·qwen·vllm·llm推理·性能压测
VLLM部署Qwen大模型性能压测实践:自研Python压测脚本+指标解读本文基于vLLM推理框架部署Qwen3.5-4B大模型,采用Python线程池实现并发压测,完整采集TTFT、P95首token延迟、QPS、Token吞吐等核心推理指标,讲解压测脚本实现原理、指标含义与测试结果分析,适合大模型私有化部署、推理性能调优场景参考。压测脚本可直接复用,开箱即用。
虎鲸不是鱼1 个月前
大模型·llm·qwen·lm studio·harness
【RTX Pro 4500 Blackwell】Qwen3.8 27B NVFP4 MTP在dsh的真实表现之前已经在LM Studio运行了Qwn3.8 27b,并且跑成功了图像识别:【RTX Pro 4500 Blackwell】Qwen3.8 27B NVFP4 MTP在LM Studio的性能表现
Jarming1 个月前
agent·qwen·skill·minimax·deepseek·skills·agent-skills·minimax-h3
infinite-creation本地AI短剧带货项目推荐-本地运行无费用0负担这是一个Agent全自动视频生成的开源项目✨,可以直接打破 AI 视频制作的壁垒,不用演员、配音、导演和剪辑师就能本地生成超长视频。
天意__1 个月前
linux·服务器·qwen
Linux部署Qwen轻量模型从魔搭社区拉取 GPTQ 量化模型的核心思路是:先使用 modelscope 工具把模型下载到本地,然后让 vLLM 从本地路径加载。这样做比直接设置环境变量更稳妥,也方便你确认模型文件确实完整。
论文复现现场1 个月前
强化学习·qwen·大模型微调·rtx4090·算家云·grpo
Qwen3.8-27B 做 GRPO 需要几张 4090?Coding Agent 显存预算与多卡验收Qwen3.8-27B 做 GRPO,不能只按模型权重计算 4090 卡数。单张 24GB 无法容纳完整 BF16 权重;多卡需求还取决于全参或 LoRA、生成并发、上下文长度,以及训练与生成是否共用 GPU。
半甜柠檬1 个月前
大模型·qwen·量化·本地部署·llama.cpp
llama.cpp 部署 Qwen3.8-27B:无独显轻薄本实测一提本地部署大模型,很多人的第一反应就是得先买张四五千的显卡。我原来也这么想,直到把天天背去上班的ThinkBook 14翻开,折腾三个晚上,硬是把一个270亿参数的模型跑起来了。
slacker-kian1 个月前
ai·llm·agent·qwen·beeai
BeeAI 实战:从简单对话到 Agent 的驯服之路本次实践基于 IBM 开源的 BeeAI 框架,完成了一套 12 章渐进实验(t2~t12 共 11 个作业文件),全程跑在本地 Qwen 模型上。路线从简单对话(ChatModel)出发,途经结构化输出、RequirementAgent、需求系统、ReAct、人工审批、自定义工具,最终抵达四智能体协作的旅行规划系统。本篇重点拆解 BeeAI 最有辨识度的设计——需求系统(Requirements):它把"请先思考再查资料、查资料最多两次"这类写在提示词里的软约束,变成了框架在执行层强制实施的硬协议。
梅雅达编程笔记2 个月前
llama·qwen·开源大模型·ai安全·模型越狱·权重投毒·大模型治理
开源模型的安全悖论——越开放,越危险?开源大模型的安全困境:开放带来民主化与创新加速,也让攻击门槛骤降、对齐可被绕过、权重后门可植入。本文以正反辩论结构拆解Llama到Qwen的生态困局,给出务实出路与开发者行动清单。
jianpeng的工程笔记2 个月前
人工智能·qwen·图像生成·comfyui
Qwen-Image-2.1 图像编辑拆解:从透明改字到多图合成大家好啊,我是 jianpeng。今天和大家聊一下 Qwen-Image-2.1。我想和你一起看几个具体的改图任务,最后再把 ComfyUI 里容易弄混的模型组件和分辨率说清楚。
Zhu7582 个月前
docker·qwen·vllm
docker环境,vLLM 部署 Qwen3.8-27B内网测试环境,无法承诺在生产环境使用,仅供学习参考。全程操作无互联网。本仓库用于通过 Docker Compose 在 GPU 服务器上部署 Qwen3.8-27B(OpenAI 兼容接口),并对接 newapi 统一对外提供服务。
空 白II2 个月前
大语言模型·qwen
9.20 大语言模型研究简报:Qwen Code v0.24.1从 Coding Agent 走向统一 Agent Runtime北京时间 2026 年 9 月 19 日 16:18:42 正式发布了 Qwen Code v0.24.1。
咬代码的兽2 个月前
人工智能·大模型·api·qwen
Qwen3.8-Omni-Flash 发布:1M 上下文 + 原生全模态,四步跑通音视频 API今天(9 月 18 日)阿里千问团队发了 Qwen3.8-Omni-Flash,官方中文标题叫「耳聪目明,办事得力」。
程序猿编码2 个月前
大模型·llm·rk3588·qwen·推理·vlm
不用 GPU!RK3588 跑视觉大模型,Qwen3.5-2B VLM 端侧落地这是一套面向瑞芯微RK3588 NPU硬件加速的Qwen3.5-2B视觉语言模型推理实现,完全基于原生C++构建,配套专用大模型运行时与神经网络加速引擎,完整支持单图像理解与视频序列分析两种模式。
赋创小助手2 个月前
服务器·人工智能·大模型·qwen·vllm·sglang·context长度
Qwen3.8-27B 本地推理 Benchmark 解析:llama.cpp、vLLM、SGLang 与长 Context 的性能差异本文基于一组 Qwen3.8-27B 多平台公开基准测试,重点讨论 Benchmark 方法、推理引擎、Context、MTP、TTFT / Prefill / Decode 的技术关系。不同平台的量化和运行配方并不完全一致,因此本文不把结果当作严格的硬件排名。
论文复现现场2 个月前
llama·qwen·vllm·大模型推理·大模型部署·rtx4090
Llama/Qwen 70B 部署需要几张 RTX 4090?2卡、4卡、8卡显存、量化与 vLLM 选型直接答案:70B/72B 模型用 2 张 RTX 4090 只能主打 4-bit、低并发推理;4 张是量化部署的均衡配置;8 张可以考虑 BF16 或双副本吞吐,但性能不会随卡数线性增长。