qwen3.6-27b

碳基硅坊4 天前
人工智能·大模型部署·qwen3.6-27b
Mac Studio 部署 Qwen3.6-27B omlx & dflash 深度评测本地部署大语言模型一直是开发者和技术爱好者关注的焦点。当你在 Apple Silicon Mac 上运行 27B 参数级别的模型时，内存瓶颈往往是最大的挑战。今天我们带来一期硬核实测：Mac Studio M4 Max（36GB 统一内存）搭配 omlx 推理框架和 dflash 内存优化技术，部署 Qwen3.6-27B-4bit（15.7GB）的完整性能报告。
shen1213821 天前
llama·qwen3.6-27b
使用 llama.cpp + MTP 分支实现 1.5 倍 Token 输出加速实战指南摘要：本文详细介绍如何通过 llama.cpp 的 MTP（Multi-Token Prediction）PR 分支，配合 Qwen3.6-27B-MTP GGUF 量化模型，实现推理时每秒输出 token 数量翻倍的效果。适合希望在本地/私有部署中获得更高吞吐量的开发者参考。
我是有底线的