llama.cpp

llama.cpp + SpringBoot3：本地部署 Qwen3.8，接入 AgentOS 企业办公智能体模型的健康接口返回正常后，员工仍可能无法登录工作台，或无法查询业务数据。部署企业智能体时，需要把推理服务、应用配置、平台身份和业务任务连成一条可验证的链路。

模型篇｜llama.cpp 推理引擎深度解读：从一人练手到 LLM 端侧的事实标准标签：llama.cpp ggml GGUF 本地推理量化 llama-server适用读者：想在笔记本/工作站/服务器上本地跑大模型的开发者；被"装 CUDA、配 Python、抢显存"劝退过的人；要在 llama.cpp 与 vLLM/Ollama 之间做选型决策的工程师与架构者。

智码看视界

开源大模型追踪：TurboQuant量化指南：128K上下文不再爆显存，KV缓存3-bit免重训1. 它压的是 KV 缓存，不是权重——这是多数指南跳过的区别。权重量化（Q4_K_M 等）压缩的是模型" permanent 知识"，让模型塞进显存；KV 缓存量化压缩的是推理时每个 token 的"临时工作记忆"。当上下文从 4K 拉到 128K，权重一分没涨，涨的全是 KV 缓存。一个 70B 模型在 128K 上下文下的 KV 缓存本身就能吃掉 40GB+ 显存——比很多量化后的权重（Q4 约 35–40GB）还大，甚至比权重更先顶爆单卡。TurboQuant 瞄准的正是这个被忽视的瓶颈：很多人

神奇的代码在哪里

没有独显也能跑多模态：MiniCPM-V 4.7-1B 本地 OCR 实测（附源码）想在没有独立显卡的机器上跑多模态大模型做 OCR？本文用 llama.cpp + GGUF 在一台 Intel 核显 + 7.8GB 内存的机器上部署了 MiniCPM-V 4.7-1B，对 5 类图片做了完整 OCR 实测，期间踩了两个坑：llama.cpp 版本过旧导致加载视觉投影时报 unknown projector type: minicpmv4_7，以及模型默认开启思考模式导致结构化输出跑偏。部署过程、测试方法和真实结果都在下面，供同样没有显卡的读者参考。

llama.cpp浏览器访问404llama服务器正常运行，llmam-cli和curl测试，模型正常输出。但是通过浏览器访问 http://0.0.0.0:8086，返回结果404 。自己编译的，从github release下载的预编译，都不行。百度说llama-server默认是不集成的，需要编译tools\ui后使用-DGGML-WEBUI=ON参数。在bing上搜了一下有个llama.ui，使用–path指定到它的html代码，打开看看界面也没什么特点。

4G 显存老显卡怎么跑模型：llama.cpp 加 GGUF 配置手头有块 4G 显存的老显卡，好几年前买的，平时就看看视频。今年想在家跑个本地大模型，一开始图省事装 Ollama，拉了个 7B 的模型，一跑就报 CUDA out of memory，显存直接爆掉。后来换 llama.cpp 配 GGUF 量化模型，才算在这张卡上把模型跑起来。这篇把配置和踩的坑写下来。

llama.cpp 部署 Qwen3.8-27B：无独显轻薄本实测一提本地部署大模型，很多人的第一反应就是得先买张四五千的显卡。我原来也这么想，直到把天天背去上班的ThinkBook 14翻开，折腾三个晚上，硬是把一个270亿参数的模型跑起来了。

智码看视界

开源大模型前沿：Baichuan 5 ：单卡 H100 跑国产，长上下文 + 中文 Agentic 硬刚海外同档项目信息发布方百川智能（Baichuan Inc.，中国）发布时间2026-07-30（开源权重 + 技术报告）

llama.cpp 0.4.0-dev 本地编译指南这是我在笔记本电脑上本地编译 llama.cpp 源代码的个人经验。目前在version: 0.4.0-dev (build 10960, commit e760451cb) 编译通过。

JiMoKuangXiangQu

在 AllWinner T507 上部署 Qwen2.5-0.5B 大语言模型AllWinner T507 是一款面向工业控制的 Arm Cortex-A53 四核处理器，主频最高 1.5GHz，常见于嵌入式 HMI、工业网关等场景。本文记录在这类资源受限的嵌入式设备上，通过交叉编译 llama.cpp 并部署 Qwen2.5-0.5B-Instruct 量化模型的完整过程。

智码看视界

.NET 10 推理大模型TensorSharp 3.3.0 部署实测：纯.NET推理引擎反超llama.cpp 1.5倍，DFlash2提速62%TensorSharp 是开发者傅忠恺打造的原生 .NET 10 大模型推理引擎，直接加载 GGUF，跨 Windows/macOS/Linux 运行，自带 CLI、Web 聊天界面与 Ollama/OpenAI 双兼容 API。2026-08-30 发布的 3.3.0.0 版本合入约 40 个 PR：首发 Wan 视频生成、落地 GLM-5.2 与 Muse-Glimmer、推出 DFlash2 投机解码并补齐服务端安全。社区背靠背实测显示其 prefill 吞吐较 llama.cpp 最高快 1.50

使用ninja编译llama.cpp使用的电脑没有nvidia显卡，但是可以编译llama.cpp的CUDA版。C盘没有空间了，把cuda安装在D:\cuda12，我的显卡是2080ti 11G， turing架构。也会在C盘安装少量文件（C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration\MSBuildExtensions）在path变量中设置路径

AMM：一套支持 llama.cpp / vLLM / Diffusers 的 AI 模型统一调度平台背景：中小企业内部，20万以内成本，搭建全套算力业务平台。测试：Unraid+NV RTX 6000D+AMD 7543*2+256G DDR4 AI：积算MaaS平台

Linux下载、安装llama.cpp-b10068（附安装包llama-b10068-bin-ubuntu-vulkan-x64.tar.gz）llama.cpp 是由保加利亚软件工程师 Georgi Gerganov 于 2023 年 3 月创建的开源 LLM（Large Language Model，大语言模型）推理引擎。最初是 Gerganov 在一个周末为了让 Meta 的 LLaMA 模型在 MacBook 上运行而发起的项目，如今已发展成为本地 AI 推理领域的事实标准。截至 2026 年中，该项目在 GitHub 上已获得约 12 万颗星（Stars）、超过 1600 位贡献者，增长速度超过 PyTorch 和 TensorFlow

Speculative Decoding：用小模型给大模型“打草稿“，推理加速 2-3×副标题：大模型每生成一个 token 都要搬一次 KV Cache——瓶颈在搬数据，不在算。投机解码做的事就是：用更快的方式"猜"出几个 token 凑成一批，大模型一次验证，用"批处理"省掉重复搬运。

RTX 5090 本地部署 Qwen3-Coder-30B-A3B 实测：90 Tokens/s，128K 上下文，仅占用 22.4GB 显存最近体验了一下 Qwen3-Coder-30B-A3B-Instruct 的 GGUF 版本，在 RTX 5090 D V2（24GB）上使用 llama.cpp 进行部署，整体效果超出预期。

N记消费/专业级Blackwell架构GPU，以编译方式安装llama.cpp搞了块RTX PRO 4000显卡，配置了24G VRAM，做实验发挥的余地又拓展了一些了。Ollama毫无难度的跑了起来，所以还想试试其它更适合生产环境的推理框架。但问了下AI，当前（2026年5月）。一些主流推理框架对英伟达Blackwell架构的GPU（尤其是消费级的）优化仍在进行中，llama.cpp算是比较推荐的一种了（毕竟Ollama也是以它为基础），因此先拿它来折腾。

MTP在vLLM与llama.cpp上的性能对比：Qwen3.6与Gemma4实测MTP（Multi-Token Prediction，多Token预测）是一项新兴的大模型推理优化技术。本文基于完整测试数据，对比vLLM和llama.cpp在MTP模式下的性能表现，并提供可操作的部署指南。

利用网络算力使用 Unsloth 实现llama大模型的微调部署调用大模型微调是让通用大模型适应特定任务或领域的重要技术。传统全参数微调需要昂贵的 GPU 资源，而 Unsloth 通过 QLoRA 4bit 量化技术，将微调的显存需求降低 50% 以上，同时保持训练速度提升 2-5 倍。本文详细介绍在 AutoDL 云服务器上使用 Unsloth 进行大模型微调的完整操作流程，包括环境配置、模型下载、微调训练、权重合并以及 API 部署。

【2026】记录在windows编译llama.cpp步骤，AMD CPU本地部署千问3.5本地大模型，内存占用低我的电脑是AMD的+32G内存，没有GPU，偏要玩一玩千问3.5本地大语言模型，github上下载的llama安装包，无法使用，只有自己编译试试了。注意我是编译CPU版本的，你有GPU这篇别看了。以下是我的CPU型号: