llama

~远在太平洋~

大模型评测框架 OpenCompass 本地部署保姆级教程：从安装到跑通 C-Eval 基准（含依赖冲突修复与判分避坑）写作时间：2026 年 10 月（OpenCompass 0.5.4 / Python 3.12 / torch 2.14 CPU 版，版本迭代快，遇到差异以官方文档为准）本文环境：Ubuntu 22.04+ / 无 GPU 普通开发机 / Python 3.12.3 全部命令与配置实测通过，依赖冲突和判分坑都是笔者真实踩出来的，不是编译文档。

程序猿编码

告别 GPU 空转！token 级调度，Qwen/Llama 高并发推理引擎大模型推理正在从"云端独占"走向"端侧可用"。过去我们做推理优化，更多关注的是服务器上的吞吐和并发；现在越来越多场景要求在一块消费级 GPU、一台边缘设备，甚至本地开发机上跑通 LLM。

还卿一钵无情泪

PEFT-Transformers、Unsloth、LLaMA-Factory 微调框架横向对比正常和标准内核有关中等取决于 LoRA 秩与 batch size较高需要自行编写训练脚本与 Hugging Face Transformers 生态完全兼容，支持 LoRA、QLoRA、Prefix Tuning 等多种方法

程序猿编码

不依赖 vLLM/llama.cpp：一套面向学习的 DeepSeek-R1 CUDA 推理实现如果你是一个对大模型推理底层原理感兴趣的后端工程师，大概率有过这样的困惑：用 vLLM 部署很快，用 llama.cpp 量化推理也很方便，但你对"每一个 token 到底在 GPU 上经历了什么"依然是一头雾水。框架帮你封装了太多东西——算子怎么调度、内存怎么管理、kernel 怎么 launch，这些全被藏在 C++ 模板和 CUDA 核函数里面，你只能看到输入输出，看不到中间过程。

本地部署大模型ollama本文仅针对 Windows10 / Windows11，一键本地跑开源大模型，包含安装、模型下载、命令使用、API、局域网访问、搭配 Open WebUI、常见问题。

骑着蜗牛撵大象327

N1 小盒子撑起 AI 接口中转层：New-API 接管本地 Ollama，用 Token 分发模型能力在 N1 这种小盒子上装好飞牛 NAS、跑起 Ollama 之后，最容易踩的一步是把 11434 端口直接甩给局域网：手机、电脑、各类 Agent 客户端各配一个地址，模型改名要挨个通知，有人跑爆一次内存没人提前知道，更别提密钥与配额。

言简行敏，心静致远。

llama-bench使用说明及其应用llama-bench 是 llama.cpp 生态中用于测量模型推理性能的核心工具。它的主要功能是在不同硬件后端、模型量化等级和运行参数下，给出可复现、可对比的吞吐量与延迟数据，帮助你在本地部署时进行性能调优和配置选型。

模型篇｜llama.cpp 推理引擎深度解读：从一人练手到 LLM 端侧的事实标准标签：llama.cpp ggml GGUF 本地推理量化 llama-server适用读者：想在笔记本/工作站/服务器上本地跑大模型的开发者；被"装 CUDA、配 Python、抢显存"劝退过的人；要在 llama.cpp 与 vLLM/Ollama 之间做选型决策的工程师与架构者。

星野云联AIoT技术洞察

设备手册离线 RAG：先管住版本、权限和引文，再谈本地大模型现场技师问“这台设备的 E42 报警怎样复位”，系统如果只给出一段流畅的操作说明，却说不清适用型号、手册版本和原文页码，这个答案就不能拿去指导维修。断网时更如此：没有在线文档可回查，错误答案可能被当成现场唯一依据。

晚风吹北巷

基于LLama-Factory 进行Lora微调以下内容学习来自【LoRA 算法论文解读 & 开发人员如何微调大模型并暴露可调用接口】https://www.bilibili.com/video/BV1R6P7eVEtd?vd_source=76890281c296bfb1202b523e6fbce4da

你都会上树？

本地部署模型 llama + opencode + Qwen3.8-32b原文地址：https://www.rendering.me/blog/IMhuEG本文意在本地部署大模型以及Agent，并打通整个流程；

从零微调 Qwen3-8B：基于 LoRA 与 LLaMA-Factory 打造专属 AI 编程助教本文面向希望入门大语言模型微调的开发者，以 Qwen3-8B 为基础模型，使用 LLaMA-Factory 和 LoRA 实现一个具有教学风格的 AI 编程助教。重点介绍微调原理、数据集构建、训练配置、推理部署和效果评估。

llama.cpp 部署大模型到 Ubuntu 台式机 SOPGLM-4.7-Flash 4bit 量化约需 18GB 左右内存/显存。不够就换更小量化，如 Q4_K_M、Q3_K_M。

07 | FastAPI + llama.cpp 接入 Langfuse监控Prompt请求llm-serving 已经有 Prometheus 指标,能看到请求量、延迟、Token 总量这些聚合数据。接入 Langfuse 是为了看到每一次请求的细节:输入的 messages、模型输出、Token 用量、耗时和错误。

opencode调用本地模型三本文验证分析loki日志进入容器在容器内安装 Rust 工具链和 lgtm-mcp执行效果如下安装完成验证

Imagination官方博客

PowerVR 上的 LLM 性能与加速欢迎阅读这篇关于如何在 PowerVR GPU 上加速大型语言模型推理博客系列的第二篇。在系列博客的第一篇中，我们解释了什么是大型语言模型，介绍了注意力机制的概念，以及利用 KV 缓存进行Token生成的原理。随后，我们阐述了自回归型大型语言模型的两种工作模式，并解释了为何运行这些模型会消耗如此巨大的计算资源。

03 | 更新：Ollama 换成 llama.cpp构建更小的离线镜像之前的方案是 FastAPI 调用 Ollama,把 qwen2:0.5b 打进 Ollama 镜像做离线部署。问题在于 Ollama 镜像太大(基础镜像约 2.6G;上一篇里打包好的 llm-serving-ollama:0.1.0 为 4.58GB),而实际只需要"加载一个 0.5B 的 GGUF 模型并提供推理接口"。

Imagination官方博客

如何在 E 系列GPU上使用 llama.cpp 和千问3.5 运行 OpenCode当模型不再只是回答提示词，而是能够规划、调用工具，并持续朝着一个目标推进时，边缘AI就变得更加有意思了。这正是智能体工作负载（agentic workloads）的吸引力所在，也是我们探索在Imagination E系列上通过llama.cpp适配千问 3.5运行OpenCode的原因。

Llama 4 MoE 架构深度拆解：交替稀疏专家设计与生产环境推理落地实战MoE（Mixture-of-Experts，混合专家模型）早已是超大模型主流架构，但是传统 MoE 存在一个致命工程问题：不同专家被调用频次差异巨大，出现路由倾斜（Expert Imbalance）。部分专家持续高负载，另一部分专家几乎闲置，GPU 算力浪费，推理延迟抖动严重，这也是很多 MoE 模型在真实业务流量下，基准测试和线上性能差距巨大的根本原因。

论文复现现场

8卡4090能跑70B吗？Llama-2显存预算、QLoRA与通信瓶颈8 张 RTX 4090 可以作为 70B 量化推理和 QLoRA 微调的候选配置，但不是全参数训练的显存保证。192GB 是八张卡的合计容量，能否运行仍取决于每卡峰值、分片策略和通信路径。