相关推荐
一条大祥脚1 天前
llama.cpp 深度解析：从 GGUF 到本地推理的事实标准~远在太平洋~9 天前
大模型评测框架 OpenCompass 本地部署保姆级教程：从安装到跑通 C-Eval 基准（含依赖冲突修复与判分避坑）程序猿编码11 天前
告别 GPU 空转！token 级调度，Qwen/Llama 高并发推理引擎还卿一钵无情泪13 天前
PEFT-Transformers、Unsloth、LLaMA-Factory 微调框架 横向对比程序猿编码14 天前
不依赖 vLLM/llama.cpp：一套面向学习的 DeepSeek-R1 CUDA 推理实现天燹14 天前
本地部署大模型ollama骑着蜗牛撵大象32715 天前
N1 小盒子撑起 AI 接口中转层：New-API 接管本地 Ollama，用 Token 分发模型能力言简行敏，心静致远。16 天前
llama-bench使用说明及其应用AI_Gump17 天前
模型篇｜llama.cpp 推理引擎深度解读：从一人练手到 LLM 端侧的事实标准星野云联AIoT技术洞察19 天前
设备手册离线 RAG：先管住版本、权限和引文，再谈本地大模型