llama.cpp

skywalk816313 天前
人工智能·ollama·llama.cpp
GLM-edge-1.5B-chat 一个特别的cpu可以推理的小型llm模型使用transformers推理：https://hf-mirror.com/zai-org/glm-edge-1.5b-chat/blob/main/README_zh.md
TGITCIC16 天前
transformer·llama·ai大模型·vllm·llama.cpp·大模型ai
LLM推理引擎选型实战指南：用Transformers、llama.cpp 还是 vLLM 之争大模型推理引擎的选择往往决定着项目成败，就像为不同任务选择操作系统一样关键。在实际工作中，笔者发现很多开发者面对琳琅满目的推理引擎时容易陷入选择困难。有的团队在原型阶段就过早引入复杂引擎导致开发效率低下，有的则在生产环境仍使用基础框架造成资源浪费。经过多次项目实践，笔者认识到选择推理引擎需要综合考虑硬件条件、业务场景和技术团队能力等多重因素。本文将基于实战经验，系统分析主流推理引擎的技术原理和适用场景，帮助读者建立清晰的选型框架。特别值得关注的是，每个引擎背后都代表着不同的设计哲学，理解这些底层逻辑比单纯
容沁风1 个月前
llama.cpp·crewai
llama.cpp作为crewAI的模型后端win10，Python 3.13.7库版本 crewai1.5.0 crewai-tools1.5.0 langchain-classic1.0.0 langchain-community0.4.1 langchain-core1.0.5 langchain-openai1.0.3 langchain-text-splitters==1.0.0
喜欢吃豆1 个月前
人工智能·语言模型·大模型·llama·量化·llama.cpp
llama.cpp 全方位技术指南：从底层原理到实战部署在人工智能领域，大型语言模型（LLM）的兴起无疑是一场技术革命。然而，这场革命的果实最初似乎只属于拥有强大云服务器和昂贵硬件的巨头。传统的LLM，通常在PyTorch等框架中训练，对显存（VRAM）和专用硬件（如高端NVIDIA GPU）有着极高的要求，这使得在普通消费级设备上运行它们成为一项巨大的挑战 [1]。
喜欢吃豆1 个月前
人工智能·语言模型·架构·大模型·llama·llama.cpp·gguf
掌握本地化大语言模型部署：llama.cpp 工作流与 GGUF 转换内核全面技术指南llama.cpp 不仅仅是一个软件工具，它更是一个关键的开源项目，其核心使命是推动大语言模型（LLM）的普及化。该项目秉持“CPU 优先”的设计哲学，通过精湛的 C++ 实现和底层优化，使得在没有昂贵高端图形处理单元（GPU）的消费级硬件上运行强大的语言模型成为可能。这一特性极大地降低了开发者、研究人员和技术爱好者探索和应用前沿人工智能技术的门槛，从而催生了一个活跃的本地化 AI 应用生态系统。
带电的小王2 个月前
llama.cpp·qwen2.5-omni
llama.cpp：Linux_x86端测试Qwen2.5-Omni.以下是经实验验证可行的环境参考，也可尝试其他版本。（1）PC：Ubuntu 22.04.4（2）软件环境：如下表所示
带电的小王2 个月前
android·llama.cpp·qwen2.5-omni
llama.cpp：Android端测试Qwen2.5-Omni.以下是经实验验证可行的环境参考，也可尝试其他版本。（1）PC：Ubuntu 22.04.4（2）硬件设备：Android 手机
爱分享的飘哥4 个月前
llama·llama.cpp·kv cache·attention优化·llm cpu推理·量化attention·gguf推理
第四十六章：AI的“瞬时记忆”与“高效聚焦”：llama.cpp的KV Cache与Attention机制我们已经亲身体验了LLaMA.cpp在CPU上运行大语言模型的神奇速度。一个7B参数的模型，在你的普通电脑上，也能做到几乎“秒回”，这在几年前是难以想象的。
踏莎行hyx5 个月前
c++·ai·langchain·大模型·llama.cpp·deepseek
使用langchain连接llama.cpp部署的本地deepseek大模型开发简单的LLM应用langchain是一个基于python实现的开源LLM开发框架，llama.cpp是一个基于C++框架可以在本地部署大模型并开放服务端接口开放给外部应用使用。
农夫山泉2号8 个月前
cpu·llama·llama.cpp·星瑞o6
【“星瑞” O6 评测】 — CPU llama.cpp不同优化速度对比随着大模型应用场景的不断拓展，arm cpu 凭借其独特优势在大模型推理领域的重要性日益凸显。它在性能、功耗、架构适配等多方面发挥关键作用，推动大模型在不同场景落地
吴法刚8 个月前
人工智能·lora·llama·大模型训练·大模型微调·llama.cpp
20_大模型微调和训练之-基于LLamaFactory+LoRA微调LLama3后格式合并GGUF 格式的全名为(GPT-Generated Unified Format)，提到 GGUF 就不得不提到它的前身 GGML(GPT-Generated Model Language)。GGML 是专门为了机器学习设计的张量库，最早可 以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并 且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发 中，遇到了灵活性不足、相容性及难以维护的问题。
爱听歌的周童鞋9 个月前
llm·llama·llama.cpp·inference
理解llama.cpp如何进行LLM推理看到一篇非常不错的文章和大家分享下，主要是解决了博主之前的很多困惑，记录下个人学习笔记，仅供自己参考😄
o0o_-_9 个月前
langchain·ollama·llama.cpp·deepseek
【langchain/入门】使用langchain调用本地部署的大模型(以llama.cpp以及ollama为例)
月光技术杂谈9 个月前
人工智能·python·llama·intel·llama.cpp·xpu·集成显卡
llama.cpp 利用intel集成显卡xpu加速推理用 llama.cpp 调用 Intel 的集成显卡 XPU 来提升推理效率.安装 Intel oneAPI Base Toolkit，确保显卡驱动支持 SYCL 和 oneAPI。
Yongqiang Cheng10 个月前
quantization·llama.cpp·ggml
llama.cpp GGML Quantization Type什么神仙妖魔，不过是他们禁锢异族命运的枷锁！GGUF https://huggingface.co/docs/hub/gguf
Yongqiang Cheng10 个月前
llama.cpp·gguf 模型格式
llama.cpp GGUF 模型格式原来仙翁手下，竟是两只禽兽！什么仙什么妖，全是唬弄人的把戏！ggml/docs/gguf.md https://github.com/ggerganov/ggml/blob/master/docs/gguf.md
Yongqiang Cheng1 年前
llama.cpp·deepseek_3
llama.cpp LLM_CHAT_TEMPLATE_DEEPSEEK_3不宜吹捧中国大语言模型的同时，又去贬低美国大语言模型。水是人体的主要化学成分，约占体重的 50% 至 70%，大语言模型的含水量也不会太低。
Yongqiang Cheng1 年前
llama.cpp·deepseek·deepseek2
llama.cpp LLM_ARCH_DEEPSEEK and LLM_ARCH_DEEPSEEK2不宜吹捧中国大语言模型的同时，又去贬低美国大语言模型。水是人体的主要化学成分，约占体重的 50% 至 70%。大语言模型的含水量也不会太少。
Yongqiang Cheng1 年前
llama.cpp·arch_llama
llama.cpp LLM_ARCH_LLAMAllama.cpp https://github.com/ggerganov/llama.cpp/home/yongqiang/llm_work/llama_cpp_25_01_05/llama.cpp/src/llama.cpp
Yongqiang Cheng1 年前
llama.cpp·arch_names
llama.cpp LLM_ARCH_NAMESllama.cpp https://github.com/ggerganov/llama.cpp/home/yongqiang/llm_work/llama_cpp_25_01_05/llama.cpp/src/llama-arch.h /home/yongqiang/llm_work/llama_cpp_25_01_05/llama.cpp/src/llama-arch.cpp /home/yongqiang/llm_work/llama_cpp_25_01_05/llama.cpp/src/llama