llama.cpp

喜欢吃豆5 天前
人工智能·语言模型·架构·大模型·llama·llama.cpp·gguf
掌握本地化大语言模型部署：llama.cpp 工作流与 GGUF 转换内核全面技术指南llama.cpp 不仅仅是一个软件工具，它更是一个关键的开源项目，其核心使命是推动大语言模型（LLM）的普及化。该项目秉持“CPU 优先”的设计哲学，通过精湛的 C++ 实现和底层优化，使得在没有昂贵高端图形处理单元（GPU）的消费级硬件上运行强大的语言模型成为可能。这一特性极大地降低了开发者、研究人员和技术爱好者探索和应用前沿人工智能技术的门槛，从而催生了一个活跃的本地化 AI 应用生态系统。
带电的小王12 天前
llama.cpp·qwen2.5-omni
llama.cpp：Linux_x86端测试Qwen2.5-Omni.以下是经实验验证可行的环境参考，也可尝试其他版本。（1）PC：Ubuntu 22.04.4（2）软件环境：如下表所示
带电的小王13 天前
android·llama.cpp·qwen2.5-omni
llama.cpp：Android端测试Qwen2.5-Omni.以下是经实验验证可行的环境参考，也可尝试其他版本。（1）PC：Ubuntu 22.04.4（2）硬件设备：Android 手机
爱分享的飘哥3 个月前
llama·llama.cpp·kv cache·attention优化·llm cpu推理·量化attention·gguf推理
第四十六章：AI的“瞬时记忆”与“高效聚焦”：llama.cpp的KV Cache与Attention机制我们已经亲身体验了LLaMA.cpp在CPU上运行大语言模型的神奇速度。一个7B参数的模型，在你的普通电脑上，也能做到几乎“秒回”，这在几年前是难以想象的。
踏莎行hyx4 个月前
c++·ai·langchain·大模型·llama.cpp·deepseek
使用langchain连接llama.cpp部署的本地deepseek大模型开发简单的LLM应用langchain是一个基于python实现的开源LLM开发框架，llama.cpp是一个基于C++框架可以在本地部署大模型并开放服务端接口开放给外部应用使用。
农夫山泉2号6 个月前
cpu·llama·llama.cpp·星瑞o6
【“星瑞” O6 评测】 — CPU llama.cpp不同优化速度对比随着大模型应用场景的不断拓展，arm cpu 凭借其独特优势在大模型推理领域的重要性日益凸显。它在性能、功耗、架构适配等多方面发挥关键作用，推动大模型在不同场景落地
吴法刚6 个月前
人工智能·lora·llama·大模型训练·大模型微调·llama.cpp
20_大模型微调和训练之-基于LLamaFactory+LoRA微调LLama3后格式合并GGUF 格式的全名为(GPT-Generated Unified Format)，提到 GGUF 就不得不提到它的前身 GGML(GPT-Generated Model Language)。GGML 是专门为了机器学习设计的张量库，最早可 以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并 且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发 中，遇到了灵活性不足、相容性及难以维护的问题。
爱听歌的周童鞋7 个月前
llm·llama·llama.cpp·inference
理解llama.cpp如何进行LLM推理看到一篇非常不错的文章和大家分享下，主要是解决了博主之前的很多困惑，记录下个人学习笔记，仅供自己参考😄
o0o_-_8 个月前
langchain·ollama·llama.cpp·deepseek
【langchain/入门】使用langchain调用本地部署的大模型(以llama.cpp以及ollama为例)
月光技术杂谈8 个月前
人工智能·python·llama·intel·llama.cpp·xpu·集成显卡
llama.cpp 利用intel集成显卡xpu加速推理用 llama.cpp 调用 Intel 的集成显卡 XPU 来提升推理效率.安装 Intel oneAPI Base Toolkit，确保显卡驱动支持 SYCL 和 oneAPI。
Yongqiang Cheng9 个月前
quantization·llama.cpp·ggml
llama.cpp GGML Quantization Type什么神仙妖魔，不过是他们禁锢异族命运的枷锁！GGUF https://huggingface.co/docs/hub/gguf
Yongqiang Cheng9 个月前
llama.cpp·gguf 模型格式
llama.cpp GGUF 模型格式原来仙翁手下，竟是两只禽兽！什么仙什么妖，全是唬弄人的把戏！ggml/docs/gguf.md https://github.com/ggerganov/ggml/blob/master/docs/gguf.md
Yongqiang Cheng9 个月前
llama.cpp·deepseek_3
llama.cpp LLM_CHAT_TEMPLATE_DEEPSEEK_3不宜吹捧中国大语言模型的同时，又去贬低美国大语言模型。水是人体的主要化学成分，约占体重的 50% 至 70%，大语言模型的含水量也不会太低。
Yongqiang Cheng9 个月前
llama.cpp·deepseek·deepseek2
llama.cpp LLM_ARCH_DEEPSEEK and LLM_ARCH_DEEPSEEK2不宜吹捧中国大语言模型的同时，又去贬低美国大语言模型。水是人体的主要化学成分，约占体重的 50% 至 70%。大语言模型的含水量也不会太少。
Yongqiang Cheng9 个月前
llama.cpp·arch_llama
llama.cpp LLM_ARCH_LLAMAllama.cpp https://github.com/ggerganov/llama.cpp/home/yongqiang/llm_work/llama_cpp_25_01_05/llama.cpp/src/llama.cpp
Yongqiang Cheng10 个月前
llama.cpp·arch_names
llama.cpp LLM_ARCH_NAMESllama.cpp https://github.com/ggerganov/llama.cpp/home/yongqiang/llm_work/llama_cpp_25_01_05/llama.cpp/src/llama-arch.h /home/yongqiang/llm_work/llama_cpp_25_01_05/llama.cpp/src/llama-arch.cpp /home/yongqiang/llm_work/llama_cpp_25_01_05/llama.cpp/src/llama
Yongqiang Cheng10 个月前
llama.cpp·sampling api
llama.cpp Sampling APIllama.cpp https://github.com/ggerganov/llama.cpp/home/yongqiang/llm_work/llama_cpp_25_01_05/llama.cpp/include/llama.h
Yongqiang Cheng10 个月前
llama.cpp·ggml·whisper.cpp·georgi gerganov
Georgi Gerganov - ggml - llama.cpp - whisper.cpphttps://github.com/ggerganov https://ggerganov.com/
带电的小王1 年前
llm·llama.cpp·vlm·mobilevlm·图生文
llama.cpp：PC端测试 MobileVLM -- 电脑端部署图生文大模型以下是经实验验证可行的环境参考，也可尝试其他版本。（1）PC：Ubuntu 22.04.4（2）软件环境：如下表所示
AI．愚人自愈1 年前
llm·llama.cpp
【2024 Dec 超实时】编辑安装llama.cpp并运行llama这是2024 年12月，llama.cpp 的编译需要cmake 呜呜呜 网上教程都是make 跑的。反正我现在装的时候make已经不再适用了，因为工具的版本，捣鼓了很久。 ubuntu 18 + conda env内置安装。