llama.cpp

爱听歌的周童鞋2 天前
llm·llama·llama.cpp·inference
理解llama.cpp如何进行LLM推理看到一篇非常不错的文章和大家分享下，主要是解决了博主之前的很多困惑，记录下个人学习笔记，仅供自己参考😄
o0o_-_21 天前
langchain·ollama·llama.cpp·deepseek
【langchain/入门】使用langchain调用本地部署的大模型(以llama.cpp以及ollama为例)
月光技术杂谈22 天前
人工智能·python·llama·intel·llama.cpp·xpu·集成显卡
llama.cpp 利用intel集成显卡xpu加速推理用 llama.cpp 调用 Intel 的集成显卡 XPU 来提升推理效率.安装 Intel oneAPI Base Toolkit，确保显卡驱动支持 SYCL 和 oneAPI。
Yongqiang Cheng2 个月前
quantization·llama.cpp·ggml
llama.cpp GGML Quantization Type什么神仙妖魔，不过是他们禁锢异族命运的枷锁！GGUF https://huggingface.co/docs/hub/gguf
Yongqiang Cheng2 个月前
llama.cpp·gguf 模型格式
llama.cpp GGUF 模型格式原来仙翁手下，竟是两只禽兽！什么仙什么妖，全是唬弄人的把戏！ggml/docs/gguf.md https://github.com/ggerganov/ggml/blob/master/docs/gguf.md
Yongqiang Cheng2 个月前
llama.cpp·deepseek_3
llama.cpp LLM_CHAT_TEMPLATE_DEEPSEEK_3不宜吹捧中国大语言模型的同时，又去贬低美国大语言模型。水是人体的主要化学成分，约占体重的 50% 至 70%，大语言模型的含水量也不会太低。
Yongqiang Cheng2 个月前
llama.cpp·deepseek·deepseek2
llama.cpp LLM_ARCH_DEEPSEEK and LLM_ARCH_DEEPSEEK2不宜吹捧中国大语言模型的同时，又去贬低美国大语言模型。水是人体的主要化学成分，约占体重的 50% 至 70%。大语言模型的含水量也不会太少。
Yongqiang Cheng2 个月前
llama.cpp·arch_llama
llama.cpp LLM_ARCH_LLAMAllama.cpp https://github.com/ggerganov/llama.cpp/home/yongqiang/llm_work/llama_cpp_25_01_05/llama.cpp/src/llama.cpp
Yongqiang Cheng2 个月前
llama.cpp·arch_names
llama.cpp LLM_ARCH_NAMESllama.cpp https://github.com/ggerganov/llama.cpp/home/yongqiang/llm_work/llama_cpp_25_01_05/llama.cpp/src/llama-arch.h /home/yongqiang/llm_work/llama_cpp_25_01_05/llama.cpp/src/llama-arch.cpp /home/yongqiang/llm_work/llama_cpp_25_01_05/llama.cpp/src/llama
Yongqiang Cheng3 个月前
llama.cpp·sampling api
llama.cpp Sampling APIllama.cpp https://github.com/ggerganov/llama.cpp/home/yongqiang/llm_work/llama_cpp_25_01_05/llama.cpp/include/llama.h
Yongqiang Cheng3 个月前
llama.cpp·ggml·whisper.cpp·georgi gerganov
Georgi Gerganov - ggml - llama.cpp - whisper.cpphttps://github.com/ggerganov https://ggerganov.com/
带电的小王3 个月前
llm·llama.cpp·vlm·mobilevlm·图生文
llama.cpp：PC端测试 MobileVLM -- 电脑端部署图生文大模型以下是经实验验证可行的环境参考，也可尝试其他版本。（1）PC：Ubuntu 22.04.4（2）软件环境：如下表所示
AI．愚人自愈4 个月前
llm·llama.cpp
【2024 Dec 超实时】编辑安装llama.cpp并运行llama这是2024 年12月，llama.cpp 的编译需要cmake 呜呜呜 网上教程都是make 跑的。反正我现在装的时候make已经不再适用了，因为工具的版本，捣鼓了很久。 ubuntu 18 + conda env内置安装。
沉下心来学鲁班5 个月前
人工智能·语言模型·分类·cpu·llama.cpp
欺诈文本分类检测（十八）：基于llama.cpp+CPU推理前文我们用Lora训练出自己的个性化模型后，首先面临的问题是：如何让模型在普通机器上跑起来？毕竟模型微调时都是在几十G的专用GPU上训练的，如果换到只有CPU的普通电脑上，可能会面临几秒蹦一个词的尴尬问题。
幽影相随6 个月前
llm·llama.cpp
构建llama.cpp并在linux上使用gpu更多详情参见https://github.com/abetlen/llama-cpp-python，官网网站会随着版本迭代更新。
telllong6 个月前
c++·llama·llama.cpp
使用llama.cpp 在推理MiniCPM-1.2B模型llama.cpp 是一个开源项目，它允许用户在C++中实现与LLaMA（Large Language Model Meta AI）模型的交互。LLaMA模型是由Meta Platforms开发的一种大型语言模型，虽然llama.cpp本身并不包含LLaMA模型的训练代码或模型权重，但它提供了一种方式来加载预先训练好的模型，并使用它们进行文本生成等任务。
shizidushu7 个月前
docker·语言模型·llama·llama.cpp·mistral-7b
Docker下使用llama.cpp部署带Function calling和Json Mode功能的Mistral 7B模型说明：使用HuggingFace的镜像 https://hf-mirror.com/方式一：方式二（推荐）：
穷人小水滴7 个月前
人工智能·llama·llama.cpp·a770·vulkan·gnu/linux·sycl
(章节 3.1) 本地运行 AI 有多慢 ? 大模型推理测速 (llama.cpp, Intel GPU A770)由于本文太长, 分开发布, 方便阅读.在 4 号 PC (物理机) 上运行. 版本:运行模型 llama2-7B.q4, 生成长度 100:
穷人小水滴7 个月前
ai·gpu·intel·llama.cpp·a770·vulkan·sycl
编译运行 llama.cpp (vulkan, Intel GPU SYCL)llama.cpp 是一个运行 AI (神经网络) 语言大模型的推理程序, 支持多种 后端 (backend), 也就是不同的具体的运行方式, 比如 CPU 运行, GPU 运行等.
SpikeKing8 个月前
llama·huggingface·ollama·llama.cpp·大模型部署·gguf·instruct
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/141028040