技术栈
llama.cpp
带电的小王
2 天前
llm
·
llama.cpp
·
vlm
·
mobilevlm
·
图生文
llama.cpp:PC端测试 MobileVLM -- 电脑端部署图生文大模型
以下是经实验验证可行的环境参考,也可尝试其他版本。(1)PC:Ubuntu 22.04.4(2)软件环境:如下表所示
AI.愚人自愈
9 天前
llm
·
llama.cpp
【2024 Dec 超实时】编辑安装llama.cpp并运行llama
这是2024 年12月,llama.cpp 的编译需要cmake 呜呜呜 网上教程都是make 跑的。反正我现在装的时候make已经不再适用了,因为工具的版本,捣鼓了很久。 ubuntu 18 + conda env内置安装。
沉下心来学鲁班
1 个月前
人工智能
·
语言模型
·
分类
·
cpu
·
llama.cpp
欺诈文本分类检测(十八):基于llama.cpp+CPU推理
前文我们用Lora训练出自己的个性化模型后,首先面临的问题是:如何让模型在普通机器上跑起来?毕竟模型微调时都是在几十G的专用GPU上训练的,如果换到只有CPU的普通电脑上,可能会面临几秒蹦一个词的尴尬问题。
幽影相随
3 个月前
llm
·
llama.cpp
构建llama.cpp并在linux上使用gpu
更多详情参见https://github.com/abetlen/llama-cpp-python,官网网站会随着版本迭代更新。
telllong
3 个月前
c++
·
llama
·
llama.cpp
使用llama.cpp 在推理MiniCPM-1.2B模型
llama.cpp 是一个开源项目,它允许用户在C++中实现与LLaMA(Large Language Model Meta AI)模型的交互。LLaMA模型是由Meta Platforms开发的一种大型语言模型,虽然llama.cpp本身并不包含LLaMA模型的训练代码或模型权重,但它提供了一种方式来加载预先训练好的模型,并使用它们进行文本生成等任务。
shizidushu
4 个月前
docker
·
语言模型
·
llama
·
llama.cpp
·
mistral-7b
Docker下使用llama.cpp部署带Function calling和Json Mode功能的Mistral 7B模型
说明:使用HuggingFace的镜像 https://hf-mirror.com/方式一:方式二(推荐):
穷人小水滴
4 个月前
人工智能
·
llama
·
llama.cpp
·
a770
·
vulkan
·
gnu/linux
·
sycl
(章节 3.1) 本地运行 AI 有多慢 ? 大模型推理测速 (llama.cpp, Intel GPU A770)
由于本文太长, 分开发布, 方便阅读.在 4 号 PC (物理机) 上运行. 版本:运行模型 llama2-7B.q4, 生成长度 100:
穷人小水滴
4 个月前
ai
·
gpu
·
intel
·
llama.cpp
·
a770
·
vulkan
·
sycl
编译运行 llama.cpp (vulkan, Intel GPU SYCL)
llama.cpp 是一个运行 AI (神经网络) 语言大模型的推理程序, 支持多种 后端 (backend), 也就是不同的具体的运行方式, 比如 CPU 运行, GPU 运行等.
SpikeKing
4 个月前
llama
·
huggingface
·
ollama
·
llama.cpp
·
大模型部署
·
gguf
·
instruct
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)
欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/141028040
伊织code
5 个月前
大模型
·
llama
·
量化
·
llama.cpp
llama.cpp
llama.cpp的主要目标是 使LLM推理 具有最少的设置和最先进的性能,在各种硬件–本地和云端。自启动以来,由于许多 contributions,该项目有了显著改善。 它是为ggml库 开发新功能的主要场所。
湫然Quin
7 个月前
大模型
·
llama
·
模型量化
·
llama.cpp
·
模型转换
llama.cpp 转化 huggingface 模型失败 解决路径
./main -m ./models/book_q4_K_M -n 128报错:terminate called after throwing an instance of 'std::out_of_range' what(): unordered_map::at
假装我不帅
9 个月前
llama
·
qwen
·
llama.cpp
llama.cpp运行qwen0.5B
参考05b模型下载执行转换命令将模型量化为5Bit(使用q5_k-m方法)运行尝鲜通义千问1.8B 参考 hf2gguf
szZack
9 个月前
人工智能
·
大模型
·
llama.cpp
【大模型】大模型 CPU 推理之 llama.cpp
描述The main goal of llama.cpp is to enable LLM inference with minimal setup and state-of-the-art performance on a wide variety of hardware - locally and in the cloud.
engchina
1 年前
oobabooga
·
gptq
·
awq
·
llama.cpp
·
exl2
本地部署 text-generation-webui
一直喜欢用 FastChat 本地部署大语言模型,今天试一试 text-generation-webui 这个项目。