llama.cpp

沉下心来学鲁班8 天前
人工智能·语言模型·分类·cpu·llama.cpp
欺诈文本分类检测（十八）：基于llama.cpp+CPU推理前文我们用Lora训练出自己的个性化模型后，首先面临的问题是：如何让模型在普通机器上跑起来？毕竟模型微调时都是在几十G的专用GPU上训练的，如果换到只有CPU的普通电脑上，可能会面临几秒蹦一个词的尴尬问题。
幽影相随2 个月前
llm·llama.cpp
构建llama.cpp并在linux上使用gpu更多详情参见https://github.com/abetlen/llama-cpp-python，官网网站会随着版本迭代更新。
telllong2 个月前
c++·llama·llama.cpp
使用llama.cpp 在推理MiniCPM-1.2B模型llama.cpp 是一个开源项目，它允许用户在C++中实现与LLaMA（Large Language Model Meta AI）模型的交互。LLaMA模型是由Meta Platforms开发的一种大型语言模型，虽然llama.cpp本身并不包含LLaMA模型的训练代码或模型权重，但它提供了一种方式来加载预先训练好的模型，并使用它们进行文本生成等任务。
shizidushu3 个月前
docker·语言模型·llama·llama.cpp·mistral-7b
Docker下使用llama.cpp部署带Function calling和Json Mode功能的Mistral 7B模型说明：使用HuggingFace的镜像 https://hf-mirror.com/方式一：方式二（推荐）：
穷人小水滴3 个月前
人工智能·llama·llama.cpp·a770·vulkan·gnu/linux·sycl
(章节 3.1) 本地运行 AI 有多慢 ? 大模型推理测速 (llama.cpp, Intel GPU A770)由于本文太长, 分开发布, 方便阅读.在 4 号 PC (物理机) 上运行. 版本:运行模型 llama2-7B.q4, 生成长度 100:
穷人小水滴3 个月前
ai·gpu·intel·llama.cpp·a770·vulkan·sycl
编译运行 llama.cpp (vulkan, Intel GPU SYCL)llama.cpp 是一个运行 AI (神经网络) 语言大模型的推理程序, 支持多种 后端 (backend), 也就是不同的具体的运行方式, 比如 CPU 运行, GPU 运行等.
SpikeKing3 个月前
llama·huggingface·ollama·llama.cpp·大模型部署·gguf·instruct
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/141028040
伊织code4 个月前
大模型·llama·量化·llama.cpp
llama.cppllama.cpp的主要目标是 使LLM推理 具有最少的设置和最先进的性能，在各种硬件–本地和云端。自启动以来，由于许多 contributions，该项目有了显著改善。 它是为ggml库 开发新功能的主要场所。
湫然Quin6 个月前
大模型·llama·模型量化·llama.cpp·模型转换
llama.cpp 转化 huggingface 模型失败 解决路径./main -m ./models/book_q4_K_M -n 128报错：terminate called after throwing an instance of 'std::out_of_range' what(): unordered_map::at
假装我不帅8 个月前
llama·qwen·llama.cpp
llama.cpp运行qwen0.5B参考05b模型下载执行转换命令将模型量化为5Bit（使用q5_k-m方法）运行尝鲜通义千问1.8B 参考 hf2gguf
szZack8 个月前
人工智能·大模型·llama.cpp
【大模型】大模型 CPU 推理之 llama.cpp描述The main goal of llama.cpp is to enable LLM inference with minimal setup and state-of-the-art performance on a wide variety of hardware - locally and in the cloud.
engchina1 年前
oobabooga·gptq·awq·llama.cpp·exl2
本地部署 text-generation-webui一直喜欢用 FastChat 本地部署大语言模型，今天试一试 text-generation-webui 这个项目。