技术栈
sycl
穷人小水滴
3 个月前
人工智能
·
llama
·
llama.cpp
·
a770
·
vulkan
·
gnu/linux
·
sycl
(章节 3.1) 本地运行 AI 有多慢 ? 大模型推理测速 (llama.cpp, Intel GPU A770)
由于本文太长, 分开发布, 方便阅读.在 4 号 PC (物理机) 上运行. 版本:运行模型 llama2-7B.q4, 生成长度 100:
穷人小水滴
3 个月前
ai
·
gpu
·
intel
·
llama.cpp
·
a770
·
vulkan
·
sycl
编译运行 llama.cpp (vulkan, Intel GPU SYCL)
llama.cpp 是一个运行 AI (神经网络) 语言大模型的推理程序, 支持多种 后端 (backend), 也就是不同的具体的运行方式, 比如 CPU 运行, GPU 运行等.