【wails】(10):研究go-llama.cpp项目,但是发现不支持最新的qwen大模型,可以运行llama-2-7b-chat

1,视频演示地址

2,项目地址go-llama.cpp

下载并进行编译:

bash 复制代码
git clone --recurse-submodules https://github.com/go-skynet/go-llama.cpp
cd go-llama.cpp
make libbinding.a

项目中还打了个补丁:

编译成功,虽然有一点 warning 警告信息,问题不大。

3,然后运行 llama-2-7b-chat 模型

bash 复制代码
LIBRARY_PATH=$PWD C_INCLUDE_PATH=$PWD go run ./examples -m "/data/home/test/hf_cache/llama-2-7b-chat.Q2_K.gguf" -t 14

LIBRARY_PATH=$PWD C_INCLUDE_PATH=$PWD go run ./examples -m "/data/home/test/hf_cache/qwen1_5-0_5b-chat-q6_k.gguf" -t 14
bash 复制代码
error loading model: unknown model architecture: 'qwen2'
llama_load_model_from_file: failed to load model
llama_init_from_gpt_params: error: failed to load model '/data/home/test/hf_cache/qwen1_5-0_5b-chat-q6_k.gguf'
load_binding_model: error: unable to load model
Loading the model failed: failed loading model
相关推荐
非 白4 分钟前
【Java】代理模式
java·开发语言·代理模式
知识分享小能手10 分钟前
Html5学习教程,从入门到精通,HTML5 简介语法知识点及案例代码(1)
开发语言·前端·javascript·学习·前端框架·html·html5
muxue17813 分钟前
go:运行第一个go语言程序
开发语言·后端·golang
米饭好好吃.14 分钟前
【Go】Go wire 依赖注入
开发语言·后端·golang
闲猫14 分钟前
go 接口interface func (m Market) getName() string {
开发语言·后端·golang
Good Note14 分钟前
Golang的静态强类型、编译型、并发型
java·数据库·redis·后端·mysql·面试·golang
可爱de艺艺15 分钟前
Go入门之struct
开发语言·后端·golang
信徒_18 分钟前
Go 语言中的协程
开发语言·后端·golang
begei22 分钟前
飞牛os使用ddns-go配合华为云实现内网穿透
开发语言·golang·华为云
向哆哆1 小时前
Java应用程序的跨平台性能优化研究
java·开发语言·性能优化