【wails】(10):研究go-llama.cpp项目,但是发现不支持最新的qwen大模型,可以运行llama-2-7b-chat

1,视频演示地址

2,项目地址go-llama.cpp

下载并进行编译:

bash 复制代码
git clone --recurse-submodules https://github.com/go-skynet/go-llama.cpp
cd go-llama.cpp
make libbinding.a

项目中还打了个补丁:

编译成功,虽然有一点 warning 警告信息,问题不大。

3,然后运行 llama-2-7b-chat 模型

bash 复制代码
LIBRARY_PATH=$PWD C_INCLUDE_PATH=$PWD go run ./examples -m "/data/home/test/hf_cache/llama-2-7b-chat.Q2_K.gguf" -t 14

LIBRARY_PATH=$PWD C_INCLUDE_PATH=$PWD go run ./examples -m "/data/home/test/hf_cache/qwen1_5-0_5b-chat-q6_k.gguf" -t 14
bash 复制代码
error loading model: unknown model architecture: 'qwen2'
llama_load_model_from_file: failed to load model
llama_init_from_gpt_params: error: failed to load model '/data/home/test/hf_cache/qwen1_5-0_5b-chat-q6_k.gguf'
load_binding_model: error: unable to load model
Loading the model failed: failed loading model
相关推荐
ttwuai1 天前
GoFrame 后台日志清空失败:无 WHERE 删除为什么被拦住
前端·golang
易筋紫容1 天前
创建型模式:对象的诞生艺术
开发语言·前端·javascript
888CC++1 天前
C++ 快速学习指南:从入门到进阶的实战路线
开发语言·c++
小小晓.1 天前
C++记:函数
开发语言·c++·算法
牡丹雅忻11 天前
AES 加密模式演进:从 ECB、CBC 到 GCM 的 C# 深度实践
java·开发语言·c#
连续讨伐1 天前
php小结
开发语言·php
进击的程序猿~1 天前
Go 并发底层原理面试学习指南
开发语言·面试·golang
脚踏实地皮皮晨1 天前
002002002_DepandencyObject类2
开发语言·windows·算法·c#·visual studio
练习时长一年1 天前
@SneakyThrows注解
开发语言
我的xiaodoujiao1 天前
快速学习Python基础知识详细图文教程14--模块
开发语言·python·学习·测试工具