【Tauri】(2):使用Tauri应用开发,使用开源的Chatgpt-web应用做前端,使用rust 的candle做后端,本地运行小模型桌面应用

视频演示地址

https://www.bilibili.com/video/BV17j421X7Zc/

【Tauri】(2):使用Tauri应用开发,使用开源的Chatgpt-web应用做前端,使用rust 的candle做后端,本地运行小模型桌面应用

1,做一个免费的桌面端的gpt软件方案

使用CPU 运行小模型运行 qwen 1.8B

https://www.modelscope.cn/models/qwen/Qwen-1_8B-Chat-Int4/summary

介绍(Introduction)
通义千问-1.8B(Qwen-1.8B) 是阿里云研发的通义千问大模型系列的18亿参数规模的模型。Qwen-1.8B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-1.8B的基础上,我们使用对齐机制打造了基于大语言模型的AI助手Qwen-1.8B-Chat。本仓库为Qwen-1.8B-Chat的Int4量化模型的仓库。

通义千问-1.8B(Qwen-1.8B)主要有以下特点:

低成本部署:提供int8和int4量化版本,推理最低仅需不到2GB显存,生成2048 tokens仅需3GB显存占用。微调最低仅需6GB。

大规模高质量训练语料:使用超过2.2万亿tokens的数据进行预训练,包含高质量中、英、多语言、代码、数学等数据,涵盖通用及专业领域的训练语料。通过大量对比实验对预训练语料分布进行了优化。

优秀的性能:Qwen-1.8B支持8192上下文长度,在多个中英文下游评测任务上(涵盖常识推理、代码、数学、翻译等),效果显著超越现有的相近规模开源模型,具体评测结果请详见下文。

覆盖更全面的词表:相比目前以中英词表为主的开源模型,Qwen-1.8B使用了约15万大小的词表。该词表对多语言更加友好,方便用户在不扩展词表的情况下对部分语种进行能力增强和扩展。

系统指令跟随:Qwen-1.8B-Chat可以通过调整系统指令,实现角色扮演,语言风格迁移,任务设定,和行为设定等能力。

2,前端界面界面参考使用

开源的Chatgpt-web应用
https://blog.csdn.net/freewebsys/article/details/129679034

3,后端使用rust 的candle 项目

本地启动小模型的chatgpt服务

https://github.com/huggingface/candle

已经可以支持 chatglm 和 qwen 大模型了

https://github.com/huggingface/candle/blob/main/candle-examples/examples/chatglm/main.rs

然后就可以进行前后的连调了。

4,整个设计方案,和用到的技术

相关推荐
Dontla1 小时前
Turbopack介绍(由Vercel开发的基于Rust的高性能前端构建工具,用于挑战传统构建工具Webpack、vite地位)Next.js推荐构建工具
前端·rust·turbopack
文火冰糖的硅基工坊1 天前
[创业之路-666]:第四次工业革命(智能革命)未来将创造大量的财富,普通人通过哪些方式参与这些财富的创造与分享?
人工智能·chatgpt·系统架构·产品运营·产业链
低调小一1 天前
iPhone美区账号登录指南:轻松下载ChatGPT应用
ios·chatgpt·iphone
开心不就得了1 天前
构建工具webpack
前端·webpack·rust
媒体人8881 天前
中国顶级 GEO 优化专家孟庆涛:用 15 年积淀定义 2025 年 GEO 优化新标准
人工智能·搜索引擎·chatgpt·生成式引擎优化·geo优化
ftpeak2 天前
《WebAssembly指南》第九章:WebAssembly 导入全局字符串常量
开发语言·rust·wasm
红烧code2 天前
【Rust GUI开发入门】编写一个本地音乐播放器(15. 记录运行日志)
rust·gui·log·slint
JordanHaidee2 天前
【Rust GUI开发入门】编写一个本地音乐播放器(15. 记录运行日志)
rust
璨sou2 天前
Rust语言--基础入门到应用
后端·rust
Ivanqhz2 天前
Rust的错误处理
开发语言·后端·rust