前端开发同学轻松本地跑一个LLM,免费玩转大模型应用开发

相信前端的同学已经在研究基于LLM的应用开发了,但是现在网上的教程都是基于openAI的接口,要注册、付费,有没有免费的方便前端把玩的本地LLM呢?当然有。

作为中国人,我们首先把目光聚焦在支持中文的大模型上,然后在一堆开源模型中反复研究,最终,我们选定ChatGLM这个由清华和智普合作的中英双语大模型。除了支持中文外,另外一个重要的原因是,能够让前端的同学上手,而不需要搭建复杂的环境,在nodejs的基础上可以轻松跑起来。

在生态里面,chatglmjs可以帮助我们在nodejs、electron等环境下面轻松的跑一个本地的LLM,有了这个本地的LLM,那么我们在做大模型应用开发的时候,就不用再去连openai的接口,省下一笔不小的费用。

接下来我们看看怎么上手。

首先,安装chatglmjs:

css 复制代码
npm i chatglmjs

安装之前需要确保你的电脑上安装了cmake,需要支持c/c++的编译。

接下来,生成/下载大模型bin文件。

bash 复制代码
git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp
python3 -m pip install -U pip
python3 -m pip install torch tabulate tqdm transformers accelerate sentencepiece
python3 chatglm_cpp/convert.py -i THUDM/chatglm3-6b -t q4_0 -o chatglm3-6b.q4_0.bin

如果你是个懒人,可以直接点击这里下载已经生成好的bin文件

最后,进入nodejs的代码编写:

javascript 复制代码
const { chat, chatSync } = require('chatglmjs');
const { resolve } = require('path');

chat({
  model_bin_path: resolve(__dirname, '../llms/chatglm3-6b.q4_0.bin'),
  prompt: '你好',
  onmessage(msg) {
    process.stdout.write(msg);
  },
});

上面就是chatglmjs的最简单用法,当然,你还可以结合express创建一个服务,前端发一个ajax请求,由express调用上面这段代码来响应ajax,这样就可以在前端浏览器里面实现一个大模型应用了。

好了,今天就分享到这里,没必要为了凑字数搞一堆高深的概念,相信有想法的同学很快就能按照本文介绍的方法完成本地LLM的接入。

项目地址:github.com/tangshuang/...

记得给个star哦

相关推荐
爱编程的喵3 分钟前
JavaScript闭包深度解析:从作用域到实战应用
前端·javascript
ITfeib5 分钟前
Flutter
开发语言·javascript·flutter
雪碧聊技术1 小时前
深入解析Vue中v-model的双向绑定实现原理
前端·javascript·vue.js·v-model
打不着的大喇叭2 小时前
uniapp的光标跟随和打字机效果
前端·javascript·uni-app
Sun_light2 小时前
6个你必须掌握的「React Hooks」实用技巧✨
前端·javascript·react.js
爱学习的茄子2 小时前
深度解析JavaScript中的call方法实现:从原理到手写实现的完整指南
前端·javascript·面试
百锦再2 小时前
重新学习Vue中的按键监听和鼠标监听
javascript·vue.js·vue·计算机外设·click·up·down
ansurfen2 小时前
我的第一个AI项目:从零搭建RAG知识库的踩坑之旅
python·llm
优雅永不过时_v2 小时前
基于vite适用于 vue和 react 的Three.js低代码与Ai结合编辑器
前端·javascript
WildBlue2 小时前
🧊 HTML5 王者对象 Blob - 二进制世界的魔法沙漏
前端·javascript·html