TPU-MLIR——实现Chatglm2-6B大模型移植部署

TPU-MLIR------实现Chatglm2-6B大模型移植部署

本项目实现BM1684X部署语言大模型ChatGLM2-6B。通过TPU-MLIR编译器将模型转换成bmodel,并采用c++代码将其部署到BM1684X的PCIE环境,或者SoC环境。

编译chatglm2-6B模型

1. 下载'Chat-GLM2-6B'
2. 对该模型做两点修改:

一是将config.json文件中seq_length配置为512;

二是将modeling_chatglm.py文件中的如下代码:

修改为:

这样修改可以提升效率,使用masked_fill效率低下

加载并编译TPU-MLIR:

下载本项目'ChatGLM2-TPU'

编译模型
  1. 指定'ChatGLM2-6B'的python路径

  2. 导出所有onnx模型,如果过程中提示缺少某些组建,直接'pip install'即可

  3. 对onnx模型进行编译,生成bmodel,这个过程会花一些时间,最终生成'chatglm2-6b.bmodel'文件

移植模型到开发板
  1. 将chatglm2-6b.bmodel和tokenizer.model拷贝到开发板运行环境。(tokenizer.model来自ChatGLM2-6B)

C++部署测试(1684X开发板)

编译模型
  1. 将sentencepiece编译后/workspace/sentencepiece/build/src/目录下SoC版本的libsentencepiece.a替换到此目录的/lib/下,进入chatglm2-tpu/demo目录进行编译


    如果要编译SoC环境,则修改CMakeLists.txt为以下内容:【 CMakeLists.txt在上一级目录 】

  2. 编译

  3. 将ChatGLM2-TPU整个目录拷贝到开发板运行环境就可以执行了。

连接开发板

通过本地网络适配器网线直连方式,IP地址:192.168.150.1,用户名:linaro 密码:linaro

也可通过串口Serial连接,设置COM口,Speed为115200

成功进入显示linaro@bm1684的Ubuntu系统

通过LAN口网络连接方式,IP地址:172.xxx.xxx.xxx(DHCP获取的地址,可通过串口ifconfig查看IP),用户名:linaro 密码:linaro

开发板运行

进入到/data/目录,查看scp传输的文件:

执行编译好的C++代码,即可实现在线chat

c++部署完成!

python部署测试(1684x开发板)

编译模型
  1. 进入chatglm2-tpu/python_demo目录进行编译

    如果要编译SoC环境,则修改CMakeLists.txt为以下内容:【 CMakeLists.txt在上一级目录 】

  2. 编译

    编译成功会生成ChatGLM2.cpython-38-x86_64-linux-gnu.so,之后将chatglm2-6b.bmodel放到python_demo目录下。

  3. 将ChatGLM2-TPU整个目录拷贝到开发板运行环境就可以执行了。

连接开发板

通过本地网络适配器网线直连方式,IP地址:192.168.150.1,用户名:linaro 密码:linaro

也可通过串口Serial连接,设置COM口,Speed为115200

成功进入显示linaro@bm1684的Ubuntu系统

通过LAN口网络连接方式,IP地址:172.xxx.xxx.xxx(DHCP获取的地址,可通过串口ifconfig查看IP),用户名:linaro 密码:linaro

开发板运行

进入到/data/目录,查看scp传输的文件:

运行

python部署完成!

相关推荐
AAA修煤气灶刘哥8 小时前
为什么你的Codex 重连到 5/5 才开始工作?理解重试、协议回退与代理链路
人工智能·架构·openai
墨林陌8 小时前
AI 热点日报(2026-11-17):阿里腾讯新模型齐发,华为开源具身世界模型,Anthropic IPO登场
人工智能
奶油话梅糖9 小时前
容器启停 2.5 毫秒:11 天 1,700 Star 的 Kiri,用一个 900 KB 的 PID 1 干掉了 runc 和 dockerd
前端·人工智能·rust
吴名氏.9 小时前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
东坡肘子9 小时前
把「更好」放在「更快」之前 -- 肘子的 Swift 周报 #162
人工智能·swiftui·swift
Csvn20 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考20 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考20 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习