部署八戒-Chat-1.8B 模型

1 简单介绍 八戒-Chat-1.8B

八戒-Chat-1.8B是运用 InternLM2-Chat-1.8B 模型进行微调训练的优秀成果。其中,八戒-Chat-1.8B 是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果,进行全量微调得到的猪八戒聊天模型。作为 Roleplay-with-XiYou 子项目之一,八戒-Chat-1.8B 能够以较低的训练成本达到不错的角色模仿能力,同时低部署条件能够为后续工作降低算力门槛。

当然,同学们也可以参考其他优秀的实战营项目,具体模型链接如下:

2 配置基础环境

运行环境命令:

复制代码
conda activate demo

使用 git 命令来获得仓库内的 Demo 文件:

复制代码
cd /root/
git clone https://gitee.com/InternLM/Tutorial -b camp2
# git clone https://github.com/InternLM/Tutorial -b camp2
cd /root/Tutorial

3 下载运行 Chat-八戒 Demo

Web IDE 中执行 bajie_download.py

复制代码
python /root/Tutorial/helloworld/bajie_download.py

待程序下载完成后,输入运行命令:

复制代码
streamlit run /root/Tutorial/helloworld/bajie_chat.py --server.address 127.0.0.1 --server.port 6006

待程序运行的同时,对端口环境配置本地 PowerShell 。使用快捷键组合 Windows + R(Windows 即开始菜单键)打开指令界面,并输入命令,按下回车键。(Mac 用户打开终端即可)

打开 PowerShell 后,先查询端口,再根据端口键入命令 (例如图中端口示例为 38374):

复制代码
# 从本地使用 ssh 连接 studio 端口
# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38374

再复制下方的密码,输入到 password 中,直接回车:

最终保持在如下效果即可:

打开 http://127.0.0.1:6006 后,等待加载完成即可进行对话,键入内容示例如下:

复制代码
你好,请自我介绍

效果图如下:

我问老猪,最爱的人是谁,哈哈哈

回答的还蛮智慧的

相关推荐
腾讯云开发者22 分钟前
腾讯云TVP走进美的,共探智能制造新范式
人工智能
一水鉴天24 分钟前
整体设计 逻辑系统程序 之34七层网络的中台架构设计及链路对应讨论(含 CFR 规则与理 / 事代理界定)
人工智能·算法·公共逻辑
我星期八休息30 分钟前
C++智能指针全面解析:原理、使用场景与最佳实践
java·大数据·开发语言·jvm·c++·人工智能·python
ECT-OS-JiuHuaShan35 分钟前
《元推理框架技术白皮书》,人工智能领域的“杂交水稻“
人工智能·aigc·学习方法·量子计算·空间计算
minhuan39 分钟前
构建AI智能体:六十八、集成学习:从三个臭皮匠到AI集体智慧的深度解析
人工智能·机器学习·adaboost·集成学习·bagging
ssshooter1 小时前
MCP 服务 Streamable HTTP 和 SSE 的区别
人工智能·面试·程序员
rengang661 小时前
软件工程新纪元:AI协同编程架构师的修养与使命
人工智能·软件工程·ai编程·ai协同编程架构师
IT_陈寒1 小时前
Python+AI实战:用LangChain构建智能问答系统的5个核心技巧
前端·人工智能·后端
亚马逊云开发者2 小时前
Amazon Bedrock AgentCore Memory:亚马逊云科技的托管记忆解决方案
人工智能
言之。2 小时前
Chroma 开源的 AI 应用搜索与检索数据库(即向量数据库)
数据库·人工智能·开源