部署ChatGLM3-6B平台
- clone 项目,配置环境
shell
git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3
pip install -r requirement.txt
- 修改web_demo.py, web_demo2.py
- 设置加载模型的路径
- 修改启动代码:
demo.queue().launch(share=False, server_name="0.0.0.0", server_port=7000)
(使用云服务器的7000端口)
- 运行
gradio界面python web_demo.py
streamlit run web_demo2.py
添加端口
(不会写TOPK)