【ChatGLM2-6B】nginx转发配置

背景

好不容易把ChatGLM2-6B大语言模型部署好了,使用streamlit方式启动起来了,终于可以愉快的玩耍了,然后想着申请一个域名,使用HTTPS协议访问,但实践过程中,发现这个大语言模型的nginx转发配置还是有点小小的与众不同,折腾了半天,终于研究出来了。如何在只有CPULinux服务器上部署ChatGLM2-6B,可以参考这篇文章

先请教下ChatGLM2这个问题

不错,回答的很是专业,使用这个配置还是有点用,但并不能解决所有问题。可能会出现如下几个错误

ERR_INCOMPLETE_CHUNKED_ENCODING

在请求/static/js/main.ccfdda4f.js这个js文件的时候,可能会报ERR_INCOMPLETE_CHUNKED_ENCODING错误,这是因为main.ccfdda4f.js这个js文件有1.1Mnginx的缓冲区不够用,需要修改nginx缓冲区设置

text 复制代码
location / {
    proxy_pass http://LLM;

    # main.ccfdda4f.js文件有1.1M,需要修改缓冲区大小
    proxy_buffer_size 1024k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
    proxy_buffers 16 1024k; #proxy_buffers缓冲区,网页平均在32k以下的设置
    proxy_busy_buffers_size 2048k; #高负荷下缓冲大小(proxy_buffers*2)
    proxy_temp_file_write_size 2048k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传
}

websocket报403错误

查看/_stcore/stream请求,是与大模型建立websocket连接,错误信息大致如下
failed: Error during WebSocket handshake: Unexpected response code: 403,但如果使用80443端口,则不会报这个错,只要是非80443就会报这个错,根本原因是nginx转发的时候必须设置HostOrigin请求头,并且值还要一样

text 复制代码
    location /_stcore/stream {
        proxy_pass http://LLM;

        # websocket配置
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_cache_bypass $http_upgrade;
        # Host与Origin必须设置,并且Host的值与Origin的值//后面的部分必须一致
        proxy_set_header Host "$http_host";
        proxy_set_header Origin "$scheme://$http_host";
    }
  • 这里使用 h t t p h o s t 比 http_host比 httphost比host更准确
  • 经过实测,只要HostOrigin请求头$http_host部分的值相同就可以成功转发,即使随便写一个值,只要相同也可以成功转发

关于nginx中$host$http_host$proxy_host的区别

变量 是否显示端口
$host 不显示端口 浏览器请求的ip,不显示端口
$http_host 端口存在则显示 浏览器请求的ip和端口号
$proxy_host 默认80端口不显示,其它显示 被代理服务的ip和端口号

完整的nginx配置如下

text 复制代码
upstream LLM {
    server 127.0.0.1:8501;
}

server {
    listen       30443 ssl;
    listen       443 ssl;
    listen       80;
    server_name  chatglm.xxx.cn;

    ssl_certificate /etc/nginx/ssl/chatglm.xxx.cn.pem;
    ssl_certificate_key /etc/nginx/ssl/chatglm.xxx.cn.key;

    location / {
        proxy_pass http://LLM;

        # main.ccfdda4f.js文件有1.1M,需要修改缓冲区大小
        proxy_buffer_size 1024k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
        proxy_buffers 16 1024k; #proxy_buffers缓冲区,网页平均在32k以下的设置
        proxy_busy_buffers_size 2048k; #高负荷下缓冲大小(proxy_buffers*2)
        proxy_temp_file_write_size 2048k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传
    }

    location /_stcore/stream {
        proxy_pass http://LLM;

        # websocket配置
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_cache_bypass $http_upgrade;
        # Host与Origin必须设置,并且Host的值与Origin的值//后面的部分必须一致
        proxy_set_header Host "$http_host";
        proxy_set_header Origin "$scheme://$http_host";
    }
}

总结

  • 以上是一步一步摸索出来的,研究成果来之不易
  • 任何看似简单的东西,动手实践后,才能理解的更加深刻
  • 终于对ChatGLM2-6B有了一定的了解,还会继续对大语言模型进行训练和微调,与君共勉
相关推荐
Chukai1232 分钟前
Windows 和 Linux 系统下修改防火墙机制开放端口
linux·运维·windows
逻辑羊驼41 分钟前
VSCode+MobaXterm+X11可视化界面本地显示
运维·服务器·ubuntu·3d
fendouweiqian1 小时前
nginx 反向代理使用变量的坑
运维·nginx
Zacks_xdc1 小时前
【前端】使用Vercel部署前端项目,api转发到后端服务器
运维·服务器·前端·安全·react.js
W-GEO1 小时前
Nginx 高性能调优指南:从配置到原理
运维·nginx
pound1272 小时前
Linux
linux·运维·服务器
@CLoudbays_Martin112 小时前
为什么动态视频业务内容不可以被CDN静态缓存?
java·运维·服务器·javascript·网络·python·php
盟接之桥3 小时前
盟接之桥说制造:在安全、确定与及时之间,构建品质、交期与反应速度的动态平衡
大数据·运维·安全·汽车·制造·devops
dbdr09014 小时前
Linux 入门到精通,真的不用背命令!零基础小白靠「场景化学习法」,3 个月拿下运维 offer,第二十六天
linux·运维·服务器·网络·python·学习
鹧鸪云光伏与储能软件开发4 小时前
投资储能项目能赚多少钱?小程序帮你测算
运维·数据库·小程序·光伏·光伏设计软件·光伏设计