Ngx+Lua+Redis 快速存储POST数据

系统几万台设备有windows有安卓还有linux系统,每个设备三分钟就会向服务器post设备的硬件信息,数据格式json,后台管理界面只需要最新的数据,不需要历史数据,业务逻辑非常简单,PHP代码就几行,已经优化到极致了,但是架不住频率太高了。服务器负载就被这个的简单逻辑给耗尽。历史原因客户端已经不可能修改,只能在服务端进行优化了。

做法也很简单就是不用php-fpm,nginx接收到数据,直接把post数据存储到redis里面,供管理后台直接使用。

ngx如何连接redis请参考我的另一篇文件
Ngx+Lua+Redis 实时IP黑名单系统https://blog.csdn.net/hangbobo/article/details/142763400在这里我只接上代码

复制代码
local my_cache = ngx.shared.my_cache
local redis_connect=loadstring(my_cache:get("redis_connect"))
local red=redis_connect()
red:hincrby('store_ip:02','hardware',1)

local auth_header = ngx.req.get_headers()["Authorization"]
if string.len(auth_header) > 8 then
    local token = string.sub(auth_header,8)
    if string.len(token) > 0 then
        ngx.req.read_body() 
        
        local data = ngx.req.get_body_data()
        local cjson = require "cjson.safe"
        local obj = cjson.decode(data)
        obj.time=os.date("%Y-%m-%d %H:%M:%S", ngx.time())
        data=cjson.encode(obj)
        red:hset('hardware',token,data)
        ngx.say('{"msg":"succeed","status_code":200,"data":['..data..']}')
        ngx.exit(200)
    end
end
ngx.exit(404)

解析json代码并增加当前时间这个是非必须的,只是为了验证数据是不是最新提交的。

我的设备唯id是,通过header头的"Authorization" 传递的,你需要结合你你的实际代码。

代码存储为 /www/server/nginx/conf/hardware.lua

nginx配置

复制代码
lua_shared_dict my_cache 10m;
server
{
    listen 80;
    listen 443 ssl;
    http2 on;
    ...........
    
    default_type 'application/json';    
    access_by_lua_file /www/server/nginx/conf/access.lua; 

    location /boxs/hardware {
        access_by_lua_file /www/server/nginx/conf/hardware.lua;
    }

    ...........
}
相关推荐
晚风_END10 小时前
Linux|操作系统|elasticdump的二进制方式部署
运维·服务器·开发语言·数据库·jenkins·数据库开发·数据库架构
devmoon10 小时前
Polkadot SDK 自定义 Pallet Benchmark 指南:生成并接入 Weight
开发语言·网络·数据库·web3·区块链·波卡
爱吃生蚝的于勒11 小时前
【Linux】线程概念(一)
java·linux·运维·服务器·开发语言·数据结构·vim
静听山水11 小时前
Redis的Pipeline (管道)
数据库·redis·php
Pluchon11 小时前
硅基计划4.0 算法 简单模拟实现位图&布隆过滤器
java·大数据·开发语言·数据结构·算法·哈希算法
我命由我1234511 小时前
Java 泛型 - Java 泛型通配符(上界通配符、下界通配符、无界通配符、PECS 原则)
java·开发语言·后端·java-ee·intellij-idea·idea·intellij idea
无尽的沉默11 小时前
SpringBoot整合Redis
spring boot·redis·后端
yunsr11 小时前
python作业3
开发语言·python
静听山水11 小时前
Redis核心数据结构-list
数据结构·redis·list
星火开发设计11 小时前
this 指针:指向对象自身的隐含指针
开发语言·数据结构·c++·学习·指针·知识