mysql数据利用pipe同步至redis

  1. 所有数据表,一条记录一个空间

    ps:*4 #表示有4个参数、$4 #表示"参数"有4个字节、

    java 复制代码
    //1.将"表名:主键"作为空间,字段名作为键,字段值作为value,查询出数据
    select 'HSET' AS redis_cmd , CONCAT('表名:',主键) AS redis_key,'字段名' AS hkey, 字段  AS hval from 表名 
    
    //2.将查询语句拼接成redis入库语句(每行默认以\n 结尾(windows是\n结尾,linux是 \r结尾)
    SELECT CONCAT("*4\n",'$', LENGTH(t.redis_cmd), '\n',t.redis_cmd, '\n','$', LENGTH(t.redis_key), '\n',t.redis_key, '\n','$', LENGTH(t.hkey), '\n',t.hkey, '\n','$', LENGTH(t.hval), '\n',t.hval) as redissql
    FROM (select 'HSET' AS redis_cmd , CONCAT('表名:',主键) AS redis_key,'字段名称' AS hkey, 字段  AS hval from 表名  ) 
    AS  t
    
    //3.将上述语句存入C:/Users/86188/Desktop/mysql_to_redis.sql脚本中
    //4.安装mysql和redis,并且配置全局环境变量
    //5.打开cmd窗口或者linux,执行即可
    //===mysql8===
    mysql --h ip地址 -u账户 -p密码 -D库名 --skip-column-names --raw <C:/Users/86188/Desktop/mysql_to_redis.sql |redis-cli -h 127.0.0.1 -p 6379 --pipe
    //===mysql6===
    mysql -h ip地址  -P 3306 -u 账户 -p密码  -D库名 --skip-column-names --raw <C:/Users/Administrator/Desktop/mysql_to_redis.sql |redis-cli -h 127.0.0.1 -p 6379 --pipe
  2. 所有数据表,一个表一个空间

    ps:这里发现当存在空值时,CONCAT结果为空,所以对于空数据需要做处理

    java 复制代码
    //1.将"表名"作为空间,主键字段作为键,数据json作为value,查询出数据
    select 'HSET' AS redis_cmd , '表名' AS redis_key,主键字段 AS hkey,   CONCAT('{', '"字段1名":', 字段1, ',"字段2名":', IFNULL(字段2, 'null')  ,'}')  AS hval from 表名 t
    
        
    //2.将查询语句拼接成redis入库语句
    SELECT CONCAT("*4\n",'$', LENGTH(t.redis_cmd), '\n',t.redis_cmd, '\n','$', LENGTH(t.redis_key), '\n',t.redis_key, '\n','$', LENGTH(t.hkey), '\n',t.hkey, '\n','$', LENGTH(t.hval), '\n',t.hval) as redissql
    FROM (select 'HSET' AS redis_cmd , '表名' AS redis_key,主键字段 AS hkey,   CONCAT('{', '"字段1名":', 字段1, ',"字段2名":', IFNULL(字段2, 'null')  ,'}')  AS hval from 表名 t  ) 
    AS  t
        
    //3.将上述语句存入C:/Users/86188/Desktop/mysql_to_redis.sql脚本中
    //4.安装mysql和redis,并且配置全局环境变量
        
    //5.打开cmd窗口或者linux,执行即可
    //mysql8
    mysql --h ip地址 -u账户 -p密码 -D库名 --skip-column-names --raw <C:/Users/86188/Desktop/mysql_to_redis.sql |redis-cli -h 127.0.0.1 -p 6379 --pipe
    //mysql5
    mysql -h ip地址  -P 3306 -u 账户 -p密码  -D库名 --skip-column-names --raw <C:/Users/Administrator/Desktop/mysql_to_redis.sql |redis-cli -h 127.0.0.1 -p 6379 --pipe
  3. 相关逻辑优化

    数据入库,如果作为键的字段非主键,即作为键的字段,可能存在相同的记录,后入的会把前面进入的给覆盖掉。所以如果存在优先级的数据关系,可以将优先级高的数据根据排序,排在后面,这样子最终存入缓存的数据,都是优先级高的数据。

    如:现在我们需要将人员信息存入缓存中,并且一个人员可能有多条记录。在这种情况下需要以最新的创建时间的人员记录为主。这种情况我们就可以根据人员id进行升序,插入时间进行升序。这样子,最终存入缓存的,一个人都必定只有一条记录,并且是最新的一条记录

    java 复制代码
    select 'HSET' AS redis_cmd , 'people' AS redis_key,people_id AS hkey,   CONCAT('{', '"people_id":', people_id, ',"create_time":', create_time  ,'}')  AS hval from people t order by people_id asc,create_time asc
相关推荐
Flynn Liang15 分钟前
HikariCP 连接池不是越大越好:I/O 密集型 Java 服务的数据库容量工程
java·数据库·mysql·高并发·连接池·hikaricp·sql 优化
FungLeo2 小时前
FengCMS · PHP+MySQL 升级实录 ·三重 MD5 迁移 password_hash:老站密码怎么无痛升级
mysql·php·哈希算法·密码安全·fengcms
雾隐隐o2 小时前
优搭校园 01|项目概览、技术选型与初始化
spring boot·mysql·vue
小乖写代码2 小时前
消息、回执与媒体 · msgstore.db · Messages, Receipts, and Media
数据库·媒体·whatsapp·消息回执
泓度科技3 小时前
接口防暴力破解+短信防刷,低成本安全加固怎么做
redis·安全加固·限流熔断·接口防暴力破解·短信防刷
GeW3 小时前
世界目光聚焦中国:底层技术、Linux、数据库的破局逻辑
linux·数据库
PingCAP4 小时前
平凯数据库 × 圣诺云数:让治理数据实时可用、跨域可信流通
数据库·tidb
利威尔xu4 小时前
PostgreSQL 索引失效 4 类:函数运算让查询全表扫描拖垮性能
开发语言·数据库·postgresql·性能优化·索引优化
PingCAP4 小时前
挚文集团(陌陌、探探)从 MySQL 分库分表到 TiDB 实时统一架构的实践
数据库·tidb
Decay__4 小时前
SQLServer 运维自动化平台 —— PowerShell + SQL Agent 作业:部署、监控、巡检、告警、工单闭环一体化
运维·数据库·sql·mysql·架构