mysql数据利用pipe同步至redis

  1. 所有数据表,一条记录一个空间

    ps:*4 #表示有4个参数、$4 #表示"参数"有4个字节、

    java 复制代码
    //1.将"表名:主键"作为空间,字段名作为键,字段值作为value,查询出数据
    select 'HSET' AS redis_cmd , CONCAT('表名:',主键) AS redis_key,'字段名' AS hkey, 字段  AS hval from 表名 
    
    //2.将查询语句拼接成redis入库语句(每行默认以\n 结尾(windows是\n结尾,linux是 \r结尾)
    SELECT CONCAT("*4\n",'$', LENGTH(t.redis_cmd), '\n',t.redis_cmd, '\n','$', LENGTH(t.redis_key), '\n',t.redis_key, '\n','$', LENGTH(t.hkey), '\n',t.hkey, '\n','$', LENGTH(t.hval), '\n',t.hval) as redissql
    FROM (select 'HSET' AS redis_cmd , CONCAT('表名:',主键) AS redis_key,'字段名称' AS hkey, 字段  AS hval from 表名  ) 
    AS  t
    
    //3.将上述语句存入C:/Users/86188/Desktop/mysql_to_redis.sql脚本中
    //4.安装mysql和redis,并且配置全局环境变量
    //5.打开cmd窗口或者linux,执行即可
    //===mysql8===
    mysql --h ip地址 -u账户 -p密码 -D库名 --skip-column-names --raw <C:/Users/86188/Desktop/mysql_to_redis.sql |redis-cli -h 127.0.0.1 -p 6379 --pipe
    //===mysql6===
    mysql -h ip地址  -P 3306 -u 账户 -p密码  -D库名 --skip-column-names --raw <C:/Users/Administrator/Desktop/mysql_to_redis.sql |redis-cli -h 127.0.0.1 -p 6379 --pipe
  2. 所有数据表,一个表一个空间

    ps:这里发现当存在空值时,CONCAT结果为空,所以对于空数据需要做处理

    java 复制代码
    //1.将"表名"作为空间,主键字段作为键,数据json作为value,查询出数据
    select 'HSET' AS redis_cmd , '表名' AS redis_key,主键字段 AS hkey,   CONCAT('{', '"字段1名":', 字段1, ',"字段2名":', IFNULL(字段2, 'null')  ,'}')  AS hval from 表名 t
    
        
    //2.将查询语句拼接成redis入库语句
    SELECT CONCAT("*4\n",'$', LENGTH(t.redis_cmd), '\n',t.redis_cmd, '\n','$', LENGTH(t.redis_key), '\n',t.redis_key, '\n','$', LENGTH(t.hkey), '\n',t.hkey, '\n','$', LENGTH(t.hval), '\n',t.hval) as redissql
    FROM (select 'HSET' AS redis_cmd , '表名' AS redis_key,主键字段 AS hkey,   CONCAT('{', '"字段1名":', 字段1, ',"字段2名":', IFNULL(字段2, 'null')  ,'}')  AS hval from 表名 t  ) 
    AS  t
        
    //3.将上述语句存入C:/Users/86188/Desktop/mysql_to_redis.sql脚本中
    //4.安装mysql和redis,并且配置全局环境变量
        
    //5.打开cmd窗口或者linux,执行即可
    //mysql8
    mysql --h ip地址 -u账户 -p密码 -D库名 --skip-column-names --raw <C:/Users/86188/Desktop/mysql_to_redis.sql |redis-cli -h 127.0.0.1 -p 6379 --pipe
    //mysql5
    mysql -h ip地址  -P 3306 -u 账户 -p密码  -D库名 --skip-column-names --raw <C:/Users/Administrator/Desktop/mysql_to_redis.sql |redis-cli -h 127.0.0.1 -p 6379 --pipe
  3. 相关逻辑优化

    数据入库,如果作为键的字段非主键,即作为键的字段,可能存在相同的记录,后入的会把前面进入的给覆盖掉。所以如果存在优先级的数据关系,可以将优先级高的数据根据排序,排在后面,这样子最终存入缓存的数据,都是优先级高的数据。

    如:现在我们需要将人员信息存入缓存中,并且一个人员可能有多条记录。在这种情况下需要以最新的创建时间的人员记录为主。这种情况我们就可以根据人员id进行升序,插入时间进行升序。这样子,最终存入缓存的,一个人都必定只有一条记录,并且是最新的一条记录

    java 复制代码
    select 'HSET' AS redis_cmd , 'people' AS redis_key,people_id AS hkey,   CONCAT('{', '"people_id":', people_id, ',"create_time":', create_time  ,'}')  AS hval from people t order by people_id asc,create_time asc
相关推荐
workflower35 分钟前
MDSE和敏捷开发相互矛盾之处:方法论本质的冲突
数据库·软件工程·敏捷流程·极限编程
叁沐38 分钟前
MySQL 11 怎么给字符串字段加索引?
mysql
Tony小周1 小时前
实现一个点击输入框可以弹出的数字软键盘控件 qt 5.12
开发语言·数据库·qt
lifallen1 小时前
Paimon 原子提交实现
java·大数据·数据结构·数据库·后端·算法
TDengine (老段)2 小时前
TDengine 数据库建模最佳实践
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
Elastic 中国社区官方博客2 小时前
Elasticsearch 字符串包含子字符串:高级查询技巧
大数据·数据库·elasticsearch·搜索引擎·全文检索·lucene
Gauss松鼠会2 小时前
GaussDB应用场景全景解析:从金融核心到物联网的分布式数据库实践
数据库·分布式·物联网·金融·database·gaussdb
天河归来2 小时前
springboot框架redis开启管道批量写入数据
java·spring boot·redis
守城小轩3 小时前
Chromium 136 编译指南 - Android 篇:开发工具安装(三)
android·数据库·redis
尽兴-3 小时前
如何将多个.sql文件合并成一个:Windows和Linux/Mac详细指南
linux·数据库·windows·sql·macos