生产Redis批量删除数据

矩阵科学2024-11-29 20:26

生产Redis不能直接删除大量的Key，避免占用主线程阻塞正常业务，因此需要批量多次删除。一下代码经过生成磨炼，可以直接测试使用。

bash 复制代码

#!/bin/bash

# Redis服务器地址
REDIS_HOST="127.0.0.1"
# Redis端口
REDIS_PORT=6379
# 匹配的键模式
KEY_PATTERN="ACCOUNT_OVER*"
# 每批次处理的键数量
BATCH_SIZE=1000

# 使用redis-cli连接到Redis服务
redis_cli="redis-cli -h $REDIS_HOST -p $REDIS_PORT -a redis -c"

# 初始化游标
cursor=0

while true; do
    # 执行SCAN命令获取一批键
    keys=$($redis_cli --raw SCAN $cursor MATCH "$KEY_PATTERN" COUNT $BATCH_SIZE)
    
    # 检查是否成功执行了SCAN命令
    if [ $? -ne 0 ]; then
        echo "Failed to execute SCAN command, exiting..."
        exit 1
    fi
    
    # 分割输出以获得新游标值和其他键
    readarray -t parts <<< "$keys"
    cursor=${parts[0]}
    unset parts[0]
    
    # 如果没有更多键，则退出循环
    if [ ${#parts[@]} -eq 0 ]; then
        break
    fi
    
    # 将键列表转换为适合UNLINK命令使用的格式
    # key_list=$(printf ' "%s"' "${parts[@]}")
    # key_list="${key_list:1}"  # 去掉第一个多余的空格
    
    # 删除这批键
    # if ! $redis_cli UNLINK $key_list; then
    #    echo "Failed to delete keys, exiting..."
    #    exit 1
    # fi

    # 逐个删除键
    for key in "${parts[@]}"; do
        if ! $redis_cli UNLINK "$key"; then
            echo "Failed to delete key: $key, exiting..."
            exit 1
        fi
    done

    echo "Deleted a batch of keys, new cursor is $cursor"
    
    # 可选：这里可以添加延迟，以便控制删除速度
    sleep 1
done

echo "All matching keys have been deleted."

有用点赞，收藏，谢谢！