关于分布式微服务数据源加密配置以及取巧方案(含自定义加密配置)

专注写bug2024-03-14 9:10

文章目录

前言

之前就想着做一个汇总的记录，在实际项目开发中，公司、客户等群体对数据安全性问题，都是很看重的，结合实际的开发，本次做一个各项分布式微服务架构的加密配置说明汇总。

Spring Cloud 第一代

在第一代 Spring Cloud架构体系中，一般是将公用的，或者配置随环境需要变动的，采用Config配置中心进行集中管理。Spring Cloud Config配置中心本身就具备配置文件的加解密配置处理。

注意标识{cipher}

具体实现方式如下所示：

config server的加解密功能依赖Java Cryptography Extension（JCE）

本次开发测试使用的是 jdk 1.8，所以jdk 1.8 的jce 下载地址为：

https://www.oracle.com/java/technologies/javase-jce8-downloads.html

下载并解压，将其中的jar包覆盖到JDK/jre/lib/security目录中。

关于 jce_policy-8.zip 我这里已经下载好了，具体需要用到的可以去我的github中查找！

《jdk1.8 jce依赖文件》

《jce_policy安装【java密码扩展无限制权限策略文件安装】》

[注意：]

安装jdk，需要在jre/lib/security中粘贴上述中的两个jar文件；

同时，如果安装了jre，也需要在jre中添加jce的jar文件。

1、创建config server项目并加入加解密key

由于此时的加解密key不能被修改和覆盖，所以需要创建bootstrap.yml文件进行配置。

bootstrap.yml

yml 复制代码 
### 添加加解密key
## (不能被覆盖和修改，所以必须配置在bootstrap.yml中)
encrypt:
  key: xiangjiaobunana

配置好信息后，其他配置沿用之前的demo配置。

application.yml：

yml 复制代码 
###服务名称(服务注册到eureka名称)  
spring:
    application:
        name: springcloud-config-service

## Config Server 配置中心Service配置信息    
## 配置文件所在的 git 仓库地址    
spring.cloud.config.server.git.uri: https://github.com/765199214/springcloud2.0-config-service.git
## 配置文件再哪个文件夹下
spring.cloud.config.server.git.search-paths: respo
## 配置 clone-on-start 启动时就clone仓库到本地，默认是在配置被首次请求时，config server 才会 clone git 仓库
spring.cloud.config.server.git.clone-on-start: true
## 配置默认 git clone 至指定的磁盘或文件夹内(linux 只有一个 / 根；windows 会进入项目所在的磁盘下)
spring.cloud.config.server.git.basedir: /data/config server/

2、启动项目，进行数据加密

Config Server 本身就为此提供了加解密操作的接口，环境配置中只需要请求 /encrypt与/decrypt 即可实现。

  • 加密：
    成功启动项目后，请求下列接口实现加密的输出：

curl http://localhost:3000/encrypt -d '要加密的信息'

post 请求

加密后：

  • 解密：

初步的加密解密实现了，此时又该如何应用到实际的项目中去呢？

3、实际项目中的测试server

修改 github 中的文件信息。

yml 复制代码 
springboot:
  datasources:
    username: root
    password: '{cipher}38785234edc0396a0cc887cb8c737546f1fe244c5baaeae253789744d9a8484b'  
    ## {cipher}只是一个标记，方便springcloud去识别判断，如果没加标记，则不会进行解密操作

修改config server 中的文件夹扫描路径：

spring.cloud.config.server.git.search-paths: respo,en*

重启项目，请求测试：

http://localhost:3000/config-encrypt-dev.yml

查看本地缓存的git 信息得知：

[总结：]

本地的文件依旧是 密文！

他只会在内存中进行解密操作！

[问：]如果不想在 server 中就进行解密，而是想在client中再解密(server拿到依旧是密文，client解密)，我又该如何操作？

增加下列配置信息：

spring.cloud.config.server.encrypt.enabled: false

Spring Cloud Alibaba

Spring cloud Alibaba在国内用的较多，相比第一代的cloud而言，Spring cloud Alibaba 的 Nacos本身就具备eureka/Zookeper 注册中心、Config 配置中心、Bus 配置消息通知等功能。

并且第一代cloud早就未出现后续的维护更新操作，论安全方面，cloud alibaba更加具备。

但Cloud Alibaba的Naocs，在> 2.0.4版本中，才支持配置文件的加密。

关于配置和使用，参考官方文档：
Nacos 配置文件加密操作

低版本架构不支持，取巧实现

如果实际开发中，选择的架构版本比较低(相对支持版)或者非分布式架构，然道就不能支持配置的加密解密了？

本次只对数据源的配置进行配置加密解密操作，其他配置项，可以使用自定义加解密方式实现。

无加密配置，联调环境问题

引入pom依赖，完整如下：

xml 复制代码 
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter</artifactId>
    <version>2.1.4.RELEASE</version>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
    <version>2.1.4.RELEASE</version>
</dependency>
<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <version>1.16.20</version>
</dependency>
<!-- swagger -->
<!-- swagger配置等注解 -->
<dependency>
    <groupId>io.springfox</groupId>
    <artifactId>springfox-swagger2</artifactId>
    <version>2.4.0</version>
</dependency>
<!-- swagger 在线显示web -->
<dependency>
    <groupId>io.springfox</groupId>
    <artifactId>springfox-swagger-ui</artifactId>
    <version>2.4.0</version>
</dependency>
<dependency>
    <groupId>com.github.xiaoymin</groupId>
    <artifactId>swagger-bootstrap-ui</artifactId>
    <version>1.9.6</version>
</dependency>
<!-- fastjson -->
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>fastjson</artifactId>
    <version>1.2.83</version>
</dependency>
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-api</artifactId>
    <version>1.7.26</version>
</dependency>
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-log4j12</artifactId>
    <version>1.7.26</version>
</dependency>

<dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>dynamic-datasource-spring-boot-starter</artifactId>
    <version>3.6.1</version>
</dependency>
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
</dependency>

<dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>mybatis-plus-boot-starter</artifactId>
    <version>3.4.0</version>
</dependency>
<!-- Wrappers 链式语法 -->
<dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>mybatis-plus-core</artifactId>
    <version>3.4.0</version>
    <scope>compile</scope>
</dependency>
<dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <scope>test</scope>
</dependency>
<dependency>
    <groupId>org.springframework</groupId>
    <artifactId>spring-test</artifactId>
    <scope>test</scope>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-test</artifactId>
    <scope>test</scope>
</dependency>

其中核心点：

xml 复制代码 
<dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>dynamic-datasource-spring-boot-starter</artifactId>
    <version>3.6.1</version>
</dependency>
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
</dependency>

<dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>mybatis-plus-boot-starter</artifactId>
    <version>3.4.0</version>
</dependency>
<!-- Wrappers 链式语法 -->
<dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>mybatis-plus-core</artifactId>
    <version>3.4.0</version>
    <scope>compile</scope>
</dependency>

数据源配置

yml 复制代码 
server:
  port: 80
spring:
  datasource:
    dynamic:
      datasource:
        xiangjiao:
          url: jdbc:mysql://xxx:3306/flyway?useSSL=false&useUnicode=true&characterEncoding=utf-8&serverTimezone=GMT%2B8
          username: root
          password: root
          driver-class-name: com.mysql.cj.jdbc.Driver # 3.2.0开始支持SPI可省略此配置
      primary: xiangjiao # 主连接
      strict: false #严格匹配数据源,默认false. true未匹配到指定数据源时抛异常,false使用默认数据源

编写调试查询接口

java 复制代码 
import cn.xj.model.CommonResult;
import cn.xj.service.UserService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequestMapping("/test1")
public class TestController {

    @Autowired
    UserService userServiceImpl;

    @GetMapping("/test1")
    public CommonResult<String> test1(Integer id){
        return CommonResult.success(userServiceImpl.test1(id));
    }
}

服务层

java 复制代码 
import cn.xj.dao.UserMapper;
import cn.xj.model.Users;
import com.baomidou.mybatisplus.core.toolkit.Wrappers;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import java.util.List;

@Service
public class UserService {

    @Autowired
    UserMapper userMapper;

    public String test1(Integer id){
        List<Users> users = userMapper.selectList(Wrappers.lambdaQuery(Users.class).eq(Users::getUserId,id));
        Users users1 = users.get(0);
        return users1.getUserName();
    }
}

dao层

java 复制代码 
import cn.xj.model.Users;
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import org.apache.ibatis.annotations.Mapper;
import org.springframework.stereotype.Repository;

@Mapper
@Repository
public interface UserMapper extends BaseMapper<Users> {
}

请求测试：

http://localhost/test1/test1?id=2

加密数据源配置

和SpringCloud 第一代中的{cipher}标识一样，dynamic datasource当然也需要一个标识用来区分加密和不加密的配置内容，默认使用ENC(xxxxx)区别。

在3.5.0版本开始，可以自定义配置，这个等会再说。

dynamic-datasource支持对数据源配置的url、username、password进行加密配置。加密的方法可以参考下面的代码。

java 复制代码 
import com.baomidou.dynamic.datasource.toolkit.CryptoUtils;

public class Demo {

    public static void main(String[] args) throws Exception {
        String password = "root";
        //使用默认的publicKey ，建议还是使用下面的自定义
        String encodePassword = CryptoUtils.encrypt(password);
        System.out.println(encodePassword);
    }

        //自定义publicKey
    public static void main(String[] args) throws Exception {
        String[] arr = CryptoUtils.genKeyPair(512);
        System.out.println("privateKey:  " + arr[0]);
        System.out.println("publicKey:  " + arr[1]);
        System.out.println("url:  " + CryptoUtils.encrypt(arr[0], "jdbc:mysql://127.0.0.1:3306/order"));
        System.out.println("username:  " + CryptoUtils.encrypt(arr[0], "root"));
        System.out.println("password:  " + CryptoUtils.encrypt(arr[0], "123456"));
    }
}

对上面无加密的数据信息进行加密，加密后的yml配置如下所示：

注意： 加密后的密文在配置前，需要增加标识。

yml 复制代码 
server:
  port: 80
spring:
  datasource:
    dynamic:
      datasource:
        xiangjiao:
          url: jdbc:mysql://xxxx:3306/flyway?useSSL=false&useUnicode=true&characterEncoding=utf-8&serverTimezone=GMT%2B8
          username: ENC(VZamSTMi224AH6RUtJGXNldiDp/XEL2ozRhBUu/o9ChodT4JEb9kE/j0EFhXKbjsfvLVacUW0AUzetA6OrNJug==)
          password: ENC(VZamSTMi224AH6RUtJGXNldiDp/XEL2ozRhBUu/o9ChodT4JEb9kE/j0EFhXKbjsfvLVacUW0AUzetA6OrNJug==)
          driver-class-name: com.mysql.cj.jdbc.Driver # 3.2.0开始支持SPI可省略此配置
      primary: xiangjiao # 主连接
      strict: false #严格匹配数据源,默认false. true未匹配到指定数据源时抛异常,false使用默认数据源

再次重启项目，测试

原理探究

在dynamic-datasource中的com.baomidou.dynamic.datasource.event.EncDataSourceInitEvent中，定义了正则表达式，当识别到密文用ENC(xxx)包装时，会触发解析明文操作，进行数据配置的还原与包装。

当然这里可以自定义其他加密方式，只需要按照官方源码中的例子，定义解析类，然后注入到spring容器中，如下：

这里的@ConditionalOnMissingBean注解起了关键性的作用。

如果不存在DataSourceInitEvent对象的实例bean，才会注入官方默认的EncDataSourceInitEvent实例！

自定义加密解密器实现数据源加密解密配置

下面以CCM加密解密作为一个自定义操作。

导入CCM所需要的jar包。

并加载至当前项目中。

编写CCM加密解密的工具类。

java 复制代码 
import org.bouncycastle.jce.provider.BouncyCastleProvider;

import javax.crypto.Cipher;
import javax.crypto.spec.GCMParameterSpec;
import javax.crypto.spec.SecretKeySpec;
import javax.xml.bind.DatatypeConverter;
import java.security.Security;

public class CcmUtils {

    static byte[] keyBytes = {0x01,0x02,0x03,0x04,0x05,0x06,0x07,0x08,
            0x09,0x10,0x11,0x12,0x13,0x14,0x15,0x16};
    static byte[] nonce = {'a','b','c','d','e','f','g','h','i','j','k','l'};

    public static void main(String[] args) throws Exception {
        byte[] bytes = "root".getBytes();
        System.out.println(new String(bytes,"utf-8")); // root
        String s = DatatypeConverter.printHexBinary(bytes);
        System.out.println(s); // 726F6F74

        // 加密
        byte[] roots = encrypt("root");// 3914D177814A01A1
        String s1 = DatatypeConverter.printHexBinary(roots);
        // 解密
        String decrypt = decrypt(s1);
        System.out.println(decrypt);
    }

    // 加密
    public static byte[] encrypt(String str) throws Exception {
        Security.addProvider(new BouncyCastleProvider());
        //32   mac 4字节  32位
        GCMParameterSpec parameterSpec = new GCMParameterSpec(32, nonce);
        Cipher cipher = Cipher.getInstance("AES/CCM/NoPadding");
        SecretKeySpec secretKeySpec = new SecretKeySpec(keyBytes, "AES");
        cipher.init(Cipher.ENCRYPT_MODE, secretKeySpec, parameterSpec);

        System.out.println(DatatypeConverter.printHexBinary(cipher.doFinal(str.getBytes())));
        return cipher.doFinal(str.getBytes());
    }

    // 解密
    public static String decrypt(String str) throws Exception {
        Security.addProvider(new BouncyCastleProvider());
        //32   mac 4字节  32位
        GCMParameterSpec parameterSpec = new GCMParameterSpec(32, nonce);
        Cipher cipher = Cipher.getInstance("AES/CCM/NoPadding");
        SecretKeySpec secretKeySpec = new SecretKeySpec(keyBytes, "AES");
        cipher.init(Cipher.DECRYPT_MODE, secretKeySpec, parameterSpec);

        // String 转 十六进制的 数组
        // 3914D177814A01A1 -> 0x39,0x14
        byte[] cipStr = HexString2Bytes(str);
        System.out.println(DatatypeConverter.printHexBinary(cipher.doFinal(cipStr)));
        return new String(cipher.doFinal(cipStr),"utf-8");
    }
    
    // 十六进制字符串 转 十六进制 byte 数组
    public static byte[] HexString2Bytes(String src) {
        byte[] ret = new byte[src.length() / 2];
        byte[] tmp = src.getBytes();
        for (int i = 0; i < tmp.length / 2; i++) {
            ret[i] = uniteBytes(tmp[i * 2], tmp[i * 2 + 1]);
        }
        return ret;
    }
    public static byte uniteBytes(byte src0, byte src1) {
        byte _b0 = Byte.decode("0x" + new String(new byte[] { src0 }))
                .byteValue();
        _b0 = (byte) (_b0 << 4);
        byte _b1 = Byte.decode("0x" + new String(new byte[] { src1 }))
                .byteValue();
        byte ret = (byte) (_b0 ^ _b1);
        return ret;
    }

    // 十六进制的byte数组 转 十六进制字符串
    public static String bytesToHex(byte[] bytes) {
        StringBuilder sb = new StringBuilder();
        for (byte b : bytes) {
            sb.append(String.format("%02x", b));
        }
        return sb.toString();
    }
}

root 加密后的字符串如下：

3914D177814A01A1

编写新的配置密文解析器，并定义加密头标识CCM(xxxx)。

java 复制代码 
import cn.xj.util.CcmUtils;
import com.baomidou.dynamic.datasource.event.DataSourceInitEvent;
import com.baomidou.dynamic.datasource.spring.boot.autoconfigure.DataSourceProperty;
import lombok.extern.slf4j.Slf4j;
import org.springframework.util.StringUtils;

import javax.sql.DataSource;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

@Slf4j
public class CcmDataSourceInitEvent implements DataSourceInitEvent {

    /**
     * 自定义标识
     */
    private static final Pattern ENC_PATTERN = Pattern.compile("^CCM\\((.*)\\)$");
    @Override
    public void beforeCreate(DataSourceProperty dataSourceProperty) {
        String publicKey = dataSourceProperty.getPublicKey();
        if (StringUtils.hasText(publicKey)) {
            dataSourceProperty.setUrl(decrypt(dataSourceProperty.getUrl()));
            dataSourceProperty.setUsername(decrypt( dataSourceProperty.getUsername()));
            dataSourceProperty.setPassword(decrypt(dataSourceProperty.getPassword()));
        }
    }

    @Override
    public void afterCreate(DataSource dataSource) {

    }

    /**
     * 字符串解密
     */
    private String decrypt(String cipherText) {
        if (StringUtils.hasText(cipherText)) {
            Matcher matcher = ENC_PATTERN.matcher(cipherText);
            if (matcher.find()) {
                try {
                    return CcmUtils.decrypt(matcher.group(1));
                } catch (Exception e) {
                    log.error("DynamicDataSourceProperties.decrypt error ", e);
                }
            }
        }
        return cipherText;
    }
}

修改配置文件，如下所示：

yml 复制代码 
server:
  port: 80
spring:
  datasource:
    dynamic:
      datasource:
        xiangjiao:
          url: jdbc:mysql://xxxx:3306/flyway?useSSL=false&useUnicode=true&characterEncoding=utf-8&serverTimezone=GMT%2B8
          username: CCM(3914D177814A01A1)
          password: CCM(3914D177814A01A1)
          driver-class-name: com.mysql.cj.jdbc.Driver # 3.2.0开始支持SPI可省略此配置
      primary: xiangjiao # 主连接
      strict: false #严格匹配数据源,默认false. true未匹配到指定数据源时抛异常,false使用默认数据源

重启项目，访问请求测试能否查询到对应的数据：

相关推荐
silver98861 小时前
分布式相关杂项
分布式
jerry6097 小时前
7天用Go从零实现分布式缓存GeeCache（改进）（未完待续）
分布式·缓存·golang
古人诚不我欺8 小时前
jmeter常用配置元件介绍总结之分布式压测
分布式·jmeter
问道飞鱼11 小时前
【微服务知识】开源RPC框架Dubbo入门介绍
微服务·rpc·开源·dubbo
星染xr11 小时前
kafka 生产经验——数据积压（消费者如何提高吞吐量）
分布式·kafka
东方巴黎～Sunsiny11 小时前
如何监控Kafka消费者的性能指标？
分布式·kafka
飞升不如收破烂~11 小时前
kafka
分布式·kafka
白总Server12 小时前
JVM解说
网络·jvm·物联网·安全·web安全·架构·数据库架构
CodingBrother12 小时前
软考之面向服务架构SOA
微服务·架构
龙哥·三年风水12 小时前
群控系统服务端开发模式-应用开发-前端个人信息功能
分布式·vue·群控系统
热门推荐
01玄机平台应急响应—webshell查杀02Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04新版微信小程序获取用户手机号05文件或文件夹名称中有空格如何批量去除06组基轨迹建模 GBTM的介绍与实现（Stata 或 R）07【TC3xx芯片】TC3xx芯片电源管理系统PMS详解08优化手机性能，解决卡顿问题：关闭这3个微信开关，释放内存空间09基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测10【Flutter】基于 GetX 实现 Dio 的生命周期自动化