云原生 envoy xDS 动态配置 java控制平面开发 支持restful grpc实现 EDS 动态endpoint配置

寂寞的4角钱2023-08-20 10:02

envoy xDS 动态配置 java控制平面开发 支持restful grpc 动态endpoint配置

大纲

  • 基础概念
  • Envoy 动态配置API
  • 配置方式
  • 动静结合的配置方式
  • 纯动态配置方式
  • 实战

基础概念

Envoy 的强大功能之一是支持动态配置，当使用动态配置时，我们不需要重新启动 Envoy 进程就可以生效。Envoy 通过从磁盘文件或网络接口 读取配置，动态地重新加载配置。动态配置使用所谓的发现服务 API，指向配置的特定部分。这些 API 也被统称为xDS 即 (xxx discovery service)

注意：
Envoy的发现API开发模式是，按照Envoy指定的接口名称，请求参数，响应值，自己开发，即需要满足Envoy的规范

Envoy动态配置支持文件方式，grpc接口和, restful接口 ，其中 grpc接口/REST接口 的配置提供者（自己开发的项目）也被称为控制平面

实现方式：

  • 文件方式： 监听文件的变化动态修改
  • grpc接口： 使用的tcp长连接
  • REST接口： 使用的http轮询的方式实现

Envoy 动态配置API

API类型

Envoy 内部有多个发现服务 API （xDS）：

  • 监听器发现服务（LDS listener discovery service） 使用 LDS，Envoy 可以在运行时发现监听器，包括所有的过滤器栈、HTTP 过滤器和对 RDS 的引用。（即动态配置 listener 类似nginx配置虚拟主机）
  • 扩展配置发现服务（ECDS） 使用 ECDS，Envoy 可以独立于监听器获取扩展配置（例如，HTTP 过滤器配置）。
  • 路由发现服务（RDS route discovery service） 使用 RDS，Envoy 可以在运行时发现 HTTP 连接管理器过滤器的整个路由配置。与 EDS 和 CDS 相结合，我们可以实现复杂的路由拓扑结构。（即动态配置路由）
  • 虚拟主机发现服务（VHDS） 使用 VHDS 允许 Envoy 从路由配置中单独请求虚拟主机。当路由配置中有大量的虚拟主机时，就可以使用这个功能。
  • 宽泛路由发现服务（SRDS） 使用 SRDS，可以把路由表分解成多个部分。当有大的路由表时，就可以使用这个 API。
  • 集群发现服务（CDS cluster discovery service ） 使用 CDS，Envoy 可以发现上游集群。Envoy 将通过排空和重新连接所有现有的连接池来优雅地添加、更新或删除集群。Envoy 在初始化时不必知道所有的集群，因为我们可以在以后使用 CDS 配置它们。（即动态配置集群）
  • 端点发现服务（EDS endpoint discovery service） 使用 EDS，Envoy 可以发现上游集群的成员。 （即动态配置后端服务类似nginx upstream）
  • 秘密发现服务（SDS） 使用 SDS，Envoy 可以为其监听器发现秘密（证书和私钥，TLS 会话密钥），并为对等的证书验证逻辑进行配置。
  • 运行时发现服务（RTDS） 使用 RTDS，Envoy 可以动态地发现运行时层。

API 版本

Envoy 的 API 有 v2 v3 目前主流版本是 v3

官方文档 https://www.envoyproxy.io/docs/envoy/latest/configuration/overview/xds_api

xDS API 可以使用restful接口和grpc接口开发，只要满足指定的接口名称和DiscoveryRequest,DiscoveryResponse参数和响应对象即可

例如以下就是一个EDS的接口
/v3/discovery:endpoints （即自己写的controller的mapping是/v3/discovery:endpoints）
@RequestMapping("/v3/discovery:endpoints")

配置方式

动静结合的配置方式

静态配置与动态配置结合

例如

static_resources:
  listeners:
  - name: my_listener
    address:
      socket_address: 
        protocol: TCP
        address: 0.0.0.0
        port_value: 15200
    filter_chains:
    - filters:
      - name: envoy.filters.network.http_connection_manager
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager
          stat_prefix: my-http-filter
          http_filters:
                - name: envoy.filters.http.router
          stat_prefix: my_listener_http
          codec_type: AUTO
          route_config:
            name: local_route
            virtual_hosts:
            - name: local_service
              domains: ["*"]
              routes:
              - match:  
                  prefix: "/" 
                route:  
                  cluster: user-service 
  clusters:
    - name: user-service
      type: EDS #这里就是使用动态配置的方式实现endpoint的动态发现
      connect_timeout: 0.5s
      eds_cluster_config: 
        eds_config:
          resource_api_version: V3
          api_config_source:
            api_type: REST
            transport_api_version: V3
            cluster_names: [edscluster]
            refresh_delay: 10s 
    - name: edscluster
      type: STATIC
      connect_timeout: 0.5s
      hosts:  
        - socket_address: 
             address: 192.168.0.218
             port_value: 7590

纯动态配置方式

使用dynamic_resources 配置动态内容

例如

dynamic_resources:
  ads_config:
    api_type: GRPC
    transport_api_version: V3
    grpc_services:
    - envoy_grpc:
        cluster_name: xds_cluster
  cds_config:
    resource_api_version: V3
    api_config_source:
      api_type: GRPC
      transport_api_version: V3
      grpc_services:
      - envoy_grpc:
          cluster_name: xds_cluster
  lds_config:
    resource_api_version: V3
    api_config_source:
      api_type: GRPC
      transport_api_version: V3
      grpc_services:
      - envoy_grpc:
          cluster_name: xds_cluster

当envoy没有读取到配置时会一直使用默认的配置，所以如果控制平面宕机后还是会保持配置

每个 xDS API 都有给定的资源类型:

v2版本

LDS :  envoy.api.v2.Listener
RDS : envoy.api.v2.RouteConfiguration
CDS : envoy.api.v2.Cluster
EDS ：envoy.api.v2.ClusterLoadAssignment (EDS就是配置 endpoint)

v3版本

envoy.config.listener.v3.Listener
envoy.config.route.v3.RouteConfiguration,
envoy.config.route.v3.ScopedRouteConfiguration,
envoy.config.route.v3.VirtualHost
envoy.config.cluster.v3.Cluster
envoy.config.endpoint.v3.ClusterLoadAssignment  (EDS endpoint 返回的resources 对象类型)
envoy.extensions.transport_sockets.tls.v3.Secret
envoy.service.runtime.v3.Runtime

即接口返回DiscoveryResponse 内部的resources 是以上类型

实战

本次测试 envoy的版本为v1.16.0 使用docker镜像部署

基于envoy xDS api v3版本 java restful实现

step1 配置 envoy.yaml

配置文件如下

node:
  cluster: mycluster
  id: test-id


# 这是一段静态配置
static_resources:
  listeners:
  - name: my_listener
    address:
      socket_address: 
        protocol: TCP
        address: 0.0.0.0
        port_value: 15200 #配置一个静态的listener 监听来自任意IP的请求15200端口的http请求
    filter_chains:
    - filters:
      - name: envoy.filters.network.http_connection_manager #注意指定filters
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager
          stat_prefix: my-http-filter
          http_filters:
                - name: envoy.filters.http.router
          stat_prefix: my_listener_http
          codec_type: AUTO
          route_config:
            name: local_route
            virtual_hosts:
            - name: local_service
              domains: ["*"]  #任意域名的请求
              routes:
              - match:  
                  prefix: "/"   # 任意url的请求
                route:  
                  cluster: user-service  # 路由到user-service 集群
  
  # 配置集群    
  clusters:
    - name: user-service
      type: EDS  #模式指定为EDS  
      connect_timeout: 0.5s # 配置连接超时时间
      eds_cluster_config: 
        eds_config:
          resource_api_version: V3 #指定使用V3版本接口
          api_config_source:
            api_type: REST  #使用restful的方式
            transport_api_version: V3   #指定使用V3版本接口
            cluster_names: [edscluster]
            refresh_delay: 10s  # 配置刷新频率
      # 这里配置的是envoy EDS接口的提供服务即控制平面       
    - name: edscluster
      type: STATIC
      connect_timeout: 0.5s # 配置连接超时时间
      # envoy会去请求 192.168.0.218:7590/v3/discovery:endpoints 这个接口 获取endpoint配置信息
      # 代码见 my-docker-demo-envoy-plane/DataPlaneEndpointControllerV3.java
      hosts:  
        - socket_address: 
             address: 192.168.0.218
             port_value: 7590

启动 envoy 镜像

docker run  -p 5201:5201 -p 15200:15200  -v /ops/envoy:/etc/envoy  envoyproxy/envoy:v1.16.0

envoy 启动后可以看到开始调用 EDS接口，由于还没启动服务此时会报错

step2 java 程序开发

EDS接口使用java springboot 开发

注意点如下：

  • 1 接口必须是 /v3/discovery:endpoints
  • 2 动态配置需要是一个json 字符串 并且满足endpoint需要的格式
  • 3 返回值必须是一个DiscoveryResponse service.discovery.v3.DiscoveryResponse

DiscoveryResponse 格式如下

{
  "version_info": ...,
  "resources": [],
  "type_url": ...,
  "nonce": ...,
  "control_plane": {...}
}

整体的返回值json字符串如下

{
  "versionInfo": "1.0.0",
  "resources": [{
    "@type": "type.googleapis.com/envoy.config.endpoint.v3.ClusterLoadAssignment",
    "clusterName": "user-service",
    "endpoints": [{
      "lbEndpoints": [ {
        "endpoint": {
          "address": {
            "socketAddress": {
              "address": "10.244.1.203",
              "portValue": 5588
            }
          }
        }
      }]
    }]
  }]
}

如果自己拼接json字符串感觉比较麻烦，可以使用envoy-api包

<dependency>
		    <groupId>io.envoyproxy.controlplane</groupId>
		    <artifactId>api</artifactId>
		    <version>1.0.39</version>
		</dependency>

这个包，里面有xDS中的各种资源对象 以及grpc接口

也可以使用官方提供的 java控制面板项目 打包编译后得到api包，里面也有xDS中的各种资源对象

java 代码如下

  @RequestMapping(value="/v3/discovery:endpoints" , produces = {"application/json;charset=UTF-8"})
	public String discovery(HttpServletRequest req) throws Exception {			
		//json 字符串拼接
		//String json = staticJson();
		/**
		 * 构建返回EDS 配置json 字符串
		 */
		String json = useBean();
		
		return json;
	}
	
	/**
	 * @return
	 */
	private String useBean() throws Exception {
		/**
		 * 以下资源类出自
		 * 
		 * <dependency>
		    <groupId>io.envoyproxy.controlplane</groupId>
		    <artifactId>api</artifactId>
		    <version>1.0.39</version>
		</dependency>
		 * 
		 */
		//配置上游服务（类似nginx upstream）
		SocketAddress sa1 = SocketAddress.newBuilder().setAddress("10.244.0.190").setPortValue(5588).build();
		SocketAddress sa2 = SocketAddress.newBuilder().setAddress("10.244.1.203").setPortValue(5588).build();
		Address address1 = Address.newBuilder().setSocketAddress(sa1).build();
		Address address2 = Address.newBuilder().setSocketAddress(sa2).build();
		Endpoint end1 = Endpoint.newBuilder().setAddress(address1).build();
		Endpoint end2 = Endpoint.newBuilder().setAddress(address2).build();
	    LbEndpoint lb1 = LbEndpoint.newBuilder().setEndpoint(end1).build();
	    LbEndpoint lb2 = LbEndpoint.newBuilder().setEndpoint(end2).build();
		LocalityLbEndpoints llb = LocalityLbEndpoints.newBuilder().addLbEndpoints(lb1).addLbEndpoints(lb2).build();
		ClusterLoadAssignment cla = ClusterLoadAssignment.newBuilder()
				.setClusterName("user-service")
				.addEndpoints(llb).build();
		DiscoveryResponse dr = DiscoveryResponse.newBuilder().setVersionInfo("1.0.0")
				.addResources(Any.pack(cla))
				.build();
		
		JsonFormat.TypeRegistry typeRegistry = JsonFormat.TypeRegistry.newBuilder()
		        .add(ClusterLoadAssignment.getDescriptor())
		        .build();
		
		JsonFormat.Printer printer = JsonFormat.printer()
		        .usingTypeRegistry(typeRegistry);
		
		return printer.print(dr);
}

基于 envoy xDS api v3版本 java grpc实现

grpc的关键

  • 1 使用envoy api包 实现对应的grpc 服务
  • 2 返回值需要指定typeUrl
  • 3 配置文件需要加入 http2_protocol_options 指定使用http2

没使用http2_protocol_options 配置会出现如下异常

io.grpc.netty.shaded.io.netty.handler.codec.http2.Http2Exception: Unexpected HTTP/1.x request: POST /envoy.service.endpoint.v3.EndpointDiscoveryService/StreamEndpoints 
	at io.grpc.netty.shaded.io.netty.handler.codec.http2.Http2Exception.connectionError(Http2Exception.java:109) ~[grpc-netty-shaded-1.48.1.jar:1.48.1]
	at io.grpc.netty.shaded.io.netty.handler.codec.http2.Http2ConnectionHandler$PrefaceDecoder.readClientPrefaceString(Http2ConnectionHandler.java:302) ~[grpc-netty-shaded-1.48.1.jar:1.48.1]
	at io.grpc.netty.shaded.io.netty.handler.codec.http2.Http2ConnectionHandler$PrefaceDecoder.decode(Http2ConnectionHandler.java:239) ~[grpc-netty-shaded-1.48.1.jar:1.48.1]
	at io.grpc.netty.shaded.io.netty.handler.codec.http2.Http2ConnectionHandler.decode(Http2ConnectionHandler.java:438) [grpc-netty-shaded-1.48.1.jar:1.48.1]

返回值未指定typeUrl

023-08-16 06:14:49.608][8][warning][config] [source/common/config/grpc_mux_impl.cc:155] Ignoring the message for type URL  as it has no current subscribers.

关键配置 envoy.yaml 如下

# 指定集群名称
# 动态配置需要指定节点集群名称        
node:
  cluster: mycluster
  id: test-id


# 这是一段静态配置
static_resources:
  listeners:
  - name: my_listener
    address:
      socket_address: 
        protocol: TCP
        address: 0.0.0.0
        port_value: 15200 #配置一个静态的listener 监听来自任意IP的请求15200端口的http请求
    filter_chains:
    - filters:
      - name: envoy.filters.network.http_connection_manager #注意指定filters
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager
          stat_prefix: my-http-filter
          http_filters:
            - name: envoy.filters.http.router
          stat_prefix: my_listener_http
          codec_type: AUTO
          route_config:
            name: local_route
            virtual_hosts:
            - name: local_service
              domains: ["*"]  #任意域名的请求
              routes:
              - match:  
                  prefix: "/"   # 任意url的请求
                route:  
                  cluster: user-service  # 路由到user-service 集群
  
  # 配置集群    
  clusters:
    - name: user-service
      type: EDS  #模式指定为EDS  
      connect_timeout: 0.5s # 配置连接超时时间
      eds_cluster_config: 
        eds_config:
          resource_api_version: V3 #指定使用V3版本接口
          api_config_source:
            api_type: GRPC  #使用grpc的方式
            transport_api_version: V3   #指定使用V3版本接口
            # 指定grpc_services 对应的集群
            # 这里将使用下面定义的集群
            grpc_services: 
              - envoy_grpc: 
                  cluster_name: edscluster
           
    # 这里配置的是envoy EDS接口的提供服务即控制平面       
    - name: edscluster
      type: STATIC
      connect_timeout: 0.5s # 配置连接超时时间
      # 这里是一个关键，必须指定http2_protocol_options 即使用http2
      http2_protocol_options: {}
      hosts:  
        - socket_address: 
             address: 192.168.0.218
             port_value: 7899

关键java代码

public class EndpointDiscoveryServiceGrpcImpl extends EndpointDiscoveryServiceGrpc.EndpointDiscoveryServiceImplBase {

	
	/**
	 * 这个接口是客户端模式
	 * 
	 */
	@Override
	public io.grpc.stub.StreamObserver<io.envoyproxy.envoy.service.discovery.v3.DiscoveryRequest> streamEndpoints(
	        io.grpc.stub.StreamObserver<io.envoyproxy.envoy.service.discovery.v3.DiscoveryResponse> responseObserver) {
	     System.out.println("run grpc ...");
	     /**
	      * 创建StreamObserver<DiscoveryRequest>对象
	      */
		StreamObserver<DiscoveryRequest> so = new StreamObserver<DiscoveryRequest>() {

			@Override
			public void onNext(DiscoveryRequest request) {
				 //接收客户端每一次发送的数据，返回给客户端
				//showRequest(request);
				
			    SocketAddress sa1 = SocketAddress.newBuilder().setAddress("10.244.0.214").setPortValue(5588).build();
				SocketAddress sa2 = SocketAddress.newBuilder().setAddress("10.244.0.201").setPortValue(5588).build();
				Address address1 = Address.newBuilder().setSocketAddress(sa1).build();
				Address address2 = Address.newBuilder().setSocketAddress(sa2).build();
				Endpoint end1 = Endpoint.newBuilder().setAddress(address1).build();
				Endpoint end2 = Endpoint.newBuilder().setAddress(address2).build();
			    LbEndpoint lb1 = LbEndpoint.newBuilder().setEndpoint(end1).build();
			    LbEndpoint lb2 = LbEndpoint.newBuilder().setEndpoint(end2).build();
				LocalityLbEndpoints llb = LocalityLbEndpoints.newBuilder().addLbEndpoints(lb1).addLbEndpoints(lb2).build();
				ClusterLoadAssignment cla = ClusterLoadAssignment.newBuilder()
						 /**
				         * 这里配置的ClusterName 应该是路由对应的cluster name 而不是 node中的cluster
				         * route: { cluster: user-service }
				         */
						.setClusterName("user-service") 
						.addEndpoints(llb).build();
				final DiscoveryResponse dr = DiscoveryResponse.newBuilder().setVersionInfo("1.0.0")							
						.setTypeUrl("type.googleapis.com/envoy.config.endpoint.v3.ClusterLoadAssignment")
						.addResources(Any.pack(cla))
						.build();
				
				/**
				 * 客户端模式这里不会去关闭StreamObserver
				 * 即不会调用 responseObserver.onCompleted();方法
				 */
				responseObserver.onNext(dr);
				
				System.out.println("send DiscoveryResponse ");
			}

			@Override
			public void onError(Throwable t) {
				System.out.println("onError");
				 t.printStackTrace();
			}

			@Override
			public void onCompleted() {
				 //当客户端数据发送完毕后调用此方法，返回客户端
				
				 SocketAddress sa1 = SocketAddress.newBuilder().setAddress("10.244.0.214").setPortValue(5588).build();
				SocketAddress sa2 = SocketAddress.newBuilder().setAddress("10.244.0.201").setPortValue(5588).build();
				Address address1 = Address.newBuilder().setSocketAddress(sa1).build();
				Address address2 = Address.newBuilder().setSocketAddress(sa2).build();
				Endpoint end1 = Endpoint.newBuilder().setAddress(address1).build();
				Endpoint end2 = Endpoint.newBuilder().setAddress(address2).build();
			    LbEndpoint lb1 = LbEndpoint.newBuilder().setEndpoint(end1).build();
			    LbEndpoint lb2 = LbEndpoint.newBuilder().setEndpoint(end2).build();
				LocalityLbEndpoints llb = LocalityLbEndpoints.newBuilder().addLbEndpoints(lb1).addLbEndpoints(lb2).build();
				ClusterLoadAssignment cla = ClusterLoadAssignment.newBuilder()
						.setClusterName("user-service")
						.addEndpoints(llb).build();
				final DiscoveryResponse dr = DiscoveryResponse.newBuilder().setVersionInfo("1.0.0")
						.addResources(Any.pack(cla))
						.build();
				
				System.out.println("onCompleted");
				responseObserver.onNext(dr);
                responseObserver.onCompleted();
			}
		
	};
    return so;
相关推荐
xlsw_2 小时前
java全栈day20--Web后端实战(Mybatis基础2)
java·开发语言·mybatis
神仙别闹3 小时前
基于java的改良版超级玛丽小游戏
java
鸠摩智首席音效师3 小时前
Docker 中如何限制CPU和内存的使用 ？
docker·容器
Michaelwubo3 小时前
Docker dockerfile镜像编码 centos7
运维·docker·容器
jingyu飞鸟3 小时前
centos-stream9系统安装docker
linux·docker·centos
黄油饼卷咖喱鸡就味增汤拌孜然羊肉炒饭3 小时前
SpringBoot如何实现缓存预热？
java·spring boot·spring·缓存·程序员
好像是个likun4 小时前
使用docker拉取镜像很慢或者总是超时的问题
运维·docker·容器
暮湫4 小时前
泛型（2）
java
超爱吃士力架4 小时前
邀请逻辑
java·linux·后端
南宫生4 小时前
力扣-图论-17【算法学习day.67】
java·学习·算法·leetcode·图论
热门推荐
01〔AI 绘画〕Stable Diffusion 之 解决绘制多人或面部很小的人物时面部崩坏问题 篇02ARM学习（31）编译器对overlay方式的支持03玄机平台应急响应—webshell查杀04DisplayPort AltMode On Type-c协议_Ver2.0(学习笔记)05校验 GPT-4 真实性的三个经典问题：快速区分 GPT-3.5 与 GPT-4，并提供免费测试网站06Docker 夺命连环 15 问076个主流的工业3D管道设计软件08基于大语言模型（LLM）的合成数据生成、策展和评估的综述09(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明10树莓派 5 AI 套件（Hailo-8L）使用教程