【微服务网关——https与http2代理实现】

我就是菜鸡12292024-07-03 10:53

1.https与http2代理

1.1 重新认识https与http2

  • https是http安全版本
  • http2是一种传输协议
  • 两者并没有本质联系

1.1.1 https与http的区别

HTTP（超文本传输协议）和 HTTPS（安全超文本传输协议）是用于在网络上交换数据的两种协议。HTTPS 是 HTTP 的扩展，它在 HTTP 的基础上增加了加密层SSL/TLS ，以保护数据的安全。

  • HTTPS
    • 加密: HTTPS 使用 SSL/TLS 协议来加密传输的数据，保护数据免受窃听。
    • 验证身份: HTTPS 通过数字证书验证服务器的身份，确保数据被发送到正确的服务器。
    • 数据完整性: HTTPS 通过加密和校验机制，确保传输的数据不会被篡改。
    • 端口：443
https请求流程

1.1.2 http1.1与http2区别

  • HTTP/1.1
    • 文本协议：数据以明文格式传输，HTTP/1.1 请求和响应是人类可读的文本。
    • 单一请求-响应通道：每次请求和响应通过单独的 TCP 连接传输，连接复用有限。
    • 队头阻塞：由于请求是按顺序处理的，前一个请求处理未完成时，后续请求会被阻塞。
    • 连接管理：需要为每个请求创建一个新的连接，或者使用连接保持（keep-alive）来重用连接。
  • HTTP/2
    • 二进制协议：数据以二进制格式传输，增加了解析和处理的效率。
    • 多路复用：一个 TCP 连接可以同时承载多个请求和响应，消除了队头阻塞（Head-of-Line Blocking）的问题。
    • 头部压缩：使用 HPACK 算法对 HTTP 头部进行压缩，减少了冗余数据的传输。
    • 优先级控制：可以设置请求的优先级，优化资源的分配和加载顺序。

1.2 http2与https的关系

  • http2代表多路复用的传输协议
  • https代表http服务器使用了加密协议
  • 一个启用https的服务器不一定使用http2
  • 但是使用http2的服务器必须启用https（浏览器强制）

1.3 http2设计目标

  • 感知延迟有实质上改进
  • 解决HTTP1.1中的"队首阻塞"问题
  • 并行操作无需与服务器建立多个连接
  • 保持HTTP1.1语义，只是标准拓展并非替代

2.https与http2代理实现

2.1 创建下游测试服务器

2.1.1 代码实现

go 复制代码 
package main

import (
	"fmt"
	"github.com/e421083458/gateway_demo/demo/proxy/reverse_proxy_https/testdata"
	"golang.org/x/net/http2"
	"io"
	"log"
	"net/http"
	"os"
	"os/signal"
	"syscall"
	"time"
)
func main() {
	rs1 := &RealServer{Addr: "127.0.0.1:3003"}
	rs1.Run()
	rs2 := &RealServer{Addr: "127.0.0.1:3004"}
	rs2.Run()

	//监听关闭信号
	quit := make(chan os.Signal)
	signal.Notify(quit, syscall.SIGINT, syscall.SIGTERM)
	<-quit
}

type RealServer struct {
	Addr string
}

func (r *RealServer) Run() {
	log.Println("Starting httpserver at " + r.Addr)
	mux := http.NewServeMux()
	mux.HandleFunc("/", r.HelloHandler)
	mux.HandleFunc("/base/error", r.ErrorHandler)
	server := &http.Server{
		Addr:         r.Addr,
		WriteTimeout: time.Second * 3,
		Handler:      mux,
	}
	go func() {
		// 开启http2
		http2.ConfigureServer(server, &http2.Server{})
		// 开启https
		log.Fatal(server.ListenAndServeTLS(testdata.Path("server.crt"), testdata.Path("server.key")))
	}()
}

func (r *RealServer) HelloHandler(w http.ResponseWriter, req *http.Request) {
	upath := fmt.Sprintf("http://%s%s\n", r.Addr, req.URL.Path)
	io.WriteString(w, upath)
}

func (r *RealServer) ErrorHandler(w http.ResponseWriter, req *http.Request) {
	upath := "error handler"
	w.WriteHeader(500)
	io.WriteString(w, upath)
}

2.1.2 证书签名生成方式

bash 复制代码 
/*
//CA私钥
openssl genrsa -out ca.key 2048
//CA数据证书
openssl req -x509 -new -nodes -key ca.key -subj "/CN=example1.com" -days 5000 -out ca.crt

//服务器私钥（默认由CA签发）
openssl genrsa -out server.key 2048
//服务器证书签名请求：Certificate Sign Request，简称csr（example1.com代表你的域名）
openssl req -new -key server.key -subj "/CN=example1.com" -out server.csr
//上面2个文件生成服务器证书（days代表有效期）
openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out server.crt -days 5000
*/

2.1.3 如何开启http2

goLang服务器支持https与http

  • ListenAndServer调整成ListenAndServerTLS即可支持https
  • https服务器设置http2.ConfigureServer支持http2
    • 设置http2对应的handler回调
    • http.Server中设置了对http2的回调
    • http2回调方法负责从帧数据流中转换数据为http请求体
go 复制代码 
// ConfigureServer 为 net/http 的 Server 添加 HTTP/2 支持。
//
// 参数 conf 可以为 nil。
//
// ConfigureServer 必须在 s 开始服务之前调用。
func ConfigureServer(s *http.Server, conf *Server) error {
    if s == nil {
        panic("nil *http.Server") // 如果传入的 *http.Server 是 nil，程序会崩溃
    }
    if conf == nil {
        conf = new(Server) // 如果传入的 Server 配置是 nil，则新建一个默认的 Server 配置
    }
    // 初始化 conf 的内部状态
    conf.state = &serverInternalState{activeConns: make(map[*serverConn]struct{})}
    
    // 如果 conf 中的 IdleTimeout 没有设置，则使用 s 的 IdleTimeout 或 ReadTimeout
    if h1, h2 := s, conf; h2.IdleTimeout == 0 {
        if h1.IdleTimeout != 0 {
            h2.IdleTimeout = h1.IdleTimeout
        } else {
            h2.IdleTimeout = h1.ReadTimeout
        }
    }
    // 注册优雅关机的回调函数
    s.RegisterOnShutdown(conf.state.startGracefulShutdown)

    // 如果没有 TLS 配置，创建一个默认的 TLS 配置
    if s.TLSConfig == nil {
        s.TLSConfig = new(tls.Config)
    } else if s.TLSConfig.CipherSuites != nil {
        // 如果已提供了 CipherSuite 列表，检查它的顺序或是否缺少必要的 CipherSuite
        haveRequired := false
        sawBad := false
        for i, cs := range s.TLSConfig.CipherSuites {
            switch cs {
            case tls.TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,
                // 另一种 MTI 密码套件，防止只支持 ECDSA 的服务器。
                // 详情请参见 http://golang.org/cl/30721。
                tls.TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256:
                haveRequired = true
            }
            if isBadCipher(cs) {
                sawBad = true
            } else if sawBad {
                return fmt.Errorf("http2: TLSConfig.CipherSuites 索引 %d 包含 HTTP/2 批准的密码套件 (%#04x)，但它在未批准的密码套件之后。这样配置，可能会导致不支持先前批准的密码套件的客户端被分配一个未批准的套件并拒绝连接。", i, cs)
            }
        }
        if !haveRequired {
            return fmt.Errorf("http2: TLSConfig.CipherSuites 缺少 HTTP/2 所需的 AES_128_GCM_SHA256 密码（至少需要 TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256 或 TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256 之一）。")
        }
    }

    // 注意：这里没有设置 MinVersion 为 tls.VersionTLS12，
    // 因为我们不想干扰用户服务器上的 HTTP/1.1 流量。我们稍后在接受连接时强制执行 TLS 1.2。
    // 理想情况下，这应该在下一步协议选择中完成，但使用 TLS <1.2 与 HTTP/2 仍然是客户端的错误。

    s.TLSConfig.PreferServerCipherSuites = true // 服务器优先选择密码套件

    haveNPN := false
    for _, p := range s.TLSConfig.NextProtos {
        if p == NextProtoTLS {
            haveNPN = true
            break
        }
    }
    if !haveNPN {
        s.TLSConfig.NextProtos = append(s.TLSConfig.NextProtos, NextProtoTLS) // 添加 HTTP/2 协议
    }

    if s.TLSNextProto == nil {
        s.TLSNextProto = map[string]func(*http.Server, *tls.Conn, http.Handler){} // 初始化 TLSNextProto 映射
    }
    // 定义 protoHandler，用于处理新连接
    protoHandler := func(hs *http.Server, c *tls.Conn, h http.Handler) {
        if testHookOnConn != nil {
            testHookOnConn() // 测试钩子，如果存在，则调用
        }
        // TLSNextProto 接口早于 context 出现，因此 net/http 包通过 Handler 上一个未公开的方法传递每个连接的基础 context。
        // 这仅供内部 net/http<=>http2 使用。
        var ctx context.Context
        type baseContexter interface {
            BaseContext() context.Context
        }
        if bc, ok := h.(baseContexter); ok {
            ctx = bc.BaseContext() // 获取 base context
        }
        // 服务连接
        conf.ServeConn(c, &ServeConnOpts{
            Context:    ctx,
            Handler:    h,
            BaseConfig: hs,
        })
    }
    s.TLSNextProto[NextProtoTLS] = protoHandler // 设置 protoHandler
    return nil // 成功返回 nil
}

2.2 https代理整合网关

go 复制代码 
package public

import (
	"crypto/tls"
	"crypto/x509"
	"fmt"
	"github.com/e421083458/gateway_demo/demo/proxy/reverse_proxy_https/testdata"
	"golang.org/x/net/http2"
	"io/ioutil"
	"math/rand"
	"net"
	"net/http"
	"net/http/httputil"
	"net/url"
	"strings"
	"time"
)

var transport = &http.Transport{
	DialContext: (&net.Dialer{
		Timeout:   30 * time.Second, //连接超时
		KeepAlive: 30 * time.Second, //长连接超时时间
	}).DialContext,
	//TLSClientConfig:       &tls.Config{InsecureSkipVerify: true},
	TLSClientConfig: func() *tls.Config {
		pool := x509.NewCertPool()
		caCertPath := testdata.Path("ca.crt")
		caCrt, _ := ioutil.ReadFile(caCertPath)
		pool.AppendCertsFromPEM(caCrt)
		return &tls.Config{RootCAs: pool}
	}(),
	MaxIdleConns:          100,              //最大空闲连接
	IdleConnTimeout:       90 * time.Second, //空闲超时时间
	TLSHandshakeTimeout:   10 * time.Second, //tls握手超时时间
	ExpectContinueTimeout: 1 * time.Second,  //100-continue 超时时间
}

func NewMultipleHostsReverseProxy(targets []*url.URL) *httputil.ReverseProxy {
	//请求协调者
	director := func(req *http.Request) {
		targetIndex := rand.Intn(len(targets))
		target := targets[targetIndex]
		targetQuery := target.RawQuery
		fmt.Println("target.Scheme")
		fmt.Println(target.Scheme)
		req.URL.Scheme = target.Scheme
		req.URL.Host = target.Host
		req.URL.Path = singleJoiningSlash(target.Path, req.URL.Path)
		if targetQuery == "" || req.URL.RawQuery == "" {
			req.URL.RawQuery = targetQuery + req.URL.RawQuery
		} else {
			req.URL.RawQuery = targetQuery + "&" + req.URL.RawQuery
		}
		if _, ok := req.Header["User-Agent"]; !ok {
			req.Header.Set("User-Agent", "user-agent")
		}
	}
	http2.ConfigureTransport(transport)
	return &httputil.ReverseProxy{Director: director, Transport: transport,}
}

func singleJoiningSlash(a, b string) string {
	aslash := strings.HasSuffix(a, "/")
	bslash := strings.HasPrefix(b, "/")
	switch {
	case aslash && bslash:
		return a + b[1:]
	case !aslash && !bslash:
		return a + "/" + b
	}
	return a + b
}
相关推荐
xiaoniuxqq8 分钟前
自己生成一个https的证书
网络协议·http·https
阳爱铭21 分钟前
GitHub：现代软件开发的协作平台
驱动开发·后端·中间件·面试·架构·github·学习方法
前端阿森纳1 小时前
解决npm与yarn痛点：幽灵依赖与依赖分身
前端·架构·npm
rainmanqqst3 小时前
httpclient访问https请求报错处理
https·c#
明明跟你说过4 小时前
无服务器【Serverless】架构的深度剖析：组件介绍、优缺点与适用场景
微服务·云原生·容器·架构·serverless·运维开发·无服务器
u0104058364 小时前
Spring Boot中的限流策略实现
spring boot·微服务·安全架构
空青7265 小时前
AOP与IOC详解
java·服务器·分布式·后端·中间件·面试·架构
豆子前端5 小时前
[前端架构]微前端原理了解
前端·架构
ZJ_.6 小时前
Node.js 使用 gRPC：从定义到实现
java·开发语言·javascript·分布式·rpc·架构·node.js
夏天想8 小时前
微服务架构是什么？他有什么优缺点。其实的安全问题如何解决？
安全·微服务·架构
热门推荐
01Coze扣子平台完整体验和实践（附国内和国际版对比）02组基轨迹建模 GBTM的介绍与实现（Stata 或 R）03【经验分享】Ubuntu22.04安装微信(linux官方版)042024亚太赛（中文赛）数学建模竞赛选题建议+初步分析05yolov8实战第五天——yolov8+ffmpg实时视频流检测并进行实时推流——（推流，保姆教学）06【立创EDA-PCB设计基础】6.布线铺铜实战及细节详解07【漏洞复现】Geoserver远程代码执行漏洞（CVE-2024-36401）082025张宇考研数学，百度网盘视频课+36讲PDF讲义+真题09浏览器插件——ModHeader 的分享和学习10基于coc.nvim打造开箱即用的个人PDE