http trailer 与 http2

前言

最近做项目,发现一些项目使用 grpc,尤其是容器 K8S下,笔者在很久以前文章:https://blog.csdn.net/fenglllle/article/details/127829481

有一点非常奇怪的现象,在 h2 的返回的结果后面还有一个 header,这个实际上是 http trailer。

准备示例

在 github 为例:https://github.com/ma6174/blog/issues/22

go 语言

Go 复制代码
package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"os/signal"
	"syscall"
)

func grpcStatus(w http.ResponseWriter, r *http.Request) {
	fmt.Printf("header: %+v\n", r.Header)
	fmt.Printf("trailer before read body: %+v\n", r.Trailer)
	data, _ := io.ReadAll(r.Body)
	w.Header().Add("Transfer-Encoding", "chunked")
//	w.Header().Add("Content-Length", "-1")
	w.Header().Add("Trailer", "grpc-status")
	fmt.Println("------------", string(data))
	w.Write([]byte("haha"))

	w.WriteHeader(200)
	w.Header().Set("grpc-status", "0")
}

func main() {
	go func() {
		http.HandleFunc("/demo", grpcStatus)
		err := http.ListenAndServe(":8080", nil)
		if err != nil {
			fmt.Println(err)
		}
	}()
	signalCh := make(chan os.Signal, 1)
	signal.Notify(signalCh, syscall.SIGINT, syscall.SIGTERM)

	sig := <-signalCh
	fmt.Printf("Received signal: %v\n", sig)

	fmt.Println("hello")
}

使用 postman 发送请求 localhost:8080/demo

没什么奇特的地方,非常常规,但是当我们抓包时

奇怪的事情发生了,在 chunked 的结束时,发现了 trailer header 数据

这里是返回数据,同理,如果对请求数据进行处理也会出现类似的效果

go 示例

Go 复制代码
package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	_ "strconv"
	"strings"
)

type headerReader struct {
	reader io.Reader
	header http.Header
}

func (r *headerReader) Read(p []byte) (n int, err error) {
	n, err = r.reader.Read(p) //先读 body
	if err == io.EOF {
		//写 trailer header
		r.header.Set("grpc-status", "0")
	}
	return
}

func main() {
	h := &headerReader{
		reader: strings.NewReader("body"),
		header: http.Header{},
	}
	req, err := http.NewRequest("POST", "http://localhost:8080", h)
	if err != nil {
		panic(err)
	}
	req.ContentLength = -1
	req.Trailer = h.header //设置 trailer
	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Status)
	_, err = io.Copy(os.Stdout, resp.Body)
	if err != nil {
		panic(err)
	}
}

mac 下使用 nc -l 8080

nc 命令

-l Listen mode, for inbound connects

监听发现 trailer 的 header 在 body 后被读取出来了

因为 postman 没法在发送 body 后,再写 header,所以只能通过代码的方式

通过上面的实践,发现 http trailer 的执行方式:

  1. 使用 http chunked

  2. header 设置key 为Trailer的header key,多个 key 逗号,分割

  3. 先写,或者先读 body,然后设置 trailer 定义的 header key 和 value

使用 h2

回到最初的问题,如果真是 grpc,那么使用的 h2 的方式 trailer?换成 java 写一个springboot demo

java 复制代码
@RestController
public class DemoController {

    @GetMapping("/demo")
    public void demo(HttpServletResponse response) throws IOException {
        response.addHeader("Transfer-Encoding", "chunked");
        response.addHeader("Content-Length", String.valueOf(-1));
        response.addHeader("Trailer", "grpc-status");
        PrintWriter printWriter = response.getWriter();
        printWriter.print("body");
        printWriter.flush();
        response.addHeader("grpc-status", "0");
        printWriter.close();
    }
}

server.http2.enabled = true

然后强制发送 http2 的请求

huahua@huahuadeMac-mini ~ % curl --http2 http://localhost:8080/demo

curl: (92) Invalid HTTP header field was received: frame type: 1, stream: 1, name: [transfer-encoding], value: [chunked]

根据 http2 的标准:https://datatracker.ietf.org/doc/html/rfc7540#section-8.1

不能使用 chunked 编码,其实 http2 本身就是支持分块传输

但是 trailer 需要 chunked 传输,所以暂时还没有头绪解决,怎么使用 http2 执行 chunked http trailer

直到一篇文章:https://carlmastrangelo.com/blog/why-does-grpc-insist-on-trailers

讲述了 grpc 的设计,到是怎么失控的,在 http2 中分帧,所以不需要 chunked 编码了,可以直接发送 trailer

java 复制代码
@RestController
public class DemoController {

    @GetMapping("/demo")
    public void demo(HttpServletResponse response) throws IOException {
//        response.addHeader("Transfer-Encoding", "chunked");
//        response.addHeader("Content-Length", String.valueOf(-1));
        response.addHeader("Trailer", "grpc-status");
        PrintWriter printWriter = response.getWriter();
        printWriter.print("body");

//        response.addHeader("grpc-status", "0");
        response.setTrailerFields(()->{
            Map<String, String> map = new HashMap<>();
            map.put("grpc-status", "0");
            return map;
        });
        printWriter.flush();
        printWriter.close();
    }
}

发送请求,抓包,成功还原 http2 grpc 的设计理念

总结

经过实践还原了 grpc 的通信内容,通过 springboot 的 h2 达到 grpc 的 trailer 的方式,以后在 springboot 中试试,算是解决上一篇文章的遗留问题。不过居然有 http trailer 这玩意,笔者以前没来没用过,也没听到哪里有使用,算是对这个设计有了深刻的了解了。

相关推荐
❀͜͡傀儡师4 小时前
Spring Boot 4.0.0-RC1 已经正式发布
1024程序员节·springboot4.0.0·framework7.0.0
程序员三明治4 小时前
Spring AOP:注解配置与XML配置双实战
java·后端·spring·代理模式·aop·1024程序员节
王嘉俊9254 小时前
HarmonyOS 超级终端与服务卡片开发:打造无缝多设备交互体验
华为·架构·harmonyos·arkts·1024程序员节
红宝村村长4 小时前
【学习笔记】大模型
深度学习·1024程序员节
2501_929382654 小时前
[Switch大气层]纯净版+特斯拉版 20.5.0大气层1.9.5心悦整合包 固件 工具 插件 前端等资源合集
前端·游戏·switch·1024程序员节·单机游戏
limingade4 小时前
手机摄像头如何识别体检的色盲检查图的数字和图案(下)
android·1024程序员节·色盲检查图·手机摄像头识别色盲图案·android识别色盲检测卡·色盲色弱检测卡
毕设源码-赖学姐4 小时前
【开题答辩全过程】以基于Hadoop的电商数据分析系统为例,包含答辩的问题和答案
大数据·hadoop·分布式·1024程序员节
第七序章4 小时前
【C + +】unordered_set 和 unordered_map 的用法、区别、性能全解析
数据结构·c++·人工智能·算法·哈希算法·1024程序员节
熊文豪4 小时前
昇腾NPU部署GPT-OSS-20B混合专家模型:从环境配置到性能优化的完整实践指南
昇腾·1024程序员节·昇腾npu·gpt-oss-20b