师傅领进门，修行在个人，跟着官方脚手架demo了grpc后，之后就需要扩展前后知识边界，下面总结grpc的前世今生和最佳实践。
https://www.cnblogs.com/JulianHuang/p/14441952.html
- grpc是基于http/2协议的高性能的rpc框架
- 为什么已经有http？ 还需要grpc？
- 八股文都说grpc是基于http2的rpc框架，到底利用了http2的什么特性 ？
- 一个grpc内存泄漏的例子
grpc是基于http/2协议的高性能的rpc框架。
提取句式中关键信息：rpc框架、 http2、 高性能
1.落地宾语-rpc框架
远程过程调用 remote process call；
程序可以像调用本地函数和本地对象一样， 达成调用远程服务的效果（不用意识到是远程服务），rpc屏蔽了底层的通信细节和打解包细节。
跟许多rpc协议一样， grpc也是基于IDL（interface define lauguage）来定义服务协议。
rpc的开发模式， 必然强调契约优先， client和server端首先约定service的结构(包括一系列方法的组合、每个方法具体签名)。
对这个结构的描述，gRPC 默认是用Protocol Buffer去实现的。
syntax = "proto3";
option csharp_namespace = "GrpcAuthor";
package greet;
// The greeting service definition.
service Greeter {
// Sends a greeting
rpc SayHello (HelloRequest) returns (HelloReply);
}
// The request message containing the user's name.
message HelloRequest {
string name = 1;
}
// The response message containing the greetings.
message HelloReply {
string message = 1;
}
rpc框架两个关键通用部件：
- channel: 通信信道
- stub： 是client的抽象，中文名叫存根。
① 建立与grcp服务端的通信信道;
② 基于步骤①的信道使用服务名Greet建立grpc服务在客户端的存根， 就像服务Greet是本地服务一样;
③ 用步骤②的grpc服务存根发起grpc调用GreeterClient()，就像GreeterClient是本地方法一样。
下面是客户端代码
var channel = GrpcChannel.ForAddress(
"http:///my-example-host",
new GrpcChannelOptions { Credentials = ChannelCredentials.Insecure });
var client = new Greet.GreeterClient(channel);
var response = await client.SayHelloAsync(new HelloRequest { Name = "world" });
rpc 是一种久远的通信框架， http是通信协议。
2. 目前市面流行http， 为什么还需要grpc？
其实rpc框架比 http协议更早出来。
tcp协议于70年代诞生，tcp是一种可靠的、面向连接的、基于字节流的传输层协议。
tcp粘包？
关于tcp的定语和修饰词也很关键，正因为是字节流，就如同躺在水流中的0/1串， 这些0/1串是没有任何边界的，应用层传到tcp层的数据不是以消息报为单位向对面主机发送，而是以字节流的形式流淌在tcp层， 在tcp传输层由tcp层的协议进行切割和组包， 对端接收的时候没能正确还原发送端的消息报。
tcp粘包问题并不是tcp协议的弊端，而是我们在应用层发送和接收数据需要对数据分段，而传输层是无边界的0/1串之间的矛盾。
在70到90年代之后，互联网并不发达，很多都是client、server点对点的传输，所以在那个年代rpc很活跃，client、server双方约定服务结构，以[类本地调用]的形态通信。
90年代，随着it产业的蓬勃发展，计算机走进了千家万户，90年代初期诞生了浏览器， 浏览器与上面的C/S结构最大的不同是访问的服务端对象是千万家不同的服务提供方。
再像C/S那样一对一提前沟通契约就不合适了， 故浏览器和web服务器作为一种特殊的C/S需要约定一种【固定的、能自表述的传输格式】， 于是诞生了适用于B/S端的http协议。 http协议不再有rpc双方已知的本地服务名和服务方法， 服务和服务方法被金演化成对远程主机的资源请求。
所以，我们该问的不是"既然有HTTP协议，为什么要有RPC"，而是应该问"为什么有rpc，还需要有http"。
从上面的前世今生可以知道， rpc是通信框架，http是通信协议，rpc可以基于tcp，udp，http/2协议来实现。
grpc在众多rpc框架中脱颖而出，取决于底层的http2基础设施。
3. grpc到底利用了http/2的什么特性？
回过头来看grpc的连两个定语 ① http/2 ② 高性能。
grpc底层传输使用http/2，http/2兼容http1.1语义,还有如下优势
| http2 | http1.1 |
|---|---|
| 用于数据传输的二进制分帧 | http1.1是基于文本协议 |
| 同一tcp连接支持流式传输，故支持发送多个并行请求、调用 | 应答模型：http1.1在一个tcp连接上完成[请求/响应]是串行的 |
| 减少网络使用率的标头压缩 | 头部带有大量信息，每次都要重复发送 |
http2的二进制分帧、流式传输 能力支撑了grpc框架近乎本地的实时服务互调；
http2的多路复用（单tcp连接上并发多个请求，不多占文件描述符）、二进制编码协议、头部压缩支撑了grpc本地互调的高性能。
这里要指出：
- HTTP/2 上的通信只需要在一个TCP连接完成，在这个连接上可见的形态是帧frame和流stream。
- 而消息(或者说业务调用，业务上的逻辑发送单位)由一或多个帧组成，这些帧可以乱序发送，然后根据每个帧首部的流标识符重新组装。
- "gRPC双向流通信streaming"与"http2的流式stream传输"是一个东西吗？
http2流式传输stream是一种底层的传输方式，其作用是支撑单连接多路复用 。
grpc流式通信streaming，更接近业务通信级别的通信方式，grpc流式通信可用于替代高性能场景下的一元gRPC调用。
我们假设HTTP/2协议中1次RPC请求使用1个并发Stream，每个RPC消息又可 通过帧体中 Length-Prefixed Message 头部确立了边界，这样，在 Stream 中连续地发送多个 DATA 帧，就可以实现流模式 RPC。
https://juejin.cn/post/7249522846211801147
tcp连接现在是性能瓶颈
底层的http2协议给予了grpc很大的性能表现，但同时也带来了新的性能瓶颈， 现在现在压力给到了tcp连接。
通常情况下,一个HTTP/2 tcp连接中流的数量是有限制的，一般服务器默认为100,不同的语言有不同的应对策略。
.net
.net tcp连接上默认流数量为100，当该连接中的grpc调用导致到达"连接流的限制"，新的grpc调用会进行排队,这个时候会出现因Concurrent stream=100引起的性能问题。
.NET引入了
EnableMultipleHttp2Connections可在此时产生新的连接对象。
var channel = GrpcChannel.ForAddress("https://localhost", new GrpcChannelOptions
{
HttpHandler = new SocketsHttpHandler
{
EnableMultipleHttp2Connections = true,
// ...configure other handler settings
}
});
golang
[golang tcp连接上流数量的默认限制也是100](https://github.com/grpc/grpc-go/blob/master/internal/transport/http2_client.go）defaultMaxStreamsClient =100.
可通过ServerOption: MaxConcurrentStreams修改， 从实现上默认的并发流的限制，被设计成池的概念，
类似与C# 也有利用tcp连接池来规避该问题的方案, 按下不表。
https://segmentfault.com/a/1190000041716350?utm_source=sf-similar-article
https://github.com/shimingyah/pool
我们先来分析grpc基于http2 stream概念发起调用的源码。
创建一个gRPC 客户端连接，会创建的几个协程：
1）transport.loopyWriter.run 往服务端发送数据协程
2）transport.http2Client.reader 读取服务端数据协程
http2Client的基础结构
// 源码所在文件：google.golang.org/grpc/http2_client.go
// http2Client 实现了接口 ClientTransport
// http2Client implements the ClientTransport interface with HTTP2.
type http2Client struct {
conn net.Conn // underlying communication channel
loopy *loopyWriter // 生产和消费关联的队列在这里面，所在文件：controlbuf.go
// controlBuf delivers all the control related tasks (e.g., window
// updates, reset streams, and various settings) to the controller.
controlBuf *controlBuffer // 所在文件：controlbuf.go
maxConcurrentStreams uint32
streamQuota int64
streamsQuotaAvailable chan struct{}
waitingStreams uint32
initialWindowSize int32
}
type controlBuffer struct {
list *itemList // 队列
}
type loopyWriter struct {
// 关联上 controlBuffer，
// 消费 controlBuffer 中的队列 list，
// 生产 由http2Client通过controlBuffer 进行。
cbuf *controlBuffer
}
创建grpc客户端的行为
func newHTTP2Client(connectCtx, ctx context.Context, addr resolver.Address, opts ConnectOptions, onPrefaceReceipt func(), onGoAway func(GoAwayReason), onClose func()) (_ *http2Client, err error) {
conn, err := dial(connectCtx, opts.Dialer, addr.Addr)
t.controlBuf = newControlBuffer(t.ctxDone) // 含发送队列的初始化
if t.keepaliveEnabled {
t.kpDormancyCond = sync.NewCond(&t.mu)
go t.keepalive() // 保活协程
}
// Start the reader goroutine for incoming message. Each transport has
// a dedicated goroutine which reads HTTP2 frame from network. Then it
// dispatches the frame to the corresponding stream entity.
go t.reader()
// Send connection preface to server.
n, err := t.conn.Write(clientPreface)
go func() {
t.loopy = newLoopyWriter(clientSide, t.framer, t.controlBuf, t.bdpEst)
err := t.loopy.run()
}
}
特别说明：
每一次 gRPC 调用，客户端均会创建一个新的 Stream，
该特性使得同一 gRPC 连接可以同时处理多个调用。请求的发送并不是同步的，而是基于队列的异步发送。
// 源码所在文件：internal/transport/controlbuf.go
func (l *loopyWriter) run() (err error) {
// 通过 get 间接调用 dequeue 和 dequeueAll
for {
it, err := l.cbuf.get(true)
if err != nil {
return err
}
if err = l.handle(it); err != nil {
return err
}
if _, err = l.processData(); err != nil {
return err
}
}
}
每一个gRPC客户端连接均有一个自己的队列，gRPC 并没有直接限定队列大小，所以如果不加任何限制则会内存暴涨，直到OOM发生。
这里我们结合内存泄漏的案例加深tcp连接在grpc调用中的独特作用。
go func() {
for {
ctx, cancel := context.WithTimeout(context.Background(), time.Second*3)
defer cancel()
resp, err := c.election.Leader(ctx)
if err != nil {
log.WithError(err).Errorf("get leader error. test")
} else {
log.Infof("get test leader success : %s", string(resp.Kvs[0].Value))
}
// cancel()
}
}()
pprof 显示这个election.Leader函数导致的内存持续增长。
bug表象
etcd v3 发起的请求为grpc请求，
-
因为从closed信道能持续读取零值，形成死循环。
-
死循环中，用于上下文释放资源的defer cancel() 无法得到执行，因为是在函数级别。
-
每次grpc调用均形成缓慢内存泄漏。