上一篇是《二十多个轮子,先交付最吃重的那个》,把
Vane.NET 1.0.0-preview.1发出去了。这一篇拆开看:六层怎么分、三种入口怎么挂、启动为什么当成一个事务、背压为什么只有一处。
目标框架:
net10.0/net11.0;仓库:gitee.com/netcasewqs/vane.net
接着上一篇说
上一篇结尾我留了一句:先把预发布期间暴露的问题收掉,把 gate 里的 Partial / Unmeasured 补齐,再发正式版。那说的是版本。
发完那篇,我回头想补的其实是另一件事:这东西凭什么不会越写越乱。
所以这篇干的是拆机器的活。教程在 docs 目录里,接口说明在 XML 注释里,都不在这儿重复。这篇只想回答一件事:这一万四千行,凭什么能扛住长连接。
内核只干三件事
把话说死一点,Vane.NET 只干三件事:
把字节流变成帧,把帧送到业务,把回包写回去。
它不认识 RPC 的方法名,不认识 MQTT 的主题,也不认识 Redis 的命令字。这些东西在它眼里都长一个样:一段被定界符或长度头切开的载荷。
八种传输、三种业务入口,最后交付的是一个零第三方依赖的单 DLL。这是划界,不是节俭。界划完了,很多"顺手加一下"的需求才有理由被推回去。
五个硬约束,和一堆"不做"
内核被五条约束框住,每条都能追溯到一次踩坑:
- 纯托管、零第三方依赖、单 DLL。 传输原语只用 BCL:
Socket、Pipe、SslStream、QuicConnection、WebSocket。不引 DotNetty,不引第三方序列化。 - 协议无关。 只认帧。RPC / MQTT 是挂在上层的角色插件,不是内核的一部分。
- 微内核、最小公开面。 公开类型只留用户真要碰的入口,语法糖一律做成扩展方法。
- 装配期定稿,运行期不读可变配置。
ListenOptions、PipeLimits、TlsOptions、CommandRegistry在绑定时冻结。 - 热路径零额外分配。 正常 TCP/UDS 帧路径不复制、不排队、不造
Task;每帧中间件的next委托在建连时缓存。
然后是"不做"的清单,比"做"的清单长:
- 不做 DI 容器。
Features是轻量 feature table,不是容器。 - 不做反射扫描。handler、filter、codec 全在装配期显式登记。
- 不做应用层路由框架。命令 key 路由只给最小机制。
- 不给每条连接配一个后台线程。
- 不把 UDP 硬塞进面向连接的
Host。
说实话,这些"不做"比写代码费劲。每拒绝一个功能,都得先说服自己它不该住在这里,有时候还得说服别人。内核的边界就是这么一点点守住的,靠的不是自律,是每次评审都问一句"这行代码为什么在内核里"。
六层,多一层就开始互相甩锅
| 层 | 负责 | 不负责 |
|---|---|---|
| L4 应用与插件 | RPC/MQTT 协议语义、业务 handler、Dispatch 分发 | 不碰 Socket、不碰 Pipe |
| L3 会话与命令 | 连接生命周期、命令路由、filter | 不做帧解析 |
| L2 帧与中间件 | 拆帧、编码、每帧洋葱、TLS/PROXY 包装 | 不决定业务路由 |
| L1 连接与背压 | IConnection 抽象、Pipe 水位、超时、准入 |
不认识帧格式 |
| L0 传输与事件循环 | 监听、拨号、IO 投递、线程归属 | 不做协议升级语义 |
| BCL | System.IO.Pipelines、Socket、MemoryPool |
--- |
多数网络框架会在内核里再搭一套 HandlerPipeline,让人往里塞 decoder、encoder、handler。我没这么干,两个原因。
一是 BCL 已经有一套 Pipe。再套一层,背压、游标推进、异常收口就有两套语义。两套语义落在同一条连接上,早晚得打架,而且打架的时间点通常在半夜。
二是协议插件要的是"连接终端",不是"内核里的第二套管道"。RPC 自己知道怎么拆消息、怎么按请求 ID 多路复用,它需要的是一个干净的 IConnection,加上连接边界上的 TLS、PROXY、超时、准入。
所以内核里的"管道"只有两层:连接级中间件(每条连接一次,PROXY → TLS → 建点屏障 → 宿主中间件 → 终端),帧级中间件(每帧一次,InvokeAsync(context, next))。再往上就是 Session / Command 或者插件自己的世界,内核不管。
三种入口,一套底座
管线、会话、命令。这三个词听着像三套框架,实际是同一套内核的三种挂法。
| 模式 | 一句话 | 谁记连接状态 | 谁决定"这条消息做什么" |
|---|---|---|---|
| 管线 | 来一段字节就处理一段 | 业务自己 | 业务自己的 if / switch |
| 会话 | 每条连接发一张档案卡 | ConnectionSession 字段 |
会话回调自己 |
| 命令 | 档案卡 + 按动词派单 | 会话字段 | CommandRegistry + KeyResolver |
共用的东西比不同的多:Host、传输、TLS、PROXY、Pipe、EventLoop、帧编解码、中间件、背压、异常收口、观测,全是同一份。差别只有三个:业务入口放哪、谁持有每连接状态、谁做消息路由。
选型我一般就问四句:
- 只想拿到字节,自己拆自己写 → 管线;
- 每条连接要记登录态、订阅列表、最后活跃时间 → 会话;
- 协议有一堆动词,想一条命令一个处理函数 → 命令;
- 要做代理、隧道、多路复用、极高帧率 → 管线。
再强调一次:命令模式不是第二套连接模型,它就是"会话 + 命令路由 + filter"。把它当成新东西,就容易在里面重复实现生命周期,然后两套生命周期打架。
启动是一个事务,不是一串 new
Listen(endpoint) 的时候,什么都没发生:只创建了一个 EndpointBinding,把端点、配置回调、ListenOptions 存起来,返回 Host 接着链式调用。没绑端口,没起线程。
真正干活的是 StartAsync,九步:拒绝重复启动 → 建 linked CancellationTokenSource 和准入信号量 → 给端点落位 LoopProvider → 按需创建生命周期/异常事件泵 → WrapApplication 包最外层委托 → 逐端点 Build 应用链 → 从后往前找能 CanBind 的传输工厂 → 冻结 Options 并 BindAsync → 起 accept loop 和 OnStarted。
任何一步失败,走 StopAsync 回滚。
为什么非得回滚?因为"半启动"的 Host 最难查:端口没绑上但线程还在跑,或者监听器绑上了但事件泵没起。这种状态在日志里看着像"启动了",在监控里看着像"没流量",排查时能把人逼疯。与其静默成功,不如显式拒绝。所以 Host 也不许重启,StopAsync 清空绑定、释放监听器之后,重启只会得到一个什么都不监听的空壳。
还有一处容易被忽略:连接被 accept,不等于连接建立。
PROXY 解析完、TLS 握手完、Transport 换成明文 IDuplexPipe,走到这道"建点屏障"之后,才发 OnOpened、才计入 active_connections、才开始记连接时长。握手失败、PROXY 畸形、准入拒绝,都不算建点。
顺序反过来的代价很具体:先发 OnOpened 再握手,监控上会看到大量"建立后立刻失败"的连接,曲线好看,排查全是噪声。
一条连接的一生
text
New ──► Active ──► Closed
│ │
└────────┴──► Aborted
Active 只说明泵起来了、能读能写,不代表已经建点 。真正建点看 Host 的 ConnectionHostState 和 OnOpened。这两个概念混一起,就会出现"连接数是 100,业务说只有 60 条能用"的对不上账。
除了状态,还有 AbortReason:前者回答"现在是什么状态",后者回答"为什么到这里"。两个都留着,半夜才有得查。
停机顺序是"先停入口,再排空,再释放":
- 跑停机回调,各监听器
UnbindAsync,不再接新连接; CloseAllConnections请求现有连接收尾,等 accept 循环退出;- 默认 5 秒宽限,超时对剩余连接
Abort(ServerShutdown),再等 1 秒; - Dispose 监听器和端点准入信号量,清空绑定;
- 排空生命周期/异常事件泵,反订阅各 loop 的
Fault; DisposeAsync才释放 EventLoopGroup、HandlerDispatcher、证书。
会话的 OnDisconnectedAsync 会收到 SessionCloseReason.Shutdown,不是 Remote。这就是"宿主关了"和"对端关了"的区别,差别不大,但排障时值钱。
两条 Pipe,和四个数
入站:
text
Socket → 读泵 → 入站 Pipe → FrameCodec.DecodeFrom → 帧中间件 → Handler / Session
出站:
text
Handler / Session.SendAsync → IFrameEncoder.EncodeTo → 出站 Pipe → 发送泵 → Socket send
几条细节,都是踩过才知道的:
- 读泵只负责把字节写进入站 Pipe,不拆帧、不认识业务。
- 拆帧发生在
FramedProtocol的读循环里,DecodeFrom反复调用直到NeedMoreData。 - 游标推进只有一处:读循环在
finally里AdvanceTo;解码器只回报bytesConsumed,不自己切source。 - 坏帧在宿主边界收敛:
InvalidData直接断连,不进业务。 - 编码器必须和解码器对称。没有配套
IFrameEncoder又没显式UseEncoder,装配期就失败,省得出现"能收不能回、回包不带定界符"这种隐性错误。
背压的水位就四个数,两个方向对称:
| 方向 | Pause | Resume |
|---|---|---|
| 入站 | 64 KB | 32 KB |
| 出站 | 64 KB | 32 KB |
入站超过 64 KB,读泵 await,不再从 Socket 读,压力顺着内核接收缓冲传回 TCP 窗口。出站超过 64 KB,写端 await,对端不读时发送泵停住,压力回传到业务。
为什么不另设一个"帧队列"?因为一旦上层再攒一层队列,就会出现"上层队列先满、Pipe 水位永不触发"的层级倒挂。那时候背压就变成一个摆设,内存该涨还是涨。Vane.NET 的选择很土:业务直接消费 PipeReader,背压只有一处。
PipeLimits.Unbounded 把四个阈值设成 long.MaxValue,只适合可信内网或压测基线。慢对端配上它,等于把内存交给对面管理。
零拷贝这条线也划得明确:frame 是 ReadOnlySequence<byte> 的切片,指向 Pipe 的缓冲区,只在本次回调内、下一次 DecodeFrom 之前 有效。要放进并发队列、跨线程处理、留到下一帧,必须自己复制。这不是框架偷懒,零拷贝就这个价:谁持有,谁负责复制。
线程:谁在跑业务
EventLoop 可以用银行柜台理解:一个柜台一个柜员,客户第一次被分到哪个柜台,之后所有手续都在那儿办,柜台之间不共享客户资料。号票队列是 MPSC,不是一把大锁;柜台空闲先自旋一小会儿,再让出 CPU。
落到实现:EventLoopGroup 管 N 条 loop,Post<T> 用节点池零分配入队,自旋 2000 次后 Thread.Yield;PostOrRun 发现已经站在该 loop 线程上就直接执行,省一次入队。
有个容易误读的点得说清楚:Vane.NET 不是"所有连接都在 loop 上零 Task 驱动"。
服务端的 SocketTransport、InProcess、NamedPipe、HTTP、WebSocket、QUIC、UDP 全经 PumpConnection 适配,构造时起两条 Task.Run 泵任务:ReceiveLoopAsync 把底层读进入站 Pipe,SendLoopAsync 把出站 Pipe 泵回底层写。它们是线程池上的异步泵,不是专属线程;业务回调、会话生命周期仍然回到连接所属的 loop。
客户端 TCP 快路径相反:SingleThreadPipe + SendSlot,读续体、Flush、回调都在 loop 上,一条泵任务都不建。
"每条连接一个 Task.Run"危险的地方不在于它会错,而在于很多人顺手把业务也塞进去了。10 万连接意味着 10 万到 20 万个长驻泵任务,调度和续体开销不可忽视;业务要是在泵任务里同步阻塞,线程池被打满,timer 和 completion 回调开始排队,然后全网一起慢。
所以分工是死的:泵任务只搬字节,不跑业务。
另外还有几件事不按连接增长:每个 Host 至多两条事件泵任务(生命周期、异常,都是 Task.Run 的线程池长任务,不占 loop 线程);超时和心跳由进程级 ConnectionHeartbeat 每秒扫一次绝对时间戳,一条后台线程,不是每连接一个 Timer。
什么时候该把业务下放?三种情况:CPU 密集、同步等待或阻塞 IO、需要并行度且不要求同连接保序。
csharp
Host.CreateDefault()
.UseHandlerDispatcher(workerCount: 2, queueCapacity: 1024)
.ListenLocalhost(8080);
代价是每帧一次队列投递;队列满时有界 Channel 形成背压,不会无限堆内存。注意它是给裸帧 handler 用的,ConnectionSession.OnReceivedAsync 要走 UseSessionDispatch,两个不是同一个开关。
零分配,只能说到这个份上
"零分配"这四个字很容易被吹过头。准确的说法是:内核骨架的正常帧路径零分配。
做得到的是这些:读循环不 new ReadResult / ReadOnlySequence;中间件 next 委托建连时缓存;EventLoop.Post 用节点池;SocketAwaitable 缓存;出站编码直接写 PipeWriter,不先造 byte[]。
做不到、也不打算算进来的:SendAsync(string) 的 UTF-8 编码;CobsFrameCodec 的内部解码缓冲;JsonObjectFrameCodec 的 JSON 解析;业务自己 ToArray();异常路径的堆栈和日志字符串。
热路径想少分配,用 ReadOnlyMemory<byte> / ReadOnlySequence<byte> 的重载,别用字符串那个。
性能这块我的看法可能不太讨喜:真正值钱的不是把每件事做得更快,而是每帧少做几件事。
不复制帧、不排第二层队列、不给每条连接起专属线程、不每帧重组中间件、不每次发送都分配编码缓冲、不在热路径打日志拼字符串。这六条比任何微优化都管用,而且改起来不用动架构。
异常按站点归属,不静默吞
内核把异常分三类:连接级的(帧坏、对端断、超时)、会话级的(业务回调抛了)、宿主级的(loop 故障、启动失败)。每一类都有自己的收口点,不会出现"某处 catch {} 把问题吃掉"。
观测面是四件套:EventSource 事件、Meter 指标、ILogSink 日志契约、生命周期事件。异常路径允许分配,堆栈和日志串都得要内存;为了"异常也零分配"把堆栈丢了,不划算。
一万四千行,一个 440 KB 的 DLL
内核现在约 1.4 万行代码,Release 编出来的 Vane.NET.dll 大概 440 KB,第三方依赖是零。
这个量级不算大,但已经到了必须靠分层和门禁维持的程度。每加一个公开成员,都得先问一句"它能不能放到扩展方法或插件里",不然公开面会一点点胖起来,最后收不住。
五个命门
这套架构不复杂,但有五条不能碰的线。碰了不会立刻报错,会在三个月后的某个凌晨报错。
- 连接归属不能乱。 连接落到哪个 loop,它的业务回调、会话生命周期、状态变更就别乱丢线程。泵任务在
PumpConnection里跑,不改变归属语义。 - 背压只能有一处。 Pipe 之上再攒队列,水位永远不触发。
- 帧生命周期不能延长。 跨回调持有必须复制,没有例外。
- 协议语义不能进内核。 请求 ID、topic、QoS 留在插件里,内核只认帧和连接。
- 配置不能在运行期改。 装配期冻结不是形式主义,是为了让"新老连接行为一致"这件事可验证。
守住这五条,内核能保持高内聚、可扩展、可观测;守不住,代码会越来越"聪明",也越来越难查。
写到这儿
上一篇我用了"轮子就轮子,能转就行"给自己找台阶。这一篇没法再用那句,架构这东西,转得动不算本事,转三年不变形才算。
1.0.0-preview.1 现在的状态是:传输、帧、连接治理、三种业务入口、观测面、可选集成包都跑通了,908 个测试全过,10 万空闲连接跑了 1800 秒,RSS 增量约 38 MB,Gen2 一次。gate 里还有 Partial / Unmeasured,正式版前得补完;预发布期间 API 还可能动,这点我不藏。
下一篇大概会写 RPC 和 MQTT 怎么从内核上"摘出去"。这俩拆仓之后各过各的,倒是把"协议插件不该住进内核"这句话演了一遍。要是你对某一段(背压、线程归属、命令注册表的冻结)想看得更细,说一声,我拆开单写。