从重尾到截断流量模型的演进

网络的流量模型一直都在变化,不管是 DCN \text{DCN} DCN 东西,南北流量还是广域网流量。所谓的适配就是针对流量模型的适配,一切网络相关的技术都要适配流量模型,随之而变化。

WWW \text{WWW} WWW 之前不多说,几乎无拥塞,无重尾,泊松到达,指数分布,妥妥的 M/M/1 建模。

先看早年的 WWW \text{WWW} WWW,即 1990 ∼ 2010 1990\sim2010 1990∼2010 年。

彼时网页,完整文件下载是主流,大文件没有大小限制,一条下载流持续时间就没有限制,单流大小差距极大,重尾效应非常明显。

少量下载吃掉绝大多数带宽,数据包连成不间断突发串,网络波动强,排队时延容易出现极端长尾,大家都在卷拥塞控制, CUBIC \text{CUBIC} CUBIC, Vegas \text{Vegas} Vegas 均在此阶段完成。

2010 \text{2010} 2010 年前后就进入了移动互联网的图文时代。

彼时除了编程的人,大家纷纷开始脱离 PC \text{PC} PC,而手机流量资费,屏幕尺寸限制,很少有人下载 GB \text{GB} GB 级文件,但图片会压缩,分块加载,超大流量变少,流量的重尾收窄,虽完整长视频点播依旧会产生长流,但受限于手机解码能力,这些长流已经不再有文件下载时代 capacity-seeking \text{capacity-seeking} capacity-seeking 的能力。

抖音,快手后,现在是短视频为主的时代。

平台约束,视频多控制在数十秒,并切成 2 ∼ 10 2\sim10 2∼10 秒小段分别存储和传输,用户刷视频一段段切换,和图文时代一样,不会长时间拉取单一大文件,加之边缘 CDN \text{CDN} CDN 缓存,多数视频分片在本地就近获取。

直观感受是流量开始变规整,本质是单条传输流量的大小被内容限制,极端的超大流大幅减少,重尾效应明显弱化。发散的重尾分布化作有界的截断型分布。

值得注意的是,虽然传输流逐渐在摆脱幂律,但内容热度的幂律却在加强,大 V \text{V} V 视频播放量,热门内容的访问热度增强幂律,和网络传输的数据流的幂律不同,不会造成网络拥塞抖动,但拥塞和抖动的压力给到了存储和缓存替换算法,这不是我的领域,不多说。

正如作用持续弱化的拥塞控制适配了 WWW \text{WWW} WWW 时代和图文时代的流量,那么当下网络必然要适配类似短视频这种规整流量。

在业务传输层面,传输协议承载短视频分片,码率和带宽的适配自动卸载到编解码能力,端到端拥塞控制比重下降。

转发调度层面,不用再重点针对超大长流做分流优化,优先短报文调度,减少短分片排队等待;简化队列分级,只把直播、通话单独划分优先级,普通短视频共用队列即可。

网络架构层面,也涉及拓扑,大量小型化边缘节点下沉缓存短视频,减少跨城,跨骨干流量传输,扩容按同时并发的短视频分片数量规划,不用再按超大文件峰值带宽计算。

若重新对此网络流量建模,不再默认用极重尾流量模型做仿真,改用有界的截断型流量分布,评估时延也不用重点考虑超大流造成的极端延迟。换句话说,我前面提到的重尾影响,减轻了。

但事出因果可能并非完全如眼见的那般。随着短视频成为主流,取代了昔日各类媒体后,直播互动也将诸如双 11 11 11,抢红包, 12306 12306 12306 抢票,秒杀等突发行为变成常态,它们便是新重尾的来源,微突发取代了大象流而已,广域网 DCN \text{DCN} DCN 化。

微突发要比大象流更容易调教,如 正确适配互联网理论模型 所述,增加随机延迟即可,公平且可控,早期 CSMA \text{CSMA} CSMA 网络的古典思路,万变不离其宗。

考虑未来的流量分布走势,规整短视频流量还会被另一类重尾流量抵消,重尾将再次汹涌回归。

短视频,直播互动微突发带来的规整流量只面向普通用户,两类新业务会重新制造大量超长超大流量:

  • 高清长视频, VR \text{VR} VR 全景体验,单段视频体积大幅上涨,重新出现持久数据流;
  • 数据,算力同步业务,数据集,大模型,备份单次传输量巨大,多节点同步数据形成集中重尾流量,突发问题会再次凸显;

网络将形成两种流量并存的局面,形成新特征:

  • C \text{C} C 端消费流量频持续规整,但长视频, VR \text{VR} VR 缓慢抬升尾部;
  • B \text{B} B 端 AI \text{AI} AI 流量是未来重尾重要来源, AI \text{AI} AI 推理,训练流量将成为新一代重尾主体;
  • 流量由机器触发,无人类行为离散化约束,自相似度远超早期 WWW \text{WWW} WWW;
  • 物联网形成海量小流,网络同时承载极致重尾流量和小刘;

这就对未来的网络提出了挑战。适配未来混合流量的思路还是流量区分,各归其位,就不展开了。

浙江温州皮鞋湿,下雨进水不会胖。

相关推荐
Scott9999HH7 小时前
【IIoT流量实战】蒸汽管道阀门全关却仍有流量?用 Python 实现涡街信号 FFT 频谱分析与温压全补偿积算网关,深度拆解靠谱的涡街流量计厂家硬核技术标准
开发语言·python
码智社8 小时前
AES加密原理详解及Java实现加解密实战
java·开发语言
AI云海8 小时前
python 列表、元组、集合和字典
开发语言·python
萧瑟余晖9 小时前
JDK 26 新特性详解
java·开发语言
马优晨9 小时前
Freemarker 完整讲解(后端 Java 模板引擎)
java·开发语言·freemarker·freemarker 完整讲解·freemarker模板引擎
人邮异步社区11 小时前
怎么把C语言学到精通?
c语言·开发语言
心平气和量大福大12 小时前
C#-WPF-控件-TextBox 数据绑定
开发语言·c#·wpf
ttwuai12 小时前
Cursor 生成 CRUD 后,Go 后台接口别只测 200:JWT、RBAC 和 tenant_id 怎么验
开发语言·后端·golang
এ慕ོ冬℘゜12 小时前
前端基础:什么是时间戳?JS获取时间戳三种方法与实战用途
开发语言·前端·javascript
执明wa12 小时前
LayoutInflater详解: XML是如何变成View的?
android·xml·开发语言·android studio