从重尾到截断流量模型的演进

网络的流量模型一直都在变化,不管是 DCN \text{DCN} DCN 东西,南北流量还是广域网流量。所谓的适配就是针对流量模型的适配,一切网络相关的技术都要适配流量模型,随之而变化。

WWW \text{WWW} WWW 之前不多说,几乎无拥塞,无重尾,泊松到达,指数分布,妥妥的 M/M/1 建模。

先看早年的 WWW \text{WWW} WWW,即 1990 ∼ 2010 1990\sim2010 1990∼2010 年。

彼时网页,完整文件下载是主流,大文件没有大小限制,一条下载流持续时间就没有限制,单流大小差距极大,重尾效应非常明显。

少量下载吃掉绝大多数带宽,数据包连成不间断突发串,网络波动强,排队时延容易出现极端长尾,大家都在卷拥塞控制, CUBIC \text{CUBIC} CUBIC, Vegas \text{Vegas} Vegas 均在此阶段完成。

2010 \text{2010} 2010 年前后就进入了移动互联网的图文时代。

彼时除了编程的人,大家纷纷开始脱离 PC \text{PC} PC,而手机流量资费,屏幕尺寸限制,很少有人下载 GB \text{GB} GB 级文件,但图片会压缩,分块加载,超大流量变少,流量的重尾收窄,虽完整长视频点播依旧会产生长流,但受限于手机解码能力,这些长流已经不再有文件下载时代 capacity-seeking \text{capacity-seeking} capacity-seeking 的能力。

抖音,快手后,现在是短视频为主的时代。

平台约束,视频多控制在数十秒,并切成 2 ∼ 10 2\sim10 2∼10 秒小段分别存储和传输,用户刷视频一段段切换,和图文时代一样,不会长时间拉取单一大文件,加之边缘 CDN \text{CDN} CDN 缓存,多数视频分片在本地就近获取。

直观感受是流量开始变规整,本质是单条传输流量的大小被内容限制,极端的超大流大幅减少,重尾效应明显弱化。发散的重尾分布化作有界的截断型分布。

值得注意的是,虽然传输流逐渐在摆脱幂律,但内容热度的幂律却在加强,大 V \text{V} V 视频播放量,热门内容的访问热度增强幂律,和网络传输的数据流的幂律不同,不会造成网络拥塞抖动,但拥塞和抖动的压力给到了存储和缓存替换算法,这不是我的领域,不多说。

正如作用持续弱化的拥塞控制适配了 WWW \text{WWW} WWW 时代和图文时代的流量,那么当下网络必然要适配类似短视频这种规整流量。

在业务传输层面,传输协议承载短视频分片,码率和带宽的适配自动卸载到编解码能力,端到端拥塞控制比重下降。

转发调度层面,不用再重点针对超大长流做分流优化,优先短报文调度,减少短分片排队等待;简化队列分级,只把直播、通话单独划分优先级,普通短视频共用队列即可。

网络架构层面,也涉及拓扑,大量小型化边缘节点下沉缓存短视频,减少跨城,跨骨干流量传输,扩容按同时并发的短视频分片数量规划,不用再按超大文件峰值带宽计算。

若重新对此网络流量建模,不再默认用极重尾流量模型做仿真,改用有界的截断型流量分布,评估时延也不用重点考虑超大流造成的极端延迟。换句话说,我前面提到的重尾影响,减轻了。

但事出因果可能并非完全如眼见的那般。随着短视频成为主流,取代了昔日各类媒体后,直播互动也将诸如双 11 11 11,抢红包, 12306 12306 12306 抢票,秒杀等突发行为变成常态,它们便是新重尾的来源,微突发取代了大象流而已,广域网 DCN \text{DCN} DCN 化。

微突发要比大象流更容易调教,如 正确适配互联网理论模型 所述,增加随机延迟即可,公平且可控,早期 CSMA \text{CSMA} CSMA 网络的古典思路,万变不离其宗。

考虑未来的流量分布走势,规整短视频流量还会被另一类重尾流量抵消,重尾将再次汹涌回归。

短视频,直播互动微突发带来的规整流量只面向普通用户,两类新业务会重新制造大量超长超大流量:

  • 高清长视频, VR \text{VR} VR 全景体验,单段视频体积大幅上涨,重新出现持久数据流;
  • 数据,算力同步业务,数据集,大模型,备份单次传输量巨大,多节点同步数据形成集中重尾流量,突发问题会再次凸显;

网络将形成两种流量并存的局面,形成新特征:

  • C \text{C} C 端消费流量频持续规整,但长视频, VR \text{VR} VR 缓慢抬升尾部;
  • B \text{B} B 端 AI \text{AI} AI 流量是未来重尾重要来源, AI \text{AI} AI 推理,训练流量将成为新一代重尾主体;
  • 流量由机器触发,无人类行为离散化约束,自相似度远超早期 WWW \text{WWW} WWW;
  • 物联网形成海量小流,网络同时承载极致重尾流量和小刘;

这就对未来的网络提出了挑战。适配未来混合流量的思路还是流量区分,各归其位,就不展开了。

浙江温州皮鞋湿,下雨进水不会胖。

相关推荐
qq_401700411 小时前
Qt QSS 完全入门写出漂亮界面以及解决样式不生效问题
开发语言·qt
我是一颗柠檬2 小时前
【Java项目技术亮点】覆盖索引与索引下推优化
android·java·开发语言
2601_962440843 小时前
计算机毕业设计之健身房管理系统的设计与实现
java·开发语言·课程设计·旅游·宠物
旖-旎3 小时前
QT系统篇(5)(下)
开发语言·c++·qt
摇滚侠3 小时前
方法 A 等方法 B 执行完再执行 叫同步调用还是异步调用 JS 默认是同步调用还是异步调用
开发语言·javascript·ecmascript
liulun3 小时前
C++ WinRT中的事件
开发语言·c++
whitelbwwww4 小时前
c++运行onnx模型
开发语言·c++
码来的小朋友4 小时前
手把手教你用 Python + PyQt5 做一个可视化图片切图工具
开发语言·python·microsoft
Johnstons4 小时前
游戏网络测试怎么做?从延迟到丢包,一套完整的游戏弱网测试方案
网络·游戏·php