spark on k8s - spark on k8s技术,学习,经验文章

隔窗听雨眠

3 小时前

从资源孤岛到统一资源池：vivo大数据平台Spark on K8s混部实战解析在vivo大数据平台的发展历程中，资源利用率的提升始终是一个核心命题。随着业务规模的持续扩张，在线服务与离线计算对资源的需求呈现出截然不同的特征。在线服务需要低延迟、高稳定的资源保障，而离线计算则追求高吞吐、可容忍延迟的弹性资源。传统做法是将两类业务部署在独立的物理集群中，通过硬隔离保证稳定性，但代价是资源利用率长期偏低，在线集群在业务低谷期大量资源闲置，离线集群在高峰期又常常资源不足。