实时化与Serverless是开源大数据3.0时代的必然选择

近日在2023云栖大会上,阿里云开源大数据产品进行了年度发布:E-MapReduce、Elasticsearch 等开源大数据产品全面 Serverless 化;创新性推出 Flink 与 Paimon 搭档的新一代流式湖仓;拥抱 AI,推出 Milvus 全托管服务,升级智能运维工具 EMR Doctor 以及 Flink Advisor。

核心组件全面Serverless化

在大会上,阿里云开源大数据平台负责人王峰,回顾了阿里云开源大数据技术演进路线:自2009年起,经历了以大数据上云为代表的1.0时代,以数据湖和实时化为代表的2.0时代,如今阿里云开源大数据平台迈向了3.0时代,随着云原生架构的深入落地,已将开源大数据平台的核心计算组件 Flink、EMR Spark、StarRocks 和存储组件 OSS-HDFS 等全部实现 Serverless 化。

产品性价比飙升2倍

阿里云开源大数据产品总监陈守元表示, 阿里云开源大数据产品通过底层技术优化,包括集成倚天710芯片和自研引擎功能增强等,用户使用成本大幅降低50%,引擎性能相比于开源版本提升1~3倍,综合性价比提升超2倍。

· 阿里云 E-MapReduce 全新上线 Serverless StarRocks 和 Serverless Spark,为用户提供全托管、免运维等服务。湖存储 OSS-HDFS 和一站式湖管理平台 DLF 全新升级,为企业构建现代开源开放的数据湖仓提供一站式服务。

· 阿里云实时计算 Flink 版推出企业级数据集成方案,配合 Flink 优秀的管道能力和丰富的上下游生态,可高效实现海量数据的实时集成。

· 阿里云检索分析服务 Elasticsearch 版推出兼容开源、按需使用的 Serverless 版本,平台会根据业务流量波动,自动调度决定资源的增加或缩减,秒级弹性扩缩,实现负载与资源动态匹配的按量付费。

数据分析正从传统Hive模式向湖仓架构升级 ,阿里云从大量实践中推断,实时化是湖仓分析下一步的演进方向。在这种技术趋势下,阿里云基于黄金搭档Flink+Paimon,打造出新一代的流式湖仓新方案,为用户提供一站式数据入湖、实时加工和探查分析能力,拓展数据湖场景的实时计算能力,Flink批计算已在云上实现生产可用,支持湖上批量数据处理和作业调度。在5亿条数据入湖场景中,与开源Hudi方案相比,阿里云流式湖仓方案Upsert性能提升超过4倍,Scan性能提升超过10倍。

更智能的开源大数据

当前AI全面爆发,阿里云开源大数据平台也将AI技术引入大数据平台体系中,升级了智能化运维工具 EMR Doctor、Flink Advisor,并已广泛应用于客户和阿里云内部平台运维,平均集群问题识别时间减少30% ,集群资源有效利用率提升75%,帮助阿里云开源大数据平台实现智能化运维和数据管理。同时,阿里云推出了Milvus全托管服务,为多模态数据提供向量检索能力,加速客户AI应用。

相关推荐
breaksoftware4 小时前
低代码开源项目Joget的研究——Joget7社区版安装部署
低代码·开源
笑呵呵的大文子6 小时前
论文分享—— 软件物料清单(SBOM)开源与专有工具的现状研究
开源·sbom
魔众9 小时前
一个桌面工具条系统,插件一键启动,快速扩展提高工作效率
开源·php·laravel·blog
customer0810 小时前
【开源免费】基于SpringBoot+Vue.JS安康旅游网站(JAVA毕业设计)
java·vue.js·spring boot·后端·kafka·开源·旅游
木卫二号Coding12 小时前
宝塔-firefox(Docker应用)-构建自己的Web浏览器
linux·docker·开源
酷讯网络_24087016014 小时前
【全开源】Java多语言tiktok跨境商城TikTok内嵌商城送搭建教程
java·开发语言·开源
是小崔啊17 小时前
开源轮子 - HTTP Client组件
网络协议·http·开源
ai产品老杨17 小时前
报警推送消息升级的名厨亮灶开源了。
vue.js·人工智能·安全·开源·音视频
智源研究院官方账号17 小时前
智源研究院与安谋科技达成战略合作,共建开源AI“芯”生态
人工智能·开源
算力魔方AIPC17 小时前
在算力魔方上运行Genesis:一款颠覆性开源生成式物理引擎!
开源