从 Snowflake 到 Databend Cloud:全球游戏平台借助 Databend 实现实时数据处理

导读:某全球游戏平台为全球数百万玩家提供实时的技能型游戏体验与无缝的实时互动。对该游戏平台而言,保持数据的实时更新和实时分析,对提升玩家互动和留存率至关重要。他们在使用 Snowflake 进行实时数据摄取和分析时遇到了重大挑战,且成本居高不下。为了更高效地实现实时数据分析,该平台从 Snowflake 迁移到 Databend Cloud,成本降低了 50%,实现了具有秒级任务支持的实时数据 ELT 过程,提供实时数据洞察。

某游戏公司是一家全球游戏平台,擅长为全球数百万玩家提供实时的技能型游戏体验。同时,该游戏公司还在广告、支付和玩家互动领域走在前沿,开发出先进的解决方案,确保其多款热门游戏能够实现无缝的实时互动。

这家全球游戏公司使用 Amazon Aurora 来存储实时的用户活动、广告事件和财务数据。这些数据再以 JSON 文件的形式导出到 S3 Bucket,并被导入 Snowflake 作为原始数据表。利用 Snowflake 的流和任务功能,将包括玩家操作、游戏内购买和匹配详情在内的数据,转化为多个精细化的数据表。对该游戏平台而言,在 Snowflake 中保持数据的准确和实时更新,对提升玩家互动和留存率至关重要,可以确保游戏体验的流畅和及时响应。

Snowflake 在处理实时数据时面临的挑战:云计算成本急剧上升

该游戏平台在使用 Snowflake 进行实时数据摄取和分析时遇到了重大挑战。平台需要实时处理从 Aurora 二进制日志生成到 S3 上的 JSON 文件中的用户数据。然而,Snowflake 在实现亚秒级的数据摄取和转换方面表现不佳,但这对于更新原始数据表和维护实时用户活动流至关重要。

此外,Snowflake 的定价模型在处理此类任务时显得不够实用,它对任务等云服务收取了过高的费用。由于没有直接支持亚秒级任务的 SQL 功能,该游戏平台被迫使用分钟级的任务和 SQL 脚本,导致成本大幅上升。这种无法实时处理数据的限制,造成了数据分析的空白,影响了他们对客户参与度和广告效果的有效评估。

更为重要的是,即使已经是大容量的企业客户,他们也未能得到 Snowflake 足够的官方支持。有一次在向 Snowflake 提交工单后,技术人员等待了四个小时后才收到回复,虽然很快解决了问题,但业务却影响了四个小时以上。

为了降低成本、更高效地利用资源和得到更好的专业服务支持,该平台决定从 Snowflake 迁移到 Databend Cloud。

这家全球游戏平台公司最初在 GitHub 上发现了 Databend Cloud,对 Databend 提出的 Snowflake 开源替代方案产生了浓厚的兴趣。他们对 Databend Cloud 支持熟悉的 SQL 语法和强大的流处理与任务功能印象深刻。其中,特别吸引他们的是 Databend 在数据摄取、转换和分析方面承诺的 10 倍性能提升以及亚秒级任务支持。Databend Cloud 清晰且更具成本效益的定价模型完美契合了公司的需求和目标。

数据的实时导入

Databend Cloud 在 AWS 上提供 Serverless 数据云服务,支持强大的 SQL 功能,并提供了完整的 TPC-H 基准测试。产品特性还包括事务处理和 Python/JS 编写的用户定义函数(UDF),以及支持多种 DML(数据操作语言)操作,如插入、更新和合并等。

该游戏平台仅用了三周时间就将数千个涉及数据摄取、变更数据捕获(CDC)、转换和仪表板的 SQL 查询迁移到 Databend Cloud。由于 Databend Cloud 与 Snowflake 的 SQL 语法兼容,这一迁移过程非常顺利。

为数据需求提供可靠且可预测的定价方案

Databend Cloud 基于计算与存储分离架构,并提供分钟级的自动挂起和恢复功能,大幅降低了成本。与 Snowflake 不同的是,后者的任务调度服务可能占总成本的 50%,且这部分成本不透明无法预估,而 Databend Cloud 提供了更简单且可预测的定价模式。

使用 Databend Cloud 后,公司的成本降低了 50%,这得益于 Databend Cloud 清晰且一致的定价模式。这种透明性使游戏平台能够高效地管理和预测每月的数据管理费用。他们成功地将大量历史数据迁移到 Databend Cloud,实现了每月处理多达 1000 亿行数据,并且所有成本都是完全透明的。这一转变使他们能够为客户提供全面且实时的业务洞察,而无需担心意外的财务负担。

该游戏平台技术负责人表示:"我们对 Databend 提供的快速且可靠的服务深表感谢,产品在数据流处理方面的出色表现显然处于行业领先地位。经过顺利的为期三周的整合,我们的平台将 Databend 引入我们的生产系统。感谢所有参与此项目的人的辛勤付出。我们期待看到 Databend 的不断成长,并取得更大的成就!"

轻松优化实时数据处理流程

Databend Cloud 提供强大的流处理和任务执行能力,为客户带来卓越的性能和易用性。该游戏平台通过 Databend Cloud 高效地将大量数据摄取到一个原始表中,并利用多个流无缝分发和转换这些数据,使用外部 UDF 满足各种业务需求。

借助 Databend Cloud,该平台实现了每秒摄取 10,000 行数据的稳定速率,并能安排亚秒级的任务执行,提供实时洞察。这使他们每月能够处理和分析 1000 亿行数据,大大提升了数据操作效率,推动了更好的业务成果。如今,该平台享受着可靠且高效的实时数据处理,使他们能够专注于提供卓越的游戏体验,并 更精细化 地做出数据驱动的决策

用户收益

  • 得益于 Databend Cloud 与 Snowflake 高度相似的 SQL 语法,以及任务、流处理和多表数据操作的全面支持,该游戏平台从 Snowflake 迁移到 Databend Cloud 的过程非常简单,团队几乎无需额外学习即可上手。
  • Databend Cloud 实现了真正意义上的实时 ETL,提供秒级甚至亚秒级的数据处理能力,让游戏平台实现了实时数据分析,推动了游戏业务的快速发展。
  • 使用 Databend Cloud 后,游戏平台运营成本显著下降,性价比大幅提升,达到有效的降本增效目标。
  • Databend Cloud 提供快速、分钟级的专属技术支持服务,让客户安心专注于自身业务的创新和发展。

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式湖仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

👨‍💻‍ Databend Cloud:databend.cn

📖 Databend 文档:docs.databend.com

💻 Wechat:Databend

✨ GitHub:github.com/databendlab...

相关推荐
jun_bai4 分钟前
postgresql数据库免安装版安装到windows系统
数据库·postgresql
weixin_538601975 分钟前
智能体测开Day33
数据库·oracle
番茄炒鸡蛋加糖9 分钟前
Redis--Lua 脚本原子性与滑动窗口限流
数据库·redis·lua
瀚高PG实验室39 分钟前
DELETE 条件字段缺少索引导致 SuperSync 同步严重延迟
数据库·postgresql·瀚高数据库
笃行3501 小时前
优化器凭什么改写你的 SQL:等价变换、条件调度与主流数据库的取舍
数据库
KaMeidebaby1 小时前
卡梅德生物技术快报|bli亲和力检测gst:告别批量跑胶:BLI实时酶切监测技术加速GST融合蛋白下游流程优化
前端·网络·数据库·人工智能·算法
千维百策6661 小时前
运用 SRE 原则降低生产事故影响:CRE 实战经验与可靠性优化方法
网络·数据库·人工智能
笃行3501 小时前
能跑不等于正确:生产环境不规范 SQL 的隐藏风险与编码规范
数据库
Database_Cool_2 小时前
云数据库控制台好不好用、能不能可视化操作:阿里云 RDS MySQL 控制台体验详解
数据库·mysql·阿里云
霸道流氓气质2 小时前
SpringBoot中基于 AES-GCM + KMS 密钥管理的数据加解密 Starter 实践
java·数据库·spring boot