apache pulsar

鼠鼠我捏,要死了捏5 小时前
性能优化·apache pulsar·可用性
Apache Pulsar性能与可用性优化实践指南随着微服务、实时计算和大数据平台的普及,消息系统承担了海量数据的传输与解耦任务。Apache Pulsar作为新一代分布式消息与流处理系统,拥有多租户、持久化存储和灵活一致性的特点,已经在千亿级消息场景中得到广泛应用。然而,在生产环境中,如何在高并发、海量主题、跨地域集群等复杂场景下,保证Pulsar的性能与可用性,一直是工程师面临的挑战。
腾讯云中间件1 年前
消息队列·apache·apache pulsar
Apache BookKeeper 一致性协议解析Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制(GEO replication)、快速扩容、灵活容错等特性。Pulsar 存储层依托于 BookKeeper 组件,所以本文简单探讨一下 BookKeeper(下文简称 BK) 的一致性协议是如何实现的。
腾讯云中间件1 年前
大数据·flink·apache·apache pulsar
Flink 基于 TDMQ Apache Pulsar 的离线场景使用实践Apache Flink 是一个开源的流处理和批处理框架,具有高吞吐量、低延迟的流式引擎,支持事件时间处理和状态管理,以及确保在机器故障时的容错性和一次性语义。Flink 的核心是一个分布式流数据处理引擎,支持 Java、Scala、Python 和 SQL 编程语言,可以在集群或云环境中执行数据流程序。它提供了 DataStream API 用于处理有界或无界数据流,DataSet API 用于处理有界数据集,以及 Table API 和 SQL 接口用于关系型流和批处理。目前 Flink 最新已经迭代
腾讯云中间件1 年前
apache·腾讯云·apache pulsar
腾讯云 TDMQ for Apache Pulsar 多地区高可用容灾实践林宇强腾讯云高级工程师专注于消息队列、API网关、微服务、数据同步等 PaaS 领域。有多年的开发和维护经验,目前在腾讯云从事 TDMQ Pulsar 商业化产品方向的研发工作。