ClickHouse数据管理与同步的关键技术

2024年 5 月 18 日,ClickHouse官方首届杭州 Meetup 活动成功举行。**本次活动由 ClickHouse 和阿里云主办,NineData 和云数据库技术社区协办。**围绕ClickHouse的核心技术、应用案例、最佳实践、数据管理、以及迁移同步等方面,和行业专家展开交流探索。

本次活动,NineData 高级架构师周金义受邀参会,分享《ClickHouse 数据管理与同步的关键技术》的技术分享。

本文来自于周金义在ClickHouse沙龙·杭州站的公开分享整理:


我很荣幸能在此与大家分享关于ClickHouse领域的见解,特别是关于NineData在数据管理和同步方面的最新进展。今天,我将围绕三个主题进行讲解:

1. NineData简介

1.1 公司背景与团队

NineData是一家由行业资深专家创立的公司,其CEO曾在阿里云担任要职,负责数据库产品管理和解决方案的整体设计,推进云原生数据库产品体系的建设。包括知名的云原生数据库产品:DTS、DMS、DBS和DAS。引领了云原生数据库生态的发展,并成功推出了四款备受认可的产品:数据库DevOps、数据复制、备份与恢复以及数据对比,已在众多客户中得到了积极的反响。

2.2 NineData数据管理平台

NineData数据管理平台致力于提供高效、易用的解决方案,主要价值表现在权限管理、规范流程和开发协同。通过集成ClickHouse的强大功能,帮助用户更好地管理和优化他们的数据。平台专注于提升数据处理效率,简化运维流程,以满足现代企业对数据的需求。

1.3 NineData数据同步

在数据同步方面,NineData不断优化技术栈,构建了一套稳定且高效的架构,专为ClickHouse设计,旨在无缝连接各类数据源,实现实时或准实时的数据同步,确保数据一致性。

1.4 NineData架构总览

接下来,让我们深入了解NineData的四款核心产品。下面是对NineData智能数据管理平台的概览介绍。

第一点,DevOps模块是我们关注的重点。其核心价值在于实现高效协同开发,解决企业在多数据库环境中的挑战。随着业务的复杂性增加,企业往往使用多种数据库类型,包括TP、AP,甚至国产数据库。然而,对于开发人员和DBA而言,如何在一个统一平台上无缝访问这些不同类型的数据库,往往是他们面临的一大难题。目前市场上的解决方案往往无法覆盖所有数据库类型,这正是我们的DevOps平台所填补的空白。

其中,DevOps提供强大的权限管理,确保数据库系统的安全稳定。如果权限控制不当,可能导致生产环境的问题。此外,我们的系统还提供详尽的操作审计功能。每当在源库进行任何操作时,都会被精确记录,以便在出现问题时,能够追溯到特定员工在何时对哪个数据库进行了何种操作。这样的审计记录有助于我们及时发现并处理潜在问题,确保数据安全和合规性。

**第二部分,功能是数据复制。**许多老师已经介绍了TP(事务处理)和AP(分析处理)的概念,TP专注于事务处理,而AP则专注于分析处理。举例来说,将数据从MySQL同步到ClickHouse,因为MySQL并不擅长数据分析,但通过ClickHouse,我们可以实现在线数据分析的能力,从而充分发挥数据的价值。

在数据同步过程中,我们可以支持同构和异构两种能力,即同构数据同步和异构数据同步。在同步数据的过程中,我们可以监控同步链路性能以及处理异常信息,具备观测和干预的能力。

**第三部分,数据对比。**在数据同步过程中,常常会面临数据质量问题,尤其是在TP到AP的数据流转过程中。为了确保数据同步后的一致性,我们需要具备数据对比的能力,以确保数据质量,保证数据的准确性。

最后,大部分企业都会使用多云以及多数据源的架构,这种架构已经逐步成为趋势。为了让数据发挥最大的价值,通过数据同步,让数据在不同的云和不同的数据库类型之间进行流动,利用它们各自的优势来让数据产生更大的价值。

最后,在数据备份方面的解决方案 **。**尽管数据备份是公司的核心资产之一,如何有效保护这些数据是至关重要的。传统的数据备份方案,对备份集的有效性和RPO/RTO很难保障,以及备份成本高。通过我们的 NineData 备份,轻松的就能实现了跨云备份、异地备份,并且提供备份集的实时查询能力,让冷数据变热,无需再将备份恢复以验证其有效性,彻底解决了传统备份的问题。

通过 NineData 智能数据管理平台,我们可以跨不同的云、IDC和数据库进行数据传输同步:将数据传输到搜索平台、消息队列,甚至是数据仓库,然后借助 DevOps 中的 SQL IDE、权限管理和规范流程,开发协调等,为不同的角色提供服务,包括数据库开发、BI 开发、DBA 和业务运营。

2. NineData数据管理平台

2.1 NineData DevOps

NineData DevOps 作为高效安全的数据库管理平台,它分为两个版本:个人版和企业版。

NineData DevOps个人版(永久免费),具备与传统工具如 DBeaver 或 Navicat 相媲美的功能,例如 SQL 智能补全、数据查询、导入导出功能,以及可视化的表结构设计。此外,我们还添加了 AI 功能,包括自然语言转换和不同结构类型的转换。

NineData DevOps企业版,在个人版的基础功能外,还包含了组织权限管理、流程规范和不同环境下的变更发布和敏感数据管理功能。

举例来说,由于DBA和研发人员的比例,以及对数据库的熟悉程度不同,导致在数据管理上面会面临多个痛点:安全管控、开发效率低以及数据库的稳定性。但通过我们的全量管理、流程规范,开发协同,可以智能、高效地解决问题。

**在变更发布方面,**NineData 实现了 OnlineDDL 和 OnlineDML,无需担心操作会锁表导致线上数据库HANG的问题。此外,我们还实现了数据变更的回滚功能,可以快速对误操作SQL进行回滚,并且我们也提供了基于AI能力的索引的推荐功能。

最后,在敏感数据管理方面 **,**NineData 提供了自动发现、扫描和配置的脱敏策略规则和脱敏策略。不仅可以针对敏感列和自定义列进行脱敏,还也可以针对不同的开发人员进行脱敏设置,保证生产数据的安全。

2.2 NineData DevOps x ClickHouse

2.2.1 对象展示和SQL补全

通过对比市面上的ClickHouse客户端,NineData在图形用户界面(GUI)的直观性和功能完整性上占据领先地位,尤其是在处理ClickHouse特有的对象。并且在针对ClickHouse的SQL智能补全方面,我们的产品实现了平等且强大的支持。

右下角的部分显示了NineData对SQL补全功能的智能优化,无论是在ClickHouse还是其他支持的数据库上,都能提供高效辅助,显著提升了开发者的效率。

2.2.2 表创建和编辑

在NineData的GUI界面中,第二部分专注于可视化编辑:如表的创建和修改。当用户右键点击新建表时,我们提供了高度定制化体验。列名自定义是基础,更重要的是,我们支持用户从预设的下拉菜单中选择最新的数据库列类型,直至24.3版本的所有兼容类型,无需自行输入,简化了操作流程。

对于索引设置,同样具备最新版本的索引特性支持,使得表设计更为灵活。并且在进行可视化表设计时,可以实时生成的SQL脚本,便于在不同环节使用。

此外,我们还提供了其他丰富的选项,包括存储引擎选择(如MergeTree或其他),以及集群集成。用户可以根据需求选择本地表或分布式表,这充分契合ClickHouse的现代数据处理需求,展示了我们GUI的高级功能。

2.2.3 灵活高效的业务审批流程与规范

在开发人员广泛使用的工具中,SQL质量控制至关重要。鉴于开发人员的知识水平差异可能导致编写出不规范或性能不佳的SQL,实施严格的规范审核显得尤为重要。目前,NineData 已建立了一套包含约100多项标准的规则库,涵盖结构设计、引擎选择、组件构建等多个层面。一旦SQL检测到违规,系统会采取相应措施,如阻断或提供改进建议。

通过遵循我们的规范,开发人员在获得反馈并接受建议后,将发起进一步流程,包括提交给上级主管审批。审批通过后,SQL将按照建议进行调整,并在各个阶段执行。这样,我们的系统确保上线的SQL始终保持高质量,避免不符合规范的问题出现,从而提升整体代码质量和数据库的稳定性。

在NineData的流程管理系统中,上述的SQL提交后,作为工单被发起。支持多级审批 **,审批者可以根据需求灵活创建多个审批节点,或选择自动执行或定时任务。**特别地,为适应DBA的日常需求,我们设计了定时处理功能,避免在非工作时间执行DDL操作,确保合规性与效率。

对于不确定的问题,如SQL执行错误或失败,NineData提供了回滚SQL功能和异常自动捕获,并允许用户自定义错误处理策略,如错误报告或定制解决方案,整合于审核模板中。一旦执行成功,工作流程将清晰展示,显示完整的执行状态。

2.2.4 NineData 数据同步

数据作为企业的核心资产,其价值的实现依赖于有效的流动。NineData提供的数据同步,让数据在不同的云和不同的数据库类型之间进行流动,利用它们各自的优势来让数据产生更大的价值。

首先,我们的数据同步技术具备结构映射能力,针对异构数据源之间的差异,如从MySQL迁移到ClickHouse,它能智能地构建适应新环境的数据库结构。完成结构同步后,我们支持全量数据迁移,紧接着是基于日志变化数据捕获(CDC)的增量同步,确保数据实时且准确地同步。

然而,数据同步过程中的数据质量控制也至关重要。为此,NineData内置了数据对比功能,实时监控数据同步,自动检测并纠正任何潜在的不一致性,以保护数据的一致性,防止数据错误的发生。

2.2.5 NineData 数据同步能力和优势

NineData 的数据同步解决方案已经实现了显著的进步,支持超过20种不同类型的数据库源,包括同构和异构环境下的单向和双向数据复制。在理想条件下,即数据库性能未受瓶颈(如带宽或I/O)限制时,我们能够实现每秒高达10万+的行处理速率(RPS)。通过精准的数据对比,我们确保数据的一致性,并提供灵活的控制,如限流和暂停功能,以适应不同场景的需求。即使在高峰期过后,也能暂停任务,待启动后支持断点续传,保证同步链路的稳定性。

对于双活或多活场景,NineData 数据同步逐步开始支持双向同步,并且也支持同步到Kafka,直接消费来写入到目标实例。

2.2.6 NineData 数据同步能力

第一次接触ClickHouse是在2017年,在Percona的一篇博客文章中了解到它的强大。直到2020年才真正开始使用,但在使用过程中遇到了一些问题,比如无主键表无法同步的情况、增量同步异常后的处理,目前市面上的同步工具也未能很好地解决这个问题。

在NineData集成ClickHouse方面,不仅解决了上面说的问题,还在数据类型支持方面比ClickHouse官方的同步引擎(materialsMySQL)更加全面,特别是在空间类型和地理位置类型方面。除了类型外,对增量的DDL和DML的支持、断点续传、限流、对比以及ETL方面都支持的更加全面。

在 NineData 的数据同步框架中,分为四个关键模块,首先是结构复制。具体来说,结构复制(同异构)完成后,如图所示,可以清晰地查看生成的DDL(数据定义语言),例如MySQL创建表的SQL语句如何转换为ClickHouse的相应操作。

全量同步部分,界面与结构同步保持一致,除了任务状态和实时进度显示,还具备流量控制功能。当业务高峰期面临压力时,能够实时实施限流操作,保证数据库的稳定。在性能上,远超竞品,提供强劲的全量复制性能。

接下来是增量同步,支持DML(数据操纵语言)操作,包括数据插入、删除和列名/长度变更。在性能方面,通过攒批、逻辑合并等技术,也提供了强劲的增量复制性能。

当增量数据传输无延迟时,NineData进行数据一致性检查(数据对比)。根据不同的需求通过不同的对比策略,确保复制数据的一致。一旦发现数据不一致,系统会标识差异,并生成用于修复的SQL变更指令。执行这些修复操作后,目标端数据将与源端一致。

最后,在数据复制流程中,虽然任务看似复杂,包括全量、增量和结构对比等环节,但其实配置过程极其便捷。只需在界面左侧录入数据源,创建一个复制任务,设置完成后,自动的完成全量、增量数据同步和数据对比。在 NineData 数据复制整个配置过程简洁高效,一分钟即可完成。

3. ClickHouse全球 合作伙伴

去年底,NineData公司还与ClickHouse合作,加强了ClickHouse在我们生态系统中的建设。我们期待与ClickHouse携手,共创一个更为成熟、充满活力的生态系统,为所有用户提供卓越的体验。感谢大家一直以来的支持,让我们共同见证这一转变并期待未来的更多可能。

相关推荐
大白要努力!1 分钟前
android 使用SQLiteOpenHelper 如何优化数据库的性能
android·数据库·oracle
tatasix1 小时前
MySQL UPDATE语句执行链路解析
数据库·mysql
南城花随雪。1 小时前
硬盘(HDD)与固态硬盘(SSD)详细解读
数据库
儿时可乖了1 小时前
使用 Java 操作 SQLite 数据库
java·数据库·sqlite
懒是一种态度1 小时前
Golang 调用 mongodb 的函数
数据库·mongodb·golang
天海华兮1 小时前
mysql 去重 补全 取出重复 变量 函数 和存储过程
数据库·mysql
gma9992 小时前
Etcd 框架
数据库·etcd
爱吃青椒不爱吃西红柿‍️2 小时前
华为ASP与CSP是什么?
服务器·前端·数据库
Yz98763 小时前
hive的存储格式
大数据·数据库·数据仓库·hive·hadoop·数据库开发
胡耀超3 小时前
《DAMA 数据管理知识体系指南》读书笔记 - 第 2 章 数据处理伦理
数据·数据管理·数据处理伦理