数据传输服务DTS

文章目录

- 一、概述
- 二、DTS智能助手
- 三、数据同步方案
- - [1、源为自建MySQL或RDS MySQL](#1、源为自建MySQL或RDS MySQL)
  - [2、源为AnalyticDB MySQL 3.0](#2、源为AnalyticDB MySQL 3.0)

一、概述

1、简介

数据传输服务DTS（Data Transmission Service）是阿里云提供的一站式数据传输与处理平台。它集成了数据迁移、数据同步、数据订阅、数据加工以及数据校验等核心能力，致力于在多种数据源之间，构建安全、可靠、高性能的数据流动链路，以满足业务上云、异地灾备和实时数仓等多样化场景需求。

2、核心能力

DTS围绕数据的流动，提供了丰富且强大的核心能力，覆盖从数据迁移、实时同步到增量订阅等多种场景。这些能力可以归纳为以下几大类型：

功能类型	主要能力	适用场景
数据传输_数据迁移	将数据从一个数据源一次性地迁移至另一个数据源。支持同构和异构数据库，可实现在业务不停服的情况下进行数据迁移，将停机时间降至分钟级。	业务上云、数据库搬迁等。
数据传输_数据同步	在不同数据源之间建立实时、持续的数据同步链路，可以实现数据库之间的对等同步（支持单向或双向），从而构建高可用或高性能的数据架构。同时，提供额外的数据投递链路，支持使用SDK将各种类型的增量数据（如日志数据或其他特殊数据类型）投递至指定数据源。	版本升级、数据拆分或扩容、异地多活、异地灾备、跨境同步、查询报表分流、构建实时数据仓库等。
数据订阅	实时捕获源数据库的增量变化数据（如`INSERT/UPDATE/DELETE`操作），供下游应用按需消费。	缓存更新策略、业务逻辑异步解耦、为复杂ETL或异构数据源同步提供实时数据流。
数据加工	在数据流动过程中，对流式数据进行实时的抽取（Extract）、转换（Transform）和加载（Load）。	满足实时数据清洗、格式转换、字段增删等数据处理和计算需求。
数据校验	支持在数据迁移或同步任务中，或创建独立的数据校验任务，对比源端和目标端的数据，以验证数据的一致性。	作为一项保障能力，帮助您及时发现并定位数据不一致问题，确保数据传输的准确性。

3、产品架构

3.1、系统架构

DTS系统架构特性说明

系统高可用

数据传输服务内部每个模块都有主备架构，保证系统高可用。容灾系统实时检测每个节点的健康状况，一旦发现某个节点异常，会将链路快速切换到其他节点。
数据源地址动态适配

对于数据订阅及同步链路，容灾系统还会监测数据源的连接地址切换等变更操作，一旦发现数据源发生连接地址变更，它会动态适配数据源新的连接方式，在数据源变更的情况下，保证链路的稳定性。

3.2、数据迁移工作原理

数据迁移过程包括三个阶段，即结构迁移、全量数据迁移和增量数据迁移。如果需要在迁移期间保持源数据库的正常运行，当您在配置迁移任务时，必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。

结构迁移：在迁移数据之前，DTS需要在目标数据库中重新创建数据结构。对于异构数据库之间的迁移，DTS会解析源数据库的DDL代码，将代码转换成目标数据库的语法，然后在目标数据库中重新创建结构对象。
全量数据迁移：在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到目标数据库。源数据库保持运行状态，在迁移过程中仍不断进行数据更新。 DTS使用增量数据读取模块来获取全量数据迁移过程中发生的数据更新。当全量数据迁移开始时，增量数据读取模块将被激活。在全量数据迁移阶段，增量数据会被解析、重新格式化并存储在本地DTS服务器上。
增量数据迁移：当全量数据迁移完成后，DTS会检索本地存储的增量数据，重新格式化，并将数据更新应用到目标数据库中。此过程将持续下去，直到所有正在进行的数据变更都复制到目标数据库，并且源数据库和目标数据库完全同步。

3.3、数据同步的工作原理

DTS可以在两个数据源之间同步正在进行的数据变更。数据同步通常用于OLTP到OLAP的数据传输。数据同步包括以下两个阶段：

同步初始化：DTS先开始收集增量数据，然后将源数据库的结构和存量数据加载到目标数据库。
数据实时同步：DTS同步正在进行的数据变更，并保持源数据库和目标数据库的同步。

为了同步正在进行的数据变更，DTS使用两个处理事务日志的模块：

事务日志读取模块：日志读取模块从源实例读取原始数据，经过解析、过滤及标准格式化，最终将数据在本地持久化。日志读取模块通过数据库协议连接并读取源实例的增量日志。如果源数据库为RDS MySQL，那么数据抓取模块通过Binlog dump协议连接源库。
日志回放模块：日志回放模块从日志读取模块中请求增量数据，并根据用户配置的同步对象进行数据过滤，然后在保证事务时序性及事务一致性的前提下，将日志记录同步到目标实例。

DTS具备日志读取模块、日志回放模块的高可用，DTS容灾系统一旦检测到链路异常，就会在健康服务节点上断点重启链路，从而有效保证同步链路的高可用。

二、DTS智能助手

DTS智能助手是数据传输服务DTS（Data Transmission Service）基于阿里云大模型构建的智能问答助手。该功能利用深度学习与自然语言处理技术，为您提供DTS常见问题的咨询服务，帮助您全面了解并使用DTS的各项功能，同时协助解决在使用DTS过程中遇到的问题。

优势

智能问答

通过先进的人工智能算法快速准确地理解并回答提问，从而减轻技术支持人员的压力，同时提升解决问题的效率。
全面覆盖

涵盖DTS的所有核心功能与应用场景，即使是首次接触DTS的新手也能够迅速获取相关的帮助信息。
个性化推荐

根据您的查询记录和个人偏好，在答复末尾主动推送相关教程或解决方案，协助您获取适合的帮助信息。
持续更新

随着DTS产品的迭代和技术的进步，DTS智能助手的知识库将持续扩充和完善，以确保为您提供全面的帮助信息。

操作步骤

登录数据传输服务DTS控制台。
进入DTS智能助手对话框。

有如下两种方式进入对话框，请根据实际情况选择。
- 在页面右上方，单击。
- 在任务列表（数据同步 、数据订阅 、数据迁移 、数据校验 或专属集群 ）页面上方，单击DTS智能助手。
在对话框下方的文本框，输入您的问题。
按回车键，然后耐心等待智能助手生成答案。

说明

您也可以在输入框右侧，单击Send。
查看生成的结果。

说明

您可以单击末尾的帮助文档或推荐内容，查看更多信息。

三、数据同步方案

1、源为自建MySQL或RDS MySQL

目标库	同步类型	同步拓扑	配置文档
PolarDB MySQL版所有版本	库表结构同步全量数据同步增量数据同步	单向同步双向同步	PolarDB MySQL版间的单向同步 PolarDB MySQL版间的双向同步
自建MySQL5.1、5.5、5.6、5.7、8.0版本RDS MySQL所有版本	库表结构同步全量数据同步增量数据同步	单向同步双向同步	PolarDB MySQL版同步至RDS MySQL
PolarDB-X 1.0	全量数据同步增量数据同步	单向同步	PolarDB MySQL版同步至PolarDB-X 1.0
PolarDB-X 2.0	库表结构同步全量数据同步增量数据同步	单向同步	PolarDB MySQL版同步至PolarDB-X 2.0
云原生数据仓库 AnalyticDB MySQL 版2.0、3.0版本	库表结构同步全量数据同步增量数据同步	单向同步	PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 3.0 从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版
云原生数据仓库 AnalyticDB PostgreSQL 版4.3、6.0、7.0版本	库表结构同步全量数据同步增量数据同步	单向同步	PolarDB MySQL版同步至云原生数据仓库AnalyticDB PostgreSQL版
阿里云消息队列Kafka版0.10.1.0_{2.x版本自建Kafka0.10.1.0}2.7.0版本	库表结构同步全量数据同步增量数据同步	单向同步	PolarDB MySQL版同步至阿里云消息队列Kafka版
DataHub	库表结构同步全量数据同步增量数据同步	单向同步	PolarDB MySQL版同步至DataHub
云数据库ClickHouse集群20.8及以上版本	库表结构同步全量数据同步增量数据同步	单向同步	PolarDB MySQL版同步至ClickHouse集群
Elasticsearch5.5、5.6、6.x、7.x、8.x版本	库表结构同步全量数据同步增量数据同步	单向同步	PolarDB MySQL版同步至Elasticsearch
MaxCompute	库表结构同步全量数据同步增量数据同步	单向同步	PolarDB MySQL版同步至MaxCompute
Oracle（RAC或非RAC架构）版本为9i、10g、11g、12c、18c、19c	库表结构同步全量数据同步增量数据同步	单向同步	PolarDB MySQL版同步至自建Oracle
云数据库SelectDB版	库表结构同步全量数据同步增量数据同步	单向同步	PolarDB MySQL版同步至云数据库SelectDB版
Doris1.2及以上版本	库表结构同步全量数据同步增量数据同步	单向同步	PolarDB MySQL版同步至自建Doris
云原生多模数据库Lindorm	全量数据同步增量数据同步	单向同步	PolarDB MySQL版同步至云原生多模数据库Lindorm

2、源为AnalyticDB MySQL 3.0

源库	目标库	同步类型	同步拓扑	配置文档
云原生数据仓库 AnalyticDB MySQL 版3.0版本	云原生数据仓库 AnalyticDB MySQL 版3.0版本	库表结构同步全量数据同步增量数据同步	单向同步	AnalyticDB MySQL 3.0间的同步