关于不同系统间数据配合同步的讨论？
0
所有回答(2)
0
离线数据同步平台？考虑下datax
0
看到你在讨论跨系统数据同步的方案，这个问题确实挺有代表性的。上面提到的 datax 是个不错的工具，不过如果你想找实时性更强的方案，可以考虑一下 Apache SeaTunnel。
SeaTunnel 是一个开源的数据集成工具，在跨系统数据同步场景下有几个优势：
1. 支持多种数据源
基本上你能想到的数据源都支持：关系型数据库（MySQL、Oracle、SQL Server、PostgreSQL 等）、大数据组件（HDFS、Hive、HBase、Spark、Flink 等）、消息队列（Kafka、Pulsar 等）、搜索引擎（Elasticsearch 等）、云数据库等。
2. 实时同步能力强
- 支持 CDC（Change Data Capture）模式，通过读取数据库日志实现实时数据捕获
- 延迟低，可以做到秒级甚至亚秒级同步
- 支持断点续传，任务中断后可以从上次位置继续
3. 配置简单
通过配置文件就能定义数据同步任务，不需要写复杂的代码。比如从 MySQL 同步到 Elasticsearch，配置一下 source 和 sink 就能运行。
4. 分布式架构
基于自带 Zeta 或 Spark 或 Flink 引擎，可以水平扩展，处理海量数据时性能表现十分优秀。
5. 数据转换灵活
如果同步过程中需要做数据转换、过滤、聚合等操作，SeaTunnel 提供了丰富的 transform 功能。
使用场景举例：
- 从业务数据库实时同步到数据仓库
- 多系统间数据共享
- 数据备份和容灾
- 数据分析平台数据供给
对于你提到的"实时性要强"这个需求，SeaTunnel 的 CDC 模式应该能满足，SeaTunnel 支持批流一体。对 CDC 它通过解析数据库的事务日志来捕获数据变更，不需要在业务表上加触发器，对业务系统的影响比较小。
官网地址：https://seatunnel.apache.org 上面有详细的文档和配置示例，可以参考一下。
