什么是变化数据捕获(CDC)？

在进行数据ETL过程中，我们经常需要通过周期性的定时调度将业务数据按照T+1的方式同步到数据仓库中，进行数据分析处理，最终通过BI报表展示给最终用户，但这种方式实时性较差，用户往往只能看到昨天的数据，会影响用户决策的及时性；而如果用户要近实时的查看报表，则需要将调度周期频率提高到小时或分钟，这对整个数据分析系统是个很大的考验；而上述过程也只适用于数据不断新增的情况，如果遇到业务数据修改、删除的过程，则只能每次全量同步覆盖；在面对上述数据同步过程中数据时效性要求高、历史数据会变更的问题，我们可以使用变化数据捕获技术进行数据的实时同步。

什么是变化数据捕获？

变化数据捕获 (Change Data Capture，缩写CDC) 是指识别和捕获对数据库中的数据所做的更改（包括数据或数据表的插入、更新、删除等），然后将这些更改按发生的顺序完整记录下来，并实时通过消息中间件传送到下游流程或系统的过程。通过这种方式，CDC能够向数据仓库提供高效、低延迟的数据传输，以便信息被及时转换并交付给专供分析的应用程序。

CDC具备那些优点呢？

对于各种时间敏感类的数据很适合通过CDC的方式进行同步传输，其具备以下好处：

• 通过增量加载或将数据更改实时流式传输，而无需周期性调度执行批量加载更新操作。
• CDC实时同步传输数据，它利于不停机的数据库迁移，并支持实时分析，可以帮助用户根据最新的数据做出更快、更准确的决策。
• CDC最大限度地减少了数据的传输网络流量，适合跨广域网传输数据。
• CDC可以确保多个系统中的数据保持同步。

CDC的使用场景有哪些呢？

CDC技术的应用场景非常广泛，包括：

• 数据分发：将一个数据源的数据分发给多个下游业务系统，常用于业务解耦、微服务系统。
• 数据采集：面向数据仓库、数据湖的ETL数据集成，消除数据孤岛，便于后续的分析。
• 数据同步：常用于数据备份、容灾等。