Delta Tables 使用 Apache Parquet 作为存储格式，通过数据索引和高级压缩等技术进行优化，以确保结构化和半结构化数据的高效存储和高性能读写。
对于 CDC，Delta Lake 提供了一个特殊功能，即更改数据源 (CDF)，它显着简化了 CDC 在数据工程管道中的实施。过去，许多开发人员必须在奖章架构的背景下手动管理 CDC，这需要大量的精力和费用。 Databricks 认识到了这个问题，并将 CDF 集成到 Delta Lake 中，以消除手动 CDC 实施的低效问题。这种集成提高了性能、简化了管理并提高了大型数据湖中 CDC 操作的可扩展性。
Delta Lake CDF 的工作原理，来源
以下代码片段展示了如何在 PySpark 中实施 Delta Lakes Change Data Feed (CDF)，以有效管理青铜表、白银表和黄金表之间的数据传输。完整的实现（包括所有代码）可在 GitHub 存储库
第一个代码示例展示了如何模拟 Silver 表中的数据更新和新数据 老年人保险线索 条目，并且仅考虑sale_id每个数据更新和新数据条目。更新和新数据首先添加到青铜表中。然后使用 CDF 从 Bronze 表中获取更改。窗口函数用于sale_id仅选择每个记录的最新记录。最后，这些变化都被merge整合到了白银表中。如果找到匹配的行sale_id，则更新该行，否则插入新行。
第二个代码示例演示如何使用 CDF 模拟从 Silver 表到 Gold 表的数据更新。从 Silver 表中读取更改，并使用窗口函数sale_id为每个更改仅选择最新记录。这些最新更改保存在临时视图中，然后汇总以计算每个客户的总金额。然后聚合的数据将合并到 Gold 表中。
结论
中的数据存储至关重要，并支持三个级别的数据变更管理：青铜级、白银级和黄金级。 Delta Lake 中的 Change Data Feed 极大地简化了 CDC 的实施，并提高了大数据湖中 CDC 操作的性能和可扩展性。
您可以在我们之前发布的博客文章中找到来自 adesso 世界的更多令人兴奋的主题。