云数据平台：设计、实现与管理

编辑推荐 本书介绍如何设计既可伸缩又足够灵活的云数据平台，以应对不可避免的技术变化。你将了解云数据平台设计的核心组件，以及Spark和Kafka流等关键技术。你还将探索如何设置流程来管理基于云的数据、确保数据的安全，并使用高级分析和BI工具对数据进行分析。本书旨在帮助企业通过现代云数据平台使用所有数据的业务集成视图，并利用先进的分析实践来驱动预测和数据服务。本书总结了不同的数据消费者如何使用平台中的数据，并讨论了影响云数据平台项目成功的常见业务问题。 内容简介 本书是一本针对设计充分利用云灵活性的现代可伸缩数据平台的实践指南。你将了解云数据平台设计的核心组件，以及Spark和Kafka流等关键技术的作用。你还将探索如何设置流程来管理基于云的数据，确保数据的安全，并使用高级分析和BI工具对数据进行分析。本书旨在帮助企业通过现代云数据平台使用所有数据的业务集成视图，并利用先进的分析实践来驱动预测和迄今无法想象的数据服务。 目录 前言 致谢 引言 第1章 数据平台介绍1 1.1 从数据仓库向数据平台转变背后的趋势2 1.2 数据仓库与数据的多样性、规模和速度3 1.2.1 多样性3 1.2.2 规模4 1.2.3 速度5 1.2.4 所有的V同时出现5 1.3 数据湖6 1.4 云来了7 1.5 云、数据湖、数据仓库：云数据平台的出现9 1.6 云数据平台的构建块9 1.6.1 摄取层10 1.6.2 存储层10 1.6.3 处理层11 1.6.4 服务层13 1.7 云数据平台如何处理这三个V14 1.7.1 多样性14 1.7.2 规模14 1.7.3 速度15 1.7.4 另外两个V15 1.8 常见用例16 第2章 为什么是数据平台而不仅仅是数据仓库18 2.1 云数据平台和云数据仓库的实践19 2.1.1 近距离观察数据源20 2.1.2 云数据仓库纯架构示例21 2.1.3 云数据平台架构示例22 2.2 摄取数据24 2.2.1 将数据直接摄取到Azure Synapse24 2.2.2 将数据摄取到Azure数据平台25 2.2.3 管理上游数据源的变化26 2.3 处理数据28 2.3.1 处理数据仓库中的数据29 2.3.2 处理数据平台上的数据31 2.4 访问数据32 2.5 云成本方面的考虑34 2.6 练习答案36 第3章 不断壮大并利用三巨头：Amazon、Microsoft Azure和Google37 3.1 云数据平台分层架构38 3.1.1 数据摄取层40 3.1.2 快存储和慢存储43 3.1.3 处理层45 3.1.4 技术元数据层47 3.1.5 服务层和数据消费者48 3.1.6 编排层和ETL覆盖层52 3.2 数据平台架构中层的重要性57 3.3 将云数据平台层映射到特定工具59 3.3.1 AWS61 3.3.2 Google Cloud65 3.3.3 Azure70 3.4 开源和商业替代方案73 3.4.1 批量数据摄取74 3.4.2 流数据摄取和实时分析74 3.4.3 编排层75 3.5 练习答案77 第4章 将数据导入平台78 4.1 数据库、文件、API和流79 4.1.1 关系型数据库80 4.1.2 文件81 4.1.3 通过API的SaaS数据81 4.1.4 流82 4.2 从关系型数据库中摄取数据83 4.2.1 使用SQL接口从RDBMS摄取数据83 4.2.2 全表摄取85 4.2.3 增量表摄取90 4.2.4 变更数据捕获94 4.2.5 CDC供应商概述98 4.2.6 数据类型转换100 4.2.7 从NoSQL数据库摄取数据102 4.2.8 为RDBMS或NoSQL摄取管道捕获重要的元数据104 4.3 从文件中摄取数据107 4.3.1 跟踪已摄取的文件109 4.3.2 捕获文件摄取元数据112 4.4 从流中摄取数据113 4.4.1 批量摄取和流摄取的区别117 4.4.2 捕获流管道元数据118 4.5 从SaaS应用程序摄取数据119 4.5.1 没有标准的API设计方法121 4.5.2 没有标准的方法来处理全数据导出和增量数据导出121 4.5.3 结果数据通常是高度嵌套的JSON122 4.6 将数据摄取到云中需要考虑的网络和安全问题122 4.7 练习答案125 第5章 组织和处理数据126 5.1 在数据平台中作为单独的层进行处理127 5.2 数据处理阶段129 5.3 组织你的云存储130 5.4 通用数据处理步骤137 5.4.1 文件格式转换137 5.4.2 重复数据清除142 5.4.3 数据质量检查147 5.5 可配置的管道149 5.6 练习答案152 第6章 实时数据处理和分析153 6.1 实时摄取与实时处理154 6.2 实时数据处理用例156 6.2.1 零售用例：实时摄取156 6.2.2 线上游戏用例：实时摄取和实时处理158 6.2.3 实时摄取与实时处理的总结160 6.3 什么时候应该使用实时摄取或实时处理161 6.4 为实时使用组织数据163 6.4.1 对快存储的解剖163 6.4.2 快存储是如何扩展的166 6.4.3 在实时存储中组织数据168 6.5 通用的实时数据转换173 6.5.1 实时系统中数据重复的原因173 6.5.2 实时系统中的数据重复清除176 6.5.3 在实时管道中转换消息格式181 6.5.4 实时数据质量检查182 6.5.5 将批量数据与实时数据相结合183 6.6 用于实时数据处理的云服务184 6.6.1 AWS实时处理服务185 6.6.2 Google Cloud实时处理服务186 6.6.3 Azure实时处理服务188 6.7 练习答案1