云数据平台:设计、实现与管理

云数据平台:设计、实现与管理 PDF 高质量版

  • 大小:16.3 MB
  • 类型:云数据
  • 格式:PDF
  • 出版:机械工业出版社
  • 作者:丹尼尔·兹布里夫斯基
  • 更新:2022-09-14 08:43:53
版权投诉 / 资源反馈(本资源由用户 邓雨星 投稿)

为网友们分享了云数据相关的资料,由机械工业出版社出版,作者是丹尼尔·兹布里夫斯基,介绍了关于云数据、云数据设计方面,格式为PDF,资源大小16.3 MB,目前豆瓣、亚马逊、当当、京东等电子书综合评分为:7.5分。

书籍介绍

编辑推荐

本书介绍如何设计既可伸缩又足够灵活的云数据平台,以应对不可避免的技术变化。你将了解云数据平台设计的核心组件,以及Spark和Kafka流等关键技术。你还将探索如何设置流程来管理基于云的数据、确保数据的安全,并使用高级分析和BI工具对数据进行分析。本书旨在帮助企业通过现代云数据平台使用所有数据的业务集成视图,并利用先进的分析实践来驱动预测和数据服务。本书总结了不同的数据消费者如何使用平台中的数据,并讨论了影响云数据平台项目成功的常见业务问题。

内容简介

本书是一本针对设计充分利用云灵活性的现代可伸缩数据平台的实践指南。你将了解云数据平台设计的核心组件,以及Spark和Kafka流等关键技术的作用。你还将探索如何设置流程来管理基于云的数据,确保数据的安全,并使用高级分析和BI工具对数据进行分析。本书旨在帮助企业通过现代云数据平台使用所有数据的业务集成视图,并利用先进的分析实践来驱动预测和迄今无法想象的数据服务。

目录

  • 前言
  • 致谢
  • 引言
  • 第1章 数据平台介绍1
  • 1.1 从数据仓库向数据平台转变背后的趋势2
  • 1.2 数据仓库与数据的多样性、规模和速度3
  • 1.2.1 多样性3
  • 1.2.2 规模4
  • 1.2.3 速度5
  • 1.2.4 所有的V同时出现5
  • 1.3 数据湖6
  • 1.4 云来了7
  • 1.5 云、数据湖、数据仓库:云数据平台的出现9
  • 1.6 云数据平台的构建块9
  • 1.6.1 摄取层10
  • 1.6.2 存储层10
  • 1.6.3 处理层11
  • 1.6.4 服务层13
  • 1.7 云数据平台如何处理这三个V14
  • 1.7.1 多样性14
  • 1.7.2 规模14
  • 1.7.3 速度15
  • 1.7.4 另外两个V15
  • 1.8 常见用例16
  • 第2章 为什么是数据平台而不仅仅是数据仓库18
  • 2.1 云数据平台和云数据仓库的实践19
  • 2.1.1 近距离观察数据源20
  • 2.1.2 云数据仓库—纯架构示例21
  • 2.1.3 云数据平台架构示例22
  • 2.2 摄取数据24
  • 2.2.1 将数据直接摄取到Azure Synapse24
  • 2.2.2 将数据摄取到Azure数据平台25
  • 2.2.3 管理上游数据源的变化26
  • 2.3 处理数据28
  • 2.3.1 处理数据仓库中的数据29
  • 2.3.2 处理数据平台上的数据31
  • 2.4 访问数据32
  • 2.5 云成本方面的考虑34
  • 2.6 练习答案36
  • 第3章 不断壮大并利用三巨头:Amazon、Microsoft Azure和Google37
  • 3.1 云数据平台分层架构38
  • 3.1.1 数据摄取层40
  • 3.1.2 快存储和慢存储43
  • 3.1.3 处理层45
  • 3.1.4 技术元数据层47
  • 3.1.5 服务层和数据消费者48
  • 3.1.6 编排层和ETL覆盖层52
  • 3.2 数据平台架构中层的重要性57
  • 3.3 将云数据平台层映射到特定工具59
  • 3.3.1 AWS61
  • 3.3.2 Google Cloud65
  • 3.3.3 Azure70
  • 3.4 开源和商业替代方案73
  • 3.4.1 批量数据摄取74
  • 3.4.2 流数据摄取和实时分析74
  • 3.4.3 编排层75
  • 3.5 练习答案77
  • 第4章 将数据导入平台78
  • 4.1 数据库、文件、API和流79
  • 4.1.1 关系型数据库80
  • 4.1.2 文件81
  • 4.1.3 通过API的SaaS数据81
  • 4.1.4 流82
  • 4.2 从关系型数据库中摄取数据83
  • 4.2.1 使用SQL接口从RDBMS摄取数据83
  • 4.2.2 全表摄取85
  • 4.2.3 增量表摄取90
  • 4.2.4 变更数据捕获94
  • 4.2.5 CDC供应商概述98
  • 4.2.6 数据类型转换100
  • 4.2.7 从NoSQL数据库摄取数据102
  • 4.2.8 为RDBMS或NoSQL摄取管道捕获重要的元数据104
  • 4.3 从文件中摄取数据107
  • 4.3.1 跟踪已摄取的文件109
  • 4.3.2 捕获文件摄取元数据112
  • 4.4 从流中摄取数据113
  • 4.4.1 批量摄取和流摄取的区别117
  • 4.4.2 捕获流管道元数据118
  • 4.5 从SaaS应用程序摄取数据119
  • 4.5.1 没有标准的API设计方法121
  • 4.5.2 没有标准的方法来处理全数据导出和增量数据导出121
  • 4.5.3 结果数据通常是高度嵌套的JSON122
  • 4.6 将数据摄取到云中需要考虑的网络和安全问题122
  • 4.7 练习答案125
  • 第5章 组织和处理数据126
  • 5.1 在数据平台中作为单独的层进行处理127
  • 5.2 数据处理阶段129
  • 5.3 组织你的云存储130
  • 5.4 通用数据处理步骤137
  • 5.4.1 文件格式转换137
  • 5.4.2 重复数据清除142
  • 5.4.3 数据质量检查147
  • 5.5 可配置的管道149
  • 5.6 练习答案152
  • 第6章 实时数据处理和分析153
  • 6.1 实时摄取与实时处理154
  • 6.2 实时数据处理用例156
  • 6.2.1 零售用例:实时摄取156
  • 6.2.2 线上游戏用例:实时摄取和实时处理158
  • 6.2.3 实时摄取与实时处理的总结160
  • 6.3 什么时候应该使用实时摄取或实时处理161
  • 6.4 为实时使用组织数据163
  • 6.4.1 对快存储的解剖163
  • 6.4.2 快存储是如何扩展的166
  • 6.4.3 在实时存储中组织数据168
  • 6.5 通用的实时数据转换173
  • 6.5.1 实时系统中数据重复的原因173
  • 6.5.2 实时系统中的数据重复清除176
  • 6.5.3 在实时管道中转换消息格式181
  • 6.5.4 实时数据质量检查182
  • 6.5.5 将批量数据与实时数据相结合183
  • 6.6 用于实时数据处理的云服务184
  • 6.6.1 AWS实时处理服务185
  • 6.6.2 Google Cloud实时处理服务186
  • 6.6.3 Azure实时处理服务188
  • 6.7 练习答案190
  • 第7章 元数据层架构191
  • 7.1 元数据是什么192
  • 7.1.1 业务元数据192
  • 7.1.2 数据平台内部元数据或管道元数据193
  • 7.2 利用管道元数据193
  • 7.3 元数据模型197
  • 7.4 元数据层实现选项207
  • 7.4.1 元数据层作为配置文件的集合207
  • 7.4.2 元数据数据库210
  • 7.4.3 元数据API212
  • 7.5 现有的解决方案概述214
  • 7.5.1 云元数据服务214
  • 7.5.2 开源元数据层实现216
  • 7.6 练习答案220
  • 第8章 模式管理221
  • 8.1 为什么要进行模式管理222
  • 8.1.1 传统数据仓库架构中的模式变化222
  • 8.1.2 读时模式方法223
  • 8.2 模式管理方法225
  • 8.2.1 模式即契约226
  • 8.2.2 数据平台中的模式管理228
  • 8.2.3 监控模式变化234
  • 8.3 模式注册表实现235
  • 8.3.1 Apache Avro模式236
  • 8.3.2 现有的模式注册表实现237
  • 8.3.3 模式注册表作为元数据层的一部分238
  • 8.4 模式演化场景240
  • 8.4.1 模式兼容性规则242
  • 8.4.2 模式演化和数据转换管道244
  • 8.5 模式演化和数据仓库247
  • 8.6 练习答案252
  • 第9章 数据访问和安全253
  • 9.1 不同类型的数据消费者254
  • 9.2 云数据仓库255
  • 9.2.1 AWS Redshift256
  • 9.2.2 Azure Synapse259
  • 9.2.3 Go

以上就是本次关于书籍资源的介绍和部分内容,我们还整理了以往更新的其它相关电子书资源内容,可以在下方直接下载,关于相关的资源我们在下方做了关联展示,需要的朋友们也可以参考下。

精选笔记:详解小程序云开发数据库

20小时23分钟前回答

在云控制台操作云数据库,即创建数据库和插入数据等操作。

云开发数据库提供的数据类型:string、number、object、array、bool、GeoPoint(地理位置点)、Date(时间)、Null

其中的Date表示时间,精确到毫秒。小程序端用Javascript内置Date对象创建的时间是客户端时间,在需要用服务端时间的时候,用API中提供的serverDate对象来创建服务端当前的时间标记。

GeoPoint:用于表示地理位置点,经纬度唯一标记一个点,可以把这个地理位置理解为平面直角坐标系,这样就更容易理解地理位置点了。

和平常操作数据库类似。在对数据库进行增删查改之前,先连接数据库。对小程序云数据库进行操作的时候,先获取数据库的引用。

const db = wx.cloud.database({});

要操作数据库的一个集合时。也是需要先获取该集合的引用。

const table = db.collection('todos');

现在就可以往集合 todos 添加一条json数据了。

const db = wx.cloud.database({});

const table = db.collection('todos');

table.add({

data: {

description: "我正在学习云开发!",

due: new Date(),

tags: [

"cloud",

"database"

],

},

success: function(res) {

console.log(res._id)

}

});

在云开发控制台查看,是否添加成功

最下面的数据就是刚刚添加的数据。

详解小程序云开发数据库

读取数据: 现在读取数据库中刚刚插入的一条数据,doc就是对应的key的值。

table.doc("W54MA0XodRKIs7ZO").get({

success:function(res){

console.log(res.data)

}

});

获取的结果如下:

详解小程序云开发数据库

读取多条数据 :要读取多条数据时,就在获取集合后添加where判断。

const db = wx.cloud.database({});

const table = db.collection('todos');

table.where({

_openid: 'o_ggh0cxzVwcLNSZTyOlAF_iyNKs'

}).get({

success:function(res){

console.log(res.data)

}

});

效果如图:

详解小程序云开发数据库

更改数据:使用update方法来更新一个记录或一个集合,其他数据不会受到影响。

如要修改ID为W54MA0XodRKIs7ZO的记录,

table.doc("W54MA0XodRKIs7ZO").update({

data: {

description: "很好"

},

success: function (res) {

console.log(res)

}

})

详解小程序云开发数据库

 删除数据:用remove函数来删除数据库中的一条数据,如果要删除多条数据的话,就必须在server端进行操作(就是云函数)

const db = wx.cloud.database({});

const table = db.collection('todos');

table.doc("W54MA0XodRKIs7ZO").remove({

success:function(res){

console.log(res)

}

})

详解小程序云开发数据库

以上所述是小编给大家介绍的[jQuery] 事件和动画详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对码农之家网站的支持!

云数据相关资源

  • 分布式云数据中心的建设与管理

    分布式云数据中心的建设与管理

    目前,数量众多的数据中心给企业、政府机关带来了非常沉重的运维负担。业界流行的云计算技术还旨在解决单个数据中心内部的问题,无法解决多个数据中心之间资源共享、统一管理、提升

    大小:108 MB云数据

  • 海量点云数据处理理论与技术

    海量点云数据处理理论与技术

    海量点云数据处理理论与技术 作者:程效军,贾东峰,程小龙 主编 出版时间:2014年版 程效军、贾东峰、程小龙编著的《海量点云数据处理理论与技术》共分8章。第1章绪论,简要介绍海量点云处理技术的基础理论、方法以及主要内容。第2章介绍海量点云数据的预处理,包括点云数据的获取方案,点云的去噪、压缩、配准方法,以及点云空洞的插值方法。第3章介绍海量点云数据的重建方法,系统介绍常用的点云重建算法与特点,并详细介绍基于特征和

    大小:41.94MB云数据

  • Python云原生:构建应对海量用户数据的高可扩展Web应用

    Python云原生:构建应对海量用户数据的高可扩展Web应用

    大小:157.2 MB叶风华

  • 基于激光点云数据的三维建模应用实践

    基于激光点云数据的三维建模应用实践

    基于激光点云数据的三维建模应用实践 作者:谢宏全,谷风云,李勇 著 出版时间:2014年版 《基于激光点云数据的三维建模应用实践》首先简要介绍了基于激光点云数据的三维建模建技术研究背景与意义、国内外研究现状、研究对象与三维建模技术方法。其次,详细阐述了连云港市海清寺内有代表性的文物,包括阿育王塔、万年宝鼎、关圣帝君像、石赑屃、浮雕长廊的三维建模技术流程。再次,比较详细地说明了淮海工学院内有代表性的建筑物,包括欣

    大小:25.84MB三维建模

  • Oracle云数据库方案

    Oracle云数据库方案

    Oracle云数据库方案 内容节选 一、 解决方案概览 现在中国移动已经建立了自己基于Openstack标准的底层IaaS云架构,已经可以通过这种架构满足自身的企业级私有云架构需求同时为多种行业的企业级用户提供标准的软件基础架构。但是一直以来都没有一个完整的方案可以为自己和企业级客户提供标准的PaaS服务,主要包括数据库服务和中间件服务。并且希望这种方案是对现有中国移动IaaS架构的一种扩展而不是重新开发部署一套新的系统,并且要求新增加的功

    大小:424 KBOracle

  • 实战Hadoop2.0:从云计算到大数据

    实战Hadoop2.0:从云计算到大数据

    大小:92.1 MBHadoop

  • 腾云:云计算和大数据时代网络技术揭秘

    腾云:云计算和大数据时代网络技术揭秘

    腾云:云计算和大数据时代网络技术揭秘 作者:徐立冰 出版时间:2013 《腾云:云计算和大数据时代网络技术揭秘》是国内第一本系统讲解云计算网络的书籍。通过阅读本书,读者将清楚地了解到如何在云计算与大数据时代构建安全、可靠、高速与灵活的网络。本书主要内容包括:云计算对基础架构的驱动、云计算网络的组成、如何构建安全可靠灵活的网络通道、虚拟化数据中心的扩张、外部和内部网络的实现、大数据网络设计要点,以及厂商解决方案

    大小:6.8MB大数据

  • 《Python物理建模初学者指南》配套资源

    《Python物理建模初学者指南》配套资源

    编辑推荐 Python是一种迅速得到科学界广泛认可的计算机编程语言。本书的目的在于为Python学习者提供帮助,使他们可以通过自学掌握足以开展物理建模工作的编程技能,包括设置开源Python的编程环境,以及使用Python完成一些常见的科学运算任务,例如数据的导入和导出、数据的可视化、数值分析和模拟等。本书无需读者具备任何的编程经验。本书侧重于基础性内容,并介绍了一些广泛适用的技术,包括:● Python编程基础与脚本;● 数值数组;● 二维和

    大小:2.5 MBPython配套资源

  • 《深入理解Android内核设计思想(第2版)(上下册)》配套彩图

    《深入理解Android内核设计思想(第2版)(上下册)》配套彩图

    编辑推荐 基于Android SDK zui新版本 全面剖析了进程/线程、内存管理、Binder机制、GUI显示系统、多媒体管理、输入系统等核心知识在Android中的实现原理 Android安全机制 虚拟 内存优化 性能优化通过大量图片与实例来引导读者学习,以求尽量在源码分析外,为读者提供更易于理解的思维路径 由浅入深,由总体框架再到细节实现,让读者尽快了解Android内核的设计思想 内容简介 全书从操作系统的基础知识入手,全面剖析进程/线程、内存管理、Binder机制、GUI显

    大小:10.09 MBAndroid配套资源

  • 《电路基础与仿真实验》习题答案,素材,教案

    《电路基础与仿真实验》习题答案,素材,教案

    内容介绍 本书是全国高等职业教育 十一五 规划教材。 全书共11章,主要内容包括电路的基本概念与定律,直流电路分析,正弦交流电路的基本概念与分析,互感耦合电路,三相交流电路,非正弦周期信号电路,线性动态电路分析等,另有二端口网络和非线性电阻电路可根据不同专业的需要作为选修内容。各章含有内容提要、本章小结和习题。 全书按照理论联系实际,注重讲、学、做统一的原则编写,书中各章内容配有相应的计算机仿真实验,书后还提

    大小:12 MB电路基础配套资源

  • Oracle PL/SQL 程序设计(上下册)

    Oracle PL/SQL 程序设计(上下册)

    大小:122 MBOracle

  • JVM从入门到入魔

    JVM从入门到入魔

    JVM是可运行Java代码的假想计算机 ,包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收,堆 和 一个存储方法域。JVM是运行在操作系统之上的,它与硬件没有直接的交互 JVM一直是java知识里面进阶阶段的重要部分,如果希望在java领域研究的更深入,则JVM则是如论如何也避开不了的话题,本系列试图通过简洁易读的方式,讲解JVM必要的知识点

    大小:3.47 MBJVM

参与送书

学习笔记

5小时29分钟前回答

微信小程序云开发之数据库操作

本文实例为大家分享了微信小程序云开发之数据库操作的具体代码,供大家参考,具体内容如下 新建集合 1.打开云开发控制台,数据库 2.添加集合users 添加代码 onAdd: function () { const db = wx.cloud.database() db.collection('users').add({ data: { count: 1 }, success: res = { // 在返回结果中会包含新创建的记录的 _id this.setData({ counterId: res._id, count: 1 }) wx.showToast({ title: '新增记录成功', }) console.log('[数据库……

13小时17分钟前回答

微信小程序云函数使用mysql数据库过程详解

前言 小程序云开发的功能是越来越强大了,现在小程序云开发可以直接借助云函数来链接mysql数据,操作mysql数据库了,今天就来给大家讲一讲如何使用小程序云开发的云函数来操作mysql数据库。 首先要明确一点,就是小程序云开发的云函数是基于node.js的,所以我们使用node.js的mysql2模块可以直接来链接并操作mysql数据库,所以我们现在要做的就是怎么样在云函数里使用mysql2模块,……