大数据架构详解：从数据获取到深度学习 PDF 超清版

《大数据架构详解：从数据获取到深度学习》从构架、业务流程、技术性3个层面从入门到精通地详细介绍了大数据处理行业端到web端专业知识。主题思想包含三一部分：首位一部分从数据的造成、收集、测算、储存、消費端到web端视角详细介绍云计算技术的发源、发展趋势、核心技术点和未来发展趋势，融合栩栩如生的业内产品大全，及其学界最新消息的研究内容和成效，让难懂的技术性通俗易懂；其次一部分从业务流程和技术性视角详细介绍具体实例，让用户了解互联网大数据的主要用途及技术性的实质；最后一部分详细介绍云计算技术并不是孤立无援的，解读怎样与最前沿的停车场系统云平台、深度学习、深度学习等紧密结合。

《大数据架构详解：从数据获取到深度学习》內容从入门到精通，技术性融合实践活动，从实践活动中了解构架和技术性的实质，合适云计算技术行业的从业者如系统架构师、技术工程师、产品运营等，及其提前准备学习培训有关行业专业知识的老师和学生阅读文章。

目录

• 第一部分 大数据的本质
• 第1章 大数据是什么 2
• 1.1 大数据导论 2
• 1.1.1 大数据简史 2
• 1.1.2 大数据现状 3
• 1.1.3 大数据与BI 3
• 1.2 企业数据资产 4
• 1.3 大数据挑战 5
• 1.3.1 成本挑战 6
• 1.3.2 实时性挑战 6
• 1.3.3 安全挑战 6
• 1.4 小结 6
• 第2章 运营商大数据架构 7
• 2.1 架构驱动的因素 7
• 2.2 大数据平台架构 7
• 2.3 平台发展趋势 8
• 2.4 小结 8
• 第3章 运营商大数据业务 9
• 3.1 运营商常见的大数据业务 9
• 3.1.1 SQM（运维质量管理） 9
• 3.1.2 CSE（客户体验提升） 9
• 3.1.3 MSS（市场运维支撑） 10
• 3.1.4 DMP（数据管理平台） 10
• 3.2 小结 11
• 第二部分 大数据技术
• 第4章 数据获取 14
• 4.1 数据分类 14
• 4.2 数据获取组件 14
• 4.3 探针 15
• 4.3.1 探针原理 15
• 4.3.2 探针的关键能力 16
• 4.4 网页采集 26
• 4.4.1 网络爬虫 26
• 4.4.2 简单爬虫Python代码示例 32
• 4.5 日志收集 33
• 4.5.1 Flume 33
• 4.5.2 其他日志收集组件 47
• 4.6 数据分发中间件 47
• 4.6.1 数据分发中间件的作用 47
• 4.6.2 Kafka架构和原理 47
• 4.7 小结 82
• 第5章 流处理 83
• 5.1 算子 83
• 5.2 流的概念 83
• 5.3 流的应用场景 84
• 5.3.1 金融领域 84
• 5.3.2 电信领域 85
• 5.4 业界两种典型的流引擎 85
• 5.4.1 Storm 85
• 5.4.2 Spark Streaming 89
• 5.4.3 融合框架 102
• 5.5 CEP 108
• 5.5.1 CEP是什么 108
• 5.5.2 CEP的架构 109
• 5.5.3 Esper 110
• 5.6 实时结合机器学习 110
• 5.6.1 Eagle的特点 111
• 5.6.2 Eagle概览 111
• 5.7 小结 116
• 第6章 交互式分析 117
• 6.1 交互式分析的概念 117
• 6.2 MPP DB技术 118
• 6.2.1 MPP的概念 118
• 6.2.2 典型的MPP数据库 121
• 6.2.3 MPP DB调优实战 131
• 6.2.4 MPP DB适用场景 162
• 6.3 SQL on Hadoop 163
• 6.3.1 Hive 163
• 6.3.2 Phoenix 165
• 6.3.3 Impala 166
• 6.4 大数据仓库 167
• 6.4.1 数据仓库的概念 167
• 6.4.2 OLTP/OLAP对比 168
• 6.4.3 大数据场景下的同与不同 168
• 6.4.4 查询引擎 169
• 6.4.5 存储引擎 170
• 6.5 小结 171
• 第7章 批处理技术 172
• 7.1 批处理技术的概念 172
• 7.2 MPP DB技术 172
• 7.3 MapReduce编程框架 173
• 7.3.1 MapReduce起源 173
• 7.3.2 MapReduce原理 173
• 7.3.3 Shuffle 174
• 7.3.4 性能差的主要原因 177
• 7.4 Spark架构和原理 177
• 7.4.1 Spark的起源和特点 177
• 7.4.2 Spark的核心概念 178
• 7.5 BSP框架 217
• 7.5.1 什么是BSP模型 217
• 7.5.2 并行模型介绍 218
• 7.5.3 BSP模型基本原理 220
• 7.5.4 BSP模型的特点 222
• 7.5.5 BSP模型的评价 222
• 7.5.6 BSP与MapReduce对比 222
• 7.5.7 BSP模型的实现 223
• 7.5.8 Apache Hama简介 223
• 7.6 批处理关键技术 227
• 7.6.1 CodeGen 227
• 7.6.2 CPU亲和技术 228
• 7.7 小结 229
• 第8章 机器学习和数据挖掘 230
• 8.1 机器学习和数据挖掘的联系与区别 230
• 8.2 典型的数据挖掘和机器学习过程 231
• 8.3 机器学习概览 232
• 8.3.1 学习方式 232
• 8.3.2 算法类似性 233
• 8.4 机器学习&数据挖掘应用案例 235
• 8.4.1 尿布和啤酒的故事 235
• 8.4.2 决策树用于电信领域故障快速定位 236
• 8.4.3 图像识别领域 236
• 8.4.4 自然语言识别 238
• 8.5 交互式分析 239
• 8.6 深度学习 240
• 8.6.1 深度学习概述 240
• 8.6.2 机器学习的背景 241
• 8.6.3 人脑视觉机理 242
• 8.6.4 关于特征 244
• 8.6.5 需要有多少个特征 245
• 8.6.6 深度学习的基本思想 246
• 8.6.7 浅层学习和深度学习 246
• 8.6.8 深度学习与神经网络 247
• 8.6.9 深度学习的训练过程 248
• 8.6.10 深度学习的框架 248
• 8.6.11 深度学习与GPU 255
• 8.6.12 深度学习小结与展望 256
• 8.7 小结 257
• 第9章 资源管理 258
• 9.1 资源管理的基本概念 258
• 9.1.1 资源调度的目标和价值 258
• 9.1.2 资源调度的使用限制及难点 258
• 9.2 Hadoop领域的资源调度框架 259
• 9.2.1 YARN 259
• 9.2.2 Borg 260
• 9.2.3 Omega 262
• 9.2.4 本节小结 263
• 9.3 资源分配算法 263
• 9.3.1 算法的作用 263
• 9.3.2 几种调度算法分析 263
• 9.4 数据中心统一资源调度 271
• 9.4.1 Mesos+Marathon架构和原理 271
• 9.4.2 Mesos+Marathon小结 283
• 9.5 多租户技术 284
• 9.5.1 多租户概念 284
• 9.5.2 多租户方案 284
• 9.6 基于应用描述的智能调度 287
• 9.7 Apache Mesos架构和原理 288
• 9.7.1 Apache Mesos背景 288
• 9.7.2 Apache Mesos总体架构 288
• 9.7.3 Apache Mesos工作原理 290
• 9.7.4 Apache Mesos关键技术 295
• 9.7.5 Mesos与YARN比较 304
• 9.8 小结 305
• 第10章 存储是基础 306
• 10.1 分久必合，合久必分 306
• 10.2 存储硬件的发展 306
• 10.2.1 机械硬盘的工作原理 306
• 10.2.2 SSD的原理 307
• 10.2.3 3DXPoint 309
• 10.2.4 硬件发展小结 309
• 10.3 存储关键指标 309
• 10.4 RAID技术 309
• 10.5 存储接口 310
• 10.5.1 文件接口 311
• 10.5.2 裸设备 311
• 10.5.3 对象接口 312
• 10.5.4 块接口 316
• 10.5.5 融合是趋势 328
• 10.6 存储加速技术 328
• 10.6.1 数据组织技术 328
• 10.6.2 缓存技术 335
• 10.7 小结 336
• 第11章 大数据云化 337
• 11.1 云计算定义 337
• 11.2 应用上云 337
• 11.2.1 Cloud Native概念 338
• 11.2.2 微服务架构 338
• 11.2.3 Docker配合微服务架构 342
• 11.2.4 应用上云小结 348
• 11.3 大数据上云 348
• 11.3.1 大数据云服务的两种模式 348
• 11.3.2 集群模式AWSEMR 349
• 11.3.3 服务模式Azure Data Lake Analytics 352
• 11.4 小结 354
• 第三部分 大数据文化
• 第12章 大数据技术开发文化 356
• 12.1 开源文化 356
• 12.2 DevOps理念 356
• 12.2.1 Development和Operations的组合 357
• 12.2.2 对应用程序发布的影响 357
• 12.2.3 遇到的问题 358
• 12.2.4 协调人 358
• 12.2.5 成功的关键 359
• 12.3 速度远比你想的重要 359
• 12.4 小结 361