当前位置:首页 > 数据库 >
《Spark大数据分析:核心概念、技术及实践》电子书封面

Spark大数据分析:核心概念、技术及实践

  • 发布时间:2019年11月12日 09:17:55
  • 作者:穆罕默德·古勒
  • 大小:88.3 MB
  • 类别:Spark电子书
  • 格式:PDF
  • 版本:高清版
  • 评分:9.2

    Spark大数据分析:核心概念、技术及实践 PDF 高清版

      给大家带来的一篇关于Spark相关的电子书资源,介绍了关于Spark、大数据分析、核心概念、技术实践方面的内容,本书是由机械工业出版社出版,格式为PDF,资源大小88.3 MB,穆罕默德·古勒编写,目前豆瓣、亚马逊、当当、京东等电子书综合评分为:8.6。

      内容介绍

      Spark大数据分析:核心概念、技术及实践

      Spark大数据分析:核心概念、技术及实践是关于大数据和Spark的一个简明手册。它将助你学习如何用Spark来完成很多大数据分析任务,其中覆盖了高效利用Spark所需要知道的重要主题:如何使用SparkShell进行交互式数据分析、如何编写Spark应用、如何在Spark中对大规模数据进行交互分析、如何使用SparkStreaming处理高速数据流、如何使用Spark进行机器学习、如何使用Spark进行图处理、如何使用集群管理员部署Spark、如何监控Spark应用等。本书还对其他配合Spark一起使用的大数据技术进行了介绍,包括HDFS、Avro、Parquet、Kafka、Cassandra、HBase、Mesos等。本书也对机器学习和图的概念进行了介绍。

      目录

      • 第1章 大数据技术一览1
      • 第2章 Scala编程16
      • 第3章 Spark Core33
      • 第4章 使用Spark shell进行交互式数据分析60
      • 第5章 编写Spark应用69
      • 第6章 Spark Streaming77
      • 第7章 Spark SQL99
      • 第8章 使用Spark进行机器学习146
      • 第9章 使用Spark进行图处理196
      • 第10章 集群管理员218
      • 第10章 监控

      学习笔记

      python有spark库么

      从这个名字pyspark就可以看出来,它是由python和spark组合使用的. 相信你此时已经电脑上已经装载了hadoop,spark,python3. Spark提供了一个Python_Shell,即pyspark,从而可以以交互的方式使用Python编写Spark程序。 (推荐学习:Python视频教程) pyspark里最核心的模块是SparkContext(简称sc),最重要的数据载体是RDD。 RDD就像一个NumPy array或者一个Pandas Series,可以视作一个有序的item集合。只不过这些item并不存在driver端的内存里,而是被分割成很多个partitions,每个partition的数据存在集群的executor的内存中。 引入Python中pyspark工作模块 import pysparkfrom pyspark import SparkContext as scfrom pyspark import SparkConfconf=SparkConf().setAppName(miniProject).……

      DataFrame:通过SparkSql将scala类转为DataFrame的方法

      如下所示: import java.text.DecimalFormatimport com.alibaba.fastjson.JSONimport com.donews.data.AppConfigimport com.typesafe.config.ConfigFactoryimport org.apache.spark.sql.types.{StructField, StructType}import org.apache.spark.sql.{Row, SaveMode, DataFrame, SQLContext}import org.apache.spark.{SparkConf, SparkContext}import org.slf4j.LoggerFactory /** * Created by silentwolf on 2016/6/3. */ case class UserTag(SUUID: String, MAN: Float, WOMAN: Float, AGE10_19: Float, AGE20_29: Float, AGE30_39: Float, AGE40_49: Float, AGE50_59: Float, GAME: Float, MOVIE: Float, MUSIC: Float, ART: Float, POLITICS_NEWS: Float, FINANCIAL: Float, EDUCATION_TRAINING: Float, HEALTH_CARE: Float, TRAVEL: Float, AUTOMOBILE: Float, HOUSE_PROPERTY: Float, CLOTHING_ACCESSORIES: Float, BEAUTY: Float, IT: Float, BABY……

      spark rdd转dataframe 写入mysql的实例讲解

      dataframe是在spark1.3.0中推出的新的api,这让spark具备了处理大规模结构化数据的能力,在比原有的RDD转化方式易用的前提下,据说计算性能更还快了两倍。spark在离线批处理或者实时计算中都可以将rdd转成dataframe进而通过简单的sql命令对数据进行操作,对于熟悉sql的人来说在转换和过滤过程很方便,甚至可以有更高层次的应用,比如在实时这一块,传入kafka的topic名称和sql语句,后台读取自己配置好的内容字段反射成一个class并利用出入的sql对实时数据进行计算,这种情况下不会spark streaming的人也都可以方便的享受到实时计算带来的好处。 下面的示例为读取本地文件成rdd并隐式转换成dataframe对数据进行查询……

      以上就是本次介绍的Spark电子书的全部相关内容,希望我们整理的资源能够帮助到大家,感谢大家对码农之家的支持。

      上一篇:深入解析SAS:数据处理、分析优化与商业应用

      下一篇:解析卷积神经网络:深度学习实践手册

      展开 +

      收起 -

      • 《Spark大数据分析:核心概念、技术及实践》PDF下载

      下载地址:百度网盘下载
      Spark相关电子书
      Spark编程基础:Scala版
      Spark编程基础:Scala版 超清版

      这书是厦门大学创作者精英团队长期性经验交流的结晶体,是在厦门大学《 大数据技术原理与应用 》新手入门互联网大数据教材内容的基本之中撰写的。为了保证实例教程品质,在编著出版纸

      立即下载
      Spark:大数据集群计算的生产实践
      Spark:大数据集群计算的生产实践 完整超清版

      这书对于spark从认证性自然环境迁移到实际上生产环境时候碰到的各种各样难题得出了实际上的协助,包含了开发设计及维护保养生产级Spark运用的各种各样方式 、组件与有用实践活动。本书分

      立即下载
      Spark大数据处理技术
      Spark大数据处理技术 高清版

      《Spark大数据处理技术》 以Spark 0.9版本为基础进行编写,是一本全面介绍Spark及Spark生态圈相关技术的书籍,是国内首本深入介绍Spark原理和架构的技术书籍。主要内容有Spark基础功能介绍及内部

      立即下载
      Hadoop+Spark生态系统操作与实战指南
      Hadoop+Spark生态系统操作与实战指南 原书影印版

      本书帮助读者快速上手Hadoop+Spark,全面解析Hadoop和Spark生态系统,通过实际操作,快速学习Hadoop+Spark大数据技术,使得读者了解当今互联网应用极为广泛的集群技术

      立即下载
      Spark技术内幕:深入解析Spark内核架构设计与实现原理
      Spark技术内幕:深入解析Spark内核架构设计与实现原理 高清版

      Spark是不断壮大的大数据分析解决方案家族中备受关注的新增成员。它不仅为分布式数据集的处理提供一个有效框架,而且以高效的方式处理分布式数据集。它支持实时处理、流处理和批处理,

      立即下载
      Spark SQL入门与实践指南
      Spark SQL入门与实践指南 超清完整版 立即下载
      Spark与Hadoop大数据分析
      Spark与Hadoop大数据分析 超清影印版

      这本书系统讲解了利用Hadoop和Spark及其生态系统里的一系列工具进行大数据分析的方法,配套详细的实现示例,是快速掌握大数据分析基础架构及其实施方法的详实参考

      立即下载
      Spark内核设计的艺术:架构设计与实现
      Spark内核设计的艺术:架构设计与实现 高清影印版

      细化到方法级,提炼出多个流程图,立体呈现Spark 2.1.0架构与实现精髓,包含架构、环境、调度、存储、计算、部署、API七大核心设计,想要学习Scala、Spark语言的开发人员

      立即下载
      PySpark实战指南
      PySpark实战指南 原书中文扫描版

      本书是一本Pyspark的实用参考指南,深度挖掘Python+Spark的强大功能,介绍了如何使用Python调用Spark新特性、处理结构化及非结构化数据、使用PySpark中基本可用数据类型等内容

      立即下载
      数据算法:Hadoop/Spark大数据处理技巧
      数据算法:Hadoop/Spark大数据处理技巧 高清版

      数据算法:Hadoop/Spark大数据处理技巧 介绍了很多基本设计模式、优化技术和数据挖掘及机器学习解决方案,以解决生物信息学、基因组学、统计和社交网络分析等领域的很多问题。这本书还概

      立即下载
      读者留言
      readboy2012

      readboy2012 提供上传

      资源
      48
      粉丝
      6
      喜欢
      222
      评论
      15

      Copyright 2018-2020 www.xz577.com 码农之家

      版权投诉 / 书籍推广 / 赞助:520161757@qq.com