Spark SQL内核剖析

给大家带来的一篇关于数据库相关的电子书资源，介绍了关于Spark、SQL内核方面的内容，本书是由电子工业出版社出版，格式为PDF，资源大小183.2 MB，朱锋编写，目前豆瓣、亚马逊、当当、京东等电子书综合评分为：8.4。

内容介绍

历经很多年的发展趋势，大数据解决技术性逐渐完善。做为业界大数据测算的事实标准，ApacheSpark系统早已广泛运用于各大型企业与科学研究组织，并产生详细的绿色生态系统。Spark系统包括了SQL、GraphX和R等每个子系统以适用不一样业务流程行业的要求。做为传统式关系型数据库/数据库管理在大数据情景下的解决方法，SparkSQL早已变成了业界的关键挑选计划方案，另外也变成了Spark开源社区中*为活跃性的一部分。这书聚焦点于SparkSQL系统，对其总体构架、內部每个控制模块的技术性完成体制开展源代码级別的分析，涉及SQL编译器、逻辑性计划、物理学执行计划、关键查寻(如Aggregation与Join等)的关键技术。除此之外，这书內容上还会融合环境的大量运用，共享很多真正开发设计实例与实践活动提升工作经验。

目录

• 第 1 章 Spark SQL 背景
• 第 2 章 Spark 基础知识介绍
• 第 3 章 Spark SQL 执行全过程概述
• 第 4 章 Spark SQL 编译器 Parser
• 第 5 章 Spark SQL 逻辑计划（LogicalPlan）
• 第 6 章 Spark SQL 物理计划（PhysicalPlan）
• 第 7 章 Spark SQL 之 Aggregation 实现
• 第 8 章 Spark SQL 之 Join 实现
• 第 9 章 Tungsten 技术实现
• 第 10 章 Spark SQL 连接 Hive
• 第 11 章 Spark SQL 开发与实践
• 总结
• 参考文献

学习笔记

浅谈PySpark SQL 相关知识介绍

1 大数据简介 大数据是这个时代最热门的话题之一。但是什么是大数据呢?它描述了一个庞大的数据集，并且正在以惊人的速度增长。大数据除了体积(Volume)和速度(velocity)外，数据的多样性(variety)和准确性(veracity)也是大数据的一大特点。让我们详细讨论体积、速度、多样性和准确性。这些也被称为大数据的4V特征。 1.1 Volume 数据体积(Volume)指定要处理的数据量。对于大量数据，我们需要大型机器或分布式系统。计算时间随数据量的增加而增加。所以如果我们能并行化计算，最好使用分布式系统。数据可以是结构化数据、非结构化数据或介于两者之间的数据。如果我们有非结构化数据，那么情况就会变得更……

pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例

代码如下，步骤流程在代码注释中可见： # -*- coding: utf-8 -*-import pandas as pdfrom pyspark.sql import SparkSessionfrom pyspark.sql import SQLContextfrom pyspark import SparkContext #初始化数据 #初始化pandas DataFramedf = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3']) #打印数据print df #初始化spark DataFramesc = SparkContext()if __name__ == "__main__": spark = SparkSession\ .builder\ .appName("testDataFrame")\ .getOrCreate() sentenceData = spark.createDataFrame([ (0.0, "I like Spark"), (1.0, "Pandas is useful"), (2.0, "They are coded by Python ")], ["label", "sentence"]) #显示数据sentenceData.select("label").show() #spark.DataFrame 转换成 pandas.DataFramesqlContest = SQLContext(sc)spark_df = sqlContest.create……

DataFrame:通过SparkSql将scala类转为DataFrame的方法

如下所示： import java.text.DecimalFormatimport com.alibaba.fastjson.JSONimport com.donews.data.AppConfigimport com.typesafe.config.ConfigFactoryimport org.apache.spark.sql.types.{StructField, StructType}import org.apache.spark.sql.{Row, SaveMode, DataFrame, SQLContext}import org.apache.spark.{SparkConf, SparkContext}import org.slf4j.LoggerFactory /** * Created by silentwolf on 2016/6/3. */ case class UserTag(SUUID: String, MAN: Float, WOMAN: Float, AGE10_19: Float, AGE20_29: Float, AGE30_39: Float, AGE40_49: Float, AGE50_59: Float, GAME: Float, MOVIE: Float, MUSIC: Float, ART: Float, POLITICS_NEWS: Float, FINANCIAL: Float, EDUCATION_TRAINING: Float, HEALTH_CARE: Float, TRAVEL: Float, AUTOMOBILE: Float, HOUSE_PROPERTY: Float, CLOTHING_ACCESSORIES: Float, BEAUTY: Float, IT: Float, BABY……

浅谈DataFrame和SparkSql取值误区

1、DataFrame返回的不是对象。 2、DataFrame查出来的数据返回的是一个dataframe数据集。 3、DataFrame只有遇见Action的算子才能执行 4、SparkSql查出来的数据返回的是一个dataframe数据集。 原始数据 scala val parquetDF = sqlContext.read.parquet("hdfs://hadoop14:9000/yuhui/parquet/part-r-00004.gz.parquet")df: org.apache.spark.sql.DataFrame = [timestamp: string, appkey: string, app_version: string, channel: string, lang: string, os_type: string, os_version: string, display: string, device_type: string, mac: string, network: string, nettype: string, suuid: string, register_days: int, country: string, area: string, province: string, city: string, event: string, use_interval_cat: string, use_duration_cat: string, use_interval: bigint, use_duration: ……

Spark学习笔记之Spark SQL的具体使用

1. Spark SQL是什么? 处理结构化数据的一个spark的模块 它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用 2. Spark SQL的特点 多语言的接口支持(java python scala) 统一的数据访问 完全兼容hive 支持标准的连接 3. 为什么学习SparkSQL? 我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！ 4. DataFrame(数据框) 与RDD类似，DataFrame也是一个分布式数据容器 然而DataFrame更像传统数据库的二维表格，除了数据以外，还……

以上就是本次介绍的数据库电子书的全部相关内容，希望我们整理的资源能够帮助到大家，感谢大家对码农之家的支持。

上一篇：容器云运维实战：Docker与Kubernetes集群

下一篇：Node.js in action