大数据平台基础架构指南

大数据平台基础架构指南 PDF 影印版

  • 大小:137.7 MB
  • 类型:大数据
  • 格式:PDF
  • 出版:电子工业出版社
  • 作者:刘旭晖
  • 更新:2020-07-07 10:24:04
vip 立即下载( 137.7 MB )
关注公众号免费下载
版权投诉 / 资源反馈(本资源由用户 牛高峯 投稿)

给大家整理一篇大数据相关的资料,由电子工业出版社出版,作者是刘旭晖,介绍了关于大数据、架构方面,格式为PDF,资源大小137.7 MB,目前在大数据类资源综合评分为:7.7分。

大数据资源推荐

书籍介绍

大数据平台基础架构指南 pdf

当今不无互联网大数据具体技术模块的书藉,但却非常少有从数据管理平台整体建设和产品形态的宏观经济多角度下手来诠释的。一本书重点介绍大数据开发平台服务搭建的整体构思和解决方法,内容涵盖一个成熟的大数据开发平台不可或缺的各种核心模块:工作流引擎调度系统、集成化开发环境、元数据管理系统、数据传输服务、信息可视化服务、数据质量管理服务,以及测试环境的建设等。书中还凝固了创作者很多年数据平台的实践证明,以及对互联网大数据相关从业者能力建设和职业生涯规划的难能可贵建议。一本书适合广大志在深层次了解数据管理平台建设、研发和应用的在职员工及本科学校老师与学生。

目录

  • 第1章 大数据平台整体建设思想 1
  • 第2章 服务意识和产品思想的培养 17
  • 第3章 工作流(作业)调度系统 39
  • 第4章 集成开发环境门户建设 81
  • 第5章 数据采集、传输、交换、同步服务 101
  • 第6章 数据可视化平台 130
  • 第7章 安全与权限管控 149
  • 第8章 数据质量管理 175
  • 第9章 大数据集群迁移经验谈 195
  • 第10章 谈谈大数据码农的职业发展问题 210

读书笔记

大数据用什么语言?

大数据是这近年来一直比较火的一个词语,让很多人都情不自禁走入大数据的学习中。可是你知道大数据用什么语言吗?

大数据用什么语言?

1、Python语言
十多年来,Python在学术界当中一直很流行,尤其是在自然语言处理(NLP)等领域。因而,如果你有一个需要NLP处理的项目,就会面临数量多得让人眼花缭乱的选择,包括经典的NTLK、使用GenSim的主题建模,或者超快、准确的spaCy。同样,说到神经网络,Python同样游刃有余,有Theano和Tensorflow;随后还有面向机器学习的scikit-learn,以及面向数据分析的NumPy和Pandas。
还有Juypter/iPython――这种基于Web的笔记本服务器框架让你可以使用一种可共享的日志格式,将代码、图形以及几乎任何对象混合起来。这一直是Python的杀手级功能之一,不过这年头,这个概念证明大有用途,以至于出现在了奉行读取-读取-输出-循环(REPL)概念的几乎所有语言上,包括Scala和R。
Python往往在大数据处理框架中得到支持,但与此同时,它往往又不是“一等公民”。比如说,Spark中的新功能几乎总是出现在Scala/Java绑定的首位,可能需要用PySpark编写面向那些更新版的几个次要版本(对Spark Streaming/MLLib方面的开发工具而言尤为如此)。
与R相反,Python是一种传统的面向对象语言,所以大多数开发人员用起来会相当得心应手,而初次接触R或Scala会让人心生畏惧。一个小问题就是你的代码中需要留出正确的空白处。这将人员分成两大阵营,一派觉得“这非常有助于确保可读性”,另一派则认为,我们应该不需要就因为一行代码有个字符不在适当的位置,就要迫使解释器让程序运行起来。
2、R语言
在过去的几年时间中,R语言已经成为了数据科学的宠儿——数据科学现在不仅仅在书呆子一样的统计学家中人尽皆知,而且也为华尔街交易员,生物学家,和硅谷开发者所家喻户晓。各种行业的公司,例如Google,Facebook,美国银行,以及纽约时报都使用R语言,R语言正在商业用途上持续蔓延和扩散。
R语言有着简单而明显的吸引力。使用R语言,只需要短短的几行代码,你就可以在复杂的数据集中筛选,通过先进的建模函数处理数据,以及创建平整的图形来代表数字。它被比喻为是Excel的一个极度活跃版本。
R语言最伟大的资本是已围绕它开发的充满活力的生态系统:R语言社区总是在不断地添加新的软件包和功能到它已经相当丰富的功能集中。据估计,超过200万的人使用R语言,并且最近的一次投票表明,R语言是迄今为止在科学数据中最流行的语言,被61%的受访者使用(其次是Python,39%)。
3、JAVA
Java,以及基于Java的框架,被发现俨然成为了硅谷最大的那些高科技公司的骨骼支架。 “如果你去看Twitter,LinkedIn和Facebook,那么你会发现,Java是它们所有数据工程基础设施的基础语言,”Driscoll说。
Java不能提供R和Python同样质量的可视化,并且它并非统计建模的最佳选择。但是,如果你移动到过去的原型制作并需要建立大型系统,那么Java往往是你的最佳选择。

以上就是大数据用什么语言?的详细内容,更多请关注码农之家其它相关文章!

 

以上就是本次关于书籍资源的介绍和部分内容,我们还整理了以往更新的其它相关电子书资源内容,可以在下方直接下载,关于相关的资源我们在下方做了关联展示,需要的朋友们也可以参考下。

大数据相关资源

  • 大数据搜索与挖掘及可视化管理方案

    大数据搜索与挖掘及可视化管理方案

    本书的分布式大数据搜索、日志挖掘、可视化、集群监控与管理等方案是基于Elastic Stack 5而提出的,它能有效应对海量大数据所带来的分布式数据存储与处理、全文检索、日志挖掘、可视化、集

    大小:199 MB大数据电子书

  • Spark大数据分析实战

    Spark大数据分析实战

    本书首先从技术层面讲解了Spark的机制、生态系统与开发相关的内容;然后从应用角度讲解了日志分析、推荐系统、情感分析、协同过滤、搜索引擎、社交网络分析、新闻数据分析等多个常见的

    大小:31.9 MBSpark电子书

  • 大数据系统构建

    大数据系统构建

    随着社交网络、网络分析和智能型电子商务的兴起,传统的数据库系统显然已无法满足海量数据的管理需求。 作为一种新的处理模式,大数据系统应运而生,它使用多台机器并行工作,能够对

    大小:100 MB大数据电子书

  • 大数据智能

    大数据智能

    大小:166.1 MB大数据电子书

  • Hadoop&Spark大数据开发实战

    Hadoop&Spark大数据开发实战

    大小:175 MB大数据电子书

  • Hadoop大数据挖掘从入门到进阶实战

    Hadoop大数据挖掘从入门到进阶实战

    博客园资深博主、极客学院金牌讲师多年Hadoop实战经验分享;详解Hadoop完整的技术体系:基础部署、集群管理、底层设计、项目实战;200分钟配套视频;51个实例,10个案例,大量避坑技巧

    大小:214.4 MBHadoop电子书

  • Mesos:大数据资源调度与大规模容器运行最佳实践

    Mesos:大数据资源调度与大规模容器运行最佳实践

    大小:108 MB大数据电子书

  • 大数据基础编程、实验和案例教程

    大数据基础编程、实验和案例教程

    本书以大数据分析全流程为主线,介绍了数据采集、数据存储与管理、数据处理与分析、数据可视化等环节典型软件的安装、使用和基础编程方法。具有一定的参考价值,感兴趣的小伙伴们可以参考一下

    大小:55.6 MB大数据分析电子书

资源下载

大数据学习笔记

7小时20分钟前回答

大数据专业学什么

大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。目前,大数据算是非常火的专业,下面我将和大家谈谈大数据专业学什么? 大数据专业分为两种,其一是大数据开发,其二是数据分析与挖掘。 1、大数据开发:Ja-va、大数据……

11小时15分钟前回答

jQuery插件select2利用ajax高效查询大数据列表(可搜索、可分页)

select2是一款jQuery插件,是普通form表单select组件的升级版。 可以定制搜索、远程数据集(Remote data,本篇主要介绍点)、无限滚动(数据分页功能,这一点很妙)、还有很多高端的参数设置(有需要的下次介绍)。 内置了40种国际化语言,不过这里我们只需要用到中文。 同时支持现代和传统浏览器内置,甚至包括惹人不高兴的IE8。 那么,现在让我们开始一段select2的奇幻之旅吧!……