大数据架构商业之路：从业务需求到技术方案

给大家带来的一篇关于大数据相关的电子书资源，介绍了关于大数据、架构方面的内容，本书是由机械工业出版社出版，格式为PDF，资源大小74.9 MB，黄申编写，目前豆瓣、亚马逊、当当、京东等电子书综合评分为：8.9。

内容介绍

现阶段大数据技术性早已逐步完善，可是业内发觉与大数据有关的设计产品和产品研发依然十分艰难，技术性、商品和商业服务的融合度还远远不够。这关键是由于大数据涉及到覆盖面广、科技含量高、升级换代快，门坎也比别的大部分IT制造行业更高。大家要不应用价格昂贵的商业服务解决方法，要不花销极大的精力探求。这书根据一个虚似的互联网技术O2O创业历程，来逐渐进行详细介绍自主创业每个环节将会碰到的大数据课题研究、业务流程要求，及其相对性应的技术规范，乃至是实践活动分析；让读者亲临其境，一起来探索大数据的秘密。书里会遮盖较普遍的技术性点，并出示相对的情况专业知识详细介绍，针对想进一步深入分析关键点的读者，也可轻轻松松得到继续阅读的方位和规范性提议。

目录

• 推荐序一
• 推荐序二
• 前　　言
• 第1章　抉择 1
• 第2章　数据收集 4
• 2.1　互联网数据收集 4
• 2.1.1　网络爬虫 5
• 2.1.2　Apache Nutch简介 11
• 2.1.3　Heritrix简介 14
• 2.2　内部数据收集 15
• 2.2.1　Apache Flume简介 17
• 2.2.2　Facebook Scribe和Logstash 21
• 2.3　本章心得 21
• 2.4　参考资料 22
• 第3章　数据存储 23
• 3.1　持久化存储 23
• 3.1.1　Hadoop和HDFS 25
• 3.1.2　HBase简介 28
• 3.1.3　MongoDB 35
• 3.2　非持久化存储 37
• 3.2.1　缓存和散列 37
• 3.2.2　Memcached和Berkeley DB简介 41
• 3.2.3　Redis简介 41
• 3.3　本章心得 44
• 3.4　参考资料 44
• 第4章　数据处理 46
• 4.1　离线批量处理 46
• 4.1.1　Hadoop的MapReduce 47
• 4.1.2　Spark简介 52
• 4.1.3　Hive简介 53
• 4.1.4　Pig、Impala和Spark SQL 56
• 4.2　提升及时性：消息机制 58
• 4.2.1　ActiveMQ简介 60
• 4.2.2　Kafka简介 61
• 4.3　在线实时处理 63
• 4.3.1　Storm简介 63
• 4.3.2　Spark Streaming简介 66
• 4.4　本章心得 66
• 4.5　参考资料 67
• 第5章　信息检索 69
• 5.1　基本理念 70
• 5.2　相关性 70
• 5.2.1　布尔模型 70
• 5.2.2　基于排序的布尔模型 71
• 5.2.3　向量空间模型 74
• 5.2.4　语言模型 75
• 5.3　及时性 77
• 5.4　与数据库查询的对比 81
• 5.5　搜索引擎 82
• 5.5.1　Web搜索中的链接分析 83
• 5.5.2　电子商务中的商品排序 86
• 5.5.3　多因素和基于学习的排序 88
• 5.5.4　系统框架 89
• 5.5.5　Lucene简介 93
• 5.5.6　Solr简介 98
• 5.5.7　Elasticsearch简介 104
• 5.6　推荐系统 108
• 5.6.1　推荐的核心要素 109
• 5.6.2　推荐系统的分类 110
• 5.6.3　混合模型 115
• 5.6.4　系统架构 116
• 5.6.5　Mahout 116
• 5.7　在线广告 119
• 5.8　本章心得 127
• 5.9　参考资料 128
• 第6章　数据挖掘 130
• 6.1　基本理念 131
• 6.2　数据的表示和预处理 133
• 6.3　机器学习算法 136
• 6.4　挖掘工具 157
• 6.5　本章心得 165
• 6.6　参考资料 165
• 第7章　效能评估 167
• 7.1　效果评估 168
• 7.2　性能评估 190
• 7.3　本章心得 202
• 7.4　参考资料 202
• 第8章　大数据技术全景 204
• 第9章　商品太多啦！需要搜索引擎 207
• 9.1　业务需求 207
• 9.2　产品设计和技术选型 208
• 9.3　实现方案 211
• 第10章　能否更主动？还需要推荐引擎 223
• 10.1　业务需求 223
• 10.2　产品设计和技术选型 225
• 10.3　实现方案 230
• 第11章　这样做的效果如何 241
• 11.1　业务需求 241
• 11.2　产品设计和技术选型 242
• 11.3　实现方案 243
• 第12章　这个搜索有点逊 258
• 12.1　业务需求：还要搜得更多 258
• 12.2　“还要搜得更多”：产品设计和技术选型 259
• 12.3　“还要搜得更多”的方案实现 261
• 12.4　业务需求：还要搜得更准 265
• 12.5　“还要搜得更准”：产品设计和技术选型 266
• 12.6　“还要搜得更准”的方案实现 271
• 12.7　业务需求：还要更快 273
• 12.8　还要“变”得更快：产品设计和技术选型 274
• 12.9　还要“搜”得更快：产品设计和技术选型 275
• 12.10　业务需求：给点提示吧 280
• 12.11　给点提示吧：产品设计和技术选型 282
• 第13章　支持更高效的运营 287
• 13.1　业务需求：互联网时代的CRM 287
• 13.2　互联网时代的CRM：产品设计和技术选型 288
• 13.3　业务需求：抓住捣蛋鬼 291
• 13.4　抓住捣蛋鬼：产品设计和技术选型 292
• 13.5　业务需求：销售之战 295
• 13.6　销售之战：产品设计和技术选型 296
• 后记 299

学习笔记

浅谈Mysql、SqlServer、Oracle三大数据库的区别

一、MySQL 优点： 体积小、速度快、总体拥有成本低，开源； 支持多种操作系统； 是开源数据库，提供的接口支持多种语言连接操作 ； MySQL的核心程序采用完全的多线程编程。线程是轻量级的进程，它可以灵活地为用户提供服务，而不过多的系统资源。用多线程和C语言实现的mysql能很容易充分利用CPU； MySql有一个非常灵活而且安全的权限和口令系统。当客户与MySql服务器连接时，他们之间所有的口令传送被加密，而且MySql支持主机认证； 支持ODBC for Windows， 支持所有的ODBC 2.5函数和其他许多函数， 可以用Access连接MySql服务器， 使得应用被扩展； 支持大型的数据库， 可以方便地支持上千万条记录的数据……

在大数据情况下MySQL的一种简单分页优化方法

通常应用需要对表中的数据进行翻页，如果数据量很大，往往会带来性能上的问题： root@sns 07:16:25select count(*) from reply_0004 where thread_id = 5616385 and deleted = 0;+———-+| count(*) |+———-+| 1236795 |+———-+1 row in set (0.44 sec)root@sns 07:16:30select idfrom reply_0004 where thread_id = 5616385 and deleted = 0order by id asc limit 1236785, 10 ;+———–+| id |+———–+| 162436798 || 162438180 || 162440102 || 162442044 || 162479222 || 162479598 || 162514705 || 162832588 || 162863394 || 162899685 |+———–+10 rows in set (1.32 sec) 索引：threa_id+deleted+id（gmt_Create） 10 rows in set (1.32 sec) 这两条sql是为查询最后一页的翻页sql查询用的。由于一次翻页往往只需要查询较小的数据，如……

mysql 超大数据/表管理技巧

如果你对长篇大论没有兴趣，也可以直接看看结果，或许你对结果感兴趣。在实际应用中经过存储、优化可以做到在超过9千万数据中的查询响应速度控制在1到20毫秒。看上去是个不错的成绩，不过优化这条路没有终点，当我们的系统有超过几百人、上千人同时使用时，仍然会显的力不从心。 目录： 分区存储 优化查询 改进分区 模糊搜索 持续改进的方案 正文： 分区存储 对于超大的数据来说，分区存储是一个不错的选择，或者说这是一个必选项。对于本例来说，数据记录来源不同，首先可以根据来源来划分这些数据。但是仅仅这样还不够，因为每个来源的分区的数据都可能超过千万。这对数据的存储……

jQuery插件select2利用ajax高效查询大数据列表（可搜索、可分页）

select2是一款jQuery插件，是普通form表单select组件的升级版。 可以定制搜索、远程数据集（Remote data，本篇主要介绍点）、无限滚动（数据分页功能，这一点很妙）、还有很多高端的参数设置（有需要的下次介绍）。 内置了40种国际化语言，不过这里我们只需要用到中文。 同时支持现代和传统浏览器内置，甚至包括惹人不高兴的IE8。 那么，现在让我们开始一段select2的奇幻之旅吧！ 一、惊艳的效果，来一睹为快吧 本地实战结果 二、导入css和js到网站上 1.使用CDN，节省自己网站的流量 link href="https://cdnjs.cloudflare.com/ajax/libs/select2/4.0.3/css/select2.min.css" rel="external nofollow" rel="stylesheet" /script src="https://cdnjs.cloudf……

为什么入门大数据选择Python而不是Java?

马云说：“未来最大的资源就是数据，不参与大数据十年后一定会后悔。”毕竟出自wuli马大大之口，今年二月份我开始了学习大数据的道路，直到现在对大数据的学习脉络和方法也渐渐清晰。今天我们就来谈谈学习大数据入门语言的选择。当然并不只是我个人之见，此外我搜集了各路大神的见解综合起来跟大家做个讨论。 java和python的区别到底在哪里？ 官方解释：Java是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念，因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，允许程序……

以上就是本次介绍的大数据电子书的全部相关内容，希望我们整理的资源能够帮助到大家，感谢大家对码农之家的支持。

上一篇：Git团队协作

下一篇：Spark MLlib机器学习：算法、源码及实战详解