当前位置：主页 > 技术文档 > Apache Flink技术下载

不仅仅是流计算:Apache Flink实践超清版

更新：2020-04-07 10:56:45
大小：3.92 MB
热度：694
审核：饶宛菡
类别：技术文章
格式：PDF

资源介绍
学习心得
相关内容

Apache Flink 已经被业界公认是最好的流计算引擎。然而 Flink 的计算能力不仅仅局限于做流处理。Apache Flink 的定位是一套兼具流、批、机器学习等多种计算功能的大数据引擎

在这本合集里，你可以了解到：

Flink 如何为整个阿里集团平稳度过双十一立下汗马功劳？
如何为满足滴滴极为复杂的业务需求提供简单直观的 API 支持？
如何在字节跳动逐步取代原有的 JStorm 引擎，成为公司内部流式数据处理的唯一标准？

在全方位详细介绍Flink的重大进展以前，我先来详细介绍一些大数据和人工智能技术计算的背景图。大数据计算的类型十分多，较为典型性的，且被规模性应用的主要是3种种类，批计算，流计算，和交互式剖析计算。批计算的特性是计算的数据量较为大，可是通常对延迟时间并不是非常比较敏感。流计算对延迟时间的规定十分高，这种工作的查寻query通常是固定不动的。因而流计算工作通常必须提早生产调度起來，一旦数据来临就可以做迅速的解决，节约了生产调度的花销。最终一种是交互式剖析，这类种类的大数据计算的特性是客户的查寻query不是固定不动的，这种query通常是由客户任意的传出的。尽管查寻不固定不动，在这类情景下，客户对查寻的回到时间有一定的规定的，这一時间接近批处理和流解决中间，越是快就越好，最好是能保证秒级。
不仅是流计算：ApacheFlink®实践活动

人工智能技术计算的类型许多，可是总体构架大多数和图中所叙述的相近。一个普遍的MLpipeline一般涉及到一系列的数据预备处理、特征提取和变换、模型训炼及其认证。假如认证后的实际效果合乎预估，就可以将模型推倒线上服务。假如不符预估，算法工程师就必须调节优化算法模型或是主要参数，随后再做一次模型的训炼和认证，直至对結果令人满意后，再将训炼好的模型推发布服务项目。全部计算全过程能够是对一个明确尺寸的数据依照批计算方式计算，还可以连接即时数据依照流计算方式开展计算。上边这一pipeline是人工智能技术计算最基本的步骤，假如算法工程师对数据及其业务流程特性十分了解，她们就能设计方案出有效的优化算法模型和主要参数。可是通常更普遍的状况是，算法工程师必须分析工具协助她们了解数据。只能在非常好的了解了数据特性以后，才可以获取出更有效的特点，设计方案出更强的模型。因而，如下图图示，搞好人工智能技术计算，必不可少的一部分就是说交互式剖析。拥有交互式剖析，算法工程师能够对数据做各种各样ad-hocquery，进而协助她们更强的了解数据。