当前位置:首页 > 行业软件及应用 >

Azkaban操作指南

PDF高清版

时间:2020-10-13 09:21:54大小:3.6 MB已被580人关注 资源下载

Azkaban操作手册
Azkaban操作手册

最近在实际工作中玩到了Azkaban,虽然之前有简单的接触,但是真正用到的时候,才能体会到这个工具的实用性有多强,总结下真个操作过程。在总结整个操作过程之前先简单描述下工作流调度系统的优势。

1、工作流调度系统的优势

一个完整的数据分析系统通常都是由大量任务单元组成:

shell脚本程序,java程序,mapreduce程序、hive脚本等

各任务单元之间存在时间先后及前后依赖关系

为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;

例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对其进行处理,处理步骤如下所示:

通过Hadoop先将原始数据同步到HDFS上;

借助MapReduce计算框架对原始数据进行转换,生成的数据以分区表的形式存储到多张Hive表中;

需要对Hive中多个表的数据进行JOIN处理,得到一个明细数据Hive大表;

将明细数据进行复杂的统计分析,得到结果报表信息;

需要将统计分析得到的结果数据同步到业务系统中,供业务调用使用。

以上整个流程组成了我们的一个job,如果采用传统的linux定时任务去处理这个流程的话,存在一个巨大的隐患,job失败率很高,流程无法控制,没有预警机制。所以类似的这种工作流调度器的工具就应运而生!

已被773人点赞
azkaban是什么
azkaban是什么

Azkaban Hadoop批处理调度器

Azkaban是个简单的批处理调度器,用来构建和运行Hadoop作业或其他脱机过程。

特性:

兼容所有版本的 Hadoop

基于 Web 的易用 UI

简单的 Web 和 HTTP 工作流上传

项目工作空间

工作流调度

模块化和插件化

支持认证和授权

可跟踪用户行为

失败和成功时的邮件提醒

SLA 警告和自动终止

失败作业的重试

已被276人点赞
Azkaban 简单入门
Azkaban 简单入门

Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。

1. 安装

准备工作

azkaban-web-server-2.5.0.tar.gz
azkaban-executor-server-2.5.0.tar.gz
azkaban-sql-script-2.5.0.tar.gz

其中,azkaban-web-server-2.5.0.tar.gz是服务器,azkaban-executor-server-2.5.0.tar.gz是执行服务器,azkaban-sql-script-2.5.0.tar.gz是执行的sql脚本。

2. mysql创建表

分别把他们解压安装后。我们还需要在mysql中创建数据库,然后运行azkaban提供的sql脚本来创建azkaban所需要的表。

mysql -uroot -p
mysql> create database azkaban;
mysql> use azkaban;
Database changed
mysql> source /home/fantj/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql;
mysql> show tables;
+------------------------+
| Tables_in_azkaban      |
+------------------------+
| active_executing_flows |
| active_sla             |
| execution_flows        |
| execution_jobs         |
| execution_logs         |
| project_events         |
| project_files          |
| project_flows          |
| project_permissions    |
| project_properties     |
| project_versions       |
| projects               |
| properties             |
| schedules              |
| triggers               |
+------------------------+
15 rows in set (0.00 sec)

 

已被476人点赞
下载地址:百度网盘下载

Copyright 2018-2020 www.xz577.com 码农之家

版权投诉 / 书籍推广 / 赞助:520161757@qq.com