分布式任务调度平台XXL-JOB应用

  • 更新时间:
  • 6129人关注
  • 点击下载

这是一个不错的分布式应用类学习资源,由富芷茹 提供,主要知识点是关于分布式、任务调度、XXL-JOB、分布式应用的内容,已被925人关注,同类资源中评分为8.6分。

XXL-JOB是一个轻量级分布式任务调度平台,其核心设计目标是开发快捷,学习简单,轻量级,易于扩展。现在开放源代码,访问多家公司的在线产品线,开箱即用。

目前,许多公司已经访问了xxl-job,包括著名的公众评论、JD.COM、优信二手车、北京尚德、360金融(360)、联想集团(联想)、易信(网易)等。

2.quartz不足。

问题1:调用API操作任务,不人性化;

第二个问题:需要持久的业务QuartzJobBean到底层数据表,系统的侵入性非常严重。

第三个问题:调度逻辑与QuartzJobBean耦合在同一项目中,这会导致一个问题,在调度任务数量逐渐增加的同时,调度任务逻辑逐渐增加的情况下,调度系统的性能也会受到业务的极大限制;

第四个问题:quartz底层采用抢占式获得DB锁,并由抢占成功节点负责运行任务,这将导致节点负载悬殊很大;而XXL-JOB则通过执行机构实现协同分配式运行任务,充分发挥集群优势,使各节点负载均衡。

XXL-JOB弥补了quartz上述不足。

精选笔记:C++实现的分布式游戏服务端引擎KBEngine详解

23小时18分钟前回答

KBEngine 是一款开源的游戏服务端引擎,使用简单的约定协议就能够使客户端与服务端进行交互,
使用KBEngine插件能够快速与(Unity3D, OGRE, Cocos2d, HTML5, 等等)技术结合形成一个完整的客户端。

服务端底层框架使用c++编写,游戏逻辑层使用Python(支持热更新),开发者无需重复的实现一些游戏服务端通用的底层技术,
将精力真正集中到游戏开发层面上来,快速的打造各种网络游戏。

(经常被问到承载上限,kbengine底层架构被设计为多进程分布式动态负载均衡方案,
理论上只需要不断扩展硬件就能够不断增加承载上限,单台机器的承载上限取决于游戏逻辑本身的复杂度。)

cstdkbe.hpp

/*
This source file is part of KBEngine
For the latest info, see http://www.kbengine.org/
 
Copyright (c) 2008-2012 KBEngine.
 
KBEngine is free software: you can redistribute it and/or modify
it under the terms of the GNU Lesser General Public License as published by
the Free Software Foundation, either version 3 of the License, or
(at your option) any later version.
 
KBEngine is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU Lesser General Public License for more details.
 
You should have received a copy of the GNU Lesser General Public License
along with KBEngine. If not, see <http://www.gnu.org/licenses/>.
*/
#ifndef KBE_CSTDKBE_HPP
#define KBE_CSTDKBE_HPP
#include "cstdkbe/platform.hpp"
#include "cstdkbe/singleton.hpp"
#include "cstdkbe/kbeversion.hpp"
#include "cstdkbe/kbemalloc.hpp"
#include "cstdkbe/stringconv.hpp"
#include "cstdkbe/format.hpp"
 
namespace KBEngine{
/** 安全的释放一个指针内存 */
#define SAFE_RELEASE(i)                   \
  if (i)                         \
    {                          \
      delete i;                    \
      i = NULL;                    \
    }
 
/** 安全的释放一个指针数组内存 */
#define SAFE_RELEASE_ARRAY(i)                \
  if (i)                         \
    {                          \
      delete[] i;                   \
      i = NULL;                    \
    }
 
#ifdef CODE_INLINE
  #define INLINE  inline
#else
  #define INLINE
#endif
 
/** kbe时间 */
extern GAME_TIME g_kbetime;
 
/** 账号的类别 */
enum ACCOUNT_TYPE
{
  ACCOUNT_TYPE_NORMAL = 1,  // 普通账号
  ACCOUNT_TYPE_MAIL = 2,   // email账号(需激活)
  ACCOUNT_TYPE_SMART = 3   // 智能识别
};
 
enum ACCOUNT_FLAGS
{
  ACCOUNT_FLAG_NORMAL = 0x00000000,
  ACCOUNT_FLAG_LOCK = 0x000000001,
  ACCOUNT_FLAG_NOT_ACTIVATED = 0x000000002
};
 
/** entity的mailbox类别 */
enum ENTITY_MAILBOX_TYPE
{
  MAILBOX_TYPE_CELL                        = 0,
  MAILBOX_TYPE_BASE                        = 1,
  MAILBOX_TYPE_CLIENT                       = 2,
  MAILBOX_TYPE_CELL_VIA_BASE                   = 3,
  MAILBOX_TYPE_BASE_VIA_CELL                   = 4,
  MAILBOX_TYPE_CLIENT_VIA_CELL                  = 5,
  MAILBOX_TYPE_CLIENT_VIA_BASE                  = 6,
};
 
/** mailbox的类别对换为字符串名称 严格和ENTITY_MAILBOX_TYPE索引匹配 */
const char ENTITY_MAILBOX_TYPE_TO_NAME_TABLE[][8] = 
{
  "cell",
  "base",
  "client",
  "cell",
  "base",
  "client",
  "client",
};
 
/** 定义服务器各组件类别 */
enum COMPONENT_TYPE
{
  UNKNOWN_COMPONENT_TYPE = 0,
  DBMGR_TYPE       = 1,
  LOGINAPP_TYPE      = 2,
  BASEAPPMGR_TYPE     = 3,
  CELLAPPMGR_TYPE     = 4,
  CELLAPP_TYPE      = 5,
  BASEAPP_TYPE      = 6,
  CLIENT_TYPE       = 7,
  MACHINE_TYPE      = 8,
  CONSOLE_TYPE      = 9,
  MESSAGELOG_TYPE     = 10,
  BOTS_TYPE        = 11,
  WATCHER_TYPE      = 12,
  BILLING_TYPE      = 13,
  COMPONENT_END_TYPE   = 14,
};
 
/** 当前服务器组件类别和ID */
extern COMPONENT_TYPE g_componentType;
extern COMPONENT_ID g_componentID;
 
/** 定义服务器各组件名称 */
const char COMPONENT_NAME[][255] = {
  "unknown",
  "dbmgr",
  "loginapp",
  "baseappmgr",
  "cellappmgr",
  "cellapp",
  "baseapp",
  "client",
  "kbmachine",
  "console",
  "messagelog",
  "bots",
  "watcher",
  "billing",
};
 
const char COMPONENT_NAME_1[][255] = {
  "unknown  ",
  "dbmgr   ",
  "loginapp  ",
  "baseappmgr ",
  "cellappmgr ",
  "cellapp  ",
  "baseapp  ",
  "client   ",
  "kbmachine ",
  "console  ",
  "messagelog ",
  "bots",
  "watcher",
  "billing",
};
 
inline const char* COMPONENT_NAME_EX(COMPONENT_TYPE CTYPE)
{                  
  if(CTYPE < 0 || CTYPE >= COMPONENT_END_TYPE)
  {
    return COMPONENT_NAME[UNKNOWN_COMPONENT_TYPE];
  }
 
  return COMPONENT_NAME[CTYPE];
}
 
inline const char* COMPONENT_NAME_EX_1(COMPONENT_TYPE CTYPE)
{                  
  if(CTYPE < 0 || CTYPE >= COMPONENT_END_TYPE)
  {
    return COMPONENT_NAME_1[UNKNOWN_COMPONENT_TYPE];
  }
 
  return COMPONENT_NAME_1[CTYPE];
}
 
inline COMPONENT_TYPE ComponentName2ComponentType(const char* name)
{
  for(int i=0; i<(int)COMPONENT_END_TYPE; i++)
  {
    if(kbe_stricmp(COMPONENT_NAME[i], name) == 0)
      return (COMPONENT_TYPE)i;
  }
 
  return UNKNOWN_COMPONENT_TYPE;
}
 
// 所有的组件列表
const COMPONENT_TYPE ALL_COMPONENT_TYPES[] = {BASEAPPMGR_TYPE, CELLAPPMGR_TYPE, DBMGR_TYPE, CELLAPP_TYPE, 
            BASEAPP_TYPE, LOGINAPP_TYPE, MACHINE_TYPE, CONSOLE_TYPE, MESSAGELOG_TYPE, 
            WATCHER_TYPE, BILLING_TYPE, BOTS_TYPE, UNKNOWN_COMPONENT_TYPE};
 
// 所有的后端组件列表
const COMPONENT_TYPE ALL_SERVER_COMPONENT_TYPES[] = {BASEAPPMGR_TYPE, CELLAPPMGR_TYPE, DBMGR_TYPE, CELLAPP_TYPE, 
            BASEAPP_TYPE, LOGINAPP_TYPE, MACHINE_TYPE, MESSAGELOG_TYPE, 
            WATCHER_TYPE, BILLING_TYPE, BOTS_TYPE, UNKNOWN_COMPONENT_TYPE};
 
// 所有的后端组件列表
const COMPONENT_TYPE ALL_GAME_SERVER_COMPONENT_TYPES[] = {BASEAPPMGR_TYPE, CELLAPPMGR_TYPE, DBMGR_TYPE, CELLAPP_TYPE, 
            BASEAPP_TYPE, LOGINAPP_TYPE, BILLING_TYPE, UNKNOWN_COMPONENT_TYPE};
 
// 所有的辅助性组件
const COMPONENT_TYPE ALL_HELPER_COMPONENT_TYPE[] = {MESSAGELOG_TYPE, UNKNOWN_COMPONENT_TYPE};
 
// 返回是否是一个有效的组件
#define VALID_COMPONENT(C_TYPE) ((C_TYPE) > 0 && (C_TYPE) < COMPONENT_END_TYPE)
 
 
// 前端应用的类别, All client type
enum COMPONENT_CLIENT_TYPE
{
  UNKNOWN_CLIENT_COMPONENT_TYPE  = 0,
 
  // 移动类,手机,平板电脑
  // Mobile, Phone, Pad(Allowing does not contain Python-scripts and entitydefs analysis, can be imported protocol from network)
  CLIENT_TYPE_MOBILE       = 1,
 
  // 独立的Windows/Linux/Mac应用程序(包含python脚本,entitydefs解析与检查entitydefs的MD5,原生的)
  // Windows/Linux/Mac Application program (Contains the Python-scripts, entitydefs parsing and check entitydefs-MD5, Native)
  CLIENT_TYPE_PC         = 2,  
 
  // 不包含Python脚本,entitydefs协议可使用网络导入
  // Web, HTML5, Flash
  CLIENT_TYPE_BROWSER       = 3,  
 
  // 包含Python脚本,entitydefs解析与检查entitydefs的MD5,原生的
  // bots (Contains the Python-scripts, entitydefs parsing and check entitydefs-MD5, Native)
  CLIENT_TYPE_BOTS        = 4,  
 
  // 轻端类, 可不包含python脚本,entitydefs协议可使用网络导入
  // Mini-Client(Allowing does not contain Python-scripts and entitydefs analysis, can be imported protocol from network)
  CLIENT_TYPE_MINI        = 5,  
 
  // End
  CLIENT_TYPE_END         = 6   
};
 
/** 定义前端应用的类别名称 */
const char COMPONENT_CLIENT_NAME[][255] = {
  "UNKNOWN_CLIENT_COMPONENT_TYPE",
  "CLIENT_TYPE_MOBILE",
  "CLIENT_TYPE_PC",
  "CLIENT_TYPE_BROWSER",
  "CLIENT_TYPE_BOTS",
  "CLIENT_TYPE_MINI",
};
 
// 所有前端应用的类别
const COMPONENT_CLIENT_TYPE ALL_CLIENT_TYPES[] = {CLIENT_TYPE_MOBILE, CLIENT_TYPE_PC, CLIENT_TYPE_BROWSER, 
                        CLIENT_TYPE_BOTS, CLIENT_TYPE_MINI, UNKNOWN_CLIENT_COMPONENT_TYPE};
 
typedef int8 CLIENT_CTYPE;
 
// 前端是否支持浮点数
// #define CLIENT_NO_FLOAT
 
// 一个cell的默认的边界或者最小大小
#define CELL_DEF_MIN_AREA_SIZE       500.0f
 
/** 一个空间的一个chunk大小 */
#define SPACE_CHUNK_SIZE          100
 
 
/** 检查用户名合法性 */
inline bool validName(const char* name, int size)
{
  if(size >= 256)
    return false;
 
  for(int i=0; i<size; i++)
  {
    char ch = name[i];
    if((ch >= 'a' && ch <= 'z') || (ch >= 'A' && ch <= 'Z') || (ch >= '0' && ch <= '9') || (ch == '_'))
      continue;
 
    return false;
  }
 
  return true;
}
 
inline bool validName(const std::string& name)
{
  return validName(name.c_str(), name.size());
}
 
/** 检查email地址合法性 
严格匹配请用如下表达式
[a-z0-9!#$%&'*+/=?^_`{|}~-]+(?:\.[a-z0-9!#$%&'*+/=?^_`{|}~-]+)*@(?:[a-z0-9](?:[a-z0-9-]*[a-z0-9])?\.)+[a-z0-9](?:[a-z0-9-]*[a-z0-9])?
*/
#ifdef USE_REGEX
#include <regex>
#endif
 
inline bool email_isvalid(const char *address) 
{
#ifdef USE_REGEX
  std::tr1::regex _mail_pattern("([a-z0-9!#$%&'*+/=?^_`{|}~-]+(?:\.[a-z0-9!#$%&'*+/=?^_`{|}~-]+)*@(?:[a-z0-9](?:[a-z0-9-]*[a-z0-9])?\.)+[a-z0-9](?:[a-z0-9-]*[a-z0-9])?)");
  return std::tr1::regex_match(accountName, _mail_pattern);
#endif
  int len = strlen(address);
  if(len <= 3)
    return false;
 
  char ch = address[len - 1];
  if(!((ch >= 'a' && ch <= 'z') || (ch >= 'A' && ch <= 'Z') || (ch >= '0' && ch <= '9')))
    return false;
 
  int    count = 0;
  const char *c, *domain;
  static const char *rfc822_specials = "()<>@,;:\\\"[]";
 
  /* first we validate the name portion (name@domain) */
  for (c = address; *c; c++) {
  if (*c == '\"' && (c == address || *(c - 1) == '.' || *(c - 1) == 
    '\"')) {
   while (*++c) {
    if (*c == '\"') break;
    if (*c == '\\' && (*++c == ' ')) continue;
    if (*c <= ' ' || *c >= 127) return false;
   }
   if (!*c++) return false;
   if (*c == '@') break;
   if (*c != '.') return false;
   continue;
  }
  if (*c == '@') break;
  if (*c <= ' ' || *c >= 127) return false;
  if (strchr(rfc822_specials, *c)) return false;
  }
  if (c == address || *(c - 1) == '.') return false;
 
  /* next we validate the domain portion (name@domain) */
  if (!*(domain = ++c)) return false;
  do {
  if (*c == '.') {
   if (c == domain || *(c - 1) == '.') return false;
   count++;
  }
  if (*c <= ' ' || *c >= 127) return false;
  if (strchr(rfc822_specials, *c)) return false;
  } while (*++c);
 
  return (count >= 1);
}
 
}
#endif // KBE_CSTDKBE_HPP

以上所述就是本文的全部内容了,有需要的小伙伴可以参考下。

展开阅读

相关资源

学习笔记

11小时21分钟前回答

在centos7中分布式部署pyspider

1.搭建环境: 系统版本:Linux centos-linux.shared 3.10.0-123.el7.x86_64 #1 SMP Mon Jun 30 12:09:22 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux python版本:Python 3.5.1 1.1.搭建python3环境: 本人在尝试过后选择集成环境Anaconda 1.1.1.编译 # 下载依赖yum install -y ncurses-devel openssl openssl-devel zlib-devel gcc make glibc-devel libffi-devel glibc-static glibc-utils sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-deve# 下载python版本wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tgz# 或者使用国内源wget http://mirrors.sohu.com/python/3.5.1/Python-3.5.1.tgzmv Python-3.5.1.tgz /usr/local/src;cd /usr/local/src# 解压tar -zxf Python-3.5.1.tgz;cd Python-3.5.1# 编译安装./configure --prefix=/usr/local/python3.5 --e……

2小时44分钟前回答

Java中实现分布式定时任务的方法

定时器Scheduler在平时使用比较频繁,在springboot中,配置好@Scheduled和@EnableScheduling之后,定时器就能正常执行,实现定时任务的功能。 但是在这样的情况下:如果开发的服务需要水平部署实现负载均衡,那么定时任务就会同时在多个服务实例上运行,那么一方面,可能由于定时任务的逻辑处理需要访问公共资源从而造成并发问题;另一方面,就算没有并发问题,那么一个同样的任务多个服务实例同时执行,也会造成资源的浪费。因此需要一种机制来保证多个服务实例之间的定时任务正常、合理地执行。 本文以shedlock为例,来实现分布式定时任务的控制。 ShedLock可以保证多个同样的定时任务在多个服务实……

13小时36分钟前回答

Python 用Redis简单实现分布式爬虫的方法

Redis通常被认为是一种持久化的存储器关键字-值型存储,可以用于几台机子之间的数据共享平台。 连接数据库 注意:假设现有几台在同一局域网内的机器分别为Master和几个Slaver Master连接时host为localhost即本机的ip _db = redis.Reds(host='localhost', port=6379, db=0) Slaver连接时的host也为Master的ip,端口port和数据库db不写时为默认值6379、0 _db = redis.Redis(host='192.168.235.80') Redis含列表、集合,字符串等几种数据结构,具体详细的几种数据结构的操作命令可查看Redis官网http://redis.io/commands,下面是对集合进行操作的一些命令 _db.sadd(key, *values) # 插入指定values到集合中并返回新插入的的值的数量_db.spop(self.key) # 随机从集合中的……