宜信开源微服务任务调度平台（sia-task）

关键词：

 

背景

无论是互联网应用或者企业级应用，都充斥着大量的批处理任务。常常需要一些任务调度系统帮助开发者解决问题。随着微服务化架构的逐步演进，单体架构逐渐演变为分布式、微服务架构。在此的背景下，很多原先的任务调度平台已经不能满足业务系统的需求。于是出现了一些基于分布式的任务调度平台。这些平台各有其特点，但各有不足之处，比如不支持任务编排、与业务高耦合、不支持跨平台等问题。非常不符合新一代微服务架构的需求，因此宜信公司开发了微服务任务调度平台（SIA-TASK）。

SIA是宜信公司基础开发平台Simple is Awesome的简称，SIA-TASK（微服务任务调度平台）是其中的一项重要产品，SIA-TASK契合当前微服务架构模式，具有跨平台，可编排，高可用，无侵入，一致性，异步并行，动态扩展，实时监控等特点。

项目简介

SIA-TASK是任务调度的一体式解决方案。对任务进行元数据采集，然后进行任务可视化编排，最终进行任务调度，并且对任务采取全流程监控，简单易用。对业务完全无侵入，通过简单灵活的配置即可生成符合预期的任务调度模型。

SIA-TASK借鉴微服务的设计思想，获取分布在每个任务执行器上的任务元数据，上传到任务注册中心。利用在线方式进行任务编排，可动态修改任务时钟，采用HTTP作为任务调度协议，统一使用JSON数据格式，由调度中心进行时钟解析，执行任务流程，进行任务通知。

关键术语

• 任务（Task）: 基本执行单元，执行器对外暴露的一个HTTP调用接口;
• 作业（Job）: 由一个或者多个存在相互逻辑关系（串行/并行）的任务组成，任务调度中心调度的最小单位;
• 计划（Plan）: 由若干个顺序执行的作业组成，每个作业都有自己的执行周期，计划没有执行周期;
• 任务调度中心（Scheduler）: 根据每个的作业的执行周期进行调度，即按照计划、作业、任务的逻辑进行HTTP请求;
• 任务编排中心（Config）: 编排中心使用任务来创建计划和作业;
• 任务执行器（Executer）: 接收HTTP请求进行业务逻辑的执行;
• Hunter：Spring项目扩展包，负责执行器中的任务抓取，上传注册中心，业务可依赖该组件进行Task编写。

微服务任务调度平台的特性

• 基于注解自动抓取任务，在暴露成HTTP服务的方法上加入@OnlineTask注解，@OnlineTask会自动抓取方法所在的IP地址，端口，请求路径，请求方法，请求参数格式等信息上传到任务注册中心(zookeeper)，并同步写入持久化存储中，此方法即任务;
• 基于注解无侵入多线程控制，单一任务实例必须保持单线程运行，任务调度框架自动拦截@OnlineTask注解进行单线程运行控制，保持在一个任务运行时不会被再次调度。而且整个控制过程对开发者完全无感知。
• 调度器自适应任务分配，任务执行过程中出现失败，异常时。可以根据任务定制的策略进行多点重新唤醒任务，保证任务的不间断执行。
• 高度灵活任务编排模式，SIA-TASK的设计思想是以任务为原子，把多个任务按照执行的关系组合起来形成一个作业。同时运行时分为任务调度中心和任务编排中心，使得作业的调度和作业的编排分隔开来，互不影响。在我们需要调整作业的流程时，只需要在编排中心进行处理即可。同时编排中心支持任务按照串行，并行，分支等方式组织关系。在相同任务不同任务实例时，也支持多种调度方式进行处理。

微服务任务调度平台设计

SIA-TASK主要分为五个部分:

• 任务执行器
• 任务调度中心
• 任务编排中心
• 任务注册中心（zookeeper）
• 持久存储（Mysql） 

SIA-TASK的主要运行逻辑:

1. 通过注解抓取任务执行器中的任务上报到任务注册中心
2. 任务编排中心从任务注册中心获取数据进行编排保存入持久化存储
3. 任务调度中心从持久化存储获取调度信息
4. 任务调度中心按照调度逻辑访问任务执行器 

UI预览

首页提供多维度监控

• 调度器信息：展示调度器信息（负载能力，预警值），以及作业分布情况。
• 调度信息：展示调度中心触发的调度次数，作业、任务多维度调度统计。
• 对接项目统计：对使用项目的系统进行统计，作业个数，任务个数等等。

调度监控提供对已提交的作业进行实时监控展示。 

• 作业状态实时监控：以项目组为单位面板，展示作业运行时状态。
• 实时日志关联：可以通过涂色状态图标进行日志实时关联展示。

任务管理：提供任务元数据的相关操作

• 任务元数据录入：手动模式的任务，可在此进行录入。
• 任务连通性测试：提供任务连通性功能测试。
• 任务元数据其他操作：修改，删除。

Job管理：提供作业相关操作

• 任务编排：进行作业的编排。
• 发布作业: 作业的创建，修改，以及发布。
• 级联设置：提供存在时间依赖的作业设置。

日志管理

• 本地日志：日志界面简洁，查询快速；日志提供7天的调度日志，以供快速查询。

开源地址

• https://github.com/siaorg/sia-task

作者：宜信开发平台负责人/资深架构师梁鑫

宜信开源|分布式任务调度平台sia-task的架构设计与运行流程(代码片段)

一、分布式任务调度的背景无论是互联网应用或者企业级应用，都充斥着大量的批处理任务。我们常常需要一些任务调度系统来帮助解决问题。随着微服务化架构的逐步演进，单体架构逐渐演变为分布式、微服务架构。在此背景... 查看详情

宜信微服务任务调度平台建设实践|分享实录

...符合公司的需求，因此我们开发了微服务任务调度平台（SIA-TASK）。本次分享主要围绕SIA平台展开，包括研发背景设计思路和技术架构，以及如何支持业务方。 一、SIA-TASK的产生 1.1背景无论是互联网应用还是企业级应用... 查看详情

springcloud互联网分布式微服务云平台规划分析--springcloud定时调度平台

...绍鸿鹄云架构【定时调度平台】是一个完全由Java编写的开源任务调度框架，为企业在任务调度提供了简单却强大的机制。开发人员根据业务规则，使用调度平台简单配置，就可以让任务在特定时间特定阶段进行运行。特点如下... 查看详情

springcloud互联网分布式微服务云平台规划分析--springcloud定时调度平台

...绍鸿鹄云架构【定时调度平台】是一个完全由Java编写的开源任务调度框架，为企业在任务调度提供了简单却强大的机制。开发人员根据业务规则，使用调度平台简单配置，就可以让任务在特定时间特定阶段进行运行。特点如下... 查看详情

springcloud互联网分布式微服务云平台规划分析-springcloud定时调度平台

...绍鸿鹄云架构【定时调度平台】是一个完全由Java编写的开源任务调度框架，为企业在任务调度提供了简单却强大的机制。开发人员根据业务规则，使用调度平台简单配置，就可以让任务在特定时间特定阶段进行运行。特点如下... 查看详情

开源分布式任务调度平台cuckoo-schedule

1        概述1.1     平台概述　　Cuckoo-Schedule是基于Quartz-Schedule的轻量级任务调度框架，具有易学习、易上手、开发高效稳定的特点。Demo地址：http://cuckoo.hellosr.com，测试用户:guest，... 查看详情

深入大数据平台心脏：饿了么调度系统全解

...现状：每天完成大数据任务计算54000+;节点集群85台。　　开源解决方案　　Ooize　　Ooize基于工作流调度引擎，是雅虎的开源项目，属于JavaWeb应用程序。由OozieClient和OozieServer两个组件构成。　　&nbs 查看详情

cube开源一站式云原生机器学习平台-架构

全栈工程师开发手册（作者：栾鹏）前言：cube是开源的云原生机器学习平台，目前包含特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；在线开发，在线的vscode/jupyter代码开发；在线镜像调试，支... 查看详情

honghucloud云架构一定时调度平台

产品简介鸿鹄云架构是一个完全由Java编写的开源任务调度框架，为企业在任务调度提供了简单却强大的机制。开发人员根据业务规则，使用调度平台简单配置，就可以让任务在特定时间特定阶段进行运行。特点如下：1.强大的调... 查看详情

honghucloud云架构一定时调度平台

产品简介鸿鹄云架构是一个完全由Java编写的开源任务调度框架，为企业在任务调度提供了简单却强大的机制。开发人员根据业务规则，使用调度平台简单配置，就可以让任务在特定时间特定阶段进行运行。特点如下：1.强大的调... 查看详情

开源分布式任务调度系统就选：dolphinscheduler

...都会接触的话题。因为应用场景的广泛，所以有很多开源项目专注于解决这类问题，比如我们熟知的xxl-job。那么今天要给大家推荐的则是另一个更为强大的开源项目：DolphinScheduler介绍DolphinScheduler是一款开源的分布式... 查看详情

轻松构建微服务之分布式任务调度

微信公众号：内核小王子关注可了解更多关于数据库，JVM内核相关的知识;如果你有任何疑问也可以加我pigpdong[^1]前言????我们在应用开发的时候，应该都碰到过这种需求：每天固定时间点跑一个任务；创建一些临时的任务去初始... 查看详情

windows服务实现定时任务调度

Quartz是OpenSymphony开源组织在Jobscheduling领域又一个开源项目，它可以与c#应用程序相结合也可以单独使用。Quartz可以用来创建简单或为运行十个，百个，甚至是好几万个Jobs这样复杂的程序。Jobs可以做成标准的c#组件。Qu... 查看详情

分布式任务调度平台xxl-job的使用（java）

　　xxl-job是一个开源的任务调度平台（github地址https://github.com/xuxueli/xxl-job），且在分布式场景下有很好的支持性，可以对单个的任务单次执行，或者定时执行。在分布式场景下，可以选择不同的路由策略进行执行job，如指定第... 查看详情

分布式任务调度的解决方案(代码片段)

...常情况告警，支持多渠道通知。2. 现在一些比较好的开源框架Elastic-job：Elastic-job是当当开源的一款非常好用的作业框架，Elastic-job在2.x之后，出现了两个相互独立的产品线：Elastic-job-lite和Elastic-job-cloud。官网：http://elasticjob.i... 查看详情

290家公司都在用的任务调度系统，还在github上开源了

来自：开源最前线（ID：OpenSourceTop） 项目地址：https://github.com/xuxueli/xxl-job今天，和大家介绍一个轻量级分布式任务调度平台，开发迅速、学习简单、轻量级、易扩展，290家公司都在用，它就是... 查看详情

微服务分布式调度elastic-job(代码片段)

微服务分布式调度Elastic-job什么是任务调度？为什么需要分布式调度？Elastic-Job环境搭建更改Zookeeper配置SpringBoot集成ElasticJob什么是任务调度？任务调度是为了自动完成特定任务，在约定的特定时刻去执行人物的过... 查看详情

「开源」springboot快速开发框架推荐，接私活利器

参考技术A本期为大家精选了码云上优秀的SpringBoot语言开源项目，涵盖了企业级系统框架、文件文档系统、秒杀系统、微服务化系统、后台管理系统等，希望能够给大家带来一点帮助：）1、项目名称：分布式敏捷开发系统架构项... 查看详情