CircuitETL定位于企业级数据服务的协调者与指挥者,通过统一调度、智能监控和资源管理,解决多系统作业依赖复杂、运维成本高、人工干预频繁等问题,助力企业实现数据流转的自动化与标准化。
CircuitETL系统具有以下能力:
1、数据集成能力
2、数据处理能力
3、数据加载能力
4、自动化与监控能力
5、数据质量管理能力
6、实时性与灵活性
用户登录CircuitETL系统首页后,可通过右上角用户菜单进行密码修改和账户注销操作。首页直观展示当前运行任务数量、调度次数及执行器数量等核心指标,下方以图表形式呈现任务执行状态,包括成功、失败及进行中的任务分布情况。
首次使用先进入执行器管理界面添加执行器:
在新增配置项中,您可选择自动注册或手动录入两种路径:自动注册将自动采集并录入执行器地址信息,手动录入支持用户自行输入执行器地址。无论采用何种方式,录入的地址均需与执行器实际配置的地址信息保持一致。若同一执行器存在多个地址,请以英文逗号进行分隔。
在任务管理界面中,系统将呈现所有已创建的任务列表。运行状态显示为”STOP”的任务处于停止运行状态;标识为”RUNNING”的任务则为正常执行中的作业。
点击新增:选择对应的执行器(必填项),
任务描述:填写对任务用途的说明(必填项)
负责人:填写该任务的管理和维护人员(必填项)
报警邮件:可略过(非必填)
调度类型:默认选CRON(必填项)
Cron:可以选择手写表达式也可以通过编辑按钮选择定时频率(必填项)
运行模式:选GLUE(Shell)必填项,保存后无法在页面再次修改
JobHandler:因选择了GLUE(Shell)则可直接忽略
任务类型:分为普通,开始和结束任务 开始和结束在配置任务流任务的时候只各配置一个(必填项), 保存后无法在页面再次修改
任务参数:若该任务需要固定参数,则可在此处配置(非必填)
路由策略:一般选择最不经常使用,一般一个执行器有两个注册节点,根据该策略在两个节点中来回进行切换使用
子任务ID:支持配置级联任务依赖:若任务A执行成功后需触发任务B,可在任务A中配置子任务ID字段(值为任务B的ID)。多个依赖任务请用英文逗号分隔(非必填)
调度过期策略:系统默认采用”忽略过期策略”,也可选择”立即执行一次”策略,系统将在检测到调度过期时自动触发一次补偿执行
阻塞处理策略:默认使用单机串行
任务超时时间:不设置值,默认任务执行超过10分钟即标记任务失败,因而根据需求设置合理的超时时间(非必填)
在任务管理中,点击操作右边的下拉箭头,会出现如下菜单:
执行一次:该功能支持脚本测试验证,或在任务执行失败时进行问题排查,触发任务调用,可恢复中断的任务流程
查询日志:默认查询当天该任务的所有执行日志
注册节点:查看当前任务所属执行器的节点地址
下次执行时间:可以查看该任务即将触发的五个时间节点
GLUE IDE:用于编写脚本
启动:启用任务的定时调度
停止:停止任务的定时调度
编辑:对于任务的部分属性进行修改
删除:删除该条任务
物理删除,复制:复制当前任务的基本信息,脚本不会复制,复制保存后的任务仍然需要再次编写脚本。
单个定时任务配置:
若需配置定时调度任务(无论执行结果如何都持续运行),请创建任务类型为”普通”的独立任务。注意:该任务不可作为其他任务的子任务,也不允许绑定任何子任务。
任务流任务配置:
您可配置包含开始任务A、结束任务G及普通任务B-F的工作流:开始任务A设置子任务B、C以触发流程;任务B设置子任务D、E,任务C设置子任务F;任务D、E、F均需设置子任务G以汇聚至结束节点。开始任务A仅需满足预设条件即可启动流程,结束任务G不执行实际逻辑仅作终止标志,所有分支的最终节点必须指向G以确保流程完整性。
任务流图界面:
系统支持同时配置任务流任务和独立定时任务,单个定时任务将在页面中以独立节点形式展示(区别于任务流结构)。选中独立任务节点时,界面提供三个操作按钮:任务参数编辑、执行脚本编辑以及任务失败时触发单次执行功能。
调度日志界面提供完整的任务执行记录查询功能,支持按执行器筛选查看对应的调度日志信息。
用户管理模块提供系统全部用户的集中展示与查询功能,支持按角色属性进行精准筛选检索。
新增用户:
编辑或删除用户:
任务调度界面可查看任务执行情况:
通过日期进行查询:
系统配置界面
连续跑批开关默认为开启状态:开启时任务流任务若某日未正常执行完成,次日仍可继续调度;关闭状态下若某日任务未完成,系统将暂停后续调度直至该日任务成功执行。开启状态下任务参数有值传值(单个定时任务同样采用有值传值模式,不受此开关影响),关闭状态下系统将自动生成yyyyMMdd格式的日期参数(多个日期以逗号拼接)并传入执行脚本,无论原参数是否设置。