数据开发服务

产品描述

数据开发服务向数据开发工程师提供拖拉拽控件的方式，设计复杂的工作流有向无环图，挖掘出有商业价值的数据

架构描述：

提供B/S模式的web界面，使有浏览器的地方即可开发、管理任务的需求成为可能

开发工作流时，通过预设任务的前置任务和任务分支，设计出复杂的流程，达到有条件、有步骤地提炼出数据的目的

开发工作流时，通过预设任务失败的重试次数、失败重试间隔，有效地减少人工干预任务执行的工作量，提高工作流执行成功率

开发工作流时，通过预设超时告警、发送邮件，将工作流执行信息及时推送给用户

数据开发工程师通过使用SHELL、SQL、SPARK、FLINK等控件开发工作流，在一个工作流中使用多种计算机语言、计算引擎对数据打出组合拳，从海量、杂乱无章的数据中提炼出有效的知识和信息

启动工作流时，保存输入参数。任务执行失败重跑时，可恢复到故障发生的执行环境，重新跑出数据

复杂的工作流执行失败时，可从失败的任务节点开始跑数，避免从头开始跑数，浪费计算资源

在一个工作流中，数据开发工程师可以只使用MySQL、ORACLE、HIVE等数据仓库中的一种;可以同时使用MySQL、ORACLE、HIVE等数据仓库中的几种，使数据从一种数据仓库流向另一种数据库