统一数据处理服务作为物信融合平台的大数据计算模块和任务执行模块提供restful方式的对外接口,集成dpc引擎、spark引擎和通用jdbc引擎,并支持计算任务的周期性调度和一次性调度,并且支持用户基于统一处理服务的sdk开发自己数据计算算子在大数据平台上运行。 (1) udps任务流JSON的解析处理:解析并行执行任务、join、fork节点的处理 (2) Udps任务流管理模块oozie适配器的开发,将任务流描述的JSON中任务节点转换为Oozie中控制节点和动作节点,基于任务节点之间的连接关系构建有向无环图,生成Oozie的任务流描述文件提交调度给oozie执行 (3) 设计任务启...
1) 基于SpringBoot(MVC模块中注解)/mybatis/consul进行数据统计服务中资源管理模块的开发工作,通过集成mybatis进行项目数据库管理 2) apollo集成:支持组件参数的动态修改 3) 运用flyway进行数据库版本的管理 4) 通过consul进行注册服务的发现,来调用元数据服务 功能开发: 元数据管理模块:与元数据组件模块通过feign方式进行调用,实现各种数据源连接信息和数据表信息分页查询和基于关键字查询 规则清单管理模块:提供规则清单基于关键字查询和分页查询 分类管理模块:实现统计规则的多级分类管理和规则名称校验,支持分类增删改查操作...
1) 基于SpringBoot(MVC模块中注解)/mybatis/consul进行数据统计服务中资源管理模块的开发工作,通过集成mybatis进行项目数据库管理 2) apollo集成:支持组件参数的动态修改 3) 运用flyway进行数据库版本的管理 4) 通过consul进行注册服务的发现,来调用元数据服务 功能开发: 元数据管理模块:与元数据组件模块通过feign方式进行调用,实现各种数据源连接信息和数据表信息分页查询和基于关键字查询 规则清单管理模块:提供规则清单基于关键字查询和分页查询 分类管理模块:实现统计规则的多级分类管理和规则名称校验,支持分类增删改查操作...