基于开源数据集成工具StreamSets进行自定义拓展开发,StreamSets是一款专注于处理不断递增的流式数据的工具,它的主要目标是简化数据流的创建、管理和监控,将数据从不同的来源(如数据库、日志文件、消息队列、HTTP服务端等)通过业务处理移动到目标位置(如数据库、FTP、本地文件等)。
主要职责:
1. 基于StreamSets框架进行组件开发。
2. 对StreamSets进行性能优化,提升适配业务中的运行效率。
3. 参与设计并实施针对StreamSets的高可用方案。
4. 参与搭建和部署StreamSets服务单机和镜像版本。
5. 承担编写部分需求分析文档、系统设计文档、接口手册、用户手册以及版本发布文档。