将不同来源(包括Oracle,postgres,mysql,sqlserver,redis,hbase,kafka,ftp,http)的数据汇聚到一个数据仓库中,以供其他子系统使用。在数据抽取的过程中需要根据业务需要来处理不同的数据,如图片上传云存储,过滤不符合条件的数据等等。 开发环境与整体技术:springboot+mybatis+zookeeper+kettle+kafka 负责部分:主要负责数据汇聚子系统的数据抽取部分,根据用户页面选择的配置,生成相应的kettle任务流程发送到datai(任务调度引擎)进行抽取数据。