1.精通JAVA,Springboot,Mysql等常用技术,熟悉Mongodb,Redis等技术,熟悉使用消息中间件kafkaMq,rabbitMq
2.大数据方面熟悉Hadoop大数据框架,大数据存算分离,数据湖,流批两种存储特性的设计,熟悉flink,spark技术
BDSP大数据平台项目
提供企业级大数据计算资源,存储资源保障,目前用户涵盖国内,新加坡,印度,德国共有1万余人,提供 从数据采集到数据同步,到数据管理,到数据监控看板一系列能力的建设保障,为数据分析师,数据开发工程师提供便捷的服务,提升研发效能。其中提供了实时离线两套完整采集链路,包括flink,spark引擎的支持,元数据管理方面,包括hive,flink,paimon,hudi等多种表schema信息的管理,同步任务方面支持定时调度,每天定时跑数取数,且可支持数据血缘追溯,除此之外平台还有一系列丰富的监控看板能力