主要技术领域为大数据开发。熟悉常用的大数据etl和数据分析。技术栈包括,spark,flink,Hadoop,hive,hudi,Kafka,pulsar等常见的大数据处理引擎和大数据存储。主要使用Scala,Java,python语言
1.公司各种数据大屏。使用大数据技术完成了公司各种数据大屏的数据指标(离线/实时)计算方案设计,开发。
2.公司报表。使用大数据技术完成了公司运营/产品的数据分析需求。
数据指标计算存储方案设计 复杂开发大数据处理程序以完成完成离线/实时数据指标的计算 修改streampark源码以适配公司数据处理场景
数据仓库详细设计 数据仓库spark作业开发 修改dolphin scheduler工具,以适配公司数据任务调度场景
数据仓库详细设计 数据仓库spark作业开发 修改dolphin scheduler工具,以适配公司数据任务调度场景