1、熟练Java、Scala语言进行大数据相关的开发,有良好的编码习惯
2、熟练使用DataWorks、MaxCompute阿里云相关组件,有离线、实时技术经验
3、熟练使用Flume , Canal , Kafka 实现数据的处理 , 并了解组件的基本原理
4、熟练使用Flink,FlinkSQL进行实时数据分析,有一定性能调优经验
5、熟练开发Spark,SparkSQL,SparkStreaming相关应用,有一定的调优经验
6、熟练掌握Hadoop体系HDFS、Yarn、MapReduce等组件的使用方法和基本原理
7、熟练使用HiveSQL进行离线数据分析,有解决数据倾斜的问题经验
8、参与过数据仓库搭建,有一定维度建模经验
9、有使用OLAP数据库+实时计算引擎搭建实时数仓的项目经验
10、熟练使用即席查询工具Kylin,Presto进行数仓即席查询
11、熟悉使用ClickHouse,Druid,Impala+Kudu等OLAP数据库
12、熟悉使用HBase,有一定HBase调优经验,了解Rowkey设计原则 13、熟悉Azkaban,Oozie等任务调度工具的使用
项目一:固定成本报表分析平台
项目架构:DataWorks
多种有实力的融资渠道从财务数据的角度审视业务发展健康度,支撑企业经
营管理、推进管理体系建设对业务战略提出合理化建议,负责企业的资金管
理工作,制定切实可行的资金使用计划,优化公司负债结构,保证经营需求
,提高资金使用率,为企业各项决策提供及时准确的依据。
技术描述:
固定报表可以根据公司的战略和业务需要,统筹公司的资本运作,建立
1、参与项目项目需求调研,部分业务指标的设计,技术选型
2、负责部分日志和维度数据的清洗脱敏,维度建模工作
3、负责多维度离线计算小计、月累计等开发工作
4、参与项目生产和测试环境的搭建