1.掌握Hadoop生态圈,Hadoop的分布式文件系统,MapReduce原理以及优化,Yarn的工作机制等;
2.精通Hivesql,Mysql/Oracle关系型、mongodb/hbase非关系型数据库;
3.掌握大数据存储/计算相关技术:hive/spark/hbase/kafka/presto等常用开发组件;
4.掌握数仓建模理论,具备较强的编码能力,灵活使用常用的SQL复杂语句;
5.掌握业内主流BI产品并熟练使用;
6.掌握Python/Shell等语言编程。
1.负责短视频业务的数据仓库产品设计、端到端数据开发,模型开发,报表开发;
2.负责数据仓库流程的优化及解决相关技术问题;
3.负责参与数据产品设计和评审,保障业务实现最大价值,保障数据平台架构稳定;
4.参与数据底层的工具、平台、部署流程等技术体系建设的开发工作;
5.参与数据治理工作,包括数据质量、数据资产、数据稳定性等治理工作。