熟练掌握数据处理工具和数据建模技能,能够从海量的数据中提取有价值的信息;
熟练使用Java、Python等编程语言,掌握大数据框架如Hadoop、Spark等的开发技能,能够快速构建高效的大数据应用;
能够与其他团队成员协同工作,能够表达自己的观点和解决方案。
新闻网大数据可视化系统
本项目实现了大数据项目的全流程:业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计等;
综合运用了包括Hadoop3.1.4、Zookeeper、Flume、Hive、Hbase、Kafka、Spark2.x、Spark Streaming、MySQL、Hue、Web socket等技术栈。通过运用这些技术,实现了数据获取和统计以及生成报表和全流程调度。
电商数仓
通过本数仓项目实现了数仓的建模设计(ODS层、DIM层、DWD层和ADS层等的设计),以及实现了全流程的调度和Superset的可视化,基本熟悉了企业级数仓建立的全流程。